Complemento DataX KafkaWriter
/Alibaba/DataX/blob/master/dataxplugindev.MD
Escritor Kafka de desarrollo de complementos Datax
/article/259830
Proceso detallado del complemento de desarrollo secundario de Datax (tomando kafkaReader como ejemplo)
/mjlfto/dataX/tree/master/kafkawriter
Esto es para agregar kafka al contenido de datax y descripción del parámetro.
Descripción del parámetro
bootstrapServers
Descripción: dirección del servicio kafka, formato: host1:puerto, host2:puerto Ejemplo: 10.1.20 11:9092, 10.65438. .
Obligatorio: Sí
Valor predeterminado: Ninguno
Tema
Descripción: nombre del tema de Kafka, actualmente admite la escritura de un tema a la vez .
Obligatorio: Sí
Valor predeterminado: Ninguno
Carácter de confirmación (carácter de reconocimiento)
Descripción: el valor predeterminado del mecanismo de reconocimiento de mensajes es 0; .
Acks = 0: Si se establece en 0, el productor no esperará una respuesta de Kafka.
ack = 1: esta configuración significa que Kafka escribirá el mensaje en el archivo de registro local, pero no esperará respuestas exitosas de otras máquinas en el clúster.
Acks = all: Esta configuración significa que el líder esperará a que todos los seguidores se sincronicen. Esto garantiza que los mensajes no se pierdan a menos que todas las máquinas del clúster Kafka se bloqueen. Ésta es la garantía de disponibilidad más sólida.
Requerido: No.
Valor predeterminado: 0
Tamaño de lote
Descripción: cuando es necesario enviar varios mensajes a la misma partición, el productor intentará fusionar las solicitudes de red. Esto aumentará la eficiencia tanto para los clientes como para los productores.
Valor predeterminado: 16384
Obligatorio: No.
Número de reintentos
Descripción: si se configura con un valor mayor que 0, el cliente reenviará el mensaje si la entrega falla:
Valor predeterminado: 0
Requerido: No.
Valor predeterminado: 0
Separador de campo
Descripción: cuando writeType es texto, el separador de campo al escribir.
Valor predeterminado:, (coma)
Obligatorio: No.
Valor predeterminado:,
Serializador de claves
Descripción: serialización de claves, el valor predeterminado es org.apache.Kafka.com mon.serialization.string serializer
Requerido: No.
Valor predeterminado: org.apache.Kafka.com mon . serialización. serializador de cadenas
Valor serializador
Descripción: serialización de claves, el valor predeterminado es org .apache. Kafka.com mon . serialización. serializador de cadenas
Requerido: No.
noTopicCreate
Descripción: si se crea un tema cuando no hay tema, el valor predeterminado es falso.
Obligatorio: Requerido si haveKerberos es verdadero.
Valor predeterminado: falso
División de temas
Descripción: Número de divisiones de temas
Obligatorio: No.
Valor predeterminado: 1
Factor de replicación del tema
Descripción: Número de replicaciones del tema
Obligatorio: No.
Valor predeterminado: 1
writeType
Descripción: formato de datos para escribir en kafka, texto opcional, json.
Texto: use fieldDelimiter para unir todos los valores de campo en claves con los mismos valores y luego escríbalos en Kafka.
JSON: el formato de la clave es el mismo que el del texto. Todos los valores de los campos se unen en la clave usando fieldDelimiter. El valor es el formato de columna interno de datx, como se muestra a continuación.
RawData es un valor de datos. Si no existe tal campo en el objeto, el valor es nulo.