Explicación china del filtro Logstash
Esta herramienta es especialmente útil para syslog, apache u otros servidores web o mysql y otros varios. Además, el formato del registro es sólo para una visualización de datos más humana y no aumentará el consumo informático.
El propio Logstash tiene 120 patrones de coincidencia predeterminados en diferentes idiomas (de hecho, es fácil ver que son expresiones regulares). También puedes escribir tus propias expresiones y realizar solicitudes de extracción.
Grok da formato a las etiquetas de texto haciéndolas coincidir para registrar el contenido.
Formato: % {syntax:semantics}
La sintaxis es el nombre de la etiqueta y la semántica es la variable de almacenamiento de los datos obtenidos mediante el mapeo de etiquetas.
De forma predeterminada, el tipo de almacenamiento de todos los campos es cadena si se requieren otros tipos de almacenamiento.
%{NUMBER:num:int}El uso de esta coincidencia generará un campo de tipo int.
Puedes usar esto directamente para personalizar una especificación para almacenar datos en nombre_campo.
También puedes escribir un archivo para personalizar el esquema.
El más utilizado es el formateo de campos de mensajes.
}
Si desea formatear el mismo campo varias veces
donde "Duración:" es el carácter correspondiente para la coincidencia regular directa y % {} es para grok Etiquetas coincidentes, la primera es una expresión regular y la segunda es un campo.
Sí, es muy fácil de usar. Puede agregar esto a cada filtro.
Literalmente, eliminar algunos campos
Vale la pena señalar que el uso de algunas etiquetas requiere filtros para funcionar correctamente. Si sus etiquetas no son válidas, recuerde verificar el prefiltro (algunas etiquetas deben filtrarse antes de que puedan funcionar).
El propósito de este filtro es agregar los datos de varios mensajes en un solo mensaje y proporcionar un campo de "código" para personalizar el aumento o disminución del atributo int y luego incluirlo en un mensaje final. antes de ingresar al proceso de salida.
Sin embargo, para utilizar este filtro, debe configurar el parámetro de filtro de Logstash en 1 (indicador -w 1) para que el filtro pueda funcionar correctamente. De lo contrario, perderás el cabello.
En general, este es un filtro muy confuso. Intente completar la agregación de mensajes en la fuente o en Kibana. Usar este filtro es extremadamente engorroso.
Negarse a traducir esto= =
Documento en inglés
Filtro de deformación (?). Le permite realizar cambios generales en los campos. Puede cambiar el nombre, eliminar, reemplazar y modificar parámetros en los mensajes recibidos.
Si lee atentamente el contenido anterior, encontrará que grok también proporciona la función de eliminar campos. De hecho, bastantes filtros proporcionan muchas funciones repetitivas, pero creo que llamar a los filtros correspondientes para diferentes operaciones hará que la configuración sea simple y clara.
Existen algunas reglas de conversión que involucran verdadero y falso. Haga clic en el enlace del documento en inglés debajo del título para obtener más detalles. (Sí. Compruébelo usted mismo. hhhh)
Descubrirá que hay dos barras invertidas. Sí, debe agregar barras invertidas a todas las barras invertidas en la expresión regular. . . Sé que esto es un poco indirecto, hhh.
Los hashes también se pueden fusionar.
De todos modos, puedes jugar solo. =
El filtro de fecha es un filtro que se utiliza para analizar el formato de fecha y la fecha analizada se utiliza como marca de tiempo de logstash.
Chestnut
El filtro de fecha es un filtro muy importante para ordenar correos electrónicos y repoblar datos antiguos. Si no especifica el momento adecuado en sus mensajes, es probable que las búsquedas futuras de ellos se desordenen.
Si no existe tal filtro y no se establece una marca de tiempo en la hora, logstash establecerá una marca de tiempo basada en la hora en que obtiene el mensaje por primera vez, como leer un mensaje de un archivo, cada vez que se lee La hora se utilizará como marca de tiempo.