Hermosa programadora nacida en los años 90: ¿Qué diablos son los metadatos?

Programadora de belleza nacida en la década de 1990

La gestión de big data de la empresa está en auge y varios productos principales se encuentran entre los mejores del mercado nacional. Los grandes jefes definitivos utilizarán su experiencia en. gestión de datos Resumida en artículos, cada pieza de información útil puede considerarse un clásico. (Los estudiantes interesados ​​pueden leer los artículos históricos en la cuenta pública, pero se dice que hay varios artículos útiles que aún no se han publicado, así que estad atentos). Como novato que no se ha incorporado oficialmente al trabajo, sólo puedo expresar algunas de mis propias opiniones a un nivel muy superficial...

Dividí el artículo en dos partes. La primera parte presenta el concepto de. metadatos, y la segunda parte explica la aplicación de la gestión de metadatos desde varios aspectos. La última parte resume la importancia de los metadatos. Solo representa algunas de mis opiniones personales.

1. ¿Qué diablos son los metadatos?

Cuando me uní a la empresa, me puse al día con la actualización del producto de metadatos de la empresa. La atmósfera de I+D entre mis colegas estaba en auge. Como novato, primero debo entender el concepto de metadatos, de lo contrario, ¿cómo lo haré? ¿Me comunicaré con mis amigos en el futuro? Me divertí jugando, así que busqué materiales relevantes en casa y en el extranjero:

Después de un tiempo, acumulé algunos conocimientos y descubrí que usar "datos sobre datos" para Definir metadatos no podría ser más preciso, pero al mismo tiempo también es un poco abstracto y difícil de entender rápidamente para los recién llegados. Después de que nuestros expertos en gobernanza de datos explicaron los metadatos desde una perspectiva psicológica, finalmente entendí qué son los metadatos. Estoy parado sobre los hombros de "gigantes". Utilice una forma más sencilla de responder la pregunta "¿Qué son exactamente los metadatos?"...

Los metadatos son una descripción de datos, almacenan información sobre los datos y los convierten en más fácil para las personas recuperar información. Se proporcionó ayuda. ¿Eh? ¿Recuperar información? El proceso por el que un renacuajo encuentra a su madre es también un proceso de recuperación de información. ¿Puedes entender qué son los metadatos al comprender esta historia?

Había un grupo de renacuajos en el estanque cuando vieron a la madre carpa enseñando a cazar a la pequeña carpa, se acercaron a ellos y les preguntaron: "Tía Carpa, ¿dónde está nuestra madre?". /p>

En ese momento los renacuajos se dieron cuenta, no, debería haber una tabla Madre en nuestra base de datos, pero los renacuajos no sabían nada sobre esta tabla, no sabían qué campos había y no No sé los valores concretos correspondientes a cada campo:

La madre carpa dijo: "Tu madre tiene cuatro patas y la boca ancha. ¡Ve a buscarla allí!"

El cocodrilo dijo con una sonrisa: "Tu madre tiene dos. Tiene ojos grandes y está vestida con ropa verde. Ve a buscarla allí."...

Dijo la tortuga con una sonrisa: "No soy tu madre. Tu madre tiene el vientre blanco. ¡Ve a buscarla allí!"...

La rana se rió y dijo: "¡Niño tonto, soy tu madre!" ."

Todo el proceso se puede ver como Madre El proceso de mejorar gradualmente esta tabla, las fuentes de datos son madre carpa, madre cocodrilo y madre tortuga respectivamente, como se muestra en la siguiente figura:

Al abstraer aún más la información finalmente obtenida por los renacuajos, una especie de "Metadatos", estos metadatos describen la estructura de la tabla madre:

¿No acabo de decir que los metadatos pueden ayudar a recuperar información? ¿Eso también significa que los metadatos pueden ayudar a los renacuajos a encontrar a sus madres? Intentaremos adaptar esta historia en la segunda parte, detallando el proceso de cómo el renacuajo utiliza metadatos para encontrar rápidamente a su madre.

2. Aplicación de la gestión de metadatos

Por lo general, una herramienta de gestión de metadatos debe tener funciones básicas como diseño de metamodelo, recopilación de metadatos, análisis de metadatos y visualización de mapas de datos. historia de los renacuajos que buscan a sus madres y comprenden estas funciones centrales durante el proceso de adaptación. La premisa es que asumimos que todos los animales constituyen un enorme sistema de datos. Los datos específicos de las madres de los renacuajos ya existen en este sistema (sistema de carpas). , sistema cocodrilo, sistema tortuga).

1. Diseño del metamodelo

Primero explique el metamodelo. Si los metadatos son una descripción de datos, entonces el metamodelo es una descripción de metadatos y una abstracción adicional de metadatos. La relación entre los tres se muestra en la siguiente figura:

Hablemos nuevamente sobre el proceso de diseño de metadatos. Primero, se obtienen todos los metadatos del sistema, estos metadatos se resumen y planifican razonablemente, y se abstraen aún más en un metamodelo. Desde cierta perspectiva, este proceso abstracto puede considerarse como el proceso de diseño de metamodelo.

El metamodelo define la estructura de varios metadatos y la relación entre los metadatos, que es la base de la gestión de metadatos. En otras palabras, si queremos utilizar metadatos para ayudar a los renacuajos a encontrar a sus madres, primero debemos hacerlo. Diseñar un metamodelo razonable. La siguiente imagen es el metamodelo que intenté diseñar para ellos (para las empresas, el proceso de diseño del metamodelo real es muy complicado y se ve afectado por muchos factores):

Creemos que la madre del renacuajo (Madre ) consta de varias propiedades (Propiedades), el nombre de cada propiedad está representado por Nombre y el tipo de cada propiedad está representado por Tipo.

Ahora que el metamodelo está disponible, el siguiente paso es recopilar la información de metadatos que necesitan los renacuajos de acuerdo con este metamodelo diseñado, que es lo que a menudo llamamos recopilación de metadatos.

2. Recopilación de metadatos

Después de diseñar el metamodelo, la herramienta de gestión de metadatos puede recopilar los metadatos que necesita la empresa de forma totalmente automática. En esta historia, según The metadata collection. Los resultados del metamodelo que diseñé y la herramienta de gestión de metadatos deberían ser los que se muestran a continuación:

Los renacuajos toman estos metadatos y luego buscan información sobre su madre de manera específica si podemos alcanzar el objetivo de una vez. Paso y apunta directamente a la rana, toda la historia se reescribirá con éxito debido a la aparición de metadatos.

Explicación: en un entorno de datos empresarial real, los datos y metadatos ya existen en el sistema. La gestión de metadatos consiste en diseñar un metamodelo adecuado para la empresa en función de los metadatos existentes de la empresa y luego resumirlo y resumirlo de forma centralizada. asociar metadatos en el sistema de acuerdo con el metamodelo para lograr el propósito de gestión y aplicación unificada de datos por parte de la empresa.

3. Análisis de metadatos

a. Análisis de línea de sangre

Supongamos que el director del zoológico, Man Yangyang, está administrando la información de datos de todo el zoológico. Descubrí que hay un error en mis datos aquí y necesito encontrar al proveedor de los datos incorrectos y responsabilizarlo. Entonces, ¿de qué familia de animales provienen estos datos incorrectos? Obviamente, ir de puerta en puerta para verificar los datos no es lo suficientemente eficiente. La función de análisis de linaje de la herramienta de administración de metadatos ayudará automáticamente al director del jardín a analizar el camino ascendente de estos datos erróneos. Por ejemplo, estos datos son entregados por la madre de la carpa. a la madre cocodrilo, y la madre cocodrilo luego lo envía al jardín por mucho tiempo, entonces el director solo necesita tocar la puerta de la casa de la carpa y el cocodrilo.

b. Análisis de impacto

Los datos finalmente han sido corregidos. En este momento, el director debe recordar a todos de inmediato la información de corrección de estos datos. familias de animales afectadas por estos datos, lo que angustia mucho al director. La transmisión de datos de todo el zoológico es muy complicada. ¿Cómo juzgar qué familia se verá afectada por estos datos? rango de impacto de estos datos y utilizar un método visual Al aparecer, el director sólo necesita notificar a las familias de animales afectados.

c. Visualización del mapa de datos

A medida que la escala del zoológico se expande, los tipos de animales que se alojan allí aumentan. Un día, el director quiere conocer la situación general del zoológico. y cuántas familias de animales hay, qué familia es mejor con qué familia y qué familia nunca ha estado en contacto con qué familia. En este momento, el mapa de datos de la herramienta de gestión de metadatos puede ayudar al director a obtener la información que desea. La función de visualización del mapa de datos se puede utilizar para visualizar. El director conoce bien la situación de todo el zoológico y lo ayuda a observar mejor la situación de todo el zoológico.

3. La importancia de los metadatos

En el contexto de la era del big data, los datos son un activo y los metadatos permiten la descripción y clasificación de la información, permitiendo así su procesamiento automático. posibilidades, puede ayudar a las empresas a gestionar mejor los activos de datos y aclarar la relación entre los datos. La gestión de metadatos es la base para que las empresas mejoren la calidad de los datos y también es un vínculo clave en la gobernanza de datos empresariales. Si los metadatos no se gestionan adecuadamente, la información se puede perder fácilmente y la empresa no podrá recibir soporte eficaz. Será muy difícil para el personal interno de la empresa identificar información relevante y los usuarios finales también perderán la confianza en los datos.