Evaluación del uso de Apache Atlas

La gestión de metadatos es un área que está recibiendo cada vez más atención. Apache Atlas es la solución más antigua y conocida en el campo de los metadatos. Fue desarrollado originalmente por el equipo de Hortonworks y se convirtió en código abierto como proyecto de alto nivel.

La arquitectura general de Apache Atlas es la siguiente

Puede ver que el sistema de gestión de metadatos tiene una estructura realmente simple, similar al sistema de gestión del diccionario de datos. Entre ellos, el más importante es cómo definir estructuras de datos para satisfacer escenarios de almacenamiento de datos heterogéneos, y el segundo es cómo integrar los sistemas existentes con los sistemas de gestión de metadatos.

Atalas utiliza Hbase como almacenamiento subyacente, JanusGraph como almacenamiento de gráficos del linaje de datos y Solr como servicio de soporte de búsqueda. Implemente el modo de actualización push conectándose con Kafka. También desarrolló una API para admitir el modo de extracción activa.

He probado varios métodos de instalación y encontraré muchos problemas al instalar a través del github oficial. También necesitarás hacer algunos cambios a través de la compilación, como

Después de algunas dificultades, elegí usar el proyecto /sburn/docker-apache-atlas en Dockerhub.