Descripción detallada de responsabilidades de los ingenieros de operaciones y mantenimiento de Big Data
Descripción de Responsabilidades Específicas del Ingeniero de Operación y Mantenimiento Big Data 1
Responsabilidades:
1 Responsable de la gestión de operación y mantenimiento de la plataforma de datos (implementación, monitoreo, optimización, manejo de fallas);
2 Responsable de la revisión de la arquitectura, planificación de capacidad y optimización de costos del sistema Hadoop/Spark/Flink/Elastic Search/Kafka;
3. Responsable de la gestión de usuarios de la plataforma de big data, asignación de permisos y asignación de recursos;
4 Participar en el diseño de plataformas de minería de datos y aprendizaje automático, y proporcionar planes ejecutables de operación y mantenimiento;
5. Participar en el desarrollo de herramientas relacionadas con la plataforma de datos (incluida la implementación automática, monitoreo, ETL, etc.);
6. resolver peligros ocultos y cuellos de botella en el rendimiento;
7. Operar y mantener herramientas ETL, herramientas de programación y bases de datos relacionales.
Cualificaciones:
1. Licenciatura o superior, con especialización en software informático.
Más de 2,1 años de experiencia en componentes relacionados con big data (Hadoop/Yarn); /h base/Hive /Spark/Kafka, etc.) experiencia en operación y mantenimiento. ), más de 1 año de experiencia en mantenimiento de CDH o HDP y más de 3 años de experiencia en operación y mantenimiento de sistemas
3. Tener un conocimiento profundo de los sistemas Linux y poder implementar sistemas abiertos de forma independiente; software fuente y dominar más de un lenguaje de programación (shell/perl/python, etc.), y se prefieren aquellos que estén familiarizados con el lenguaje de desarrollo python
4. Fuerte sentido de responsabilidad, trabajo proactivo, gran capacidad de ejecución y buen sentido de trabajo en equipo.
Descripción de Responsabilidades Específicas del Ingeniero de Operación y Mantenimiento de Big Data II
Responsabilidades
1. Responsable del sistema ETL de big data para garantizar la estabilidad y disponibilidad de la operación. y servicios de mantenimiento;
2. Responsable de las soluciones de recopilación e intercambio de datos y depuración y pruebas conjuntas
3. Responsable de la revisión y puesta en marcha de las tareas de recopilación e intercambio; >
4. Responsable de solucionar oportunamente las fallas del proceso ETL, formar una base de conocimientos y mejorar los documentos de operación y mantenimiento;
5. Responsable de monitorear y optimizar el desempeño de ETL y realizar tareas continuamente. sugerencias para mejorar la plataforma de operación y mantenimiento automatizado.
Requisitos de habilidades
1. Licenciatura o superior en informática o especialidad relacionada.
2 Familiarizado con el sistema Linux, competente en escritura de shell/perl/. python o múltiples lenguajes de scripting;
3. Se prefieren aquellos que estén familiarizados con los principios de clúster de Hive, hadoop y MapReduce, y aquellos con experiencia en la operación y mantenimiento de la plataforma de big data de Hadoop; con optimización del rendimiento de la base de datos y ajuste de SQL y la experiencia correspondiente;
5. Gran capacidad para soportar la presión, fuerte sentido de responsabilidad, buenas habilidades de comunicación, capacidad de aprendizaje y capacidad de trabajo en equipo.
Descripción de Responsabilidades Específicas del Ingeniero de Operación y Mantenimiento de Big Data 3
Responsabilidades:
1. garantizar su alta disponibilidad y estabilidad;
2. Responsable del diseño de operatividad, la planificación de la capacidad y el monitoreo del servicio de la arquitectura del sistema de big data, y optimizar continuamente la arquitectura del servicio y el rendimiento del clúster;
3. A través de medios técnicos Controlar y optimizar costos, y mejorar la eficiencia de operación y mantenimiento de la plataforma de big data a través de herramientas y procesos automatizados;
4. encontrado en la aplicación de la plataforma de big data;
Cualificaciones:
1. Más de tres años de experiencia laboral en operación y mantenimiento de big data, preferiblemente aquellos con experiencia en grandes empresas de Internet. Licenciatura de tiempo completo o superior;
2. Competente en al menos un lenguaje de desarrollo, preferiblemente con experiencia en el desarrollo de lenguajes Java o Python;
3. Ecología de Hadoop y almacenamiento en caché de alto rendimiento y experiencia práctica, incluidos, entre otros, Hadoop, HBase, Hive, Presto, Kafka, Spark, Yarn, Flink, Logstash, Flume, ClickHouse, etc.
4. Se prefieren aquellos que estén familiarizados con bases de datos relacionales comunes como Mysql, competentes en la escritura de declaraciones SQL y aquellos con experiencia en aplicaciones de bases de datos distribuidas nosql y ajuste de rendimiento.
5. el entorno Linux, capaz de utilizar scripts de shell;
6. Tener un gran interés en la tecnología de big data y desarrollarse en la dirección de big data;
7. , ejecución y servicio Conciencia, capacidad de aprendizaje y resistencia al estrés;
8. Tener buenas habilidades de comunicación, iniciativa y sentido de responsabilidad.
Descripción de Responsabilidades Específicas del Ingeniero de Operación y Mantenimiento de Big Data 4
Responsabilidades:
1 Responsable del mantenimiento diario, monitoreo, manejo de excepciones y otros trabajos de el clúster de big data para garantizar el funcionamiento estable del clúster
2. Responsable de la gestión de lotes y la operación y mantenimiento de big data
3. gestión de recursos y optimización del rendimiento del clúster de big data;
4. Comprender profundamente la arquitectura de la plataforma de datos, descubrir y resolver fallas importantes y cuellos de botella de rendimiento, y construir una plataforma de datos de primera clase; p>5. Hacer un seguimiento de las tecnologías de big data de vanguardia y continuar optimizando los clústeres de datos;
6. Se dará prioridad a los solicitantes con experiencia en la operación y mantenimiento de la plataforma de big data de Huawei;
Requisitos laborales:
Más de 1 año de experiencia en operaciones y desarrollo de big data;
2 Tener una buena base informática y de redes, estar familiarizado con el sistema de archivos, el kernel y el ajuste del rendimiento de Linux. , TCP/IP, HTTP y otros protocolos;
3. Familiarizado con la ecología de big data, experiencia relevante en operación y desarrollo (HDFS, Hive, Hbase, Sqoop, Spark, Flume, Zookeeper, ES, Kafka);
4. Competente en el uso de Shell, Python y otros lenguajes de programación para desarrollar herramientas de gestión de operación y mantenimiento relacionadas;
5. Buenos hábitos de redacción de documentos oficiales;
Descripción de Responsabilidades Específicas del Ingeniero de Operación y Mantenimiento de Big Data 5
Responsabilidades:
1. Responsable de la construcción interna de la empresa y de los proyectos de cluster de Big data, programación de tareas, monitoreo y alerta temprana. y mejora continua de la plataforma de big data para garantizar la estabilidad y la seguridad;
2. Responsable de la planificación de la capacidad del clúster, la expansión, la optimización del rendimiento del clúster, la inspección diaria y la respuesta de emergencia. Estar de servicio y participar en el diseño de la arquitectura y mejora de la infraestructura de big data;
3. Estudio en profundidad de las tecnologías de operación y mantenimiento relacionadas con el negocio de big data, y exploración de nuevas tecnologías de operación y mantenimiento y direcciones de desarrollo.
Requisitos:
1. Familiarizado con las operaciones básicas de comandos de Linux y capaz de escribir scripts de Shell de forma independiente para la operación y el mantenimiento diarios del servidor.
2. en el ecosistema Hadoop, instalación y optimización de Kafka, Zookeeper, Hbase, Spark;
3. Familiarizado con equipos de software y hardware, principios de red y amplia experiencia en implementación, optimización del rendimiento y operación y mantenimiento de plataformas de big data. ;
4. Trabajar de forma concienzuda y responsable, con gran capacidad de aprendizaje, capacidad práctica y capacidad para analizar y resolver problemas;
5. , herramientas de operación y mantenimiento, HA y software de equilibrio de carga para completar tareas
6. Familiarizado con el ajuste de máquinas virtuales JVM;