Optimización de Hadoop MapReduce y programador de recursos
Limitaciones
Todos los recursos se dividen proporcionalmente en diferentes colas.
Cada cola puede implementar una política de programación independiente.
Ventajas
Asignador
Programador de capacidad
Utilice el programador de capacidad en la configuración de Yarn-site.xml.
Cree capacidad-scheduler.xml en el directorio del archivo de configuración de Hadoop /usr/local/hadoop/etc/hadoop y agregue la siguiente información:
Descripción de la configuración
Programador justo
El propósito del programador justo es:
Método de configuración del programador justo
En el directorio de configuración de Hadoop /usr/local/Hadoop/etc / Agregue la siguiente información a Hadoop Yarn-site.XML:
Cree un nuevo archivo de configuración de programación justa fair-scheduler.xml utilizando la siguiente información:
La configuración anterior utiliza data_bi. nombre de usuario como nombre de cola para una programación justa.
Descripción del parámetro de Yarn-site.xml
Descripción del parámetro de Fair-scheduler.xml
Coloque todas las aplicaciones en una cola.
Todos los recursos se dividen en diferentes colas proporcionalmente.
Cada cola puede implementar una política de programación independiente.
Ventajas
Asignador
Programador de capacidad
Utilice el programador de capacidad en la configuración de Yarn-site.xml.
Cree capacidad-scheduler.xml en el directorio del archivo de configuración de Hadoop /usr/local/hadoop/etc/hadoop y agregue la siguiente información:
Descripción de la configuración
Programador justo
El propósito del programador justo es:
Método de configuración del programador justo
En el directorio de configuración de Hadoop /usr/local/Hadoop/etc / Agregue la siguiente información a Hadoop Yarn-site. XML:
Cree un nuevo archivo de configuración de programación justa fair-scheduler.xml utilizando la siguiente información:
La configuración anterior utiliza data_bi. nombre de usuario como nombre de cola para una programación justa.
Descripción del parámetro de Yarn-site.xml
Descripción del parámetro de Fair-scheduler.xml
Si se inicia Hadoop, no se pueden iniciar ambos nodos con nombre, namenode log Se mostrará el siguiente error:
Hadoop HDFS se inicia con root, por lo que el usuario de Hadoop no puede acceder al archivo, por lo que se pueden tomar las siguientes acciones para restaurarlo.