Instalación del entorno Hadoop-Scala-Spark
? Este artículo presenta principalmente el proceso de instalación del software básico de big data Hadoop-Scala-Spark y utiliza macOS, Linux y otros entornos de sistemas como ejemplos para practicar.
1. Antecedentes
2. Instalación del entorno de práctica (macOS)
Agregar más tarde
(4) Configurar el sitio principal. Dirección y puerto de xmlhdfs: vim/usr/local/cellar/Hadoop/3 0 0/liberec/etc/Hadoop/core-site . usr/local/celular/Hadoop/HDFS & mkdir/usr/local/Cellar/Hadoop/HDFS/tmp
Realice una copia de seguridad primero: CP/usr/local/cellar/Hadoop/3 0 . lib exec/etc/Hadoop/map red-site.xmlmapred-site-bak.
Reeditar: vim/usr/local/cellar/Hadoop/3 0 0/liberec/etc/Hadoop/map red-site . (7) Formatear el formato del sistema de archivos hdfs: hdfs namenode -format.
(8) Inicie y cierre el servicio hadoop:
/usr/local/Cellar/Hadoop/3 0 0/lib exec/start-DFS . gt; proceso demonio: NameNode, nodos de datos, NameNode auxiliar. Visite http://localhost:9870 en el navegador. Tenga en cuenta que el número de puerto es 9870, no 50070.
/usr/local/Cellar/Hadoop/3 . 0 . 0/libexec/start-yarn sh = >Proceso de servicio de Yarn: administrador de recursos, administradores de nodos y acceso a http:// en el navegador / localhost:8088 y http://localhost:8042.
/usr/local/Cellar/Hadoop/3 . /libexec/stop-DFS . sh
Nota: para hadoop3.0.0 instalado por brew, la ruta de hadoop que debe configurarse está en libexec; de lo contrario, el comando start-dfs.sh informará un error " Error: No se puede ejecutar hdfs-config".
Lo anterior es el proceso de instalación de hadoop-scala-spark en mac. Ayer fue la primera práctica en mac y fue un éxito único = & gt Espero que pueda ayudarte y conseguirlo. atención de seguimiento.
Si tiene alguna pregunta o encuentra algún problema, ¡deje un mensaje debajo del artículo! !
Spark abre el camino: https://spark.apache.org/docs/latest/quick-start.html