¿Cómo leer de forma remota datos HDFS en CDH Hadoop?
Sistema de archivos estático fs = null
estático {
Pruebe {
hadoop fs. El número de puerto predeterminado de defaultFS es 8020, que debe ser coherente con la configuración en el clúster.
conf.set("fs.defaultFS "," HDFS://dnode 1:8020/");
fs = sistema de archivos
} catch (IOException e) {
Log.error("¡No se puede inicializar el sistema de archivos!", e);
}
}
Bien, con esta simple línea, podemos leer datos HDFS. Además, cabe señalar que el host correspondiente a hadoop debe configurarse en el archivo del host en win para evitar errores al acceder al sistema de archivos. Siempre que se abran los pasos anteriores, se pueden agregar, eliminar y verificar los siguientes archivos y directorios en el sistema HDFS, y el contenido del archivo se puede leer y escribir. Sanxian no se escribirá aquí. Este es muy simple. Echemos un vistazo a la API del sistema de archivos.