Colección de citas famosas - Colección de firmas - ¿Cómo leer de forma remota datos HDFS en CDH Hadoop?

¿Cómo leer de forma remota datos HDFS en CDH Hadoop?

Configuración estática conf = new Configuration();

Sistema de archivos estático fs = null

estático {

Pruebe {

hadoop fs. El número de puerto predeterminado de defaultFS es 8020, que debe ser coherente con la configuración en el clúster.

conf.set("fs.defaultFS "," HDFS://dnode 1:8020/");

fs = sistema de archivos

} catch (IOException e) {

Log.error("¡No se puede inicializar el sistema de archivos!", e);

}

}

Bien, con esta simple línea, podemos leer datos HDFS. Además, cabe señalar que el host correspondiente a hadoop debe configurarse en el archivo del host en win para evitar errores al acceder al sistema de archivos. Siempre que se abran los pasos anteriores, se pueden agregar, eliminar y verificar los siguientes archivos y directorios en el sistema HDFS, y el contenido del archivo se puede leer y escribir. Sanxian no se escribirá aquí. Este es muy simple. Echemos un vistazo a la API del sistema de archivos.