¿Cómo se construye Spark SQL?

Descargue y descomprima el paquete binario Spark en una máquina *nux, reemplace la parte '/users/local machine/downloads/' de este código con su propia ruta, esa es la lista.

Máquina para ejecutar código SparkSQL. En este programa, creé un buen sqlContext y la siguiente parte es el tutorial de SparkSQL. Esta es la nueva versión después de que actualicé la versión 1.3.

El programa modificado es, como era de esperar, la versión 1. Así es como se usa x.

PD: Por cierto, esta es una API de Python, no de Scala.

Importar sistema operativo

Importar sistema

Importar rastreo

La ruta de la carpeta de origen de Spark

OS. environ[' SPARK _ HOME ']= "/user/地机/下载/SPARK-1 . 3 . 0-bin-Hadoop 2.4 "

#Agregar pyspark a la ruta de Python

sys ruta . append("/user/手机/下载/spark-1 . 3 . 0-bin-Hadoop 2.4/python/")

sys ruta . Luji/Descargar/spark-1 . 0-bin-Hadoop 2.4/python/lib/py4j-0 8 2 1-src ")

#Intente importar el modelo requerido.

Pruebe:

Importar SparkContext desde pyspark

Importar SparkConf desde pyspark

Importar SQLContext desde pyspark.sql, línea

p>

Imprimir("El módulo Spark se importó correctamente")

Excepto ImportError como e:

print("No se puede importar el módulo Spark {}".format(traceback .format_exc( )))

Salida del sistema (1)

#Configurar entorno Spark

conf = SparkConf(). setAppName("miAplicación"). setMaster("local")

sc = SparkContext(conf=conf)

sqlContext = SQLContext(sc)