¿Cuáles son las ventajas de la chispa?

Como estrella brillante de los motores de computación distribuida, Spark hereda las ventajas de la computación paralela distribuida de MapReduce y mejora las deficiencias obvias de MapReduce.

MapReduce es un cálculo basado en procesos, y los costos de programación de tareas y de inicio son muy altos. Además, los resultados intermedios del Mapa aterrizarán en el disco, y la E/S de red y la E/S de disco son muy frecuentes, con alta latencia y baja eficiencia de procesamiento, lo que no puede utilizar completamente la memoria.

Tanto el lado del mapa como el lado de la reducción requieren clasificación, lo que requiere relativamente tiempo y no es adecuado para cálculos iterativos, procesamiento interactivo (minería de datos) y procesamiento de transmisión (análisis de registros de clics). Satisfacer altas necesidades comerciales en tiempo real. La programación no es lo suficientemente flexible porque está escrita en Java y la cantidad de líneas de datos para codificar una tarea completa de MapReduce es mucho mayor que la cantidad de líneas de datos para implementar la misma función en Spark.