一、简介
spark的官网：http://spark.apache.org/
spark解决了什么问题？
我们都知道hadoop，hadoop以一个非常容易使用的编程模型解决了大数据的两大难题：
1）分布式存储hdfs；
2）分布式计算mapReduce；
但是hadoop也存在着一些问题，最主要的缺陷在于它的延迟比较严重，因为hadoop的mapReduce总是需要进行大量的I/O，即使是中间输出结果也需要通过I/O来保存到HDFS中并再次读取。如果是在大规模迭代的情况下hadoop的效率就更不忍直视了。
而spark的诞生弥补了mapreduce的问题，并迅速成为了Apache的顶级项目。
由于spark是基于内存计算的，极大地减少了计算过程的I/O操作，在大规模的迭代计算中它的计算速度是hadoop的100多倍。
spark的计算速度非常快，同时它支持scala、Python、Java以及R四种语言来编写spark应用，更加的易于使用。
spark核心组件
如图所示，spark主要包含了五块内容，在spark core的基础之上构建了4大组件
1、spark SQL：可以使用SQL来操作数据
文档地址：http://spark.apache.org/docs/latest/sql-programming-guide.html
2、spark stream：做流式计算的组件
文档地址：http://spark.apache.org/docs/latest/streaming-programming-guide.html
3、MLlib：spark用于数据挖掘的算法库
文档地址：http://spark.apache.org/docs/latest/ml-guide.html
4、graphx：用于图计算的算法库
文档地址：http://spark.apache.org/docs/latest/graphx-programming-guide.html
原文地址：https://www.cnblogs.com/lay2017/p/10047910.html