官网:http://spark.apache.org/
spark是一个更快的快速而稳定的用于大规模数据处理的引擎
特点:
1、速度上,在内存中处理比Hadoop快100倍以上,在磁盘上处理hadoop块10倍以上,因为saprk有更先进的DAG执行引擎,能提供基于内存的计算模式。
2、更好用。能够运用Java/Scala/Python和R语言快速的编写应用程序,提供超过80个高品质的操作接口。
3、普适性。能够支持SQL、流数据、机器学习和复杂的分析处理。
4、能在多种基础环境上运行。刻在Hadoop、Mesos、独立模式和云上运行。支持数据源有HDFS、Cassandra,Hbase和S3.
时间: 2024-10-12 22:06:14