Spark运行原理及RDD解密

Spark是分布式内存计算框架,而不是分布式内容存储框架,搭配tachyon分布式内存文件系统,会更加有效果。

在文件模式下,spark比hadoop快10倍,在内存计算模式下,快100倍!

下面是一些

1 spark是分布式 基于内存 特别适合于迭代计算的计算框架

2 mapReduce就两个阶段map和reduce,而spark是不断地迭代计算,更加灵活更加强大,容易构造复杂算法。

3 spark不能取代hive,hive做数据仓库存储,spark sql只是取代hive的计算引擎,成为分析平台,hadoop作为存储平台

4 spark中间数据可以在内存也可以在磁盘

5 partition是一个数据集合

6 注意:初学者执行多个步骤要注意分步检验,不然不知哪里错了

7 var data = sc.textFile("/user") 不必写hdfs:// ,根据上下文判断

8 读文件得到HadoopRDD,去掉文件中索引,得到MapPartitionsRDD,这样一系列分片的数据分布在 不同的机器。

9 移动计算而不是移动数据

移动计算表示分布到各个机器上,分别计算自身负责的那部分数据,而不是把数据从各个机器上移动来进行计算。

计算完后进行数据汇总。

时间: 2024-11-03 00:46:35

Spark运行原理及RDD解密的相关文章

Spark3000门徒第七课Spark运行原理及RDD解密总结

今晚听了王家林老师的第七课Spark运行原理及RDD解密,课后作业是:spark基本原理,我的总结如下: 1 spark是分布式 基于内存 特别适合于迭代计算的计算框架 2 mapReduce就两个阶段map和reduce,而spark是不断地迭代计算,更加灵活更加强大,容易构造复杂算法. 3 spark不能取代hive,hive做数据仓库存储,spark sql只是取代hive的计算引擎 4 spark中间数据可以在内存也可以在磁盘 5 partition是一个数据集合 6 注意:初学者执行多

Spark运行原理【史上最详细】

https://blog.csdn.net/lovechendongxing/article/details/81746988 Spark应用程序以进程集合为单位在分布式集群上运行,通过driver程序的main方法创建的SparkContext对象与集群交互. 1.Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源(cpu.内存等) 2.Cluster manager分配应用程序执行需要的资源,在Worker节点上创建Executor 3.S

Spark运行原理解析

前言: Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor.Spark Application一般都是在集群中运行,比如Spark Standalone,YARN,mesos,这些集群给spark Application提供了计算资源和这些资源管理,这些资源既可以给executor运行,也可以给driver program运行.根据Spark Application的driver program是否在资源集群中运行

Spark运行原理和RDD解析(DT大数据梦工厂)

Spark一般基于内存,一些情况下也会基于磁盘 Spark优先会把数据放到内存中,如果内存实在放不下,也会放到磁盘里面的 不单能计算内存放的下的数据,也能计算内存放不下的数据 实际如果数据大于内存,则要考虑数据放置策略和优化算法,因为Spark初衷是一寨式处理 小到5~10台的分布式大到8000台的规模,Spark都能运行 大数据计算问题:交互式查询(基于shell.sparkSQL).批处理.机器学习和计算等等 底层基于RDD,分布式弹性数据级,支持各种各样的比如流处理.SQL.SparkR等

spark运行原理

一.Spark专业术语定义 二. Spark的任务提交机制 一.Spark专业术语定义 从以下十五个方面描述spark概念. 1  application: spark应用程序 2  Driver:驱动程序 3  Cluster Mannger:集群管理器 4 Executor: 计算器 5 Worker: 计算节点 6 RDD: 弹性分布式数据集 7 窄依赖 8 宽依赖 9 DAG: 有向无环图 10 DAG Scheduler:有向无环图调度器 11 Task Scheduler: 任务调度

Spark:RDD的设计与运行原理

# Spark:RDD的设计与运行原理 ## 1.RDD设计背景在实际应用中,存在许多迭代式算法和家忽视数据挖掘工具,这些应用场景的共同之处是,不同计算阶段之间会重用中间结果,即下一个阶段的输出结果会作为下一个阶段的输入.但是,目前的MapReduce框架都是把中间结果写入到HDFS中,带来了大量的数据复制.磁盘IO和序列化开销.虽然类似Pregel等图形计算框架也是将结果保存在内存中.但是,这些框架只能支持一些特定的计算模式,并没有提供一种通用的数据抽象.RDD就是为了满足这种需求出现的,它提

【转载】Spark系列之运行原理和架构

参考 http://www.cnblogs.com/shishanyuan/p/4721326.html 1. Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码: lDriver:Spark中的Driver即运行上述Application的main()函数并且创建SparkCon

【转载】Spark运行架构

1. Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码: lDriver:Spark中的Driver即运行上述Application的main()函数并且创建SparkContext,其中创建SparkContext的目的是为了准备Spark应用程序的运行环境.在Spark中由S

Spark入门实战系列--4.Spark运行架构

[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 1. Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码: lDriver:Spark中的Driver即运行上述Application的main()函数并且创建SparkContext