Spark学习笔记——在集群上运行Spark

Spark运行的时候，采用的是主从结构，有一个节点负责中央协调， 调度各个分布式工作节点。这个中央协调节点被称为驱动器（ Driver） 节点。与之对应的工作节点被称为执行器（ executor） 节点。

所有的 Spark 程序都遵循同样的结构：程序从输入数据创建一系列 RDD， 再使用转化操作派生出新的 RDD，最后使用行动操作收集或存储结果 RDD 中的数据。

驱动器程序在 Spark 应用中有下述两个职责：1.把用户程序转为任务 2.为执行器节点调度任务

执行器进程有两大作用： 第一，它们负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程； 第二，它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供内存式存储。