Spark1.0.0 学习路线

接触了Spark也快有半年了，版本从0.8.0到现在的1.0.0SNAPSHOT，从头到尾被spark这个优秀的框架深深吸引，也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开，可以看出随着Spark技术的完善，越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程，觉得很有必要整理一份学习路线，对所学的内容加以沉淀，同时也为同行作为参考。

因为Spark1.0.0即将发布，增加了很多特性，所以决定修改以前的博文，全都采用Spark1.0.0，计划写40-50篇左右的博文，尽量在7月底完成。

笔者在百度云盘上提供了本人编译的spark1.0.0-SNAPHOT的部署包，还提供了支持Tachyon0.4.1的部署包。实验环境所涉及的软件有：

hadoop 2.2.0

Scala 2.10.4

SBT 0.12.3

Maven 3.0.4

1：原理篇

Spark1.0.0 运行架构基本概念

Spark1.0.0 编程模型

  • Spark1.0.0 编程模型解析

Spark Streaming运行架构基本概念

2：运维篇

部署篇

监控篇

  • Spark1.0.0 UI监控解读
  • 用ganglia监控Spark1.0.0

优化篇

3：Spark生态环境

Spark1.0.0 生态环境简介

Spark on SQL 简介

4：Spark开发

Spark1.0.0 多语言编程

Spark1.0.0 多语言编程之Scala实现

Spark1.0.0 多语言编程之Python实现

5：源码研读

Spark1.0.0 源码研读环境搭建

一张图看懂Spark源码

6：杂记

为什么学习Spark

关于SPARK_WORKER_MEMORY和SPARK_MEM

在csdn上发布一下这博客，看看效果，如果好的话，将163.com上博客搬过来。因为要修改的东西太多，有点犹豫不决。

Spark1.0.0 学习路线

时间： 2024-10-10 12:15:28

Spark1.0.0 学习路线的相关文章

React Native 从零到高级- 0基础学习路线

React Native QQ交流群(美团,饿了么,阿里的大神都在里面):576089067 React Native  从0 基础到高级 视频教程正在重录中,要了解最新进度可以关注菜鸟窝微信公众号(下图),旧版视频教程可以点击这里在线学习 学习路线(文章版),江清清老师出品,点击这里关注江清清 ,同时可以关注一下他的课程 基础入门:1.React Native For Android环境配置以及第一个实例2.React Native开发IDE安装及配置3.React Native应用设备运行(

VueJs2.0建议学习路线

最近VueJs确实火了一把,自从Vue2.0发布后,Vue就成了前端领域的热门话题,github也突破了三万的star,那么对于新手来说,如何高效快速的学习Vue2.0呢. 既然大家会看这篇文章,那么肯定是vue的学习者了,或是遇到的瓶颈,或者刚刚开始学,不知道如何快速起步,本篇文章将带领大家在最短的时间内构件一个学习Vue的学习路线 Vuejs的作者尤雨溪尤大也写过一篇关于新手学习vue路径的文章新手向:Vue 2.0 的建议学习顺序 百度vuejs搜索的是vue1的文档,推荐大家直接上2.0

大数据新手的0基础学习路线，从菜鸟到高手的成长之路

大数据作为一个新兴的热门行业,吸引了很多人,但是对于大数据新手来说,按照什么路线去学习,才能够学习好大数据,实现从大数据菜鸟到高手的转变.这是很多想要学习大数据的朋友们想要了解的. 今天我们就来和大家分享下大数据新手从0开始学习大数据,实现菜鸟到高手的转变的学习路线.希望能够帮助想要学习大数据的朋友. 如果你想要学好大数据最好加入一个好的学习环境,可以来这个Q群529867072 这样大家学习的话就比较方便,还能够共同交流和分享资料 以下是大数据新手学习路线的正文: Linux:因为大数据相关软

spark1.1.0学习路线

经过一段时间授课,积累下不少的spark知识,想逐步汇总成资料,分享给小伙伴们.对于想视频学习的小伙伴,可以访问炼数成金网站的<spark大数据平台>课程,每周的课程是原理加实际操作.最新的课程是第3期,至于费用,越认真学习,学习成本越低. 从Spark1.1.0开始,重新规划了一下学习路线,由于涉及的内容比较多,会不断的完善其中的内容,争取在Spark1.2.0形成一个完整的体系,最迟到Spark1.3.0.笔者计划在未来的一年时间内,将大部分的空闲时间都花在Spark学习路线的完善之上.在

Lucene6.6.0 案例与学习路线

工头让我去学习Lucene这个全文检索工具,为项目搜索引擎的开发打下基础.花了一周的时间熟悉了Lucene基本API的使用并写了一些案例,在这里先分享一下关于Lucene的学习心得. 1.首先建议参看这篇精简的博文,对Lucene的索引创建和检索功能有个了解.https://www.ibm.com/developerworks/cn/java/j-lo-lucene1/ 需要注意这个博文的jar包是Lucene2.0.0比较老. 2.然后阅读另外一篇比较细致的博文:http://blog.csd

0基础大数据学习路线及各阶段学习书籍推荐

要学习大数据,你至少应该知道大数据是什么,大数据将被用在什么领域.通过对大数据的一般理解,你可以了解你是否对大数据感兴趣. 01 大数据的零基础学习有以下步骤: 1.理解大数据理论 2.计算机程序设计语言学习 3.主要数据相关课程 4.实战项目 02 阶段学习推荐书籍: 阶段一.0基础学习打基础:java语言. Linux java可以说是大数据最基础的编程语言,我接触的很大一部分的大数据开发都是从Jave Web开发转岗过来的. 推荐书籍: <Effective Java中文版> 如果你想要

Java新手学习路线，0基础学习Java怎样效率更高？

Java是老牌编程语言,拥有扎实的群众基础和广阔的市场应用,从业人员薪资也普遍较高.很多人想要加入到Java开发行列,不过0基础学习Java怎样效率更高? 很多0基础学习Java的同学想知道怎样学习效率更高?小编以为,学习Java需要一个系统的过程,而根据你未来的职位方向不同,学习也各有侧重.目前来说,Java就业方向包括Web开发.大数据开发.Android开发以及各种后端服务开发领域,但不论你选择哪一个,都要从最基础的知识点学习. Java基础知识点多且杂,初学者在开始的时候需要认识什么是J

Spark1.0.0伪分布安装指南

?一.下载须知 软件准备: spark-1.0.0-bin-hadoop1.tgz   下载地址:spark1.0.0 scala-2.10.4.tgz    下载下载:Scala 2.10.4 hadoop-1.2.1-bin.tar.gz   下载地址:hadoop-1.2.1-bin.tar.gz jdk-7u60-linux-i586.tar.gz  下载地址:去官网下载就行,这个1.7.x都行 二.安装步骤 hadoop-1.2.1安装步骤,请看: http://my.oschina.

Spark1.0.0生态圈一览

Problem Description Chinachen is a football fanatic, and his favorite football club is Juventus fc. In order to buy a ticket of Juv, he finds a part-time job in Professor Qu's lab. And now, Chinachen have received an arduous task--Data Processing. Th