Spark 1.X 大数据视频教程

课程下载地址:链接:http://pan.baidu.com/s/1kTggcb9密码: 9mfn

网盘失效的话,请加QQ:3113533060

课程内容:

第一周 Spark生态系统概述与编程模型

Spark生态系统概述

回顾Hadoop MapReduce

Spark运行模式

RDD

Spark运行时模型简介

缓存策略介绍

transformation

action

lineage

容错处理

宽依赖与窄依赖

集群配置

第二周 深入Spark内核

Spark术语解释

集群概览

核心组件

数据本地性

常用RDD

任务调度

DAGScheduler

TaskScheduler

Task细节

广播变量

累加器

性能调优

第三周 Spark on Yarn & Spark as a service

Spark on Yarn原理

Spark on Yarn实践

JobServer架构

JobServer API介绍

JobServer配置与部署

第四周 Spark Streaming原理与实践

DStream

数据源

无状态transformation与有状态transformation

checkpoint

容错

性能优化

第五周 Shark与Spark SQL

Shark数据模型

Shark数据类型

Shark架构

Shark部署

缓存(分区)表

SharkServer

Shark与Spark结合

Spark SQL架构

Parquet支持

DSL

SQL on RDD

Hive支持

UDF

JDBC Server

第六周 Machine Learning on Spark

LinearRegression

K-Means

Collaborative Filtering

第七周 Spark多语言编程

Python简介

PySpark API

使用Python编写Spark程序

Spark with Java

第八周 图计算GraphX

现存的图计算框架

Table Operators

Graph Operators

GraphX设计

第九周 Tachyon原理与实践

Tachyon原理与架构

Tachyon实践

第十周 SparkR

SparkR原理介绍

安装配置与运行

课程目录:

观看说明(必看)

课时1、培训须知

课时2、Spark生态系统概述与编程模型

课时3、Spark生态系统概述与编程模型(一)

课时4、Spark生态系统概述与编程模型(二)

课时5、Spark生态系统概述与编程模型(三)

课时6、Spark生态系统概述与编程模型(四)

课时7、第一周作业,请于9月21日晚12点前提交

课时8、资料

课时9、深入Spark内核(上)

课时10、深入Spark内核(下)

课时11、第二周作业,请于9月28日晚12点前提交

课时12、Spark on Yarn资料

课时13、JobServer资料

课时14、Spark on Yarn

课时15、Spark as a Service

课时16、第三周作业,请于10月5日晚12点前提交

课时17、Streaming资料

课时18、Spark Streaming(上)

课时19、Spark Streaming(下)

课时20、Streaming-1.x(变动)

课时21、第四周作业,请于10月12日晚12点前提交

课时22、Shark 与 Spark SQL资料

课时23、Shark(上)

课时24、Shark(下)

课时25、Spark SQL(上)

课时26、Spark SQL(下)

课时27、第五周作业,请于10月19日晚12点前提交

课时28、第六周课程资料

课时29、MLlib

课时30、Spark 1.x 变动说明

课时31、第六周作业,请于10月26日晚12点前提交

课时32、第七周资料

课时33、Spark多语言编程

课时34、补充说明

课时35、第七周作业,请于11月2日晚12点前提交

课时36、第八周资料

课时37、Tachyon(1)

课时38、Tachyon(2)

课时39、第八周作业,请于11月9日晚12点前提交

课时40、第九周资料

课时41、SparkR-Part1

课时42、SparkR-Part2

课时43、第九周作业,请于11月16日晚12点前提交

课时44、第十周资料

课时45、GraphX-Part1

课时46、GraphX-Part2

课时47、GraphX-Part3

课时48、第十周作业,请于11月23日晚12点前提交

时间: 2024-11-08 01:05:05

Spark 1.X 大数据视频教程的相关文章

Spark架构开发 大数据视频教程 SQL Streaming Scala Akka Hadoop

培训Spark架构开发! 从基础到高级,一对一培训![技术QQ:2937765541] --------------------------------------------------------------------------------------------------------------------------------------- 课程体系: 获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广,一直在线为你培训解答!): 获取视频资料和培训解答技术支持地址

Hadoop2.0、YARN技术大数据视频教程

基于Hadoop2.0.YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)课程分类:Hadoop适合人群:高级课时数量:81课时用到技术:基于协同过滤的推荐系统.基于HBase的爬虫调度库涉及项目:银行人民币查询系统.HBase编程实践及案例分析咨询qq:1840215592 课程内容简介本课程基于<基于Greenplum Hadoop分布式平台的大数据解决方案>Hadoop部分的基础课程来进行扩展延伸,主要内容分为以下四部分:一.对Had

Hadoop实战视频教程完整版 完整的Hadoop大数据视频教程

分享一套迪伦老师的完整的Hadoop实战视频教程,教程从学习Hadoop需要的数据库.Java和Linux基础讲起,非常适合零基础的学员,课程最后结合了实战项目演练,理论结合实战,深入浅出,绝对是当前最为完整.实战的Hadoop教程. <Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:230课时 用到技术:部署Hadoop集群 涉及项目:京东商城.百度.阿里巴巴 咨询QQ:1337192913(小公子)

大数据视频教程合集

视频课程包含:356G 十八掌大数据就业班,数据挖掘,高级视频教程,大数据项目实战,大数据企业架构师精品课程(大数据篇),大数据[极限班培训],Java菜鸟学习大数据,20170328传智播客段海涛老师八天完全攻克Hadoop视频教程: 目录 十八掌大数据就业班 数据挖掘 高级视频教程 大数据项目实战 大数据企业架构师精品课程(大数据篇) 大数据[极限班培训] Java菜鸟学习大数据 20170328传智播客段海涛老师八天完全攻克Hadoop视频教程 获取方式: 关注微信公众号:博涵大数据 或者

掌握Spark机器学习库 大数据开发技能更进一步 高清无密

掌握Spark机器学习库 大数据开发技能更进一步 "大数据时代"已经不是一个新鲜词汇了,随着技术的商业化推广,越来越多的大数据技术已经进入人们的生活.与此同时,大数据技术的相关岗位需求也越来越多,更多的同学希望向大数据方向转型.本课程主要讲解Spark机器学习库,侧重实践的讲解,同时也以浅显易懂的方式介绍机器学习算法的内在原理.学习本课程,可以为想要转型大数据工程师或是入行大数据工作的同学提供实践指导作用.欢迎感兴趣的小伙伴们一起来学习. 第1章 初识机器学习 在本章中将带领大家概要了

Hadoop大数据视频教程_零基础实战培训(新增)

Hadoop大数据零基础高端实战培训系列配文本挖掘项目课程分类:大数据适合人群:初级课时数量:230课时+90课程更新程度:完成用到技术:部署Hadoop集群 涉及项目:京东商城.百度.阿里巴巴 咨询qq:1840215592 大数据Hadoop实战视频教程就从最基础的Java语法.数据库.Linux讲起到深入Hadoop大数据技术所必须的所有知识,设计Hadoop生态圈所有常用组件,包括但不限于:Greenplum数据库.HBase.Hive.Pig.ZooKeeper.Chukwa.Hado

底层战详解使用Java开发Spark程序(DT大数据梦工厂)

Scala开发Spark很多,为什么还要用Java开发原因:1.一般Spark作为数据处理引擎,一般会跟IT其它系统配合,现在业界里面处于霸主地位的是Java,有利于团队的组建,易于移交:2.Scala学习角度讲,比Java难.找Scala的高手比Java难,项目的维护和二次开发比较困难:3.很多人员有Java的基础,确保对Scala不是很熟悉的人可以编写课程中的案例预测:2016年Spark取代Map Reduce,拯救HadoopHadoop+Spark = A winning combat

大数据视频教程下载|零基础大数据就业课程(零到大神一“部”之遥)

零基础大数据就业课程(零到大神一"部"之遥)网盘地址:https://pan.baidu.com/s/1Bn4nVWlfG6xz6qEC-Ua0sQ 密码: tbny备用地址(腾讯微云):https://share.weiyun.com/52QfmKi 密码:njwgdd 课程分2大模块,14个课程,65章,共计856课时! 一.Java模块课程课程一.[大数据必知必会]- Java负基础扫盲篇课程二.[大数据必知必会]- Java OOP面向对象编程课程三.[大数据必知必会]- My

hadoop、spark/storm等大数据相关视频资料汇总下载

小弟不才,工作中也用到了大数据的相关东西,一开始接触的时候,是通过买来的教学视频入的门.这两天整理了一下自己的视频资料,供各位进行下载. 文档截图: