Spark视频教程|Spark从入门到上手实战

Spark从入门到上手实战
网盘地址:https://pan.baidu.com/s/1uLUPAwsw8y7Ha1qWGjNx7A 密码:m8l2
备用地址(腾讯微云):https://share.weiyun.com/55RRnmc 密码:8qywnp

课程是2017年录制,还比较新,还是有学习的价值的

课程简介:
Spark属于新起的基于内存处理海量数据的框架,由于其快速被众公司所青睐。Spark 生态栈框架,非常的强大,可以对数据进行批处理、流式处理、SQL 交互式处理及机器学习和Graphx 图像计算。目前绝大数公司都使用,主要在于 Spark SQL 结构化数据的处理,非常的快速,高性能。

基于Spark Core之上的流式处理和结构化数据查询,已被众多公司青睐,在企业中使用最广泛,很多大数据公司都在将以往RDBMS和 Hive中的数据处理,迁移使用Spark SQL。

课程目录:

第1章:SCALA编程(一)
1.大数据分析框架概要、Spark课程学习计划及建议
2.为什么学习SCALA语言及SCALA语言介绍和学习提纲
3.SCALA环境搭建及IDEA安装配置(JAVA安装、SCALA安装及IDEA安装))
4.SCALA语言HelloWorld及安装总结(作业LINUX系统安装)
5.SCALA中变量的声明(两种方式)
6.SCALA中数据类型及操作符
7.IF语句及WHILE循环、循环表达式及FOR基本使用
8.FOR循环深入讲解及yield功能
9.SCALA中的Breaks使用
10.函数的定义(如何确定一个函数)
11.函数的定义(各种情况下函数定义与使用)
12.函数的作用域、默认参数函数和名称参数函数使用详解
13.变长参数函数和内部函数使用详解
14.匿名函数定义与使用
15.高阶函数定义与使用
16.深入高阶函数的使用

第2章:SCALA编程(二)
17.数组Array和ArrayBuffer
18.SCALA中集合类Collections概要讲解
19.集合类之List和ListBuffer创建与基本操作
20.集合List中常见高阶函数使用详解(一)
21.集合List中常见高阶函数使用详解(二)
22.SCALA中元组创建与使用
23.集合类之Set及常见函数使用
24.集合类之Map创建与遍历
25.集合类综合应用:实现WordCount词频统计
26.类Class的定义与创建对象
27.对象object及apply方法
28.类class的构造方法(主构造方法和附属构造方法)
29.SCALA中的Trait初步使用
30.SCALA中异常的处理及模式匹配初步使用
31.模式匹配之匹配类型、元组

  1. CaseClass及在模式匹配中使用
    33.Option(Some、Node)及模式匹配使用
    34.SCALA中隐式转换详解(结合案例)
    35.SCALA中隐式参数详解(结合案例)
    36.综合回顾复习SCALA的所有知识要点

第3章:Spark Core(一)
37.SPARK框架学习的基础及与Spark初步认识
38.Spark Feature详解及处理数据三步走策略
39.Spark 学习资源、源码下载及编译详解
40.SPARK 安装目录及使用的方便优点
41.Local Mode配置、启动spark-shell及运行程序测试
42.编程实现WordCount程序(类比MapReduce实现思路)
43.Spark Local Mode深入剖析详解
44.使用IDEA创建MAVEN工程及配置依赖
45.编写Spark Application开发模板
46.深入WordCount程序分析(sortByKey和top函数使用)
47.如何导入Spark源码至IDEA中(Windows下)
48.Spark Standalone 集群架构、配置、启动深入详解及运行spark-shell测试
49.浅析Spark Application运行Cluster组成及spark-submit提交应用
50.深入剖析Spark Application中Job、Stage和Task关系
51.案例:对原始数据进行清洗过滤及实现每日浏览量统计
52.案例:实现每日访客数统计及使用HiveQL进行结果验证、打包运行SparkStandalone集群

第4章:Spark Core(二)
53.Spark Application运行的Deploy Mode详解(结合案例演示)
54.使用spark-submit提交应用运行Standalone集群及性能调优
55.Spark Application运行的EventLog启用
56.Spark HistoryServer配置及使用
57.RDD是什么及创建方式
58.RDD操作类型及持久化详解
59.RDD中常用的Transformation和Action详解(一)
60.RDD中常用的Transformation和Action详解(二)
61.案例:分组排序TopKey实现及如何处理数据倾斜(分阶段聚合)
62.SparkOnYarn:运行SparkApplication在YARN上(编写脚本)
63.配置HIstoryServer及运行在YARN的两种Deploy Mode架构
64.官方案例:读取日志数据及正则解析(CASE CLASS)
65.官方案例:依据业务编码实现及熟悉RDD API
66.官方案例:其他业务编码实现测试及过滤数据
67.官方案例:RDD#top函数使用(自定义排序规则)及提交运行YARN集群
68.内核调度:Spark Job Scheduler详解(一)
69.内核调度:Spark Job Scheduler详解(二)

第5章:Spark SQL
70.SparkSQL的重要性及Spark2.x的生态圈
71.SparkSQL前世今生(Hive、Shark、SparkSQL)及初步使用说明
72.案例分析:基于DataFrame和SQL分析数据(一)
73.案例分析:基于DataFrame和SQL分析数据(二)
74.SparkSQL Introduction及处理数据的方式
75.SparkSQL与Hive集成配置详解
76.基于SQL和DSL方式分析处理Hive表的数据
77.SparkSQL中提供的spark-sql命令行的使用
78.SparkSQL中ThriftServer配置使用详解
79.SparkSQL性能优化及DataFrame是什么
80.SparkSQL读取多种数据数据实例
81.DataFrame实现多数据源数据的关联分析
82.SparkSQL读取AVRO格式数据详解
83.SparkSQL读取CSV或TSV格式数据详解
84.自定义schema的方式转换RDD为DataFrame及直接运行SQL在数据文件上
85.SparkSQL中自带函数的使用及如何自定义UDF、注册和使用
86.Spark 2.x中SparkSQL基本使用(一)
87.Spark 2.x中SparkSQL基本使用(二)

第6章:Spark Streaming及Kafka
88.大数据处理的类型、流式计算的框架及Streaming内容概要
89.SparkStreaming是什么、使用案例及数据处理流程
90.官方Example案例:词频统计运行详解
91.SparkStreaming编程实现从Socket读取数据实时统计分析
92.深入SparkStreaming运行的工作原理
93.深度剖析batch interval和block interval及性能优化
94.编程模型:从源码深入剖析DStream(StreamingContext、DStream操作)
95.深入详解DStream#foreachRDD使用
96.Apache Kafka介绍及架构详解
97.Apache Kafka安装、部署、启动
98.创建Topic、发送和消费数据及深入理解KAFKA数据的存储
99.剖析分享Kafka企业技术架构及使用(结合Kafka Meetup分享)
100.SparkStreaming与Flume和Kafka两种集成方式详解
101.采用Pull方式与Kafka集成进行数据分析处理
102.状态Stateful实时统计updataStateByKey使用
103.SparkStreaming实时分析应用的高可用性
104.实时窗口Window统计详解(reduceByKeyAndWindow使用)

第7章:基于Java和Python的Spark编程
105.基于Java和Python语言的Spark开发的提纲及学习方式
106.基于JAVA语言编写Spark Application编程模板、读取数据及测试监控
107.案例WordCount:结合源码编码实现JAVA语言编程
108.案例WordCount:对统计的词频进行降序排序(涉及TopKey)及作业说明
109.案例分析:基于JAVA实现如何将RDD转换为DataFrame
110.案例分析:使用SQL进行数据分析
111.案例分析:使用DSL进行数据分析及自定义UDF注册使用
112.SparkStreaming基于JAVA实现从Socket读取数据WordCount统计及测试
113.结合案例实现JAVA编程DStream#foreachRDD和从KAFKA读取数据
114结合案例讲解基于JAVA的updateState和window编程及作业
115.Python介绍、Windows下2.7的安装及测试
116.PyCharm安装、设置及创建工程和测试
117.PySpark第三方包的安装配置
118.基于Python的SparkCore编程模板
119.并行化本地集合创建RDD及RDD初步使用
120.Python中函数的定义及匿名函数lambda使用
121.PySpark实现WordCount程序及测试
122.PySpark实现从HDFS读取数据实现WordCount(属性配置)
123.深入WordCount程序之SortByKey
124.深入WordCount程序之TopKey
125.Anaconda2版本、安装、配置、使用及测试(针对pyspark编程)
126.Spark自带交互式pyspark命令的使用
127.pyspark底层架构及如何提交pyspark程序运行

第8章、SparkCore项目实战 (2017.8.24新增,加量不加价)

128.项目实战:离线数据分析平台架构及处理处理流程
129.项目实战:如何将RDD数据保存到HBase表中
130:项目实战:如何从HBase表中读取数据
131:项目实战:日志数据ETL保存到HBase表(一)
132:项目实战:日志数据ETL保存到HBase表(二)
133:项目实战:日志数据ETL保存到HBase表(三)
134:项目实战:日志数据ETL保存到HBase表(四)
135:项目实战:从HBase表读取数据进行新增用户统计分析(一)
136:项目实战:从HBase表读取数据进行新增用户统计分析(二)
137:项目实战:从HBase表读取数据进行新增用户统计分析(三)
138:项目实战:从HBase表读取数据进行新增用户统计分析(四)
139:项目实战:部署运行(CLASSPATH设置)及Executor内存使用优化

原文地址:http://blog.51cto.com/13770026/2126013

时间: 2024-11-05 17:25:19

Spark视频教程|Spark从入门到上手实战的相关文章

Spark从入门到上手实战

Spark从入门到上手实战 课程学习地址:http://www.xuetuwuyou.com/course/186 课程出自学途无忧网:http://www.xuetuwuyou.com 讲师:轩宇老师 课程简介: Spark属于新起的基于内存处理海量数据的框架,由于其快速被众公司所青睐.Spark 生态栈框架,非常的强大,可以对数据进行批处理.流式处理.SQL 交互式处理及机器学习和Graphx 图像计算.目前绝大数公司都使用,主要在于 Spark SQL 结构化数据的处理,非常的快速,高性能

跟风舞烟学大数据可视化-Echarts从入门到上手实战

跟风舞烟学大数据可视化-Echarts从入门到上手实战 课程观看地址:http://www.xuetuwuyou.com/course/180 课程出自学途无忧网:http://www.xuetuwuyou.com 课程讲师:风舞烟 课时数:三个模块,共70课时   一.课程特色: 1.最全的Echarts课程讲解     70学时课时量,360度全方位,无死角的课程设计,让你通透Echarts可视化技术 2.最适合小白学员学习的课程,没有之一     只要你了解一点基本的Html,CSS,Ja

如何学好spark大数据-从入门到上手

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎.Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点:但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法. 至于如何学习,当然就是看书学习了,纸质书

SpringBoot从入门到上手实战

课程下载: https://pan.baidu.com/s/1ojz_nSIvJ2b0XcVv9bRxiw 提取码: kjd3 本课程从SpringBoot的最基础的安装.配置开始到SpringBoot的日志管理.Web业务开发.数据存储.数据缓存,安全控制及相关企业级应用,全程案例贯穿,案例每一步的都会讲解实现思路,全程手敲代码实现.让学员不仅能够掌握SpringBoot的应用,还能了解背后的原理,学习完本课程后,能够让学员动手独立完成一个中小型的SpringBoot Web应用开发. 课程大

大数据10小时入门Hadoop+HDFS+YARN+MapReduce+Spark视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

基于大数据技术之电视收视率企业项目实战(hadoop+Spark)张长志(项目实战)

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

走在大数据的边缘 基于Spark的机器学习-智能客户系统项目实战(项目实战)

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

爱创课堂2016年Angular.JS前端开发从入门到上手企业开发视频教程(完整版)

资源网盘: 2016年Angular.JS从入门到上手企业开发 链接: https://pan.baidu.com/s/1dF2vBzV 密码: 3hbk 免费学习网站地址:http://www.icketang.com/ AngularJS是为了克服HTML在构建应用上的不足而设计的.HTML是一门很好的为静态文本展示设计的声明式语言,但要构建WEB应用的话它就显得乏力了.所以我做了一些工作(你也可以觉得是小花招)来让浏览器做我想要的事.AngularJS试图成为WEB应用中的一种客户端的解决

Spark Thrift JDBCServer应用场景解析与实战案例

[TOC] Spark Thrift JDBCServer应用场景解析与实战案例 1 前言 这里说的Spark Thrift JDBCServer并不是网上大部分写到的Spark数据结果落地到RDB数据库中所使用的JDBC方式,而是指Spark启动一个名为thriftserver的进程以供客户端提供JDBC连接,进而使用SQL语句进行查询分析. http://spark.apache.org/docs/2.3.3/sql-programming-guide.html#running-the-th