课程观看地址:http://www.xuetuwuyou.com/course/62
课程出自学途无忧网:http://www.xuetuwuyou.com
一、软件版本
Centos6.5、VMware 10
CDH5.2.0(Hadoop 2.5.0)
Hive-0.13
sqoop-1.4.5
二、学完课程之后,您可以:
①、一个人搞定企业Hadoop平台搭建和运维工作;界面化高效运维和监控。
②、玩转Mapreduce编程;
③、玩转Hive使用
④、玩转Sqoop
⑤、独自搞定Hadoop平台的离线分析、统计的工作。成为高端技术人才!
三、课程大纲
1、分布式和传统单机模式
2、Hadoop背景和HDFS详解
3、Mapreduce工作原理剖析
4、Cloudera Manager5.2.0 安装
5、CDH5.2.0用Parcels方式离线安装
6、CM下集群服务管理
7、CM下集群主机管理和Hadoop作业调度策略
8、Hadoop fs 命令详解
9、第二代MR——Yarn原理剖析
10、Linux下Eclipse及Hadoop插件安装配置
11、【MR开发】常用API、官方examples包、WordCount改造
12、【MR开发】以WordCount为例剖析Map-Reduce全过程
13、【MR开发】实战,地区每日PV计算
14、【MR开发】实战,地区每日UV计算(去重模式、多Job依赖)
15、【MR开发】一个MR含多个依赖Job的开发实现
16、Hadoop坏Block处理
17、Hadoop存储均衡和单节点多磁盘间存储均衡
18、Hive产生背景和架构原理
19、Hive服务添加和元数据管理
20、Hive托管表、外部表、分区表、存储结构
21、Hive ql语法详解一
22、Hive ql语法详解二,Cli、字段类型、overwrite
23、Hive企业代码案例分享和hive -e工具封装一
24、hive -e工具封装二
25、Hive UDF开发和和JDBC访问方式
26、抽取Mysql表数据到Hive之Sqoop使用
27、Sqoop进阶使用
28、【电商日志分析】加载日志文件到Hive分区表
29、【电商日志分析】业务需求说明
30、【电商日志分析】会话信息分析统计
31、【电商日志分析】UV/PV/登录人数/游客数/访问时长/二跳率/独立IP数/会话数统计
32、快速理解ETL和数据仓库
33、Namenode HA实现