升级版深入浅出Hadoop实战开发(云存储、MapReduce、HBase实战微博、Hive应用、Storm应用)
http://www.ibeifeng.com/goods-488.html
咨询QQ2110053820
课程讲师：明义(robby)
课程分类：Hadoop
适合人群：初级
课时数量：35课时
用到技术：hadoop、MapReduce、hbase、hive
涉及项目：云存储、微博应用等
课程简介：
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、
可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多
个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方
式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop
依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
课程大纲：
01课程介绍，HDFS架构和原理，搭建CentOS开发环境
Hadoop背景
HDFS设计目标，应用场景，架构分析
使用Virtual安装CentOS虚拟机
虚拟机环境配置
02hdfs单机和集群的配置安装
Hadoop单机版安装和配置
Hadoop集群安装和配置
Hadoop命令行和WebUI的使用
03hdfs应用-云存储系统（1）
云存储系统介绍和基本架构
搭建Eclipse和Maven开发环境
使用Maven创建并配置Struts2应用
使用bootstrap搭建UI框架
04hdfs应用-云存储系统（2）
安装和配置Redis
用户管理模块开发
05hdfs应用-云存储系统（3）
gson介绍和使用实例
实现普通的文件上传，删除，下载
06hdfs应用-云存储系统（4）
实现基于HDFS的上传，下载和删除
HDFS小文件管理方式：SequenceFile和Har
07深入hdfs-NameNode和DataNode
hdfs的架构介绍
hdfs如何读写文件
FSImage和EditLog
Rack Awareness
hdfs基本管理
08深入hdfs-HDFS federation
HDFS节点管理
HDFS升级和回滚
HDFS Federation
如何使用ViewFS
09namenode HA
zookeeper配置
namenode HA(双机)安装和配置
10yarn和mapreduce
配置Yarn（单机和集群）
MapReduce的工作原理
第一个MapRedcue程序
Yarn命令行工具
11mapreduce应用-搜索提示（1）
工作原理介绍（Ajax）
使用JQuery的AutoComplete控件搭建UI
12mapreduce应用-搜索提示（2）
继承Mapreduce程序
使用Redis保存中间数据
如何对增量和全量数据进行统计
”潜在好友推荐“算法介绍
13mapreduce的采样工具和partitiion
采样和分区的工作原理
RandomSampler,InputSampler,IntervalSampler
TotalOrderPartitioner(全局排序)
14Map Join和Reduce Join
Reduce side join
Map side join
如何自定义数据类型
如何使用DistributedCache
15mapreduce应用-PageRank
PageRank算法详细讲解
如何用mapreduce实现PageRank算法
16,Hive入门
Hive的架构
CLI, Hive Server, HWI介绍
配置Hive，使用Mysql存储元数据
CLI的基本使用
17hive应用-搜索提示（1）
Tomcat日志解析
使用正则表达式解析Tomcat日志
在查询中使用正则表达式
18hive应用-搜索提示（2）
在hive查询中调用python脚本实现Redis插入
19HQL（1）
HQL基础：DDL，DML
数据类型：原子与集合
TextFile的默认编码及自定义编码
20HQL（2）
Hive查询
正则表达式，基本函数，集合函数，表函数
嵌套查询，case when语句，like和rlike
Groupby和Having等
21Hive自定义函数
如何编写自定义函数
在自定义函数中连接Redis
在自定义函数中使用CacheFile
HBase详细介绍
HBase的系统架构
HBase的表结构，RowKey，列族和时间戳
HBase中的Master，Region以及Region Server
使用HBase实现微博应用（1）
用户注册，登陆和注销的设计
搭建环境 struts2 + jsp + bootstrap + jquery + HBase Java API
HBase和用户相关的表结构设计
用户注册的实现
使用HBase实现微博应用（2）
使用session实现用户登录和注销
“关注"功能的设计
“关注"功能的表结构设计
“关注"功能的实现
使用HBase实现微博应用（3）
“发微博"功能的设计
“发微博"功能的表结构设计
“发微博"功能的实现
展现整个应用的运行
HBase应用实战：话单查询与统计（1）
应用的整体设计
开发环境搭建
表结构设计
HBase应用实战：话单查询与统计（2）
话单入库单设计与实现
话单查询的设计与实现
HBase应用实战：话单查询与统计（3）
统计功能设计
统计功能实现
Storm入门及应用