Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)

课程大纲及内容简介:

每节课约35分钟,共不下40讲

第一章(11讲)

·分布式和传统单机模式

·Hadoop背景和工作原理

·Mapreduce工作原理剖析

·第二代MR--YARN原理剖析

·Cloudera Manager 4.1.2安装

·Cloudera Hadoop 4.1.2 安装

·CM下集群管理一

·CM下集群管理二

·Hadoop fs 命令详解

·cloudera manager管理集群
·cloudera manager下集群高级管理

第二章(约10讲)

·Hive数据表和数据存储
·Hive的Java扩展开发
·Hive UDF和UDAF开发
·Hive JDBC连接
·Hive常见场景,实战练习
·Hive -f 传参框架开发
 由于hive自带命令hive -f无法传参数,导致hive跨文件的使用基本瘫痪,
 无法大量推广。该框架可以任意传参,让hive企业级应用开发更高效和简洁。


第三章(约5讲)

·Sqoop原理
·Sqoop使用详解
·用Sqoop实现HDFS/Hive与关系数据库的数据交互
·用Sqoop实现HBase与关系数据库的数据交互

第四章(约8讲)

·Hbase原理
·Hbase系统架构
·Hbase存储机制
·Hbase基本使用
·Hbase表设计思路和方案
·常见应用场景
·和Hive交互
·Java访问、WEB开发

第五章 项目实战(约8讲)

电商业日志流量分析项目,互联网企业对海量日志的分析是Hadoop应用的一个重要用途,也是对网站流量、客户行为分析的重要途径。该项目整合Hive、Hbase、Sqoop等常用组件,涉及从后台处理到前台呈现的每一个技术环节。
包括:
 ·业务需求介绍
 ·数据建模
 ·后台算法设计
 ·后台业务处理
 ·前台WEB展示等
 ...

课程详细大纲列表:

第一讲:Cloudera Manager介绍与安装
第二讲:Cloudera Manager详解
第三讲:CDH4.1介绍与环境搭建一
第四讲:CDH4.1环境搭建二
第五讲:Hadoop工作原理、调度策略
第六讲:Hadoop开发作业形式
第七讲:CM下CDH4.1集群高级管理一
第八讲:CM下CDH4.1集群高级管理二
第九讲:小结及Hadoop工作原理
第十讲:Hive工作原理和基本使用
第十一讲:Hive元数据管理和语法详解
第十二讲:Hive表和存储结构
第十三讲:运维案例分享_单机存储均衡和坏block处理
第十四讲:Hive QL 一
第十五讲:Hive QL 二
第十六讲:UDF和UDAF开发
第十七讲:UDAF开发和JDBC访问
第十八讲:Hive优化规则总结
第十九讲:Hive数据压缩技术
第二十讲:Hive-f封装支持传参一
第二十一讲:Hive-f封装支持传参二
第二十二讲:Sqoop使用一
第二十三讲:Sqoop使用二
第二十四讲:Sqoop作业调度
第二十五讲:HBase体系结构
第二十六讲:HBase 表设计案例
第二十七讲:HBase数据加载(Sqoop和Java)
第二十八讲:HBase存储机制
第二十九讲:Java操作HBase一
第三十讲:Java操作HBase二
第三十一讲:Java操作HBase三
第三十二讲:hbase与Hive接口及项目介绍
第三十三讲:订单在线实时查询_Schema设计和HBase数据加载
第三十四讲:订单在线实时查询_DAO层实现
第三十五讲:订单在线实时查询_DAO层和前台实现
第三十六讲:电商日志流量分析_项目介绍
第三十七讲:电商日志流量分析_业务实现一
第三十八讲:电商日志流量分析_业务实现二
第三十九讲:电商日志流量分析_业务实现三
第四十讲:电商日志流量分析_业务实现四

第四十一讲:CDH5搭建之CM5安装部署

第四十二讲:CDH5搭建和CM界面化集群管理

时间: 2024-11-02 23:32:42

Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)的相关文章

RedHadoop创始人童小军在北京开讲“Hadoop2.0集群优化与管理”啦!

一.活动介绍 目前Hadoop的应用越来越广泛,开始被很多企业采用,且Hadoop人才十分稀缺和抢手,待遇也远比Java..Net开发好.为了帮助您快速掌握Hadoop的前沿技术,了解企业应用Hadoop的性能优化,CSDN特别邀请您参加我们精心策划的Hadoop2.0运维管理与集群安装监控管理实训班.届时,在历时一天的实训班上,RedHadoop创始人童小军将为您分享Hadoop企业应用成功案例.讲解Hadoop技术架构知识与小窍门. 期待您的加入,名额有限,感兴趣的小伙伴们欲报从速哦!另外,

16套java架构师,高并发,高可用,高性能,集群,大型分布式电商项目实战视频教程

16套Java架构师,集群,高可用,高可扩展,高性能,高并发,性能优化,设计模式,数据结构,虚拟机,微服务架构,日志分析,工作流,Jvm,Dubbo ,Spring boot,Spring cloud, Redis,ActiveMQ,Nginx,Mycat,Netty,Jvm,Mecached,Nosql,Spring,大型分布式项目实战视频教程 视频课程包含: 高级Java架构师包含:架构师,高并发,分布式,集群,高可用,高可扩展,高性能,设计模式,数据结构算法,虚拟机,微服务架构,日志分析,

Linux下Hadoop 2.2.0 集群配置攻略

Hadoop 2.2.0 集群配置攻略 用户输入标识: chmod +x jdk-7u45-linux-x64.rpm  为黑色带底纹 系统输出标识: java version "1.7.0_51" 为绿色小字 2014年3月20-日 by lilihao Q 404536204 1. 安装sun jdk (1). 到Oracle的官方网站下载jdk,目前最新版本是7u51 安装包: http://www.oracle.com/technetwork/java/javase/downl

Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)

现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可. 系统版本: master:Ubuntu 12.04 slave:Ubuntu 12.04 hadoop:hadoop 2.2.0 安装ssh服务:sudo apt-get install ssh 有时也要更新一下vim:sudo apt-ge

_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0

博文作者:妳那伊抹微笑 博客地址:http://blog.csdn.net/u012185296 博文标题:_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0 个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术 转载声明:可以转载, 但必须以超链接形式标明文章

Spark修炼之道(进阶篇)——Spark入门到精通:第一节 Spark 1.5.0集群搭建

作者:周志湖 网名:摇摆少年梦 微信号:zhouzhihubeyond 本节主要内容 操作系统环境准备 Hadoop 2.4.1集群搭建 Spark 1.5.0 集群部署 注:在利用CentOS 6.5操作系统安装spark 1.5集群过程中,本人发现Hadoop 2.4.1集群可以顺利搭建,但在Spark 1.5.0集群启动时出现了问题(可能原因是64位操作系统原因,源码需要重新编译,但本人没经过测试),经本人测试在ubuntu 10.04 操作系统上可以顺利成功搭建.大家可以利用CentOS

Ubuntu14.04下Hadoop2.2.0集群搭建

系统版本: master: Ubuntu 14.04  salve1: Ubuntu 14.04 hadoop: hadoop 2.2.0 1.系统配置以及安装SSH无密码登陆环境(master&slaves): 修改本机(master)和子节点(slaveN)机器名:打开/etc/hostname文件 sudo gedit /etc/hostname (修改后需重启才能生效) 修改host文件(映射各个节点IP): sudo gedit /etc/hosts 在后面添加内容为: 172.22.

Ubuntu 12.04下spark1.0.0 集群搭建(原创)

spark1.0.0新版本的于2014-05-30正式发布啦,新的spark版本带来了很多新的特性,提供了更好的API支持,spark1.0.0增加了Spark SQL组件,增强了标准库(ML.streaming.GraphX)以及对JAVA和Python语言的支持: 下面,我们首先进行spark1.0.0集群的安装,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可.: 系统版本

spark-1.2.0 集群环境搭建

1.下载scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html ,也可以使用wget http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.248348352.61371242.1418807768 2.解压和安装: 解压 :[[email protected] scala]$ tar -xvf scala-2.11.4.tgz  ,安装:[