Storm流计算之项目篇(Storm+Kafka+HBase+Highcharts+JQuery，含3个完整实际项目)

1.1、课程的背景

        Storm是什么？ 为什么学习Storm？ Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等， 大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语，使我们的批处理程序变得简单和高效。 同样，Storm也为实时计算提供了一些简单高效的原语，而且Storm的Trident是基于Storm原语更高级的抽象框架，类似于基于Hadoop的Pig框架， 让开发更加便利和高效。本课程会深入、全面的讲解Storm，并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界，业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”，还等什么？

       Storm在大数据领域的影响已经不用多说，大数据实时性计算已经是发展趋势。目前在各大互联网、电商、电信、金融业等领域，Storm已经功不可没，被广泛应用在精准推荐、即时搜索、网站分析、监控告警、高频交易等领域。

本课程完全呈现企业实际项目，具有如下五大亮点和七大目标：

五大亮点：

    1、课程中完整开发3个Storm项目，均为企业实际项目，其中一个是完全由Storm Trident开发。

       项目源码均可以直接运行，也可直接用于商用或企业。

    2、每个技术均采用最新稳定版本，学完后会员可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定！让学员身价剧增！

    3、搭建CDH5生态环境完整平台，且采用Cloudera Manager界面化管理CDH5平台。让Hadoop平台环境搭建和维护都变得轻而易举。

    4、分享实际项目的架构设计、优劣分析和取舍、经验技巧，陡直提升学员的经验值。

    5、学习完此课程，学员完全具备追求IT行业高薪的能力。

七大目标:

    1、全面掌握Storm完整项目开发思路和架构设计

    2、掌握Storm Trident项目开发模式

    3、掌握Kafka运维和API开发、与Storm接口开发

    4、掌握HighCharts各类图表开发和实时无刷新加载数据

    5、熟练搭建CDH5生态环境完整平台

    6、灵活运用HBase作为外部存储

    7、可以做到以一己之力完成从后台开发（Storm、Kafka、Hbase开发）到前台HighCharts图表开发、Jquery运用等，所有工作一个人搞定！

 就是说可以一个人搞定淘宝双11大屏幕项目！

1、Storm应用前景和课程大纲介绍

2、CDH5搭建之CM5安装部署

3、CDH5搭建和CM界面化集群管理

4、Hadoop、HBase、Zookeeper集群管理和角色分配

5、Kafka基础知识和集群搭建

6、Kafka基本操作和最优设置

7、Kafka Java API 简单开发测试

8、storm-kafka 详解和实战案例

9、JS图表框架HighCharts介绍

10、HBase 快速入门

11、基于HBase的Dao基类和实现类开发一

12、基于HBase的Dao基类和实现类开发二

13、【项目1-地区销售额】需求分析和架构设计

项目1主要技术点：

后台开发架构设计

前台开发架构设计

前后端数据实时交互

HighCharts图表开发

图表秒级无刷新实时展示

3D柱图、条形图、柱子图展示效果

14、【项目1-地区销售额】Spout融合Kafka Consumer及线程安全测试

15、【项目1-地区销售额】Bolt业务逻辑处理一

16、【项目1-地区销售额】优化Bolt支持重启及结果数据核查

17、【项目1-地区销售额】HighCharts图表开发一及Web端架构设计

18、【项目1-地区销售额】HTTP长链接实现实时推送

19、【项目1-地区销售额】HighCharts图表开发二及jquery运用

20、【项目1-地区销售额】Web端完善和细节优化

21、【项目1-地区销售额】项目发布及总结

22、【项目2-省份销售排行】项目需求分析和分区Trident Spout开发

项目2为完全Storm Trident开发项目，主要技术点：

采用双纵轴图表展示效果

Storm Trident开发 

采用Storm事务处理

基于Hbase的Trident State

DRPC分布式远程调用

TopN，前N排行

23、【项目2-省份销售排行】Trident 代码开发一

24、【项目2-省份销售排行】Trident 代码开发二

25、【项目2-省份销售排行】基于HBase存储的State运用

26、【项目2-省份销售排行】双纵轴HighCharts图表开发一

27、【项目2-省份销售排行】双纵轴HighCharts图表开发二

28、【项目2-省份销售排行】双纵轴HighCharts图表开发三

29、【项目2-省份销售排行】前台和图表交互开发和Top N实现

30、【项目2-省份销售排行】Top N展示优化和项目总结

31-40讲为【项目3-网站User Views数】内容，该项目会继续增加难度，

展示图形为仿股票走势图的UV数实时分时走势图。