storm视频教程_Storm实现“天猫双十一”大屏实时展示项目

基于Storm+KafKa+HBase+Java Web+HighChart技术实现的“天猫双十一”大屏实时展示项目
分享下载地址:https://pan.baidu.com/s/1BX7jG1llz4zdT5fqdi4sHQ
提取码:c2nl

Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。

Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。

本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么?

课程大纲:

1、【第一章】课程介绍,Storm简介及背景和现状,和JStorm对比
2、Storm架构原理详解
3、虚拟机安装和设置注意事项
4、Zookeeper集群部署和测试
5、Storm集群搭建及测试
6、Eclipse下介绍storm-starter例子,讲解常用API类
7、API简介和入门案例开发
8、API体系一栏,Spout和Bolt系列类介绍
9、几种Grouping策略详解
10、FatJar插件安装、打包发布,详解Storm UI界面使用
11、通过UI界面检测作业状况,详解UI查看技巧,界面查日志logviewer
12、Wroker、Executer、Task概念及关系详解,动态调整并发度
13、【实战案例】计算当天销售额
14、【案例升级】计算当天销售额和购买人数
15、时间窗口的概念及相关API介绍
16、滚动窗口 Tumbling Window的实战案例
17、滑动窗口 Sliding Window的实战案例
18、Storm容错机制Acker详解
19、【案例】Acker失败重发编码实现
20、Storm集群Start-all.sh和Stop-all.sh命令开发一
21、Storm集群Start-all.sh和Stop-all.sh命令开发二

22、【第二章】Kafka架构原理、概念详解
23、Kafka集群搭建
24、Kafka Java API 简单开发测试
25、storm-kafka 详解和实战案例,工程转到IntelliJIDEA上
26、storm-kafka案例详解续,IDEA使用技巧
27、【项目1-地区销售额】需求分析和架构设计
28、【项目1-地区销售额】Topo开发1
29、【项目1】HBase读写开发
30、【项目1】Topo开发2,加入写HBase和启动初始化动作
31、【项目1】Highchats图表的开发思路,项目中加入Web模块
32、【项目1】Servlet代码实现和讲解,项目运行

33、【第三章】Storm高级运用Trident入门,DRPC概念
34、Trident基础二
35、Trident的FirstN、投影操作、链操作、重分区
36、【项目2-省份销售TopN】需求分析,Topo开发一
37、【项目2-省份销售TopN】Topo开发二
38、【项目2】打包发布Topo,配置和启动DRPC Server,开发DRPC客户端进行验证
39、【项目2】Web端开发和项目运行
40、【项目3】需求分析,Topo开发
41、Topo开发二
42、Topo开发三,增加启动Topo进行初始化数据的机制
43、Web端开发一
44、Web端开发二,项目运行

原文地址:http://blog.51cto.com/12755526/2323517

时间: 2024-10-07 11:24:48

storm视频教程_Storm实现“天猫双十一”大屏实时展示项目的相关文章

海量大数据大屏分析展示一步到位:DataWorks数据服务对接DataV最佳实践

概述数据服务(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟"零代码"就可以生成API,让API开发从未有过如此便捷!同时支持自定义API查询SQL功能,对您的个性化复杂查询逻辑支持照样不在话下. DataWorks数据服务提供HTTP API服务,采用Serverless架构,您只需关注API本身的查询逻辑,无需关心运行环境等基础设施,零运维成本. Dat

一个大屏监控的项目

写大屏监控,本人选择的是用vue.element ui.echarts.axios.vueg来构建的. 1 vue init webpack my-project 2 3 //安装依赖 4 cd my-project 5 cnpm install 6 7 //加入elementUI 8 cnpm i element-ui -S 9 10 //加入echarts 11 cnpm install echarts -S 12 13 //加入 axios 14 cnpm install axios -S

大数据可视化大屏设计经验,教给你!

 前言    大数据产业正在用一个超乎我们想象的速度蓬勃发展,大数据时代的来临,越来越多的公司开始意识到数据资源的管理和运用,大数据可视化大屏展示被更多的企业青睐,身为UI设计师的我们,也要紧跟时代的步伐学习这方面的设计. 今天要跟大家分享我一年多设计大数据可视化大屏的经验和观点,下面从UI设计.交互设计.动效设计三个方面来分享.  UI设计   设计大屏一样要谨记要以展示数据为核心,在任何炫酷屌炸天表现都要建立在不影响数据的有效展示上!   下图是天猫可视化大屏设计,图中屌炸天的3D地球围绕粒

2019主流的数据可视化大屏工具有哪些

数据可视化大屏已经是公认的最直观,最有效的信息传递方式,以前用Echarts等第三方组件做大屏开发的,会发现:尽管它们提供了许多的图表元件和JS代码,但是由于每个用户的需求都不一样,大屏开发仍然需要改很多代码,耗费不少时间.如今,更加主流的,是一些实用又好看的数据可视化大屏工具,本文就来详细介绍. 1.FineBI 目前是国内市场占有率第一的自助式BI工具,也是一款成熟的数据分析产品.内置丰富图表,不需要代码调用,可直接拖拽生成.可用于业务数据的快速分析,制作dashboard,也可构建可视化大

大屏设计系列之五——大屏设计语言分析

如果您想订阅本博客内容,每天自动发到您的邮箱中,请点这里 作者:蓝蓝 蓝蓝设计经常会接到大屏设计的项目,比如中国移动互联网监控大屏可视化设计及开发.太极集团承接的中央台应急指挥中心大屏可视化设计.交大思源承接的北京地铁轨道批挥中心大屏可视化设计.数码视讯展厅大屏可视化设计,在积累了一定经验的同时,也在不断的学习和丰富关于大屏设计的特点及数据可视化的表达方式. 数据可视化过滤了非常多的冗余信息,浓缩了最重要的信息,它的魅力就在于将枯燥的数据组织在一起,把最需要的那些编辑成一个故事.目前大数据那么流

如何构建可视化的营销数据大屏?

数据可视化大屏是数据展现最直观最全面的方式之一,对于企业重要数据指标的展示和实时数据的监测,是目前极佳的方案. 对于大屏数据展示,某知名汽车制造厂商的信息化团队有着深刻的建设经验. 该公司目前拥有两个工厂,年产量逾50万台.与此同时,公司的信息化建设也随着公司的发展在不断扩大,逐渐开始建设各类信息系统,目前公司系统总量有七八十个. 制造行业的业务流程可以说是最长的,从最早的研发.生产.制造.营销.售后.财务.采购以及综合管理,对于管理层而言流程十分复杂.众多领导对于信息数据的要求是希望只登录一个

真屏实据丨数据大屏设计实战—揭秘企业级数据大屏设计过程

本文来自网易云社区 作者: 魏辛逸 图片: "网易有数"可视化平台 大屏是我们用来分享.沟通.传播信息的有效途径之一.它将会进化成一种新的媒体形式,在品牌推广.政务接待.商业沟通.数据监控等各个场景发挥重要作用.本文主要整理了一些大屏设计过程中的方法和原则,希望能够为大家提供一些借鉴思路. 大屏是什么? 大屏设计是最近比较流行的概念,一般按照功能来分有几种: 1. 可交互的触摸屏,大多运用在互动教学课程或者报告演示现场,用户可结合交互操作来阐述具体内容.设计师需要对交互形式和传达内容作

徒手教你制作运维监控大屏

公司业务的不断发展,紧接而来的是业务种类的增加.服务器数量的增长.网络环境的越发复杂以及发布更加频繁,从而不可避免地带来了线上事故的增多,因此需要对服务器到应用的全方位监控,提前预警. 建立在Zabbix上的服务器监控.基础应用监控(mysql.redis.ES等).预警功能 基本满足底层的监控预警要求,超过设定的阀值就会提前通知相关人员去解决. 有了Zabbix为什么还需要Grafana? Zabbix图表聚合功能非常薄弱,这不是它的强项,而且数据源只限定自己的收集器,图表展示类就是Grafa

日志易 Galaxee ,如同银河系一般绚丽多彩的大屏应用

随着企业业务的不断扩展,业务线越来越多,对业务数据的监控越来越重要,但各个业务系统间的数据往往独立.分散,对数据进行价值挖掘的难度较大.借助一个数据平台将数据进行汇集处理,并能根据企业运营管理需求将数据进行个性化的可视化展现,已成为各大企业的刚需.相比于单一的图表与静态仪表盘,日志易 Galaxee 大屏可视化应用致力于用更生动.友好的形式,即时呈现隐藏在瞬息万变且庞杂的数据背后的业务洞察.无论在能源.金融还是互联网领域,通过交互式实时数据可视化视屏墙来帮助业务人员发现.诊断业务问题,越来越成为