Storm集群上的开发 ，Storm的内部原理(七)

由之前的学习,Storm的程序构成有Topology,Spout.Blot组成. 构建工程第一步 :引入jar,把storm集群中的/usr/local/apps/apache-storm-1.0.3/lib目录jar包全部引入 程序项目架构 :

storm集成jdbc,把计算结果保存到mysql中. 首先在mysql中建表 ,表的字段与输出的tuple的schema一致: create table result( word varchar(20), total int ); 编写一个连接提供器,用于获取mysql数据库连接: 需要引入jar :/usr/local/apps/apache-storm-1.0.3/external/storm-jdbc 的 storm-jdbc-1.0.3.jar package mystorm.word

打包上传到集群上跑是没问题的,在本地模式跑,报客户端没有所需特权,此处客户端指的是MyEclipse,右击用管理员模式打开myclipse即可. 错误日志 : 4573 [SLOT_1027] ERROR o.a.s.d.s.Slot - Error when processing event java.nio.file.FileSystemException: C:\Users\ADMINI~1\AppData\Local\Temp\6d36a211-4aed-4485-ac2f-156088

storm间的worker会互相通信,上一个worker的结果会交给下一个worker进行计算.看图

storm提交任务的过程: 1.客户端通过storm提交topology 2.nimbus主节点创建本地topology任务目录.tmp 3.nimbus监控zookeeper心跳,计算工作量. 4.nimbus向zookeeper分配任务. 5.从节点监控zk的数据,一旦有新任务分配,启动任务topology.. 6.从zk上获取分配给自己的task任务,启动对应的worker进程.

WordCountTopology数据流分析(storm编程模型) 上一章的example的单词统计在storm的数据流动到底是怎么进行的呢,这一章节开始介绍:

Storm的数据从Spout采集后,交给Blot组件处理,数据在Blot之间流动时,会涉及到数据流动的方向.这就是Storm的分组策略. 从WordCount的单词拆分到单词计数,会使用按字段的分组策略来拆分单词,并分配到不同的Count Blot中计算.

1.使用maven或者其他打包工具将storm-starter打成jar包 2.请将jar包用解压工具打开在根目录下找到defaults.yaml文件并将其删除不然到时会报有multiply defaults.yaml的错哦 3.用ftp工具将jar包上传到linux系统主节点上 4.在各个节点上启动zookeeper,启动nimbus(只需在主节点上启动),启动supervisor,启动ui(只需在主节点上启动),启动logviewer bin/zkServer.sh start bin/st

主页面上, cluster summary:集群的概况 nimbus summary: Supervisor Summary: Nimbus Configuration Topology Summary:最重要的 有个search窗口,根据storm任务的topology name,搜索到对应任务,点击进入 一个storm集群上跑的任务的topology name 是唯一的,否则提交会出错 点击到一个具体topology页面之后, Topology summary:概况 Topology act