http://www.cnblogs.com/lujinhong2/p/4686512.html
http://blog.csdn.net/paul_wei2008/article/details/20830329
http://shiyanjun.cn/archives/1472.html
一、topology拓扑图
Storm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作:
(1)Worker(进程)
(2)Executor(线程)
(3)Task
1个worker进程执行的是1个topology的子集(注:不会出现1个worker为多个topology服务)。1个worker进程会启动1个或多个executor线程来执行1个topology的component(spout或bolt)。因此,1个运行中的topology就是由集群中多台物理机上的多个worker进程组成的。
executor是1个被worker进程启动的单独线程。每个executor只会运行1个topology的1个component(spout或bolt)的task(注:task可以是1个或多个,storm默认是1个component只生成1个task,executor线程里会在每次循环里顺序调用所有task实例)。
task是最终运行spout或bolt中代码的单元(注:1个task即为spout或bolt的1个实例,executor线程在执行期间会调用该task的nextTuple或execute方法)。topology启动后,1个component(spout或bolt)的task数目是固定不变的,但该component使用的executor线程数可以动态调整(例如:1个executor线程可以执行该component的1个或多个task实例)。这意味着,对于1个component存在这样的条件:#threads<=#tasks(即:线程数小于等于task数目)。默认情况下task的数目等于executor线程数目,即1个executor线程只运行1个task。
5. 并发
1)worker工作进程级别的并发设置
2)executor线程级别的并发
真正能够提高Topology性能的并发级别
3)Task任务级别的并发
builder.setBolt(BOLT, BOLT, 2).setNumberTasks(4)
指定2个executor跑4个task。
即每个executor执行2个task,这两个task并不是并发执行,而是轮流执行。
6. 消息可靠性机制
1)Bolt消息可靠性机制
每处理完接收到Tuple,发送确认信息
2)tuple锚定
二、Trident
1. 概念
1)Storm高层次的抽象
2)在Trident中保留了Spout,但是不再有Bolt组件。封装成了一系列的Operation,比如过滤、函数、分组等
3)Trident封装好了消息可靠性保障机制
4)Trident批次概念
将固定条数的Tuple划分为一个批次
给每个批次一个编号
更新统计结果状态,要严格按照批次顺序进行更新
5)事务控制
3个层次:
(1)NON-Transactional:非事务控制
允许同一个批次内的Tuple部分处理成功,失败的Tuple,可以在其他批次内进行重试,也有可能不进行重试。
(2)Transactional:严格的事务控制
要求批次内处理失败的Tuple,只能在本批次内进行重试。
如果tuple一直重试不成功,就会将整个任务程序挂起,不会进行下个批次的处理。没有容错。
(3)Opaque-Transactional:透明事务处理
批次内的tuple处理完成过后,先把成功共的更新掉,失败的tuple允许在其他批次内进行重试,只会有一次成功处理。有容错。
2. Trident的编码开发
1)构造Topology
trident中的Spout:
从数据源上获取数据,将获取到的数据封装到一个批次,并给每个批次执行一个批次号。
2)each方法
过滤操作Filter
对满足条件的Filter,
isKeep方法
3)Filter
在Trident编码中,要注意的:
Stream流在经过各种操作后,Tuple的演变,Tuple中keyvalue对的演变。
比如:Filter
仅仅只是在Stream保留或者丢弃tuple,而不会对tuple进行改变
4)Function
Stream经过函数操作后,将新产生的keyvalue对追加到原来的Tuple中,
需要注意的是,如果没有新产生keyvalue对,那么相应的tuple将会被丢弃掉。
5)指定保留哪些keyvalue、丢弃哪些keyvalue
.project
3. 并发
3)Operation的特性
是否同一分区、是否需要跨网络。
分区:指的就是一个在executor线程中运行的task。
Filter Function project
分区内的操作,只是对本分区内的Tuple进行操作
4)重分区操作 数据流分组
partitionBy
.partitionBy(new Fields("word"))
取Tuple,key名称为word的keyvalue的value值,求hashcode,然后根据哈希值 % 分区数进行取模。
相同的keyvalue对,进入同一个分区。
同一个分区内keyvalue对是否都相同?不一定
groupBy
例如 .groupBy(new Fields("word"))
实际进行了两步操作:
(1)partitionBy
(2)在将同一个分区内相同的keyvalue,分配到到一个组
先说一下场景,日志文件中有大约三千万行数据,大小为1.2G,格式为IP,TIME,现在要针对IP字段进行数量统计重复的次数,以便制定规则来控制用户的恶意注册。
shell版【15分钟统计完成】
date
cat regIp.txt | awk -F‘\t‘ ‘{ print $1}‘ | sort | uniq -c | sort -rn | head -n100
date