Storm calculate pv

本题其实就是storm的wordcout,需要把一个gz压缩的文件读取,并使用storm计算其pv.

样本
数据:

存储为accesslog.gz

我把它加载到我的虚拟机中/mnt/下。

没有使用trident,刚学习最基本的。

所以把spout的数目设定为1.

把文件路径存储在config 的map中了,其实是想使用参数进行传递,这样更友好。

读取完之后把它存储到一个文件当中。

在这里使用的是调试的模式,如果需要运行在集群中的话,还是需要调整的。

再做一个bolt,专门用来写文件。

?
?

?
?

Spout used to read logs:

Bolt used to split sentense:

Bolt used to count pv:

?
?

时间: 2024-10-09 17:07:23

Storm calculate pv的相关文章

Storm之网站PV统计利用Zookeeper锁控制线程操作

PV(page views): count (session_id) 多线程下,注意线程安全问题 一.PV统计 方案分析 如下是否可行? 1.定义static long pv, Synchronized 控制累计操作 Synchronized 和 Lock在单JVM下有效,但在多JVM下无效 可行的两个方案: 1.shuffleGrouping下,pv * Executer并发数 2.bolt1进行多并发局部汇总,bolt2单线程进行全局汇总 线程安全:多线程处理的结果和单线程一致 汇总型方案:

Flume+Kafka+Storm+Redis构建大数据实时处理系统:实时统计网站PV、UV+展示

[TOC] 1 大数据处理的常用方法 前面在我的另一篇文章中<大数据采集.清洗.处理:使用MapReduce进行离线数据分析完整案例>中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是基于MapReduce的离线数据分析案例,其通过对网站产生的用户访问日志进行处理并分析出该网站在某天的PV.UV等数据,对应上面的图示,其走的就是离线处理的数据处理方式,而这里即将要介绍的是另外一条路线的数据处理方式,即基于Storm的在线处理,在下面给出的完整案例中,我们将会完成下面的几项工作: 1

Flume-ng+Kafka+storm的学习笔记

Flume-ng Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统. Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍的比较全面. 不过这里写写自己的见解 这个是flume的架构图 从上图可以看到几个名词: Agent: 一个Agent包含Source.Channel.Sink和其他的组件.Flume就是一个或多个Agent构成的. Source:数据源.简单的说就是agent获取数据的入口

Strom之网站UV,PV统计

SPOUT: package base; import java.util.Map; import java.util.Queue; import java.util.Random; import java.util.concurrent.ConcurrentLinkedQueue; import backtype.storm.spout.SpoutOutputCollector; import backtype.storm.task.TopologyContext; import backty

Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景)

对这个课程有兴趣的可以加我qq2059055336和我联系 Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop. 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计.推荐系统.预警系统.金融系统(高频交易.股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流. 按照storm作者的说法,Storm对于实

Log Processing With Storm

有代码的书籍看起来就是爽,看完顺便跑个demo,感觉很爽! 场景分析 主要是利用apache的访问日志来进行分析统计 如用户的IP来源,来自哪个国家或地区,用户使用的Os,浏览器等信息,以及像搜索的热词等信息的统计 这里日志信息如下 24.25.135.19 - - [1-01-2011:06:20:31 -0500] "GET / HTTP/1.1" 200 864 "http://www.adeveloper.com/resource.html" "M

基于storm的实时数据处理方案

1 文档说明 该文档描述的是以storm为主体的实时处理架构,该架构包括了数据收集部分,实时处理部分,及数据落地部分. 关于不同部分的技术选型与业务需求及个人对相关技术的熟悉度有关,会一一进行分析. 该架构是本人所掌握的一种架构,可能会与其他架构有相似的部分,个人会一一解释对其的理解. 这个文章写的很详细,相信对大家在实时处理整体理解上会有帮助的. 2 实时处理架构 2.1 整体架构图 架构说明: 整个数据处理流程包括四部分,一部分是数据接入层,该部分从前端业务系统获取数据:中间部分是最重要的s

storm项目实战开发 Storm视频教程下载

Storm流计算从入门到精通-技术篇 课程分类:大数据 适合人群:初级 课时数量:25课时 用到技术:Storm集群.Zookeeper集群等 涉及项目:网站PV.UV案例实战.其他案例 更新程度:40% 持续更新中 storm项目实战开发 Storm视频教程下载地址:http://pan.baidu.com/s/1hq7Sqag Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop. 随着越来越多的场景对Hadoop

Storm on Yarn :原理分析+平台搭建

Storm on YARN: Storm on YARN被视为大规模Web应用与传统企业应用之间的桥梁.它将Storm事件处理平台与YARN(Yet Another Resource Negotiator)应用管理框架进行了组合,为此前进行批处理的Hadoop应用提供了低延迟的处理能力. 诞生背景(yahoo): 雅虎公司平台副总裁Bruno Fernandez-Ruiz表示,他们发现Hadoop在处理海量数据时的速度还不够快.Hadoop和MapReduce的速度无法满足用户事件,比如电子邮件