flume、kafka、storm常用命令

出自:http://my.oschina.net/jinp/blog/350293

一些常用命令:

storm相关:

storm nimbus >/dev/null 2>&1 &
storm supervisor >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &
关闭storm
ps -ef|grep apache-storm-0.9.2-incubating|grep -v grep|awk ‘{print $2}‘|xargs kill -9

kafka相关:

启动kafka
./kafka-server-start.sh ../config/server.properties
生产消息
./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic kafkaTopic
消费消息
./kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic kafkaTopic --from-beginning
创建topic(副本数和分区数)
./kafka-topics.sh --topic kafkaTopic --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partition 6
修改topic
./kafka-topics.sh -topic kafkaTopic -alter -zookeeper 127.0.0.1:2181 --partition 6
查看单个topic详细
./kafka-topics.sh -topic kafkaTopic -describe -zookeeper 127.0.0.1:2181
查看所有topic
bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181

flume相关:

启动flume
./flume-ng agent --conf ../conf --conf-file ../conf/flume-conf.properties --name producer
查flume进程
ps -ef | grep flume

复制去Google翻译翻译结果

启动水槽
./flume-ng代理--conf../conf--conf文件../conf/flume-conf.properties--name生产商
查水槽进程
PS-ef|grep的水槽

时间: 2024-08-05 19:35:04

flume、kafka、storm常用命令的相关文章

flume+kafka+storm+mysql架构设计

前段时间学习了storm,最近刚开blog,就把这些资料放上来供大家参考. 这个框架用的组件基本都是最新稳定版本,flume-ng1.4+kafka0.8+storm0.9+mysql (项目是maven项目,需要改动mysql配置,提供两种topology:读取本地文件(用来本地测试):读取服务器日志文件.) (是visio画的,图太大,放上来字看起来比较小,如果有需要的朋友留邮箱) 实时日志分析系统架构简介 系统主要分为四部分:                         负责从各节点上

[转载] 利用flume+kafka+storm+mysql构建大数据实时系统

原文: http://mp.weixin.qq.com/s?__biz=MjM5NzAyNTE0Ng==&mid=205526269&idx=1&sn=6300502dad3e41a36f9bde8e0ba2284d&key=c468684b929d2be22eb8e183b6f92c75565b8179a9a179662ceb350cf82755209a424771bbc05810db9b7203a62c7a26&ascene=0&uin=Mjk1ODMy

storm - 常用命令

1.提交Topologies 命令格式:storm jar [jar路径] [拓扑包名.拓扑类名][stormIP地址][storm端口][拓扑名称][参数] eg: storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop; storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcoun

Flume+Kafka+Storm+Redis构建大数据实时处理系统:实时统计网站PV、UV+展示

[TOC] 1 大数据处理的常用方法 前面在我的另一篇文章中<大数据采集.清洗.处理:使用MapReduce进行离线数据分析完整案例>中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是基于MapReduce的离线数据分析案例,其通过对网站产生的用户访问日志进行处理并分析出该网站在某天的PV.UV等数据,对应上面的图示,其走的就是离线处理的数据处理方式,而这里即将要介绍的是另外一条路线的数据处理方式,即基于Storm的在线处理,在下面给出的完整案例中,我们将会完成下面的几项工作: 1

Flume+Kafka+Storm+Redis实时分析系统基本架构

PS:历史原因作者账号名为:ymh198816,但事实上作者的生日并不是1988年1月6日 今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型.当然这个架构模型只是实时分析技术的一 个简单的入门级架构,实际生产环境中的大数据实时分析技术还涉及到很多细节的处理, 比如使用Storm的ACK机制保证数据都能被正确处理, 集群的高可用架构, 消费数据时如何处理重复数据或者丢失数据等问题,根据不同的业务场景,对数据的可靠性要求以及系统的复杂度的要

新版flume+kafka+storm安装部署

安装步骤: 1.版本介绍: zookeeper3.4.6 flume-ng1.6 kafka2.10-0.8.2 storm0.9.5 2.安装zookeeper 1.下载最新release版zookeeper http://zookeeper.apache.org/releases.html#download 2.修改zookeeper配置文件 $zookeeper_home/conf $ cp zoo_sample.cfg zoo_sample.cfg.bak $ mv zoo_sample

Flume+Kafka+Storm+Redis 大数据在线实时分析

1.实时处理框架 即从上面的架构中我们可以看出,其由下面的几部分构成: Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发,我们需要做的是,如何让数据在各个不同的集群系统之间打通(从上面的图示中也能很好地说明这一点),即需要做各个系统之前的整合,包括Flume与Kafka的整合,Kafka与Storm的整合.当然,各个环境是否使用集群,依个人的实际需要而定,在我们的环境中,Flume.Kafka.Storm都使用集群. 2. Flume+Kafka整合 2.1 整合思路

利用flume+kafka+storm+mysql构建大数据实时系统

架构图 数据流向图 1.Flume 的一些核心概念: 2.数据流模型 Flume以agent为最小的独立运行单位.一个agent就是一个JVM.单agent由Source.Sink和Channel三大组件构成,如下图: Flume的数据流由事件(Event)贯穿始终.事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部的Source,比如上图中的Web Server生成.当Source捕获事件后会进行特定的格式化,然后Source会把事件

twitter storm常用命令

提交Topologies 命令格式:storm jar [jar路径] [拓扑包名.拓扑类名] [拓扑名称] 样例:storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop #提交storm-starter.jar到远程集群,并启动wordcountTop拓扑. 停止Topologies 命令格式:storm kill [拓扑名称] 样例:storm kill wordcountTop #杀掉wordcou