storm-安装

1. 单机安装storm测试环境

http://www.myexception.cn/open-source/1809563.html

2. storm 将处理结果保存到mysql

1)下载mysql jar http://www.mysql.com/downloads/connector/j/

2) 将jar包上传到storm lib目录

3) 将jar 导入到idea

4) 按照java 操作mysql 即可

需求,将storm的一个数据流,直接保存到es,可以省略很多环节!

测试1: 百度到 公认的使用 storm-elastic-search 一个jar 很是方便,在maven中进行如下配置

<dependency>

<groupId>com.hmsonline</groupId>

 <artifactId>storm-elastic-search</artifactId> <version>0.1.0</version> </dependency>

同时,部署es 下载最新的2.4.0,安装

wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.4.0/elasticsearch-2.4.0.tar.gz

tar zxvf elasticsearch-2.4.0.tar.gz

cd elasticsearch-2.4.0

安装es plugin插件

bin/plugin install mobz/elasticsearch-head

访问http://localhost:9200

问题1: 在storm上进行测试,提示找不到某些class,需要将storm-elastic-search相关的jar包,都上传到storm安装目录lib下。

问题2: 运行后 错误提示 没有节点可用,然后在es错误文件显示,连接库版本为0.90,而当前需要的版本最少为2.0 版本不兼容...

下载一个es0.90版本,发现可以使用

接着安装kibana 4 ,发现不能与es0.9兼容,支持最低es版本为1.4.4

升级es0.9到es1.4.4后,发现storm-elastic-search不能与es1.4.4兼容。

测试2:搜索其它storm es jar包,发现https://github.com/apache/storm

其中 样例代码 https://github.com/apache/storm/tree/master/external/storm-elasticsearch

看一下代码 最重要的是EsIndexBolt, 因为需求只是将数据上传到es中,为了与最新es2.4兼容,去掉了storm-elastic-search的依赖,将es2.4安装文件的lib文件统一copy到storm安装目录下的lib中,开始了繁琐的代码修改。因为EsIndexBolt是基于旧版本的es0.90编写的。

每个文件中的org.apache.storm的引用都需要去掉,变成backtype.storm的引用。

EsConfig 中ImmutableSettings.settingsBuilder()   需要修改成Settings.Builder(), 因为新版es jar 没有ImutableSettings

DefaultEsTupleMapper.java 将source 修改为document, 这个是自定义的,与自己的bolt相同即可

StormElasticSearchClient.java 38行 TransportClient transportClient = new TransportClient(settings); 新的es  TransportClient 没有此构造方法需要修改为

     TransportClient transportClient = TransportClient.builder().settings(settings).build();

TransportAddresses.java 中的 transformToInetAddress 方法,修改为

return new InetSocketTransportAddress(InetAddress.getByName(hostname), port(hostAndPort[1])); 因为新版本es
InetSocketTransportAddress 类的构造函数发生变化
时间: 2024-12-19 11:23:38

storm-安装的相关文章

Storm入门教程 第三章 Storm安装部署步骤[转]

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 3.1 Storm集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node).其分别对应的角色如下: 1. 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态.Nimbus的作用类似

Storm安装部署

1.修改/etc/hosts 172.16.3.7      nimbus 172.16.3.8      supervisor1 172.16.3.9      supervisor2 172.16.3.10     supervisor3 2.集群所有机器安装ZooKeeper,storm需要zk存储数据及进行nimbus.supervisor之间协调 tar xzvf zookeeper-3.4.3.tar.gz mv zookeeper-3.4.3 ~/platform/zookeepe

1.Storm 安装手册和提交Topology

目录 (一)搭建单机storm集群 一.下载所需要的资源 二.资源解压 三.安装JDK 四.安装依赖的库文件 五.安装ZMQ 六.安装jzmq 七.启动zookeeper 八.启动storm 九.在UI端访问 十.编译storm-start jar包 十一.storm-starter源码导出 十二.提交Topology (二)搭建多机storm集群 一.基本设置 二.修改配置文件 三.启动集群 四.在UI端口访问 五.提交Topology 附一 Storm 安装手册 (一)搭建单机storm集群

storm安装

0安装JDK wget --no-check-certificate --no-cookie --header "Cookie: oraclelicense=accept-securebackup-cookie;" http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.rpm 使用rpm -ivh jdk-8u45-linux-x64.rpm进行安装 检查安装Javac 1:centOS安装Zer

storm 安装和部署

wget https://www.python.org/ftp/python/3.5.0/Python-3.5.0.tgz    安装python wget ftp://ftp.kernel.org/pub/linux/utils/util-linux/v2.27/util-linux-2.27.tar.gz 安装/util-linux-2.27.tar.gz 一.zeromq 安装 sudo apt-get install g++ sudo apt-get update sudo apt-ge

Storm 安装速记

大数据数据处理最常用的是两类模式:批处理和流计算.在open source领域,批处理最有名的组件自然是大名鼎鼎的Hadoop MapReduce,而流计算则是Storm. Storm是一个分布式的.容错的实时计算系统,目前是Apache 的一个incubator project (http://storm.incubator.apache.org/).介绍Storm基本概念的文章已经很多了,本文就不再赘述.在此仅仅速记一下笔者实际安装 Storm的步骤. 详细步骤: 1.安装Zookeeper

storm安装与配置

storm依赖的软件 ZeroMQ 2.1.7 是一个消息处理队列库,可在多个线程.内核和主机盒之间弹性伸缩. JZMQ   底层消息队列 jdk 1.6 Python ZeroMQ安装: wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure make sudo make install JZMQ安装: git clone http

【Todo】Storm安装与实验

接上一篇Kafka的安装与实验: http://www.cnblogs.com/charlesblc/p/6046023.html 还有再上一篇Flume的安装与实验: http://www.cnblogs.com/charlesblc/p/6046023.html Storm的安装可以参考这篇: http://shiyanjun.cn/archives/934.html 有1.0后的版本,和0.x的版本,最后为了稳妥,还是下载了0.10的版本.

新版flume+kafka+storm安装部署

安装步骤: 1.版本介绍: zookeeper3.4.6 flume-ng1.6 kafka2.10-0.8.2 storm0.9.5 2.安装zookeeper 1.下载最新release版zookeeper http://zookeeper.apache.org/releases.html#download 2.修改zookeeper配置文件 $zookeeper_home/conf $ cp zoo_sample.cfg zoo_sample.cfg.bak $ mv zoo_sample

storm安装配置

系统环境 Cent OS 6.5 hadoop-2.5.0 zookeeper-3.4.5 storm-0.9.2 HADOOP Zookeeper 安装配置 一.配置安装 wget http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz tar zxvf apache-storm-0.9.2-incubating.tar.gz -C