hadoop生态搭建(3节点)-11.storm配置

# http://archive.apache.org/dist/storm/apache-storm-1.1.0/

# ==================================================================安装 storm

tar -zxvf ~/apache-storm-1.1.0.tar.gz -C /usr/local
mv /usr/local/apache-storm-1.1.0 /usr/local/storm-1.1.0
rm –r ~/apache-storm-1.1.0.tar.gz

# 环境变量
# ==================================================================node1 node2 node3

vi /etc/profile

# 在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下添加

export JAVA_HOME=/usr/java/jdk1.8.0_111
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.12
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export MYSQL_HOME=/usr/local/mysql
export HBASE_HOME=/usr/local/hbase-1.2.4
export HIVE_HOME=/usr/local/hive-2.1.1
export SCALA_HOME=/usr/local/scala-2.12.4
export KAFKA_HOME=/usr/local/kafka_2.12-0.10.2.1
export FLUME_HOME=/usr/local/flume-1.8.0
export SPARK_HOME=/usr/local/spark-2.3.0
export STORM_HOME=/usr/local/storm-1.1.0

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MYSQL_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$KAFKA_HOME/bin:$FLUME_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$STORM_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

# ==================================================================node1

# 使环境变量生效
source /etc/profile

# 查看配置结果
echo $FLUME_HOME

# ==================================================================node1

vi $STORM_HOME/conf/storm-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_111
export STORM_CONF_DIR=/usr/local/storm-1.1.0/conf

vi $STORM_HOME/conf/storm_env.ini

JAVA_HOME:/usr/java/jdk1.8.0_111

vi $STORM_HOME/conf/storm.yaml

storm.zookeeper.servers:
     - "node1"
     - "node2"
     - "node3"

# Nimbus H/A
nimbus.seeds: ["node1", "node2"]

storm.zookeeper.port: 2181
storm.zookeeper.root: "/storm"
# port修改避免与spark集群端口冲突
storm.exhibitor.port: 9090
# 默认情况下,Storm启动worker进程时,JVM的最大内存是768M,更改为1024m
worker.childopts: "-Xmx1024m"

# port修改避免与spark集群端口冲突
ui.port: 9090
#Nimbus dir
storm.local.dir: "/usr/local/storm-1.1.0/tmp"
# supervisor worker port, 4 workers
supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

scp -r $STORM_HOME node2:/usr/local/scp -r $STORM_HOME node3:/usr/local/

# ==================================================================node2 node3

# 使环境变量生效
source /etc/profile

# 查看配置结果
echo $FLUME_HOME

# 启动

# ==================================================================node1 node2 node3
# 启动zookeeper
zkServer.sh start

# ==================================================================node1
# 需要手动在ZooKeeper中创建路径/storm,使用如下命令连接到任意一台ZooKeeper服务器
zkCli.sh

create /storm ‘‘

# ==================================================================node1 node2
# 启动 nimbus
$STORM_HOME/bin/storm nimbus >/dev/null 2>&1 &

# ==================================================================node1 node2 node3
# 启动 supervisor
$STORM_HOME/bin/storm supervisor >/dev/null 2>&1 &

# ==================================================================node1 node2
# 启动 ui
$STORM_HOME/bin/storm ui >/dev/null 2>&1 &

# ==================================================================node1 node2 node3
# 启动 logviewer
$STORM_HOME/bin/storm logviewer >/dev/null 2>&1 &

# http://node1:9090

shutdown -h now
# 快照 storm

原文地址:https://www.cnblogs.com/zcf5522/p/9775695.html

时间: 2024-10-08 16:38:36

hadoop生态搭建(3节点)-11.storm配置的相关文章

hadoop生态搭建(3节点)-04.hadoop配置

如果之前没有安装jdk和zookeeper,安装了的请直接跳过 # https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html # ==================================================================安装 jdk mkdir -p /usr/java tar -zxvf ~/jdk-8u111-linux-x64

hadoop生态搭建(3节点)-10.spark配置

# https://www.scala-lang.org/download/2.12.4.html# ==================================================================安装 scala tar -zxvf ~/scala-2.12.4.tgz -C /usr/local rm –r ~/scala-2.12.4.tgz # http://archive.apache.org/dist/spark/spark-2.3.0/ # ==

hadoop生态搭建(3节点)-13.mongodb配置

# 13.mongodb配置_副本集_认证授权# ==================================================================安装 mongodb tar -zxvf ~/mongodb-linux-x86_64-rhel70-3.4.5.tgz -C /usr/local mv /usr/local/mongodb-linux-x86_64-rhel70-3.4.5 /usr/local/mongodb-3.4.5 rm -r ~/mon

hadoop生态搭建(3节点)-17.sqoop配置_单节点

# ==================================================================安装 sqoop tar -zxvf ~/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz mv ~/sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop-1.4.7 # 环境变量 # =========================================================

hadoop生态搭建(3节点)-06.hbase配置

# http://archive.apache.org/dist/hbase/1.2.4/ # ==================================================================安装 hbase tar -zxvf ~/hbase-1.2.4-bin.tar.gz -C /usr/local rm –r ~/hbase-1.2.4-bin.tar.gz # 配置环境变量# =====================================

hadoop生态搭建(3节点)-07.hive配置

# http://archive.apache.org/dist/hive/hive-2.1.1/ # ==================================================================安装 hive tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local mv /usr/local/apache-hive-2.1.1-bin /usr/local/hive-2.1.1 rm –r ~/apach

hadoop生态搭建(3节点)-12.rabbitmq配置

# 安装 需要相关包# ==================================================================node1 node2 node3 yum install -y gcc gcc-c++ zlib zlin-devel perl ncurses-devel # 安装 openssl# ==================================================================node1 scp -r

hadoop生态搭建(3节点)-01.基础配置

# 基础配置# ==================================================================node1 vi /etc/hostname node1 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # BOOTPROTO=dhcp BOOTPROTO=static # ONBOOT=no ONBOOT=yes IPADDR=192.168.6.131 NETMASK=255.255.255.0 G

hadoop生态搭建(3节点)-05.mysql配置_单节点

# ==================================================================node1 # ==================================================================安装 mysql # 查看当前安装的mariadb包 rpm -qa | grep mariadb # 有就将它们统统强制性卸载掉: rpm -e --nodeps mariadb-libs-5.5.52-1.el7