3台linux搭建Pulsar集群环境用于测试

搭建 Pulsar 集群需要 3 个组件:ZooKeeper 集群、BookKeeper 集群和 broker 集群
以下部署策略:
192.168.1.46 (部署BookKeeper,部署broker)
192.168.1.47 (部署BookKeeper,部署broker)
192.168.1.48 (部署单个ZK,部署BookKeeper,部署broker)
前期准备
1)jdk1.8
2)在各机器根下创建 data目录,下载apache-pulsar-2.4.2-bin.tar.gz拷到data目录下
chmod 777 apache-pulsar-2.4.2-bin.tar.gz
tar xvfz apache-pulsar-2.4.2-bin.tar.gz
一 ZooKeeper 集群
为了简单一台机器上部署单个ZK使用.
1) 在data目录下创建 zookeeper和zookeeper/logs目录
2) 修改 zookeeper.conf 文件
dataDir=/data/zookeeper
dataLogDir=/data/zookeeper/logs
server.3=192.168.1.48:2888:3888
3) 执行命令 echo 3 > /data/zookeeper/zookeeper/myid
4) 启动zk
/data/apache-pulsar-2.4.2$ PULSAR_EXTRA_OPTS="-Dstats_server_port=8001" bin/pulsar-daemon start zookeeper
(注意:因为ZK和broker部署在同一机器启动时要加上PULSAR_EXTRA_OPTS="-Dstats_server_port=8001" 改变端口,否则到后边在冲突)
5) 初始化集群元数据
bin/pulsar initialize-cluster-metadata --cluster pulsar-cluster-zk --zookeeper 192.168.1.48:2181 --configuration-store 192.168.1.48:2181 --web-service-url http://192.168.1.48:8080 --web-service-url-tls https://192.168.1.48:8443 --broker-service-url pulsar://192.168.1.48:6650 --broker-service-url-tls pulsar+ssl://192.168.1.48:6651

二 BookKeeper 集群
1)创建 /data/bookkeeper/目录
2)bookkeeper.conf 文件
advertisedAddress=HOSTNAMEIP (根据机器IP填写)
zkServers=192.168.1.48:2181
journalDirectory=/data/bookkeeper/journal
ledgerDirectories=/data/bookkeeper/ledgers
3 执行初始化元数据命令;若出现提示,输入 Y,继续(只需在一个bookie节点执行一次)
/data/apache-pulsar-2.4.2$ bin/bookkeeper shell metaformat
4)启动 data/apache-pulsar-2.4.2$ bin/pulsar-daemon start bookie
5)另两台机器根据以上操作分别启动
三部署 broker集群
1 修改配置文件broker.conf
zookeeperServers=192.168.1.48:2181
configurationStoreServers=192.168.1.48:2181
advertisedAddress=HOSTNAME (根据机器IP填写)
clusterName=pulsar-cluster-zk
2 启动data/apache-pulsar-2.4.2$ bin/pulsar-daemon start broker
3 另两台机器根据以上操作分别启动

原文地址:https://blog.51cto.com/14602923/2459343

时间: 2024-10-24 16:02:40

3台linux搭建Pulsar集群环境用于测试的相关文章

记一次多台linux搭建zookeeper集群

自己搭建了zookeeper集群,使用了三台linux,搭建三节点的集群,这里记录一下. 在linux上可以使用wget+网址+版本号,wget和网址之间有个空格,就可以直接在linux上联网下载相应的软件版本. 首先,在/usr/local下执行 # wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz 解压:# tar -zxvf zookeeper-3.4.5.tar.gz

Linux下安装搭建Memcached集群环境

Linux下安装搭建Memcached集群环境

Linux下Hadoop集群环境的搭建

本文旨在提供最基本的,可以用于在生产环境进行Hadoop.HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用. 基础环境 JDK的安装与配置 现在直接到Oracle官网(http://www.oracle.com/)寻找JDK7的安装包不太容易,因为现在官方推荐JDK8.找了半天才找到JDK下载列表页的地址(http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html).因

【redis】 linux 下redis 集群环境搭建

Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 1:下载redis.官网下载3.0.0版本,之前2.几的版本不支持集群模式 下载地址:https://github.com

docker容器中搭建kafka集群环境

Kafka集群管理.状态保存是通过zookeeper实现,所以先要搭建zookeeper集群 zookeeper集群搭建 一.软件环境: zookeeper集群需要超过半数的的node存活才能对外服务,所以服务器的数量应该是2*N+1,这里使用3台node进行搭建zookeeper集群. 1. 3台linux服务器都使用docker容器创建,ip地址分别为 NodeA:172.17.0.10 NodeB:172.17.0.11 NodeC:172.17.0.12 2. zookeeper的doc

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境

一.环境说明 个人理解:zookeeper可以独立搭建集群,hbase本身不能独立搭建集群需要和hadoop和hdfs整合 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: IP     角色10.10.50.133 master10.10.125.156 slave110.10.114.112 slave2 三个节点均使用CentOS 6.5系统,为了便于维护,集群环境配置项最好使用

centos7搭建zookeeper集群环境

搭建起一个zookeeper的集群环境,选择三台机器作为测试(zookeeper的集群环境节点数最好的是>=3且为奇数) 选用三台虚拟机机器(三台机器上需要配置好jdk环境): Node1:192.168.153.133 Node2:192.168.153.137 Node3:192.168.153.138 首先下载zookeeper的稳定版,地址https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/apache-zookeep

Linux下搭建hadoop集群环境

小编写在前面的话 “天下武功,唯快不破”,但是如果不清楚原理,快也是徒劳.在这物欲横行,数据爆炸的年代,BigData时代到了,如果熟悉了整个hadoop的搭建过程,我们是否也能从中攫取一桶金?! 前期准备 l  两台linux虚拟机(本文使用redhat5,IP分别为 192.168.1.210.192.168.1.211) l  JDK环境(本文使用jdk1.6,网上很多配置方法,本文省略) l  Hadoop安装包(本文使用Hadoop1.0.4) 搭建目标 210作为主机和节点机,211

Linux下Redis集群环境的搭建

一.安装redis(使用redis3.0版本) 1.需要gcc环境,如果没有执行命令安装gcc yum install gcc-c++ 2.下载redis3.0的源码包并上传至服务器 3.解压源码包 tar -zxvf redis-3.0.0.tar.gz 4.进入解压目录编译 make 5.安装redis make install PREFIX=/usr/local/redis 二.启动redis 1.从redis-3.0.0文件中复制redis-conf到redis的安装目录中 2.然后修改