docker容器搭建kafka集群

Docker搭建kafka集群

?  需求说明：

公司目前有三个环境，生产环境，测试和演示环境，再包括开发人员还有开发的环境，服务器上造成了一定的资源浪费，因为环境需要依赖zookeeper和kafka，redis这些服务，只要搭一个环境，所有东西都要重新搭一遍，所以搭建kafka集群，让大部分环境都连接一个集群，把单个的服务变成公共的，稳定并易于管理

?  Kafka集群管理和状态保存是通过zookeeper来实现的，要先部署zk集群

?  环境说明：

centos系统安装docker，通过docker启动容器搭建集群

第1章 部署zookeeper集群

利用dockerfile制作zookeeper镜像

mkdir /opt/docker-file/zookeeper –p

mkdir /opt/docker-file/kafka –p

编写dockerfile文件

[[email protected] zookeeper]# cat Dockerfile

#at 2018-08-03

FROM centos-ssh

MAINTAINER byjiang

# copy install package files from localhost.

ADD ./zookeeper-3.3.6.tar.gz /opt/

# Create zookeeper data and log directories

RUN mkdir -p /opt/zkcluster/zkconf && \

mv /opt/zookeeper-3.3.6 /opt/zkcluster/zookeeper && \

yum install -y java-1.7.0-openjdk*

CMD /usr/sbin/init

[[email protected] zookeeper]# pwd

/opt/docker-file/zookeeper

[[email protected] zookeeper]# ll

total 11564

-rw-r--r-- 1 root root      332 Aug 4 02:05 Dockerfile

-rw-r--r-- 1 root root 11833706 Oct 31  2014 zookeeper-3.3.6.tar.gz

[[email protected] zookeeper]# docker build -t zookeeper-3.3.6 .

查看镜像是否创建成功

[[email protected] zookeeper]# docker images

REPOSITORY               TAG                 IMAGE ID            CREATED             SIZE

zookeeper-3.3.6          latest              a176ce9ee8be        4 minutes ago       665MB

启动容器：

docker run -d -p 12888:2888 -d -p 13888:3888 -d -p 12181:12181 --privileged=true -v /home/data/zookeeper/:/opt/zkcluster/zkconf/ --name zkNode-1 zookeeper-3.3.6

docker run -d -p 12889:2889 -d -p 13889:3889 -d -p 12182:12182 --privileged=true -v /home/data/zookeeper/:/opt/zkcluster/zkconf/ --name zkNode-2 zookeeper-3.3.6

docker run -d -p 12890:2890 -d -p 13890:3890 --privileged=true -v /home/data/zookeeper/:/opt/zkcluster/zkconf/ --name zkNode-3 zookeeper-3.3.6

查看容器运行是否成功：

docker ps -a

CONTAINER ID       IMAGE               COMMAND                  CREATED             STATUS              PORTS                                             NAMES

7c918ef10214       zookeeper-3.3.6     "/bin/sh -c /usr/sbi…"   7 seconds ago       Up 5 seconds        0.0.0.0:12890->2890/tcp, 0.0.0.0:13890->3890/tcp   zkNode-3

d46b3dde46b2       zookeeper-3.3.6     "/bin/sh -c /usr/sbi…"   16 seconds ago      Up 13 seconds       0.0.0.0:12889->2889/tcp, 0.0.0.0:13889->3889/tcp   zkNode-2

e721b33946e1       zookeeper-3.3.6     "/bin/sh -c /usr/sbi…"   2 minutes ago       Up 2 minutes        0.0.0.0:12888->2888/tcp, 0.0.0.0:13888->3888/tcp   zkNode-1

修改zookeeper配置文件

docker exec -it zkNode-1 /bin/sh

sh-4.2# cd /opt/zkcluster/zookeeper/

sh-4.2# mkdir zkdata

sh-4.2# mkdir zkdatalog

sh-4.2# cp conf/zoo_sample.cfg conf/zoo.cfg

sh-4.2# vi /opt/zkcluster/zookeeper/conf/zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/opt/zookeeper/zkdata

dataLogDir=/opt/zookeeper/zkdatalog

clientPort=12181

server.1=172.17.0.2:2888:3888

server.2=172.17.0.3:2889:3889

server.3=172.17.0.4:2890:3890

#如果不知道容器的ip可以这样查看，虽然有点笨

sh-4.2# cat /etc/hosts

127.0.0.1      localhost

172.17.0.2     e721b33946e1

#server.1 这个1是服务器的标识也可以是其他的数字，表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里

#172.17.0.x为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888

每个节点分别创建myid文件

echo "1" > /opt/zookeeper/zkdata/myid

echo "2" > /opt/zookeeper/zkdata/myid

echo "3" > /opt/zookeeper/zkdata/myid

目录说明：

sh-4.2# ls

zkconf zookeeper

sh-4.2# pwd

/opt/zkcluster

zkconf：用来存放脚本等文件，在启动容器时使用-v挂载宿主机目录

zookeeper：即zookeeper的项目目录

zookeeper下有两个手动创建的目录zkdata和zkdatalog

zkdata      #存放快照日志

zkdatalog   #存放事物日志

配置文件说明：

#tickTime：

这个时间是作为Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime 时间就会发送一个心跳。

#initLimit：

这个配置项是用来配置Zookeeper 接受客户端（这里所说的客户端不是用户连接Zookeeper 服务器的客户端，而是Zookeeper 服务器集群中连接到Leader 的Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过5个心跳的时间（也就是tickTime）长度后Zookeeper服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是5*2000=10 秒

#syncLimit：

这个配置项标识Leader与Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个tickTime 的时间长度，总的时间长度就是5*2000=10秒

#dataDir：

快照日志的存储路径

#dataLogDir：

事物日志的存储路径，如果不配置这个那么事物日志会默认存储到dataDir制定的目录，这样会严重影响zk的性能，当zk吞吐量较大的时候，产生的事物日志、快照日志太多

#clientPort：

这个端口就是客户端连接Zookeeper 服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求。修改他的端口改大点

启动zookeeper服务，每个zk节点均为相同操作：

进入zk的bin目录下,启动zk服务

sh-4.2# ./zkServer.sh start

说明：由于zk版本和部署方式，在启动的时候报错比较多，不过查看zookeeper.out的日志文件都可以解决的

查看每个节点zk的状态

zkNode-1 节点：

sh-4.2# ./zkServer.sh status

JMX enabled by default

Using config: /opt/zkcluster/zookeeper/bin/../conf/zoo.cfg

Mode: follower

zkNode-2 节点：

sh-4.2# ./zkServer.sh status

JMX enabled by default

Using config: /opt/zkcluster/zookeeper/bin/../conf/zoo.cfg

Mode: leader

zkNode-3 节点：

sh-4.2# ./zkServer.sh status

JMX enabled by default

Using config: /opt/zkcluster/zookeeper/bin/../conf/zoo.cfg

Mode: follower

容器化的zk集群部署成功

第2章 下面开始部署kafka集群：

2.1利用dockerfile制作镜像

上传软件包并编写dockerfile文件

cd /opt/docker-file/kafka/

ls

Dockerfile kafka_2.11-1.0.1.tgz

cat Dockerfile

#at 2018-08-03

FROM centos-ssh

MAINTAINER byjiang

# copy install package files from localhost.

ADD ./kafka_2.11-1.0.1.tgz /opt/

# Create kafka and log directories

RUN mkdir -p /opt/kafkacluster/kafkalog && \

mkdir -p /opt/kafkacluster/kafkaconf && \

mv /opt/kafka_2.11-1.0.1 /opt/kafkacluster/kafka && \

yum install -y java-1.7.0-openjdk*

CMD /usr/sbin/init

构建kafka镜像

docker build -t kafka-2.11 .

2.2启动三个kafka节点：

docker run -d -p 19092:9092 -v /home/data/kafka:/opt/kafkacluster/kafkaconf --name kafkaNode-1 kafka:2.11

docker run -d -p 19093:9093 -v /home/data/kafka:/opt/kafkacluster/kafkaconf --name kafkaNode-2 kafka:2.11

docker run -d -p 19094:9094 -v /home/data/kafka:/opt/kafkacluster/kafkaconf --name kafkaNode-3 kafka:2.11

2.3修改kafka配置文件

修改server.properties文件，同样，三个节点相同操作,注意修改端口和ip地址

cd /opt/kafkacluster/kafka/config/

vi server.properties

broker.id=1

host.name=172.17.0.5

port=9092

log.dirs=/opt/kafkacluster/kafkalog

zookeeper.connect=172.17.0.2:2181,172.17.0.3:2181,172.17.0.4:2181

message.max.byte=5242880

default.replication.factor=2

replica.fetch.max.bytes=5242880

配置文件说明：

broker.id=0  #当前机器在集群中的唯一标识，和zookeeper的myid性质一样

port=9092 #当前kafka对外提供服务的端口默认是9092

host.name=172.17.0.13 #这个参数默认是关闭的，在0.8.1有个bug，DNS解析问题，失败率的问题。

num.network.threads=3 #这个是borker进行网络处理的线程数

num.io.threads=8 #这个是borker进行I/O处理的线程数

log.dirs=/opt/kafkacluster/kafkalog/ #消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个

socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能

socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘

socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小

num.partitions=1 #默认的分区数，一个topic默认1个分区数

log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天

message.max.byte=5242880  #消息保存的最大值5M

default.replication.factor=2  #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务

replica.fetch.max.bytes=5242880  #取消息的最大直接数

log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件

log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除

log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能

zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:1218 #设置zookeeper的连接端口

启动kafka服务：

cd /opt/kafkacluster/kafka

./bin/kafka-server-start.sh -daemon ./config/server.properties

测试kafka：

在任意kafka节点进行操作：

./bin/kafka-topics.sh --create --zookeeper 172.17.0.3:12181 --replication-factor 1 --partitions 1 --topic SMSMessage

这里的zk节点也可以是三个zk节点的任意节点，创建成功后，在换一个zk节点查看主题：

./bin/kafka-topics.sh --list --zookeeper 172.17.0.2:12181

IMMessage

SMSMessage

UserRegister

VerifyCode

pushMsg

./bin/kafka-topics.sh --list --zookeeper 172.17.0.4:12181

IMMessage

SMSMessage

UserRegister

VerifyCode

pushMsg

这样我的kafka集群主题就创建成功了

原文地址：http://blog.51cto.com/13520772/2155004

时间： 2024-10-03 02:15:14

docker容器搭建kafka集群的相关文章

基于docker环境搭建kafka集群（三台真机之间）

环境基于docker,三台物理主机192.168.0.27.192.168.0.28.192.168.0.29,每台主机部署一个zookeeper节点,一个kafka节点,共三个zookeeper节点,三个kafka节点,容器之间的网络采用host模式 1.拉取镜像 2.启动容器 step1. 创建配置文件zoo.cfg并替换容器内的该文件,不同的镜像有可能zoo.cfg位置不同 # The number of milliseconds of each tick tickTime=2000 #

动手搭建docker并在docker容器中建spark集群

本人亲自测试搭建,由于是初学一路搭建下来走了不少弯路.如有不对或更简洁的步骤请提出环境: win10上安装的虚拟机,虚拟机装的centos7,并liunx界面化(之前搭建一次在网和端口都可以telnet前提下,就是访问不了docker容器中的服务地址,此次是为了防止宿机不能访问下用虚拟机界面浏览器),centos7的命令和centos6有区别,而且centos7中是没有iptables命令,如要使用自己安装.本人搭建的 虚拟机ip:192.168.20.129spark master节点IP:

Docker实战之Kafka集群

1. 概述 Apache Kafka 是一个快速.可扩展的.高吞吐.可容错的分布式发布订阅消息系统.其具有高吞吐量.内置分区.支持数据副本和容错的特性,适合在大规模消息处理场景中使用. 笔者之前在物联网公司工作,其中 Kafka 作为物联网 MQ 选型的事实标准,这里优先给大家搭建 Kafka 集群环境.由于 Kafka 的安装需要依赖 Zookeeper,对 Zookeeper 还不了解的小伙伴可以在 这里 先认识下 Zookeeper. Kafka 能解决什么问题呢?先说一下消息队列常见的使

Docker 容器部署 Consul 集群

一.docker安装与启动1.1安装docker[[email protected] /]# yum -y install docker-io 1.2更改配置文件[[email protected] /]# vi /etc/sysconfig/dockerother-args列更改为:other_args="--exec-driver=lxc --selinux-enabled" 1.3启动docker服务[[email protected] /]# service docker st

centos7搭建kafka集群-第二篇

好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软件环境 (3台服务器) 10.0.20.131 10.0.20.132 10.0.20.133 1.Linux服务器一台.三台.五台.(2*n+1),Zookeeper集群的工作是超过半数才能对外提供服务,3台中超过两台超过半数,允许1台挂掉 ,是否可以用偶数,其实没必要. 如果有四台那么挂掉一台还

docker容器中搭建kafka集群环境

Kafka集群管理.状态保存是通过zookeeper实现,所以先要搭建zookeeper集群 zookeeper集群搭建 一.软件环境: zookeeper集群需要超过半数的的node存活才能对外服务,所以服务器的数量应该是2*N+1,这里使用3台node进行搭建zookeeper集群. 1. 3台linux服务器都使用docker容器创建,ip地址分别为 NodeA:172.17.0.10 NodeB:172.17.0.11 NodeC:172.17.0.12 2. zookeeper的doc

docker下部署kafka集群(多个broker+多个zookeeper)

网上关于kafka集群的搭建,基本是单个broker和单个zookeeper,测试研究的意义不大.于是折腾了下,终于把正宗的Kafka集群搭建出来了,在折腾中遇到了很多坑,后续有时间再专门整理份搭建问题分析 docker-compose.yml配置文件 version: '2' services: zoo1: image: zookeeper restart: always container_name: zoo1 ports: - "2181:2181" environment: Z

centos7搭建kafka集群-第一篇

Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有一个共同点: 数据是由上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这个时候就可以使用消息系统,尤其是分布式消息系统! 2.Kafka的定义 What is Kafka:它是一个分布

基于docker环境搭建redis-cluster集群（多台机器）

步骤与单机搭建redis集群相同 1.分别在两台机器创建 redis-cluster.tmpl creatRedisCluster.sh  creatDocker.sh(每天机器创建三个redis实例) 创建集群 ##进入某一个redis实例执行如下代码 /usr/local/bin/redis-cli --cluster create 宿主机1IP:7001 宿主机1IP:7002 宿主机1IP:7003 宿主机2IP:7001 宿主机2IP:7002 宿主机2IP:7003 --cluste