Docker 环境下,一键安装Kafaka 集群

一、必要条件

1.1 安装docker

1.2 安装docker compose

二、一键安装kafka集群

 1 version: ‘3.5‘
 2 services:
 3   zookeeper:
 4     image: wurstmeister/zookeeper                    ## 镜像
 5     ports:
 6       - "2181:2181"                                  ## 对外暴露的端口号
 7   kafka:
 8     image: wurstmeister/kafka                        ## 镜像
 9     volumes:
10         - /etc/localtime:/etc/localtime              ## 挂载位置(kafka镜像和宿主机器之间时间保持一直)
11     ports:
12       - "9092:9092"
13     environment:
14       KAFKA_ADVERTISED_HOST_NAME: 192.168.1.102     ## 修改:宿主机IP
15       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181       ## 卡夫卡运行是基于zookeeper的
16       KAFKA_CREATE_TOPICS: "Topic1:1:3,Topic2:1:1:compact"  #
17   kafka-manager:
18     image: sheepkiller/kafka-manager                ## 镜像:开源的web管理kafka集群的界面
19     environment:
20         ZK_HOSTS: 192.168.1.102                     ## 修改:宿主机IP
21     ports:
22       - "9000:9000"                                 ## 暴露端口
23
24
25 ##################################################
26 # 运行单机版kafka :
27 #  docker-compose up -d
28 #
29 # 运行kafka集群模式:
30 # 由于指定了kafka对外暴露的端口号,增加集群节点会报端口冲突的错误,请将kafka暴露的端口号删掉后再执行如下命令
31 # 自己指定kafka的节点数量
32 # docker-compose scale kafka=3
33 #
34 # 官方说明:
35 # https://hub.docker.com/r/wurstmeister/kafka?ref=login
36 # https://wurstmeister.github.io/kafka-docker/
37 ###################################################

原文地址:https://www.cnblogs.com/lostvip/p/10260559.html

时间: 2024-07-29 12:50:56

Docker 环境下,一键安装Kafaka 集群的相关文章

CentOS 6.5环境下heartbeat高可用集群的实现及工作原理详解

Linux HA Cluster高可用服务器集群,所谓的高可用不是主机的高可用,而是服务的高可用. 什么叫高可用:一个服务器down掉的可能性多种多样,任何一个可能坏了都有可能带来风险,而服务器离线通常带来的代价是很大的,尤其是web站点,所以当某一台提供服务的的服务器down掉不至于服务终止的就叫高可用. 什么叫心跳:就是将多台服务器用网络连接起来,而后每一台服务器都不停的将自己依然在线的信息很简短很小的通告给同一个网络中的备用服务器的主机,告诉其实主机自己依然在线,其它服务器收到这个心跳信息

Hadoop2.6.0 + Spark1.4.0 在Ubuntu14.10环境下的伪分布式集群的搭建(实践可用)

前言,之前曾多次搭建集群,由于疏于记录,每次搭建的时候到处翻阅博客,很是费劲,在此特别记录集群的搭建过程. 0.环境:Ubuntu14.10.Hadoop2.6.0.spark-1.4.0 1.安装jdk1.7 (1)下载jdk-7u25-linux-i586.tar.gz: (2)解压jdk-7u25-linux-i586.tar.gz,并将其移动到 /opt/java/jdk/路径下面 (3)配置java环境变量: 在 /etc/profile文件中追加 #set java env expo

(转)CentOS7.4环境下搭建--Gluster分布式集群存储

原文:https://blog.csdn.net/qq_39591494/article/details/79853038 环境如下:OS:Centos7.4x86_64IP地址如下: Daasbank1: 192.168.1.102---CentOS7.4x86_64 Daasbank2: 192.168.1.103---CentOS7.4x86_64 Daasbank3: 192.168.1.105---CentOS7.4x86_64 Client: 192.168.1.106---Cent

CentOS6.x生产环境下一键安装mono+jexus的脚本,自启动,带服务,版本号自控

转自: http://linuxdot.net/bbsfile-3784 1.支持哪些个平台?答:暂时仅支持CentOS6.x平台,7.x未测试,欢迎测试并到群里反馈给我(昵称:无聊人士) 2.一键安装版本暂时支持哪些版本的mono与jexus?答:版本自控,脚本会提示让你自己输入你想要的版本号,非常地自由 3.脚本的下载地址是?答:为了后期的更新,脚本放置在私人的平台上,地址分别是:默认版本(宇内推荐的):http://security.ivannet.com/linux/shell/cent

win10环境下搭建zookeeper伪集群

一.下载zookeeper https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 这里笔者下载的是zookeeper-3.3.6 二.配置zookeeper 1.解压到三个目录 我们想要在单机上搭建3个server的伪集群,需要将下载好的zookeeper压缩包解压到三个目录下.笔者的目录如下: server1 : F:\paths\zookeeper\server1\zookeeper-3.3.6 server2 : F:\paths\z

shell脚本一键安装redis集群

简介: 明天再写,上脚本 #!/bin/bash #------------------------------------------------------------------------------------------------------------------# #| Some people die at the age of 25 and don't bury themselves in the earth until they are 75 |# #-----------

kubernetes学习与实践篇(二) kubernetes1.5 的安装和集群环境部署

kubernetes 1.5 的安装和集群环境部署 文章转载自:http://www.cnblogs.com/tynia/p/k8s-cluster.html 简介: Docker:是一个开源的应用容器引擎,可以为应用创建一个轻量级的.可移植的.自给自足的容器. Kubernetes:由Google开源的Docker容器集群管理系统,为容器化的应用提供资源调度.部署运行.服务发现.扩容缩容等功能. Etcd:由CoreOS开发并维护的一个高可用的键值存储系统,主要用于共享配置和服务发现. Fla

在Docker下搭建Spark+HDFS集群

在Docker下搭建Spark+HDFS集群 1.      在VM中安装Ubuntu OS并实现root登录 (http://jingyan.baidu.com/article/148a1921a06bcb4d71c3b1af.html) 安装Vm增强工具 http://www.jb51.net/softjc/189149.html 2.      安装Docker docker安装方法一 ubuntu14.04以上的版本都是自带docker安装包的:所以可以直接安装:但是这个一般不是最先版本

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(下)-搭建Hadoop集群

上篇:用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker 上篇介绍了快速上手Docker部分,下面接着介绍搭建Hadoop集群部分. 六.搭建Hadoop伪分布模式 我们先用前面创建的这个容器来搭建Hadoop伪分布模式做测试,测试成功后再搭建完全分布式集群. 1.SSH这个centos容器可以看做是一个非常精简的系统,很多功能没有,需要自己安装.Hadoop需要SSH,但容器没有自带,需要我们安装.①安装SSH # yum -y ins