kafka的单节点搭建和集群搭建

首先,kafka的运行,需要zookeeper在后台运行,虽然kafka中已经内置了zookeeper,但是我们还是用自己搭建的分布式zookeeper

kafka的单节点搭建  (这里用了自带的zookeeper)

启动服务

?1、配置和启动zookeeper服务

使用kafka内置zk

?配置zk文件:/opt/kafka/config/zookeeper.properties

?启用zk服务:

?/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties > /opt/logs/kafka-zk.log 2>&1 &

?netstat -an | grep 2181

使用公共的zk

?在/opt/kafka/config/server.properties中的zookeeper.connect配置外界zk的地址

?

?2、启动Kafka-server

?配置相关参数/opt/kafka/config/server.properties

?主要参数:broker.id、port、log.dirs

?启动:/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties >/opt/logs/kafka-server.log 2>&1 &

zookeeper的集群搭建

?部署kafka集群其实是增加kafka的broker数目。

?部署kafka集群:192.168.2.134、192.168.2.135、192.168.2.136

?

?1、zk的配置和单节点一致。

?2、server启动:

在192.168.2.134节点的配置/opt/kafka/config/server.properties broker.id=0

在192.168.2.135节点的配置/opt/kafka/config/server.properties broker.id=1

在192.168.2.136节点的配置/opt/kafka/config/server.properties broker.id=2

?所有节点的server.properties配置:zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181

?启动所有server(在每一台中都要执行这个命令启动kafka):/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties >/opt/logs/kafka-server.log 2>&1 &

?新增两个副本、3个分区的topic world

?bin/kafka-topics.sh --create --zookeeper 192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181 --replication-factor 3 --partitions 2 --topic world

时间: 2025-01-03 15:48:02

kafka的单节点搭建和集群搭建的相关文章

实战1 伪分布式Hadoop单节点实例 CDH4集群安装 Hadoop

Hadoop由两部分组成 分布式文件系统HDFS 分布式计算框架MapReduce 其中分布式文件系统(HDFS)主要用于大规模数据的分布式存储,而MapReduce则构建在分布式文件系统之上,对于存储在分布式文件系统中的数据进行分布式计算. 详细的介绍个节点的作用 NameNode: 1.整个Hadoop集群中只有一个NameNode.它是整个系统的中枢,它负责管理HDFS的目录树和相关文件 元数据信息.这些信息是以"fsimage (HDFS元数据镜像文件)和Editlog(HDFS文件改动

环境搭建-CentOS集群搭建

环境搭建-CentOS集群搭建 写在前面 最近有许多小伙伴问我,大数据的hadoop分布式集群该如何去搭建.所以,想着,就写一篇博客,帮助到更多刚入门大数据的人.本博客会一步一步带你实现一个Hadoop的搭建.跟着博客上面的步骤,很详细的.你很快就会有一个自己的hadoop集群啦. 我是在自己的windows机器上使用virtualBox来虚拟三台机器,作为实验的环境. 实验环境 Windows 宿主机:Windows 10 (其余也是可以的) VirtualBox 版本:VirtualBox

Kafka 0.9+Zookeeper3.4.6集群搭建、配置,新Client API的使用要点,高可用性测试,以及各种坑 (转载)

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置 操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器

Kafka 详解(二)------集群搭建

这里通过 VMware ,我们安装了三台虚拟机,用来搭建 kafka集群,虚拟机网络地址如下: hostname                      ipaddress                subnet mask                          geteway 1. master 192.168.146.200 255.255.255.0 192.168.146.2 2. slave1 192.168.146.201 255.255.255.0 192.168.

Kafka 0.9+Zookeeper3.4.6集群搭建、配置,新版Java Client的使用要点,高可用性测试,以及各种坑(二)

上一节中(点此传送),我们完成了Kafka集群的搭建,本节中我们将介绍0.9版本中的新API,以及Kafka集群高可用性的测试 1. 使用Kafka的Producer API来完成消息的推送 1) Kafka 0.9.0.1的java client依赖: <dependency>     <groupId>org.apache.kafka</groupId>     <artifactId>kafka-clients</artifactId>  

spark--环境搭建--ZooKeeper345集群搭建

$ cd /usr/local/ $ tar -zxvf zookeeper-3.4.5.tar.gz $ mv zookeeper-3.4.5 zk $ cd $ vi .bashrc export ZOOKEEPER_HOME=/usr/local/zk export PATH=$PATH:$ZOOKEEPER_HOME/bin $ source .bashrc $ cd /usr/local/zk/conf/ $ mv zoo_sample.cfg zoo.cfg $ vi zoo.cfg

Kafka在Centos6.4中的集群搭建

环境要求:三台装有Centos6.4的虚拟机,需要有java1.7以上的环境,需要ZooKeeper环境. 1)从Kafka官网下载Kafka安装包 下载Kafka 2)解压安装包 tar -xzf kafka_2.10-0.9.0.1.tgz 3)由于名字太长,改为kafka: mv kafka_2.10-0.9.0.1 kafka 4)进入kafka下面的config目录,修改配置文件server.properties: port=9092 log.dirs=/usr/local/kafka

单节点伪分布集群(weekend110)的Hive子项目启动顺序

因为,我的mysql是用root用户,在/home/hadoop/app/目录下,创建的. 第一步:开启mysql服务 第二步:启动hive [[email protected] app]$ su rootPassword: [[email protected] app]# service mysqld startStarting mysqld: [ OK ][[email protected] app]# su hadoop[[email protected] app]$ cd hive-0.

spark--环境搭建--CentOS65集群搭建

1. 安装至少3台centos65虚拟机 2. 配置静态ip: $ vi /etc/sysconfig/network-scripts/ifcfg-eth0 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.2.100 NETMASK=255.255.255.0 GATEWAY=192.168.2.1 原文地址:https://www.cnblogs.com/p---k/p/8593842.html