kafka 安装步骤

kafka安装文档

1、解压缩(官网下载:http://kafka.apache.org/downloads.html)

tar -xzf kafka_2.10-0.8.2.0.tgz

cd kafka_2.10-0.8.2.0

2、启动server服务(包括zookeeper服务、kafka服务)

bin/zookeeper-server-start.sh  config/zookeeper.properties & (&表示在后台执行)

bin/kafka-server-start.sh  config/server.properties &

3、创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic命令:

bin/kafka-topics.sh --list --zookeeper localhost:2181

4、发消息(producer发消息给kafka实例(broker)、consumer从kafka实例中接受数据)

Producer: bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

This is a message

This is another message

5、启动consumer

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

接受到的数据为:

This is a message

This is another message  注意:到这里单机kafka测试完成 下面介绍kafka集群安装与测试

6、首先准备3个虚拟机 安装zookeeper 3个节点的集群,分别为hadoop0、hadoop1、hadoop2

这里就不介绍了!!!!!!!

7、安装好zookeeper后 在3个节点分别执行 zkServer.sh start

查看状态命令为:zkServer.sh status

8、Hadoop0(192.168.80.100) 、Hadoop1(192.168.80.101) 、hadoop2(192.168.80.102) 对应主机   kafka下面的$KAFKA_HOME/conf/server.properties 分别修改文件为:

Hadoop0:

broker.id=0

port=9092

host.name=hadoop0

advertised.host.name=hadoop0

.....

num.partitions=2

zookeeper.contact=hadoop0:2181,hadoop1:2181,hadoop2:2181

Hadoop1:

broker.id=1

port=9093

host.name=hadoop1

advertised.host.name=hadoop1

.....

num.partitions=2

zookeeper.contact=hadoop0:2181,hadoop1:2181,hadoop2:2181

Hadoop2:

broker.id=2

port=9094

host.name=hadoop2

advertised.host.name=hadoop2

.....

num.partitions=2

zookeeper.contact=hadoop0:2181,hadoop1:2181,hadoop2:2181

9、模拟测试:

(1)分别在hadoop0、Hadoop1、hadoop2节点分别执行:

$KAFKA_HOME/bin/kafka-server-start.sh  $KAFKA_HOME/config/server.properties &

(2)在hadoop0新建topic  命令为:

kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper hadoop0:2181

查看多少个topic命令:

$KAFKA_HOME/bin/kafka-topics.sh --list --zookeeper hadoop0:2181

查看具体topic分区、备份信息(topic test001)命令:

kafka-topics.sh    --describe --zookeeper hadoop0:2181 --topic test001

(3)用hadoop1模拟producer(生产者),发消息到kafka 命令为:

kafka-console-producer.sh --broker-list hadoop0:9092 --sync --topic test

发消息内容:  this is a message

This is another message

(4)用hadoop2模拟consumer(消费者) 命令为:

kafka-console-consumer.sh --zookeeper hadoop0:2181 --topic test

接收到的消息为:

this is a message

This is another message

集群测试完毕!!!!

下面为topic的分区与复制

1、创建debugo01,这个topic分区为3,复制为1(没有复制)。该topic夸越全部broker

kafka-topics.sh  --create --zookeeper hadoop0,hadoop1,hadoop2 --replication-factor 1 --partition 3 --topic debugo01

2、创建debugo02,这个topic分区为1,复制为3。(每一个主机都有一份).

kafka-topics.sh  --create --zookeeper hadoop0,hadoop1,hadoop2 --replication-factor 3 --partition 1 --topic debugo02

3、创建debugo03,这个topic分区为3,复制为2。

kafka-topics.sh  --create --zookeeper hadoop0,hadoop1,hadoop2 --replication-factor 2 --partition 3 --topic debugo03

查看debugo03的具体信息:

kafka-topics.sh    --describe --zookeeper hadoop0:2181 --topic debugo03

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-11-10 08:24:13

kafka 安装步骤的相关文章

kafka安装步骤

kafka 安装内存会报不够 https://stackoverflow.com/questions/9350437/incompatible-initial-and-maximum-heap-sizes-specified Picked up _JAVA_OPTIONS: -Xmx1024M OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000b5a00000, 1073741824, 0) failed; e

Kafka Topic的详细信息 捎带主要的安装步骤

1. 安装步骤 Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样,不过比Zookeeper稍微简单些(不需要创建myid文件), 主要是针对每个Kafka服务器配置一个单独的server.properties,三个服务器分别使用server.properties,server.1.properties, server.2.properties cp server.properties server.1.properties cp server.properties se

kafka安装及常用命令

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版) 下面简单记录一下安装步骤和常用命令. 1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka 2.配置 vim conf/server.properties #设置bro

大数据系列之Kafka安装

先简单说下安装kafka的流程..(可配置多个zookeeper,这篇文只说一个zookeeper场景) 1.环境配置:jdk1.7+ (LZ用的是jdk1.8) 2.资料准备:下载 kafka_2.10-0.10.1.1.tgz ,官网链接为https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz 3.单机版安装步骤: a.将tgz放入目录: /app/ b.解压: tar -xzvf

Kafka安装与使用

Kafka安装与使用 下载地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz 安装以及启动kafka 步骤1:安装kafka [email protected]lhost:~$ tar -xzf kafka_2.10-0.8.1.1.tgz[email protected]:~$ cd kafka_2.10-0.8.1.1.tgz 步骤2:配置server.properties 配

zookeeper与kafka安装部署及java环境搭建

1. ZooKeeper安装部署 本文在一台机器上模拟3个zk server的集群安装. 1.1. 创建目录.解压 cd /usr/ #创建项目目录 mkdir zookeeper cd zookeeper mkdir tmp mkdir zookeeper-1 mkdir zookeeper-2 mkdir zookeeper-3 cd tmp mkdir zk1 mkdir zk2 mkdir zk3 cd zk1 mkdir data mkdir log cd zk2 mkdir data

【Apache KafKa系列之一】KafKa安装部署

kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能. 高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息. 支持通过kafka服务器和消费机集群来分区消息. 支持Hadoop并行数据加载. Kafka的目的是提供一个发布订阅解决方案,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因

kafka安装和使用远程代码进行访问 ---附踩坑记录

kafka安装和使用java连接远程服务器进行消息的生成与消费 首先要使用kafka,要有jdk和zookeeper的环境 本文在阿里云的centos7环境上进行 jdk版本选择的是1.8.0_181 zookeeper的版本是3.4.12 kafka的版本是2.12-1.1.1 关于kafka命令的介绍 本文不介绍了 只介绍怎么搭建一个kafka单点服务器 以及怎么使用代码 远程连接kafka服务器 下载地址 kafka下载地址 :http://kafka.apache.org/downloa

【Apache Kafka】Kafka安装及简单示例

(一)Apache Kafka安装 1.安装环境与前提条件 ??安装环境:Ubuntu16.04 ??前提条件: ubuntu系统下安装好jdk 1.8以上版本,正确配置环境变量 ubuntu系统下安装好scala 2.11版本 安装ZooKeeper(注:kafka自带一个Zookeeper服务,如果不单独安装,也可以使用自带的ZK) 2.安装步骤 ??Apache基金会开源的这些软件基本上安装都比较方便,只需要下载.解压.配置环境变量三步即可完成,kafka也一样,官网选择对应版本下载后直接