1. 获取安装包下载链接
访问https://kafka.apache.org/downloads 找到kafka对应版本
需要与服务器安装的scala版本一致（运行spark-shell可以看到当前安装的scala版本）
2. 执行命令下载并安装
cd /usr/local/src/ wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.2/kafka_2.11-2.2.2.tgz tar -zxvf kafka_2.11-2.2.2.tgz mv kafka_2.11-2.2.2 /usr/local/kafka cd /usr/local/kafka/config mkdir -p /data/logs/kafka
3. 修改server.properties配置
vi server.properties
修改下面配置
# 每个kafka服务的broker.id值都需要设置，第一个为1，第二个为2，以此类推 broker.id=1 log.dirs=/data/logs/kafka # 设置kafka的分区数，这个根据具体情况而定 num.partitions=2 zookeeper.connect=master:2181,master-backup:2181
4. 修改zookeeper.properties配置
vi zookeeper.properties
修改下面配置
dataDir=/usr/local/zookeeper
5. 修改服务器系统环境变量
所有服务器都需要按要求修改配置
vi /etc/profile
在尾部添加下面配置
export KAFKA_HOME=/usr/local/kafka export PATH=$KAFKA_HOME/bin:$PATH
保存退出后，运行命令，让配置马上生效
source /etc/profile
6. 将kafka同步到master-backup服务器上
rsync -avz /usr/local/kafka/ master-backup:/usr/local/kafka/
修改server.properties配置
vi server.properties
将broker.id值修改为2
broker.id=2
7. 启动kafka服务
在master与master-backup服务器上运行命令，启动kafka服务
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
8. kafka常用操作命令
# 创建topic kafka-topics.sh --create --zookeeper master:2181,master-backup:2181 --topic sendTopic --partitions 2 --replication-factor 1 # 查看topic kafka-topics.sh --list --zookeeper master:2181,master-backup:2181 # 删除topic kafka-topics.sh --delete --topic sendTopic --zookeeper master:2181,master-backup:2181 # 创建生产者 kafka-console-producer.sh --broker-list master:9092,master-backup:9092 --topic sendTopic # 创建消费者 kafka-console-consumer.sh --bootstrap-server master:9092,master-backup:9092 --topic sendTopic --from-beginning # 在所有生产端输入字符，所有消费端都可以接收到 # 查看topic详细信息 kafka-topics.sh --describe --zookeeper master:9092,slave1:9092,slave2:9092
版权声明：本文原创发表于 博客园，作者为 AllEmpty 本文欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则视为侵权。
作者博客：http://www.cnblogs.com/EmptyFS/
原文地址：https://www.cnblogs.com/EmptyFS/p/12113192.html
时间： 2024-10-12 02:51:00