Kafka 环境搭建

基础环境 CentOS-7-x86_64-DVD-1908

1.安装配置jdk
下载安装包并解压配置环境变量
jdk-8u231-linux-x64.tar.gz
配置环境变量修改文件vi /etc/profile
尾部添加
export JAVA_HOME=/gcl/jdk1.8.0_231
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
配置生效 source /etc/profile
测试 java -version 成功后进入下一步配置
2.搭建zookeeper
下载安装包并解压
apache-zookeeper-3.5.5-bin.tar.gz
配置 复制文件
[[email protected] conf]# cp zoo_sample.cfg zoo.cfg

编辑文件
[[email protected] conf]# vi zoo.cfg

dataDir=/gcl/apache-zookeeper-3.5.5-bin/data
dataLogDir=/gcl/apache-zookeeper-3.5.5-bin/log

确保上述配置添加了

常用命令
sh zkServer.sh start
sh zkServer.sh status
sh zkServer.sh stop

启动成功后进行下一步

启动失败到logs目录下查看启动失败原因,然后解决
[[email protected] logs]# tail -f zookeeper-root-server-localhost.localdomain.out

3.搭建kafka
下载安装包并解压
kafka_2.11-2.3.1.tgz
修改配置
[[email protected]alhost config]# vi server.properties
port=9092
host.name=192.168.6.114

log.dirs=/gcl/kafka_2.11-2.3.1/kafka-logs

zookeeper.connect=localhost:2181

bin/kafka-server-start.sh config/server.properties

停止
./bin/kafka-server-stop.sh

创建一个主题
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TEST_TOPIC

备注:先安装配置启动zookeeper

备注: 错误
advertised.listeners=PLAINTEXT://192.168.6.92:9092

4.命令使用kafka

启动
bin/kafka-server-start.sh config/server.properties

停止
./bin/kafka-server-stop.sh

创建一个主题
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TEST_TOPIC
查看主题
bin/kafka-topics.sh --list --zookeeper localhost:2181

运行
./bin/kafka-server-start.sh ./config/server.properties

原文地址:https://www.cnblogs.com/guochaolang/p/12031048.html

时间: 2024-11-09 00:18:46

Kafka 环境搭建的相关文章

kafka环境搭建二---Windows客户端Linux服务器

一.对于服务器端的搭建可以参考上一篇文章:kafka单机版环境搭建与测试 服务器端IP :10.0.30.221 运行环境的目录如下: 需要改动config文件夹下的server.properties中的以下两个属性 zookeeper.connect=localhost:2181改成zookeeper.connect=10.0.30.221:2181 以及默认注释掉的 #host.name=localhost改成host.name=10.0.30.221 host.name不更改会造成客户端报

kafka环境搭建2-broker集群+zookeeper集群(转)

原文地址:http://www.jianshu.com/p/dc4770fc34b6 zookeeper集群搭建 kafka是通过zookeeper来管理集群.kafka软件包内虽然包括了一个简版的zookeeper,但是感觉功能有限.在生产环境下,建议还是直接下载官方zookeeper软件. 下载 最新版的zookeeper软件 wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.g

kafka环境搭建测试

一.安装 1. 下载:去kafka官网下载:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz 2. 解压:tar -xzf kafka_2.11-0.9.0.1.tgz 3. 修改配置文件: 3.1 server.properties: host.name=l92.168.242.131 (将localhost改为实际的IP地址) advertised.host.name=l92.16

windows10下Kafka环境搭建

Zookeeper:1) 建议下载稳定版. 下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/ 2)    下载后解压到一个目录:eg: D:\Java\Tool\zookeeper-3.4.10 3)    在zookeeper-3.4.10目录下,新建文件夹,并命名(eg: data).(路径为:D:\Java\Tool\zookeeper-3.4.10\conf\data) 4)    进入Zookeeper设置目录,eg: D:\Java\

kafka单机环境搭建及其基本使用

最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1).解压kafka_2.11-1.1.0.tgz,得到"kafka_2.11-1.1.0"文件夹. (2).kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用.使用需配置kafka_2.

Idea下Kafka源码阅读编译环境搭建

Kafka源码编译阅读环境搭建 开发环境: Oracle Java 1.7.0_25 + Idea + Scala 2.10.5 +Gradle 2.1 + Kafka 0.9.0.1 一.Gradle安装配置 Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了,因此首先需要安装Gradle.Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局限性--你可以访问https://www.gradle.org/downloads/ 下载最新的Gradle版本

kafka单机环境搭建

1,准备工作:  windows下虚拟机上安装centos7,下载putty工具. 2,windows下下载相关的安装包 jdk-8u71-linux-x64.rpm kafka_2.11-0.9.0.0.tgz zookeeper-3.4.6.tar.gz 3,通过putty的pscp工具将上述3个文件上传到centos的/home/xf/backup目录(自己指定目录) 4,启动一个putty窗口连接centos,rpm方式安装jdk-8u71-linux-x64.rpm 5,解压kafka

zookeeper以及kafka环境的搭建  

linux上的系统环境变量  在安装zookeeper时不需要配置 1. 下载zookeeper二进制安装包(可以下载附件内容或者到官网下载http://www.apache.org/dyn/closer.cgi/zookeeper/) 2解压到linux上任意一路径  本文新建在了/home/hadoop/下 tar -zxvf zookeeper-3.4.6.tar.gz 本人选择 zookeeper-3.4.6.tar.gz   因为3.4.6版本属于稳定版本 3,配置zookeeper

apache kafka源代码工程环境搭建(IDEA)

1.gradle安装 gradle安装 2.下载apache kafka源代码 apache kafka下载 3.用gradle构建产生IDEA工程文件 [email protected]:~/Downloads/kafka_2.10-0.8.1$ gradle idea 生成IDEA工程文件如下: 4.项目导入到IDEA工程中 File-->Open 5.IDEA中查看源码工程 6.Kafka启动时,参数设置 配置server.properties 7.log4j.properties文件路径