centos8安装kafka(单机方式)

一,下载kafka

1,官网地址

http://kafka.apache.org/downloads.html

2,下载

[[email protected] source]# wget http://mirror.bit.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz

说明:架构森林是一个专注架构的博客,对应的源码可以访问这里获取

https://github.com/liuhongdi/

说明:作者邮箱: [email protected]

二,解压:

[[email protected] source]# tar -zxvf kafka_2.13-2.4.0.tgz [[email protected] source]# mv kafka_2.13-2.4.0 /usr/local/soft/

三,启动zookeeper

[[email protected] source]# systemctl status zookeeper
如果状态不是running则:
[[email protected] source]# systemctl start zookeeper

四,创建日志目录:

[[email protected] source]# cd /data/logs/
[[email protected] logs]# mkdir kafkalogs
[[email protected] logs]# chmod 777 kafkalogs

五,配置kafka的日志目录

[[email protected] ~]# vi /usr/local/soft/kafka_2.13-2.4.0/config/server.properties

只修改log.dirs的值,设置为自定义的kafka日志目录

log.dirs=/data/logs/kafkalogs

六,配置环境变量

[[email protected] ~]# vi /etc/profile

说明:增加kafka的所在目录变量,如下两行

export KAFKA_HOME=/usr/local/soft/kafka_2.13-2.4.0
export PATH=$PATH:$KAFKA_HOME/bin

七,启动服务/停止服务

启动kafka

[[email protected] ~]# /usr/local/soft/kafka_2.13-2.4.0/bin/kafka-server-start.sh -daemon /usr/local/soft/kafka_2.13-2.4.0/config/server.properties

停止kafka

[[email protected] ~]# /usr/local/soft/kafka_2.13-2.4.0/bin/kafka-server-stop.sh

八,测试kafka服务启动后端口是否绑定:

telnet到默认的端口9092

[[email protected] ~]# telnet localhost 9092
Trying ::1...
Connected to localhost.
Escape character is ‘^]‘.

九,用systemd管理kafka服务

1,创建service文件

[[email protected] ~]# vi /etc/systemd/system/kafka.service

文件内容为:

[Unit]
Description=Apache Kafka server (broker)
After=network.target  zookeeper.service

[Service]
Type=forking
User=root
Group=root
Environment=JAVA_HOME=/usr/local/soft/jdk-13.0.2
ExecStart=/usr/local/soft/kafka_2.13-2.4.0/bin/kafka-server-start.sh -daemon /usr/local/soft/kafka_2.13-2.4.0/config/server.properties
ExecStop=/usr/local/soft/kafka_2.13-2.4.0/bin/kafka-server-stop.sh
#Restart=on-failure

[Install]
WantedBy=multi-user.target

注意:Environment=JAVA_HOME=/usr/local/soft/jdk-13.0.2

这一行必须有,否则启动和关停时会报错

2,测试启动、停止kafka服务

启动

[[email protected] ~]# systemctl start kafka

停止

[[email protected] ~]# systemctl stop kafka

十,解决一个问题:

kafka-server-stop.sh不能正常关闭kafka

说明:此问题在fedora30上存在,centos8上面未发现:

修改一下脚本即可:
[[email protected] system]# vi /usr/local/soft/kafka_2.13-2.4.0/bin/kafka-server-stop.sh
把得到进程id的命令改成用jps获取
修改为:
#PIDS=$(ps ax | grep -i ‘kafka\.Kafka‘ | grep java | grep -v grep | awk ‘{print $1}‘)
PIDS=$(jps -lm | grep -i ‘kafka.Kafka‘ | awk ‘{print $1}‘)
说明:jps最好加上绝对路径
十一,查看本地已安装的kafka的版本:进入到kafka安装目录下的libs目录下面,可以看到kafka_2.13-2.4.0.jar这个文件,
也可以用命令来获取:
[[email protected] libs]# find ./ -name \*kafka_\* | head -1 | grep -o ‘\kafka[^\n]*‘
kafka_2.13-2.4.0.jar

说明:2.13是Scala 的版本,2.4.0就是你kafka的版本

十二,查看本地centos的版本:

[[email protected] lib]# cat /etc/redhat-release
CentOS Linux release 8.1.1911 (Core) 


原文地址:https://www.cnblogs.com/architectforest/p/12332737.html

时间: 2024-08-30 17:45:11

centos8安装kafka(单机方式)的相关文章

centos8安装zookeeper(单机方式)

一,下载zookeeper: 1,官网地址 http://zookeeper.apache.org/ 找到这个地址: https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.6/ 2,下载 [[email protected] liuhongdi]# cd /usr/local/source/ [[email protected] source]# wget https://mirrors.tuna.tsinghua

Linux下Kafka单机安装配置方法(图文)

Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topic为单位进行归纳.•将向Kafka topic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.•Kafka以集群的

(一)Hadoop1.2.1安装——单节点方式和单机伪分布方式

Hadoop1.2.1安装——单节点方式和单机伪分布方式 一.   需求部分 在Linux上安装Hadoop之前,需要先安装两个程序: 1)JDK 1.6(或更高版本).Hadoop是用Java编写的程序,Hadoop的编译及MapReduce的运行都需要使用JDK.因此在安装Hadoop前,必须安装JDK 1.6或更高版本. 2)SSH(安全外壳协议),推荐安装OpenSSH.Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH也是必须 安装的,即使是安装伪分布式版本

Kafka单机、集群模式安装详解(二)

本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 接上篇 Kafka单机.集群模式安装详解(一) 6. 单节点多Broker模式 Kafka使用可以有多种模式,包括单节点单Broker,单节点多Broker,多节点多Broker. 这里我们简单区分一下: 单节点单Broker:在单台机子上,启动了一个Kafka实例(上一篇就是这种模式). 单节点多Broker:在同一台机子上开启多个Kafka(类似H

kafka单机安装

引用:https://www.cnblogs.com/adolfmc/p/7345333.html 创建一个消息队列: bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeeper localhost:2181/kafka 创建队列的时候,replication-factor只能是1个,因为是单节点,而partitions分区可以是1个或者2个都可以,测试环境建议是1个即可

kafka单机环境搭建

1,准备工作:  windows下虚拟机上安装centos7,下载putty工具. 2,windows下下载相关的安装包 jdk-8u71-linux-x64.rpm kafka_2.11-0.9.0.0.tgz zookeeper-3.4.6.tar.gz 3,通过putty的pscp工具将上述3个文件上传到centos的/home/xf/backup目录(自己指定目录) 4,启动一个putty窗口连接centos,rpm方式安装jdk-8u71-linux-x64.rpm 5,解压kafka

阿里云构建Kafka单机集群环境

简介 在一台ECS阿里云服务器上构建Kafa单个集群环境需要如下的几个步骤: 服务器环境 JDK的安装 ZooKeeper的安装 Kafka的安装 1. 服务器环境 CPU: 1核 内存: 2048 MB (I/O优化) 1Mbps 操作系统 ubuntu14.04 64位 感觉服务器性能还是很好的,当然不是给阿里打广告,汗. 随便向kafka里面发了点数据,性能图如下所示:  2. 安装JDK 想要跑Java程序,就必须安装JDK.JDK版本,本人用的是JDK1.7. 基本操作如下: 从JDK

storm集群 + kafka单机性能测试

storm与kafka单机功能整合很顺利,但是到了storm集群环境和数据处理性能时则出现了一些问题,现将测试过程和问题简单记录如下: 性能指标:每分钟处理至少100万的信息(csv格式,100bytes左右),信息解析后持久化到DB中. 架构设计:flume读取文件缓存到kafka队列后消费到storm中 问题: 一.storm集群任务调度时出现如下问题,具体日志见下: 2014-09-24 16:47:38 b.s.m.n.Client [INFO] Reconnect started fo

kafka单机环境搭建及其基本使用

最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1).解压kafka_2.11-1.1.0.tgz,得到"kafka_2.11-1.1.0"文件夹. (2).kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用.使用需配置kafka_2.