kafka本地单机安装部署

kafka是一种高吞吐量的分布式发布订阅消息系统,这几天要上kafka,只在其中的一个节点使用,结合具体的项目实践在此将kafka的本地安装部署流程记录下来与各位同仁分享交流。

准备工作:

上述的文件除了jdk以外均放在/usr/local/kafka目录下。

1、安装jdk,kafka的使用要用到jdk

首先检查有无jdk:java -version

cd /usr/local/hadoop(本例中我是将jdk的安装包放到hadoop文件夹下,各位可以依据自己情况)

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

将下载的安装包上传到服务器上的/usr/local/hadoop文件夹下

tar-zxvf jdk-7u79-linux-x64.tar.gz

配置jdk的环境变量:

vim /etc/profile

使其立即生效 source /etc/profile

检查是否安装成功:java –version

至此jdk安装配置成功。

2、安装zookeeper

cd /usr/local/kafka

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz

tar -zxvf zookeeper-3.3.6.tar.gz

vim /etc/profile

使之立即生效

source /etc/profile

测试zookeeper是否安装成功

cd /usr/local/zookeeper-3.3.6/bin

./zkServer.sh start

如上图所示,即为zookeeper安装配置成功。

3、安装kafka

cd /usr/local/kafka

wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz

tar -zxvf kafka_2.8.0-0.8.0.tar.gz

配置kafka,修改文件server.properties

cd /usr/local/kafka/kafka_2.8.0-0.8.0/config

vim server.properties

将上图中的host.name处写上本地服务器的IP地址

上图中的log.dirs结合自己所建的文件夹路径填写,没有严格要求

上图中的红框处默认为2181端口

配置kafka下zookeeper

mkdir /usr/local/kafka/zookeeper #创建zookeeper目录

mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录

cd /usr/local/kafka/kafka_2.8.0-0.8.0/config

vim zookeeper.properties

上图中的dataDir和dataLogDir可以依据自己建立的文件夹路径填写。

4、创建启动和关闭kafka脚本

(1)创建kafka脚本

vim kafkastart.sh

(2)创建关闭kafka脚本

vim kafkastop.sh

(3)添加脚本执行权限

chmod +x kafkastart.sh

chmod +x kafkastop.sh

(4)设置脚本开机启动自动执行

vim /etc/rc.d/rc.local

5、测试kafka

(1)创建主题

cd /usr/local/kafka/kafka_2.8.0-0.8.0/bin

./kafka-create-topic.sh –partition 1 –replica 1 –zookeeper localhost:2181 –topic test

检查主题是否创建成功

./kafka-list-topic.sh –zookeeper localhost:2181

(2)启动producer

./kafka-console-producer.sh –broker-list 192.168.18.229:9092 –topic test

(192.168.18.229是本地服务器IP地址,读者根据情况填写)

如上图所示,输入hello kafka!后,回车

然后另外打开一个shell终端

cd /usr/local/kafka/kafka_2.8.0-0.8.0/bin

在此终端下启动consumer

./kafka-console-consumer.sh –zookeeper localhost:2181 –topic test

由上图可见,终端1生产者下所输入的hello kafka!,在终端2下的消费者下显现,至此kafka的单机安装部署完成。

(6)关闭kafka

cd /usr/local/kafka

./kafkastop.sh

附:有可能遇到的问题和解决方案

问题1: Failed to acquire lock on file .

解决方案:

这是因为之前已经有kafka进程在运行,可以如下:

通过jps命令查看进程号,并kill掉,然后重新启动kafka即问题解决

问题2:BindException: Address already in use

解决方案:

这个有时可以忽略,只要最后成功启动了kafka就可以,也可以将server.properties下的2181的端口号换一下,这个报错是因为2181端口被占用了。

时间: 2024-10-11 12:43:44

kafka本地单机安装部署的相关文章

Flink本地环境安装部署

本次主要介绍flink1.5.1版本的本地环境安装部署,该版本要求jdk版本1.8以上. 下载flink安装包:http://archive.apache.org/dist/flink/flink-1.5.1/ 解压flink安装包 tar -zxvf flink-1.5.1-bin-hadoop27-scala_2.11.tgz -C /opt/software/ 修改配置文件slaves和masters,将主机名修改为对应本地主机名 启动flink bin/start-cluster.sh

Kafka介绍及安装部署

本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluster 一.消息中间件 消息中间件是在消息的传输过程中保存消息的容器.消息中间件在将消息从消息生产者到消费者时充当中间人的作用.队列的主要目的是提供路由并保证消息的传送:如果发送消息时接收者不可用,消息对列会保留消息,直到可以成功地传递它为止,当然,消息队列保存消息也是有期限的. 二.消息中间件特点 1

Kubernetes单机安装部署

系统环境: Ubuntu 16.04.2 LTS 软件环境: Docker 1.12.6 Go 1.8.3 Etcd 3.1.8 Flannel 0.7.1 Kubernetes master 1.7.0-alpha 安装步骤: 1 安装Docker 1) apt-get update 2) apt-get upgrade 3) apt-get install docker.io 4) service docker restart 5) docker run hello-world 6) doc

kafka 2.10安装部署

安装kafka vi config/zookeeper.properties vi config/server.properties 这个文件是启动kafka集群需要指定的配置文件,注意2点: # The id of the broker. This must be set to a unique integer for each broker. broker.id=0 # The port the socket server listens on #port=9092 listeners=PL

elk单机安装部署

解压 tar xf elasticsearch-7.1.0-linux-x86_64.tar.gz -C /data/ 配置 [[email protected] ~]# vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 [[email protected] ~]# vim /etc/sysctl.conf vm.max_map_count=655360 [[email protected] ~]# vim

消息中间件--kafka(1)安装部署

一.概念 1.什么是kafka Kafka是由Apache软件基金会开发的一个开源的分布式流处理平台,由Scala和Java编写.Kafka是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),它可以处理消费者在网站中的所有动作流数据. Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行. Kafka集群将记录流存储在称为topic的类别中. 每个记录由一个键,一个值和一个时间戳组成. 2.流平台具有三个关键功能: 发布和订阅记

Linux下Kafka单机安装配置方法(图文)

Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topic为单位进行归纳.•将向Kafka topic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.•Kafka以集群的

kafka管理器kafka-manager部署安装

参考site:https://github.com/yahoo/kafka-manager 一.功能 管理多个kafka集群 便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况) 选择你要运行的副本 基于当前分区状况进行 可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同) 删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true) Topic list会指明哪些topi

magento本地安装部署

magento是基于php开发,在本地安装magento首先要有php能运行的环境,这里推荐wampServer或者xampp,两者我都试过,个人感觉wampServer比较好用,建议去官网下载最新版本以免因为版本问题导致各种错误,因为我测试过程中就碰到过 ╮(╯▽╰)╭. 进入magento官网有安装guide,一步步continue即可.(改用xampp,wamp不稳定,具体detail页访问not found暂没解决) 大致说下步骤: 1.准备最新的wampServer或xampp.mag