一、最新Kafka单节点部署+测试 完整

每次学一个东西从基础的开始,循序渐进。

不急不躁,路还很长。

所有教程都是学习汪文君大神的kafka教程的。

一、部署

这里选的kafka版本是 0.10.2.1   下载连接 https://download.csdn.net/download/lsl13551615708/9881118

0.这里我是在自己虚拟机上安装的,虚拟机的安装可以搜一下。如果确实搜不到也不急的话可以留言。虚拟机安装好后记得桥接网络并挂载共享文件。

1.在/usr/local下创建如下路径 /usr/local/kafka/demo ,执行kafka的安装文件 tar -xzvf kafka_2.10-0.10.2.1 -c demo

2.在安装后的路径下创建同级目录 data用于存放kafka和zk的数据信息

3.配置zk和kafka

进入安装路径下的config目录,输入命令vim zookeeper.properties

修改dataDir = /usr/local/kafka/demo/data/zk

clientPort=2181

:wq!保存后退出

输入命令vim server.properties

修改

log.dirs=/usr/local/kafka/demo/data/kafka

zookeeper.connect=ip地址:2181

listeners=PLAINTEXT://ip地址:9092

二、启动并测试

1.启动zk

这里用的是kafka自带的zk,毕竟只是学习

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

netstat -na|grep 2181  查看启动是否成功

2.启动kafka

bin/kafka-server-start.sh -daemon config/server.properties

netstat -na|grep 9092 查看是否启动

tail -200f logs/server.log 查看是否报错 如果这里报什么主机名不匹配的错误 那么 配置hosts 你的ip  主机名

3.创建topic

bin/kafka-topics.sh --create --topic test --zookeeper localhost:2181 --partitons 1 --replication-factor 1  关于kafka的原理 和接口解释可以浏览 https://blog.csdn.net/ychenfeng/article/details/74980531

创建成功会返回 created topic "test"

4.创建producer,并生产数据

bin/kafka-console-producer.sh --topic test --broker-list 192.168.31.187:9092  这里的ip改成你的虚拟机ip

然后输入你想生产的数据

5.创建consumer

另外起一个终端。

bin/kafka-console-consumer.sh --topic test --bootstrap-server 192.168.31.187:9092  这里ip端口换成虚拟机ip端口

6.测试

在producer终端输入任何信息按回车 consumer就可以收到消息。测试成功

原文地址:https://www.cnblogs.com/Iran1112/p/9279842.html

时间: 2024-10-28 10:23:24

一、最新Kafka单节点部署+测试 完整的相关文章

kafka单节点部署无法访问问题解决

场景:在笔记本安装了一台虚拟机, 在本地的虚拟机上部署了一个kafka服务: 写了一个测试程序,在笔记本上运行测试程序,访问虚拟机上的kafka,报如下异常: 2015-01-15 09:33:26 [kafka.producer.async.DefaultEventHandler]-[INFO] Back off for 100 ms before retrying send. Remaining retries = 1 2015-01-15 09:33:26 [kafka.client.Cl

HyperLedger Fabric 1.2 单机单节点部署(10.2)

单机单节点指在一台电脑上部署一个排序(Orderer)服务.一个组织(Org1),一个节点(Peer,属于Org1),然后运行官方案例中的example02智能合约例子,实现转财交易和查询功能.单机单节点部署结构图如下: 图:单机单节点部署结构图 单机单节点部署步骤如下:1. 创建singlepeer目录 # cd $GOPATH/src/github.com/hyperledger/fabric # mkdir singlepeer # cd singlepeer 2. 获取生成工具 把下载的

RDO单节点部署openstack (Havana)

OpenStack是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作.OpenStack支持几乎所有类型的云环境,项目目标是提供实施简单.可大规模扩展.丰富.标准统一的云计算管理平台.OpenStack通过各种互补的服务提供了基础设施即服务(IaaS)的解决方案,每个服务提供API以进行集成. OpenStack 是一个旨在为公共及私有云的建设与管理提供软件的开源项目.它的社区拥有超过130家企业及1350位开发者,这些机构与个人都将OpenStack作为基础设施即服务(简称I

Ubuntu下用devstack单节点部署Openstack

一.实验环境 本实验是在Vmware Workstation下创建的单台Ubuntu服务器版系统中,利用devstack部署的Openstack Pike版. 宿主机:win10 1803  8G内存  256G SSD 虚拟软件:Vmware Workstation 12.5.9 虚拟机系统:Ubuntu Server 16.04.5 LTS  参考博客: https://blog.csdn.net/pfztab/article/details/78632393 https://www.cnb

rancher server 单节点部署/K8S高可用部署

环境说明: # 操作系统:centos7 # docker版本:19.03.5 # rancher版本: latest # rancher server 节点IP :192.168.2.175 # rancher agent节点IP: 192.168.2.175,192.168.2.176,192.168.2.177,192.168.2.185,192.168.2.187 # K8S master 节点IP:192.168.2.176,192.168.2.177,192.168.2.185 #

简洁的kafka单节点和分布式安装文档

单节点安装: Ip:single:192.168.1.186 1.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包 2.解压 [[email protected] cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/ 3.进入解压目录 [[email protected] kafka_2.10-0.8.2-beta]# cd config/ [[email prot

OpenStack之Ocata单控部署测试

本着学以致用的原则,学习到新的东西一定要亲自去实践操作,就像别人回来给你描述那里的风景是多么多么美好,你如果不亲自去走一遭看一遍是体会不到的,要不然你大爷永远还是你大爷!P话!^_^O(∩_∩)O哈哈~~~~~ (仅供参考) 简介: Ocata与以往版本主要区别在于引入了cell(单元格),cell v2 自 Newton 版本引入 ,Ocata 版本变为必要组件,以后默认部署都会初始化一个单 cell 的架构. OpenStack 在控制平面上的性能瓶颈主要在 Message Queue 和

MongoDB 3.2复制集单节点部署(四)

MongoDB在单节点中也可以做复制集,但是仅限于测试实验,最大的好处就是部署方便快速,可以随便添加新节点,节省资源.在这里我使用的是MongoDB 3.2版本进行复制集实验(但MongoDB配置文件使用的是老版本格式),一共使用三个节点,一个是主节点(PRIMARY),一个是从节点(SECONDARY),一个是投票节点(ARBITER).如下图: 一.实验环境 1)节点信息:192.168.60.10 3)节点确保iptables和selinux已关闭 1 2 [root@node1 ~]#

MongoDB 2.6复制集单节点部署(三)

MongoDB在单节点中也可以做复制集,但是仅限于测试实验,最大的好处就是部署方便快速,可以随便添加新节点,节省资源.在这里我使用的是MongoDB 2.6版本进行复制集实验(但MongoDB配置文件使用的是老版本格式),一共使用三个节点,一个是主节点(PRIMARY),一个是从节点(SECONDARY),一个是投票节点(ARBITER).如下图: 一.实验环境 1)节点信息:192.168.60.60 3)节点确保iptables和selinux已关闭 1 2 [root@node1 ~]#