kafka centos安装发送消费消息

1. 请先下载安装文件,java环境需提前安装,解压到指定目录:
tar -zxvf kafka_2.11-2.3.1.tgz -C /root/soft/

从官网下载文件,上传到centos虚拟机指定路径下,当前download文件夹下面

解压到指定目录soft文件夹下面:

2. 创建zk日志目录。
mkdir zklogs
3. 查看是否启动成功,
ps -ef | grep zookeeper

4. 启动zookeeper

nohup bin/zookeeper-server-start.sh ./config/zookeeper.properties &

5. 修改kafka配置

vim config/server.properties
执行命令 vi config/server.properties 修改kafka的配置信息
修改advertised.host.name和advertised.port信息
修改日志文件路径:
修改log.dirs=/root/soft/kafka-logs为log.dirs=/root/soft/kafka/logs 该参数为kafka日志文件存放路径

advertised.host.name=192.168.132.152
advertised.port=9092

log.dirs=/root/soft/kafka/logs

6. 启动kafka

nohup bin/kafka-server-start.sh ./config/server.properties

执行命令ps -ef | grep kafka查看kafka是否启动成功

7. 创建mytest主题
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytest

获取所有topic

bin/kafka-topics.sh --list --zookeeper localhost:2181
8. 生产测试消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytest

9. 消费消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest --from-beginning

kafka和java安装文件网盘下载地址:

链接:https://pan.baidu.com/s/1DhbzsKvqB7Y3S9QJQUUK9A
提取码:zim2

原文地址:https://www.cnblogs.com/xiaozw/p/11743841.html

时间: 2024-10-10 03:31:08

kafka centos安装发送消费消息的相关文章

CentOS 7环境下Kafka的安装和基本使用

CentOS 7环境下Kafka的安装和基本使用 基础环境 Windows 10 X64 VMware-workstation-full-12.0.0-2985596 CentOS Linux release 7.4.1708 CentOS 7环境下安装Kafka 安装JDK 在CentOS上将JDK下载到本地.jdk-8u152-linux-x64.tar.gz 解压并将文件移动到/opt/java目录下 sudo tar -vxzf jdk-8u152-linux-x64.tar.gzsud

kafka发送超大消息设置

最近开发一cdc应用,为了测试极端情况,需要kafka传递100万条数据过去,1个G左右,由于其他环节限制,不便进行拆包(注:测下来,大包走kafka不一定性能更好,甚至可能更低). 测试百万以上的变更数据时,报消息超过kafka broker允许的最大值,因此需要修改如下参数,保证包能够正常发送: socket.request.max.bytes=2147483647    # 设置了socket server接收的最大请求大小log.segment.bytes=2147483647     

ActiveMQ5.0实战三:使用Spring发送,消费topic和queue消息

实战一 , 实战二 介绍了ActiveMQ的基本概念和配置方式. 本篇将通过一个实例介绍使用spring发送,消费topic, queue类型消息的方法. 不懂topic和queue的google 之. 如图示, TOPIC和QUEUE分别代表一个topic和一个queue消息通道. TopicMessageProducer向topic发送消息, TopicConsumerA和TopicConsumerB则从topic消费消息. QueueMessageProducer向Queue发送消息, Q

kafka生产、存储、消费消息

Kafka架构组成:由producer(消息生产者).consumer(消息消费者).borker(kafka集群的server,负责处理消息读.写请求,存储消息,在kafka cluster这一层这里,其实里面是有很多个broker).topic(消息队列/分类相当于队列,里面有生产者和消费者模型).zookeeper(元数据信息存在zookeeper中,包括:存储消费偏移量,topic话题信息,partition信息) 这些部分组成. kafka里面的消息是有topic来组织的,简单的我们可

在服务端处理同步发送小消息的性能上Kafka>RocketMQ>RabbitMQ

在发送小消息的场景中,三个消息中间件的表现区分明显: Kafka的吞吐量高达17.3w/s,远超其他两个产品.这主要取决于它的队列模式保证了写磁盘的过程是线性IO.此时broker磁盘IO已达瓶颈. RocketMQ也表现不俗,吞吐量在11.6w/s,磁盘IO %util已接近100%.RocketMQ的消息写入内存后即返回ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件. RabbitMQ的吞吐量5.95w/s,CPU资源消耗较高.它支持AMQP协议,实现非常重量级,为了保证消息

springboot项目整合rabbitMq涉及消息的发送确认,消息的消费确认机制

1.引入maven依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> </dependency>2.在application.yml的配置: spring: rabbitmq: host: 106.52.82.241 port: 5672 username: yang

Linux下Kafka单机安装配置方法(图文)

Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topic为单位进行归纳.•将向Kafka topic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.•Kafka以集群的

Kafka学习之路 (四)Kafka的安装

zookeeper1:192.168.1.11 zookeeper2:192.168.1.12 zookeeper3:192.168.1.13 kafka1:192.168.1.14 kafka2:192.168.1.15 kafka3:192.168.1.16 kafka3:192.168.1.17 kafka-manager:192.168.1.18 一.下载 下载地址: http://kafka.apache.org/downloads.html http://mirrors.hust.e

Kafka的安装与使用(转)

9.1 Kafka 基础知识 9.1.1 消息系统 点对点消息系统:生产者发送一条消息到queue,一个queue可以有很多消费者,但是一个消息只能被一个消费者接受,当没有消费者可用时,这个消息会被保存直到有 一个可用的消费者,所以Queue实现了一个可靠的负载均衡. 发布订阅消息系统:发布者发送到topic的消息,只有订阅了topic的订阅者才会收到消息.topic实现了发布和订阅,当你发布一个消息,所有订阅这个topic的服务都能得到这个消息,所以从1到N个订阅者都能得到这个消息的拷贝. 9