创建topic验证kafka集群

0)‘‘‘kafka&zookpeer信息‘‘‘

zkinfo:

172.18.238.2:2181

172.18.238.3:2181

172.18.238.4:2181

kafkainfo:

172.18.238.2:9092

172.18.238.3:9092

172.18.238.4:9092

1)‘‘‘创建Topic(包含10个分区,2个副本)‘‘‘

sh bin/kafka-topics.sh --create --zookeeper 172.18.238.2:2181 --replication-factor 2 --partitions 10 --topic xiaoke

#解释

--replication-factor 2   #复制两份

--partitions 10 #创建10个分区

--topic #主题为xiaoke

2)‘‘‘查看有哪些主题‘‘‘

sh bin/kafka-topics.sh --list --zookeeper 172.18.238.2:2181

3)‘‘‘查看主题的具体信息‘‘‘

sh bin/kafka-topics.sh --describe --zookeeper 172.18.238.2:2181  --topic xiaoke

4)‘‘‘在一台服务器上创建一个发布者‘‘‘

#创建一个broker,发布者

sh bin/kafka-console-producer.sh --broker-list 172.18.238.2:9092 --topic xiaoke

#解释

--broker-list 172.18.238.2:9092 kafka的地址

5)‘‘‘在另一台服务器上创建一个订阅者‘‘‘

sh bin/kafka-console-consumer.sh --zookeeper 172.18.238.2:2181  --topic xiaoke --from-beginning

6)‘‘‘查看kafka集群有哪些消费组‘‘‘

sh bin/kafka-consumer-groups.sh --bootstrap-server 172.18.238.2:9092 --list

#解释

--bootstrap-server 172.18.238.2:9092 kafka的地址

7)‘‘‘查看具体消费者信息‘‘‘

sh kafka-consumer-groups.sh  --bootstrap-server 172.18.238.2:9092 --describe --group GROUPNAME

时间: 2024-10-29 19:11:29

创建topic验证kafka集群的相关文章

ELK5.3+Kafka集群配置

[一]资源准备 # 3台4C*8G, 安装Zookeeper.Kafka.Logstash--Broker(input: filebeat; output: Kafka) 10.101.2.23 10.101.2.24 10.101.2.25 # 2台4C*8G, 安装Logstash--Indexer(input: Kafaka; output: Elasticsearch) 10.101.2.26 10.101.2.27 # 3台8C*16G, 安装Elasticsearch 10.101.

kafka集群搭建与apiclient创建

曾经的消息队列(activeMQ)对于大数据吞吐率不行,但kafka非常好的攻克了此类问题.而且以集群的方式进行扩展.可谓相当强大: 集群搭建方式很轻量级.仅仅需将tar包复制到server,解压,改动配置文件就可以: 1.tar -xzf kafka_2.9.2-0.8.1.1.tgz 2.改动配置文件: 节点1: vim config/server.properties broker.id=1 //全部集群节点中必须唯一 port=9092 //端口号(发送消息) log.dir=/tmp/

kafka集群搭建与api客户端创建

以前的消息队列(activeMQ)对于大数据吞吐率不行,但kafka很好的解决了此类问题,并且以集群的方式进行扩展,可谓相当强大: 集群搭建方式非常轻量级,只需将tar包拷贝到服务器,解压,修改配置文件即可: 1.tar -xzf kafka_2.9.2-0.8.1.1.tgz 2.修改配置文件: 节点1: vim config/server.properties broker.id=1 //所有集群节点中必须唯一 port=9092 //端口号(发送消息) log.dir=/tmp/kafka

kafka集群扩容后的topic分区迁移

kafka集群扩容后的topic分区迁移 ./bin/kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181  --alter --topic dftt --partitions 4 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partition迁移到新的服务器上面:所以需要将一些topic的分区迁移到新的broker上. kaf

Kafka集群安装(CentOS 7环境下)

一.环境操作系统和软件版本介绍 1.环境操作系统为CentOS Linux release 7.2.1511 (Core) 可用cat /etc/redhat-release查询 2.软件版本 Kafka版本为:0.10.0.0 二.软件的基础准备 由于Kafka集群需要依赖ZooKeeper集群来协同管理,所以需要事先搭建好ZK集群.此文主要介绍搭建Kafka集群环境. 三.详细安装搭建步骤 1.下载压缩包kafka_2.10-0.10.0.0.tgz到/data/soft目录 2.将kafk

完全分布式ZooKeeper集群和Kafka集群的搭建和使用

自己使用的版本为zookeeper-3.4.7.tar.gz和kafka_2.10-0.9.0.0.tgz.首先要安装JDK(jdk-7u9-linux-i586.tar.gz)和SSH,IP地址的分配为Kafka1(192.168.56.136),Kafka2(192.168.56.137),Kafka3(192.168.56.138).下面主要介绍SSH的安装,ZooKeeper和Kafka集群的搭建和使用. 一. SSH的安装 (1)apt-get install ssh (2)/etc/

Kafka【第一篇】Kafka集群搭建

Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有一个共同点: 数据是又上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这个时候就可以使用消息系统,尤其是分布式消息系统! 2.Kafka的定义 What is Kafka:它是一个分布

kafka集群部署文档(转载)

原文链接:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有一个共同点: 数据是由上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这

Kafka集群部署及測试

题记 眼下我们对大数据进行研究方向以Spark为主,当中Spark Streaming是能够接收动态数据流并进行处理.那么Spark Streaming支持多源的数据发送端,比如TCP.ZeroMQ.自然也包含Kafka,并且Kafka+SparkStreaming的技术融合也比較经常使用并且成熟,所以我们须要搭建一个Kafka集群进行流数据的測试. -------------------------------------------------------------------------