Kafka安装和常用操作命令

Kafka安装:

下载kafka_2.10-0.8.2.1

1.关闭防火墙

2.修改配置文件  server.properties

broker.id=1
log.dirs= /usr/kafka_2.10-0.8.2.1/data  //最后不要写log
zookeeper.connect=master:2181,slave01:2181,slave02:2181
delete.topic.enable = true //删除话题的时候需要设置其为true
num.partitions=3//建议默认3个分区,如果AIP里面你的分区数大于系统规定的则抛出异常

//分发给其他两台服务器,每台机器的broker.id必须唯一
3.配置环境变量

常用操作命令:

//启动。指定启动的配置文件,  输出到run_data目录, 2>&1所有正确错误的都输出,   &后台运行               
kafka-server-start.sh $KAFKA_HOME/config/server.properties >>$KAFKA_HOME/run_data 2>&1 &

//创建话题    指定zookeeper集群中任意一个主机都可以   
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 1 --topic topic1
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 3 --topic topic2

//副本数量为3,那么至少得启动3个kafka的server,否则会抛出异常。

//话题描述清单
kafka-topics.sh --describe --zookeeper slave01:2181 --topic topic1

//发送消息(生产者)
//轮循写入分区,即012 012 012
//第一次打开生产者是写入0分区,退出后,第二次打开生产者写入1分区
kafka-console-producer.sh --broker-list localhost:9092 --topic topic2
//2)当前broker(节点)没有kafka服务时,需要指定一个有kafka服务的broker(zookeeper集群中任意一个),
kafka-console-producer.sh --broker-list slave02:9092 --topic topic2

//接收队列消息(消费者) from-beginning如果不加,那么在消费者没有启动的时候,或者说它不在线之前的信息收不到
kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic2 --from-beginning

//删除话题  需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
kafka-topics.sh --delete --zookeeper \localhost:2181 --topic topic1

//查看所有话题
kafka-topics.sh --list --zookeeper localhost:2181

原文地址:https://www.cnblogs.com/dummyly/p/10095732.html

时间: 2024-08-01 00:31:13

Kafka安装和常用操作命令的相关文章

kafka安装及常用命令

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版) 下面简单记录一下安装步骤和常用命令. 1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka 2.配置 vim conf/server.properties #设置bro

KAFKA安装+配置详解+常用操作+监控

一.kafka理论 1.kafka是神马? kafka是分布式发布-订阅消息系统.它最初由LinkedIn公司开发,之后成为Apache项目的一部分.Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务.它主要用于处理活跃的流式数据.分布式系统,易于向外扩展.所有的producer.broker和consumer都会有多个,均为分布式的.无需停机即可扩展机器. 2.kafka的设计方案 消息持久化及其缓存 磁盘性能:在传统的磁盘写入很慢,因为它使用随机写入 50k/s(6个7200转的

linLINUX中常用操作命令

LINUX中常用操作命令 Linux简介及Ubuntu安装 常见指令 系统管理命令 打包压缩相关命令 关机/重启机器 Linux管道 Linux软件包管理 vim使用 用户及用户组管理 文件权限管理 Linux简介及Ubuntu安装 Linux,免费开源,多用户多任务系统.基于Linux有多个版本的衍生.RedHat.Ubuntu.Debianaa 安装VMware或VirtualBox虚拟机.具体安装步骤,找百度. 再安装Ubuntu.具体安装步骤,找百度. 安装完后,可以看到Linux系统的

【转载】Linux中常用操作命令

说明:开始学习linux系统,为了方便查看,特转载一篇Linux中常用操作命令,转载地址:http://www.cnblogs.com/laov/p/3541414.html 正文: Linux简介及Ubuntu安装 常见指令 系统管理命令 打包压缩相关命令 关机/重启机器 Linux管道 Linux软件包管理 vim使用 用户及用户组管理 文件权限管理 大牛笔记-www.weixuehao.com 来自:http://www.weixuehao.com/archives/25 Linux简介及

mysql常用操作命令

###########mysql常用操作命令############# 1.安装mysqlyum install mysql mysql-server /etc/init.d/mysqld start    ##开启mysqld服务 2.设置及登录mysql_secure_installation        ##第一次安装mysql以后通过这条命令可以对mysql进行初始设置mysql -uroot -predhat            ##从本机登录mysql数据库(ps -aux|gr

大数据系列之Kafka安装

先简单说下安装kafka的流程..(可配置多个zookeeper,这篇文只说一个zookeeper场景) 1.环境配置:jdk1.7+ (LZ用的是jdk1.8) 2.资料准备:下载 kafka_2.10-0.10.1.1.tgz ,官网链接为https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz 3.单机版安装步骤: a.将tgz放入目录: /app/ b.解压: tar -xzvf

转 Linux中常用操作命令

http://blog.csdn.net/ljianhui/article/details/11100625 初窥Linux 之 我最常用的20条命令 玩过Linux的人都会知道,Linux中的命令的确是非常多,但是玩过Linux的人也从来不会因为Linux的命令如此之多而烦恼,因为我们只需要掌握我们最常用的命令就可以了.当然你也可以在使用时去找一下man,他会帮你解决不少的问题.然而每个人玩Linux的目的都不同,所以他们常用的命令也就差异非常大,而我主要是用Linux进行C/C++和shel

linux下常用操作命令

LINUX中常用操作命令 Linux简介及Ubuntu安装 Linux,免费开源,多用户多任务系统.基于Linux有多个版本的衍生.RedHat.Ubuntu.Debianaa 安装VMware或VirtualBox虚拟机.具体安装步骤,找百度. 再安装Ubuntu.具体安装步骤,找百度. 安装完后,可以看到Linux系统的目录结构,见链接http://www.weixuehao.com/archives/492 输入进入linux终端,或secureCRT,可以操作linux了.输入help

zookeeper与kafka安装部署及java环境搭建

1. ZooKeeper安装部署 本文在一台机器上模拟3个zk server的集群安装. 1.1. 创建目录.解压 cd /usr/ #创建项目目录 mkdir zookeeper cd zookeeper mkdir tmp mkdir zookeeper-1 mkdir zookeeper-2 mkdir zookeeper-3 cd tmp mkdir zk1 mkdir zk2 mkdir zk3 cd zk1 mkdir data mkdir log cd zk2 mkdir data