kafka常用命令(cdh5.10.0+kafka)

参考资料:http://kafka.apache.org/quickstart

进入kafka安装目录(CDH安装路径为:/opt/cloudera/parcels/KAFKA):
进入bin目录:

  1. cd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/bin

创建topic,一个备份,6个分区

  1. kafka-topics --create --zookeeper personas1:2181 --replication-factor 1 --partitions 6 --topic TP_LABEL

查看所有topic

  1. kafka-topics --list --zookeeper personas1:2181

增加分区

  1. kafka-topics --zookeeper personas1:2181 --alter --topic TP_LABEL --partitions 8

消费者

  1. kafka-console-consumer --zookeeper personas1:2181,personas2:2181,personas4:2181 --topic TP_LABEL

删除kafka topic(1、删除topic,2、删除zk注册信息,3、删除源数据)

  1. kafka-topics --delete --zookeeper personas1:2181 --topic TP_LABEL

进入CDH bin目录

  1. cd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/bin
  2. zookeeper-client
  3. rmr /brokers/topics/TP_LABEL

删除源数据,删除分区源数据(如果只有一个topic,直接把data删掉)

  1. cd /var/local/kafka/data
  2. rm -rf TP_LABEL-*

彻底清除zk中的注册信息,把kafka停掉,只保留箭头所指的配置,把其他kafka的信息全部删除

原文地址:https://www.cnblogs.com/lenmom/p/9156510.html

时间: 2024-11-05 22:56:45

kafka常用命令(cdh5.10.0+kafka)的相关文章

cdh-5.10.0搭建安装

1.修改主机名为master, slave1, slave2 vim /etc/sysconfig/network HOSTNAME = master HOSTNAME = slave1 HOSTNAME = slave2 2.修改hosts文件(三个节点都要设置) vim /etc/hosts 192.168.1.7 master 192.168.1.8 slave1 192.168.1.9 slave2 3.IP设置(三个节点都要设置) DEVICE=eth0 HWADDR=4C:CC:6A

centos7+cdh5.10.0搭建

一.选择环境: 1.说明 本次部署使用台机器,3台用于搭建CDH集群,1台为内部源.内部源机器是可以连接公网的,可以提前部署好内部源,本次部署涉及到的服务器的hosts配置如下: 192.168.10.114    sp-04 192.168.10.115    sp-05 192.168.10.116    sp-06 本次安装为cdh5.10.0 需要centos版本: Jdk版本:jdk-8u73-linux-x64.tar 参考地址:https://www.cloudera.com/do

CDH5.10.0 离线安装(共3节点)

1.安装方式 CDH的离线部署安装,即Parcel包(推荐) 2.角色规划 三个节点对应的角色: 3.基本环境配置(在每个节点上都要配置) (1)关闭防火墙 #/etc/init.d/iptables stop # chkconfig --level 345 iptables off (2)关闭seliux # vim /etc/sysconfig/selinux SELINUX=disabled (3)ip和主机名对应 #vim /etc/hosts 172.16.101.54    sht-

kafka常用命令

到kafka目录下面执行命令:nohup /usr/soft/kafka/kafka-server-start.sh /usr/soft/kafka/config/server.properties & 注意:会把生成的日志存放在nohup.out下面 下面的这种方式更好: /usr/soft/kafka/bin/kafka-server-start.sh /usr/soft/kafka/config/server.properties > /dev/null 2>&1 &am

网络工程常用命令札记2.0

Cisco交换机上的命令 1,进入特权,全局,接口模式的命令 switch>enable (简写 en)switch#configure terminal (简写 conf t)switch(config)#interface fastEthernet0/1(以0/1端口为例)(简写 int f0/1)switch(config-if)# 2.模式之间的退出 exit 退出到上一层最多退到特权模式 disable 从特权模式退出到用户模式 end 从当前模式直接退到特权模式 Ctrl+Z 和en

Win7_64位MyEclipse2015以yarn-client提交spark到CDH5.10.0任务报错及解决方法

CDH版本:5.10.0 IDE环境:win7 64位 MyEclipse2015 spark模式:yarn 提交模式:yarn-client 之前同样的IDE环境下,向alone模式的spark提交任务,一直很顺利,今天测了一下spark on yarn模式,提交只能是yarn-client模式,其它基本不变,只是换了模式,结果出现下面错误: java.io.IOException: Cannot run program "/etc/hadoop/conf.cloudera.yarn/topo

10秒钟安装 Vim编辑器,5分钟浏览常用命令 2015.10.25

首先我想说,vim与vi的命令几乎相同,,所以学习编辑命令时很轻松,排除扩展相关,以及自动补全等配置的使用在外30秒钟安装 Vim编辑器,5分钟浏览常用命令环境:虚拟机Ubuntu:安装vim并浏览命令,简单配置vim,设置ubuntu默认编码,使得语言为英文安装VIM参考博客:vim命令参考博客:http://www.cnblogs.com/softwaretesting/archive/2011/07/12/2104435.html,建议多找几篇博客进行翻阅,了解到尽多的相关配置知识.

KAFKA 常用命令

转自:http://blog.csdn.net/xiaolang85/article/details/22194571 ##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况) bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.1

Linux入门之常用命令(10)软连接

ln –s 源文件 目标文件 当我们需要在不同的目录,用到相同的文件时,我们不需要在每一个需要的目录下都放一个必须相同的文件,我们只要在某个固定的目录,放上该文件,然后在 其它的目录下用ln命令链接(link)它就可以,不必重复的占用磁盘空间.例如:ln –s /bin/less /usr/local/bin/less -s 是代号(symbolic)的意思. 这里有两点要注意:第一,ln命令会保持每一处链接文件的同步性,也就是说,不论你改动了哪一处,其它的文件都会发生相同的变化:第二,ln的链