Kafka(华为FusionInsight )操作命令

华为大数据kafka操作
web界面创建角色、用户。用户管理角色
进入服务器环境，进入客户端目录/opt/hadoopclient，导入环境变量source bigdata_env。
切换用户kinit kafka用户（kafka_test）

  1. 查看当前集群Topic列表。

    bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:24002/kafka>

  2. 查看单个Topic详细信息。

    bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名称>
  3. 删除Topic，由管理员用户操作。

    bin/kafka-topics.sh --delete --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名称>
  4. 创建Topic，由管理员用户操作。

    bin/kafka-topics.sh --create --zookeeper <ZooKeeper集群IP:24002/kafka> --partitions 6 --replication-factor 2 --topic <Topic名称>
  5. Old Producer API生产数据，服务端“allow.everyone.if.no.acl.found”配置为“True”。

    bin/kafka-console-producer.sh --broker-list <Kafka集群IP:21005> --topic <Topic名称> --old-producer -sync
  6. Old Consumer API消费数据，服务端“allow.everyone.if.no.acl.found”配置为“True”。

    bin/kafka-console-consumer.sh --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名称> --from-beginning
  7. 赋Consumer权限命令，由管理员用户操作。

    bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:24002/kafka > --add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称>
  8. 赋Producer权限命令，由管理员用户操作。

    bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:24002/kafka > --add --allow-principal User:<用户名> --producer --topic <Topic名称>
  9. New Producer API生产消息，需要拥有该Topic生产者权限。

    bin/kafka-console-producer.sh --broker-list <Kafka集群IP:21007> --topic <Topic名称> --producer.config config/producer.properties
  10. New Consumer API消费数据，需要拥有该Topic的消费者权限

    bin/kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server <Kafka集群IP:21007> --new-consumer --consumer.config config/consumer.properties

原文地址：https://www.cnblogs.com/runnerjack/p/9425130.html

时间： 2024-11-08 23:07:01

Kafka(华为FusionInsight )操作命令的相关文章

kafka常用的操作命令

1.kafka启动命令 nohup bin/kafka-server-start.sh config/server.properties & 2.创建topic bin/kafka-topics.sh --create --zookeeper 10.0.178.210:2181 --replication-factor 1 --partitions 1 --topic yddpi_dlcd 3.列出所有Topic bin/kafka-topics.sh --list --zookeeper 10

Kafka常用topic操作命令汇总

offset topic consumer-group consumer producer producer-golang topic 工具 https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools offset相关 # 最大offset bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test

FusionInsight，一个融合的大数据平台

随着物联网技术和应用的普及,以运营商.互联网以及实体经济行业为代表的企业产生了越来越多的数据,大数据的发展越来越蓬勃. 从2007年开始,大数据应用成为很多企业的需求,2012年兴起并产生了大数据平台,使用者主要是程序员:2013年到2017年间,数据逐渐增多,大数据平台变成了融合大数据平台,使用者从程序员变成数据管理员和数据分析师:从2018年开始,大数据进入企业数据智能新阶段,普通的工程师也能轻松应用. 当数据越来越多,需求也越来越高,环境越来越复杂,分析处理的方式也多种多样,这对平台有了更

誉天HCIE-Storage课程学习指南

誉天存储HCIE课程需要掌握的内容包含:Linux.Oracle.存储等相关知识.誉天特地为零基础学习存储HCIE的学生推出独有的课程体系,不仅包含华为存储HCIE所需要掌握的内容,还将独家增加RHCSA.云计算基础.大数据基础等内容,真正做到学习和工作的无缝连接,并为后期的个人能力提升打下基础. 课程名称:华为认证存储领域互联网专家课程代号:H13-629(Wtitten).H13-630(Lab).H13-631(Interview)证书:HCIE-Storage培训课时:90课时+额外赠送

Kafka安装和常用操作命令

Kafka安装: 下载kafka_2.10-0.8.2.1 1.关闭防火墙 2.修改配置文件  server.properties broker.id=1log.dirs= /usr/kafka_2.10-0.8.2.1/data  //最后不要写logzookeeper.connect=master:2181,slave01:2181,slave02:2181delete.topic.enable = true //删除话题的时候需要设置其为truenum.partitions=3//建议默认

华为云kafka POC 踩坑记录

2019/03/08 18:29 最近在进行华为云相关POC验证,个人主要负责华为云DMS kafka相关.大致数据流程是,从DIS取出数据,进行解析处理,然后放入kafka,再从kafka中取出数据然后放到ElasticSearch以及OBS里面.kafka作为中间层次,发挥着中间件的重要作用.关于华为云kafka的整合,这两天的确碰到一些坑,现进行相关总结加以记录. 第一个问题:kafka的jar包不要用开源的,而是用图中libs的华为官方的jar包.新建libs文件目录,然后把jarBao

kafka常规及几个重要的操作命令

1. 查看所有topic kafka-topics.sh --zookeeper hadoop3 --list 2. 创建tooic及topic的partitioner ./kafka-topics.sh --zookeeper hadoop3:2181,hadoop4:2181,hadoop5:2181,hadoop6:2181,hadoop7:2181,hadoop8:2181,hadoop9:2181 --create --topic check-data --partitions 21

FusionInsight大数据开发---Kafka应用开发

Kafka应用开发 了解Kafka应用开发适用场景 熟悉Kafka应用开发流程 熟悉并使用Kafka常用API 进行Kafka应用开发 Kafka的定义Kafka是一个高吞吐.分布式.基于发布订阅的消息系统Kafka有如下几个特点: 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好 Kafka的适用场景 适用于离线和在线的消息消费 已对接组件 Streaming.Spark.Flume 使用Kafka的好处 解耦--使得消息生产.消费系统能够独立变更 可靠--有效解决单点故障引发系统不可用

kafka 基本操作命令

查看kafka版本    进入kafka安装目录 ... kafka/libs,看到类似kafka_2.12-2.0.0.jar这样的文件,2.12为scala版本,2.0.0是kafka版本(kafka使用了Scala进行开发). zookeeper-server-start.sh 参照 kafka环境搭建 zookeeper-server-stop.sh 停止kafka bin/kafka-server-stop.sh kafka-server-start.sh 参照 kafka环境搭建 k