kafka深度研究之路(3)-kafka 与zk 集群启停脚本

编写 kafka集群 启动 和 停止脚本

[[email protected] scripts]$ cat kafka_cluster_stop.sh
#!/bin/bash -x
#date 20190801
#autnor majihui

clush -g all "source /etc/profile ;jps|grep Kafka|awk ‘{print $1}‘ | xargs kill -9 "

[[email protected] scripts]$ cat kafka_cluster_start.sh
#!/bin/bash -x
#author majihui
#date 20190801

clush -g all "source /etc/profile ;jps|grep Kafka|awk ‘{print $1}‘ | xargs kill -9 "
sleep 3
clush -g all "source /etc/profile;/home/hadoop/kafka/bin/kafka-server-start.sh -daemon /home/hadoop/kafka/config/server.properties"

他的输出日志 在

[[email protected] scripts]$ ls -l ~/kafka/logs/
total 164
-rw-rw-r-- 1 hadoop hadoop   316 Aug  2 17:25 controller.log
-rw-rw-r-- 1 hadoop hadoop     0 Aug  2 17:25 kafka-authorizer.log
-rw-rw-r-- 1 hadoop hadoop     0 Aug  2 17:25 kafka-request.log
-rw-rw-r-- 1 hadoop hadoop  6123 Aug  2 17:25 kafkaServer-gc.log.0.current
-rw-rw-r-- 1 hadoop hadoop 54058 Aug  2 17:25 kafkaServer.out
-rw-rw-r-- 1 hadoop hadoop   172 Aug  2 17:25 log-cleaner.log
-rw-rw-r-- 1 hadoop hadoop 54058 Aug  2 17:25 server.log
-rw-rw-r-- 1 hadoop hadoop 33737 Aug  2 17:25 state-change.log

[[email protected] scripts]$ cat /etc/clustershell/groups
all: kafka01-55-11 kafka02-55-12 kafka03-55-13
kafka_slave: kafka02-55-12 kafka03-55-13

zookeeper 启动和停止脚本

[[email protected] scripts]$ cat zookeeper_cluster_stop.sh
#!/bin/bash -x
#author:majihui
#date:20190801

clush -g all  "source /etc/profile; zkServer.sh stop"
[[email protected] scripts]$ cat zookeeper_cluster_start.sh      // 这里面指定了zookeeper.out 输出到 /data/zookeeper/data/zookeeper.out
#!/bin/bash -x
#author:majihui
#date:20190801

clush -g all  "source /etc/profile; cd /data/zookeeper/data && zkServer.sh start|sort"
sleep 3
clush -g all  "source /etc/profile; zkServer.sh status|sort"
[[email protected] ] pwd
/data/zookeeper/data
[[email protected] data]$ ll
total 20
-rw-rw-r-- 1 hadoop hadoop     2 Aug  1 01:04 myid
drwxrwxr-x 2 hadoop hadoop    45 Aug  1 01:33 version-2
-rw-rw-r-- 1 hadoop hadoop 11623 Aug  1 01:33 zookeeper.out
-rw-rw-r-- 1 hadoop hadoop     5 Aug  1 01:33 zookeeper_server.pid

[[email protected] scripts]$ cat jps_cluster_check.sh
#!/bin/bash

clush -g all "source /etc/profile;jps|sort"


以上启动脚本 编写完成
需要结合与clush

[[email protected] scripts]$ cat /etc/clustershell/groups
all: kafka01-55-11 kafka02-55-12 kafka03-55-13
kafka_slave: kafka02-55-12 kafka03-55-13
[[email protected] scripts]$ ll
total 28
-rw-rw-r-- 1 hadoop hadoop  57 Aug  1 15:01 jps_cluster_check.sh
-rw-rw-r-- 1 hadoop hadoop 312 Aug  1 14:51 kafka_cluster_start.sh
-rw-rw-r-- 1 hadoop hadoop 132 Aug  1 14:43 kafka_cluster_stop.sh
-rw-rw-r-- 1 hadoop hadoop 291 Aug  1 14:23 start_kafka_manager.sh
-rw-rw-r-- 1 hadoop hadoop 286 Aug  1 14:28 stop_kafka_manager.sh
-rw-rw-r-- 1 hadoop hadoop 176 Aug  1 14:57 zookeeper_cluster_start.sh
-rw-rw-r-- 1 hadoop hadoop 101 Aug  1 14:56 zookeeper_cluster_stop.sh
[[email protected] scripts]$ chmod +x *sh
[[email protected] scripts]$ ll
total 28
-rwxrwxr-x 1 hadoop hadoop  57 Aug  1 15:01 jps_cluster_check.sh
-rwxrwxr-x 1 hadoop hadoop 312 Aug  1 14:51 kafka_cluster_start.sh
-rwxrwxr-x 1 hadoop hadoop 132 Aug  1 14:43 kafka_cluster_stop.sh
-rwxrwxr-x 1 hadoop hadoop 291 Aug  1 14:23 start_kafka_manager.sh
-rwxrwxr-x 1 hadoop hadoop 286 Aug  1 14:28 stop_kafka_manager.sh
-rwxrwxr-x 1 hadoop hadoop 176 Aug  1 14:57 zookeeper_cluster_start.sh
-rwxrwxr-x 1 hadoop hadoop 101 Aug  1 14:56 zookeeper_cluster_stop.sh

原文地址:https://blog.51cto.com/12445535/2437578

时间: 2024-10-08 11:21:44

kafka深度研究之路(3)-kafka 与zk 集群启停脚本的相关文章

kafka深度研究之路(4)-kafka和zookeeper 配置文件详细说明(来龙去脉)之zk配置

目录1/Zookeeper配置文件详解2/kafka配置文件参数详解3/生产环境 zk 与 kafka 配置文件备注4/kafka命令详解 1/安装完zookeeper 对其配置文件详解 zookeeper-3.4.14.tar.gz在安装zookeeper的时候我们要去修改zookeeper预装是conf目录下面的zoo_sample.cfg这个文件,首先我们要做的事就是重命名这个文件[[email protected] conf]$ cp zoo_sample.cfg zoo.cfg[[em

kafka深度研究之路(4)-kafka和zk 配置文件详细说明(来龙去脉)之kafka配置

2/kafka配置文件参数详解 默认必须配置的参数 默认 kafka server.properties 配置如下: ############################# Server Basics ############################# # 服务器基础知识 # The id of the broker. This must be set to a unique integer for each broker. # 必须为每个代理设置一个唯一的整数 broker.id=

kafka深度研究之路(5)-kafka新版常用命令汇总

小结:1/列出topic的命令为:kafka-topics.sh --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --list2/删除topic的命令为:kafka-topics.sh --delete --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --topic topic-maji

kafka深入研究之路(2) kafka简介与专业术语解释说明

目录:1.kafka简介 什么是kafka? 设计目标是什么?2.kafka的优缺点3.kafka中专业术语解释说明 官方网站: http://kafka.apache.org/introkafka中文教程 http://orchome.com/kafka/index 1/ kafka 简介Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消息服务等

kafka深入研究之路(1)-剖析各原理

kafka深入研究之路(1)-剖析各原理 引言:来到了新公司,需要对kafka组件有很深的研究,本人之前对老版的kafka有过一定的研究,但是谈不上深入,新公司力推kafka,比较kafka作为消息系统在目前的市场上的占有率还是很高的,可以看本人之前kafka的博客中有关kafka的优点和为什么要用kafka.在众多优点中,我本人认为最重要的2个优点如下: 1.削峰数据库的处理能力是有限的,在峰值期,过多的请求落到后台,一旦超过系统的处理能力,可能会使系统挂掉. 如上图所示,系统的处理能力是 2

kafka深入研究之路(1)-剖析各原理02

kafka深入研究之路(1)-剖析各原理02 接着上一文的内容 继续升入研究 topic如何创建于删除的 topic的创建 具体流程文字为: 1. controller 在 ZooKeeper 的 /brokers/topics 节点上注册 watcher,当 topic 被创建,则 controller 会通过 watch 得到该 topic 的 partition/replica 分配. 2. controller从 /brokers/ids 读取当前所有可用的 broker 列表,对于 s

Kafka不停机,如何无感知迁移ZooKeeper集群?

Kafka 在 Yelp 的应用十分广泛,Yelp 每天通过各种集群发送数十亿条消息,在这背后,Kafka 使用 Zookeeper 完成各种分布式协调任务.因为Yelp 非常依赖 Kafka,那么问题来了,它是否可以在不引起 Kafka 及其他 Zookeeper 用户注意的情况下切换 Zookeeper 集群呢?本文将揭晓答案.Kafka 在 Yelp 的应用十分广泛.事实上,我们 每天通过各种集群发送数十亿条消息.在这背后,Kafka 使用 Zookeeper 完成各种分布式协调任务,例如

zookeeper集群环境搭建(使用kafka的zookeeper搭建zk集群)

---恢复内容开始--- 使用kafka的zookeeper来搞集群的话和单纯用zk的其实差不了多少. 0.说在前头,搭建kafka集群之前请把每个服务器的jdk搞起来. 1.安装kafka wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz 下载kafka然后放到你的目录下 解压 tar zxvf kafka_2.11-2.0.0.tgz 2.配置zk cd kafka_2.11-2.0.0/confi

“挖掘机”升级路 一篇(03)--HBase集群安装中的收获

粗略算算,从上周五到这周二,折腾Hadoop已经三天了.这三天我是过得诚惶诚恐,作为一个学徒,老大虽然没有说啥,但是我恨不得立马完成这些基本的部署工作,感觉拖了好久好久.简单的总结一下,第一天折腾Hadoop单机和伪分布式的安装,第二天在折腾Hive的安装,以失败告终,第三天折腾HBase的集群安装,在主节点上安装成功. 也就来具体的谈谈今天的收获,今天的参考资料主要是这么两篇1.分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建(我FQ看的,不知道