ZooKeeper监控

http://jm-blog.aliapp.com/?p=1450

在公司内部,有不少应用已经强依赖zookeeper,zookeeper的工作状态直接影响它们的正常工作。目前开源世界中暂没有一个比较成熟的zookeeper-monitor, 于是开始zookeeper监控这块工作。

目前zookeeper-monitor能做哪些事情,讲到这个,首先来看看哪些因素对zookeeper正常工作比较大的影响:

  1. 用于zookeeper写日志的目录要有足够大小,并且强烈建议在单独的磁盘(挂载点)上,这是影响ZK性能最大因素之一。
  2. 连接数。
  3. 注册的Watcher数。
  4. ZNode是否可读,可写。
  5. ZK事件通知的延时是否过大。

围绕以上几点展开,完成了taokeeper一期的开发,目前主要完成以下方面的监控:(项目地址:https://github.com/alibaba/taokeeper

l  CPU/MEM/LOAD的监控

l  ZK日志目录所在磁盘剩余空间监控

l  单机连接数的峰值报警

l  单机 Watcher数的峰值报警

l  节点自检:是指对集群中每个IP所在ZK节点上的PATH: /YINSHI.MONITOR.ALIVE.CHECK 定期进行三次如下流程 : 节点连接 – 数据发布 – 修改通知 – 获取数据 – 数据对比, 在指定的延时内,三次流程均成功视为该节点处于正常状态。

  • ZooKeeper集群实时状态 (点击图片查看大图)

点击查看按钮可以查看当前服务器上所有订阅者的详细信息:

ZooKeeper监控报警设置 (点击图片查看大图)

ZooKeeper集群状态趋势图 (点击图片查看大图)

如何安装部署

首先,对之前使用 maven-war-plugin 来进行配置管理的方式,表示遗憾。不少开发人员反馈部署比较困难,另外还有一些对maven不熟悉的开发人员也是这样认为。现在有了改进,将配置与程序分离开来。对此给大家带来的不便,深表歉意。

一、直接部署

1. 下载taokeeper.sql,初始化数据库(Mysql).
2. 下载taokeeper-monitor.war文件,解压到tomcat的webapps目前下,确保最后目录结构如下:  %TOMCAT_HOME%\webapps\taokeeper-monitor.war

3. 下载taokeeper-monitor-config.properties文件,存放到一个指定目录,比如

/home/xiaoming/taokeeper-monitor/config/taokeeper-monitor-config.properties, 其中内容如下,根据需要自己修改下。

----------------------------------------------------------------
systemInfo.envName=TEST
#DBCP
dbcp.driverClassName=com.mysql.jdbc.Driver
dbcp.dbJDBCUrl=jdbc:mysql://1.1.1.1:3306/taokeeper
dbcp.characterEncoding=GBK
dbcp.username=xiaoming
dbcp.password=123456
dbcp.maxActive=30
dbcp.maxIdle=10
dbcp.maxWait=10000
#SystemConstant
SystemConstent.dataStoreBasePath=/home/xiaoming/taokeeper-monitor/ZookeeperStore
#SSH account of zk server
SystemConstant.userNameOfSSH=xiaoming
SystemConstant.passwordOfSSH=123456

------------------------------------------------------------------

4. 在tomcat启动脚本中添加JAVA_OPTS:
<strong>windows</strong>上:<strong>set</strong> JAVA_OPTS=-DconfigFilePath="D:servertomcatwebappstaokeeper-monitor-config.properties"
<strong>linux</strong>上:JAVA_OPTS=-DconfigFilePath="/home/xiaoming/taokeeper-monitor/config/taokeeper-monitor-config.properties"

5. 启动tomcat服务器

6. 正常启动后,访问:http://127.0.0.1:8080/taokeeper-monitor

二、从源代码开始

1. Check out 源代码:[email protected]:nileader/taokeeper.git

2. 修改代码…

3.  实现 com.taobao.taokeeper.reporter.alarm.MessageSender 接口,用于发送报警信息。(可选)

4. 到taokeeper根目录下执行 package.cmd 命令,打成一个war包,之后进行部署

如何使用
1. taokeeper-monitor启动后,还没有配置任何zookeeper集群,点击“加入监控”进行集群添加。


2. 配置zookeeper集群信息(点击查看大图)

时间: 2024-08-10 12:21:01

ZooKeeper监控的相关文章

zookeeper监控告警

一.ZooKeeper简介 ZooKeeper作为分布式系统中重要的组件,目前在业界使用越来越广泛,ZooKeeper的使用场景非常多,以下是几种典型的应用场景: l  数据发布与订阅(配置中心) l  负载均衡 l  命名服务(Naming Service) l  分布式通知/协调 l  集群管理与Master选举 l  分布式锁 zk环境搭建 这里不详细说明,提供详细blog说明. Zookeeper集群搭建:http://www.cnblogs.com/linuxbug/p/4840137

ZooKeeper监控(taokeeper)

http://jm.taobao.org/?p=1450 在公司内部,有不少应用已经强依赖zookeeper,zookeeper的工作状态直接影响它们的正常工作.目前开源世界中暂没有一个比较成熟的zookeeper-monitor, 于是开始zookeeper监控这块工作. 目前zookeeper-monitor能做哪些事情,讲到这个,首先来看看哪些因素对zookeeper正常工作比较大的影响: 用于zookeeper写日志的目录要有足够大小,并且强烈建议在单独的磁盘(挂载点)上,这是影响ZK性

Zookeeper监控(Zabbix)

一直在弄监控,这些个中间件Zookeeper.Kafka......,平时也只知道一点皮毛,也就搭建部署过,没有真正的用过,一般都是大数据的同学在用,作为运维人员我需要对他做一个监控,由于对他不是知根知底,监控哪些指标就真的是一个大头了.经过不断的在网上搜集,看别人是怎么做的,做了以下一个基本的监控. 一.效果图 二.指标 监控最重要的就是数据,一切皆数据,有了数据想怎么监控就怎么监控.那么哪些数据是重要的?这些数据怎么获取?监控指标尤其重要. Zookeeper的监控指标(通过网上收集,等实际

zookeeper 监控 —— 阿里taokeeper

TaoKeeper是一个围绕ZooKeeper做的监控与报表系统. 主要功能如下: 能够统计ZK集群连接数,Watcher数目 ,节点数等系列信息,并按一定规则进行一些聚合操作; 能够通过设置一些阈值来达到监控报警的效果; 能够按天按周进行ZK运行状 况的报表展现; 其中ZK实时运行状态的统计和机器存活性的检查功能能够帮助ZK的运维人员进行排错,及时发现系统隐患,确保故障的及时恢复. http://sofar.blog.51cto.com/353572/1298468/ http://www.i

zookeeper监控znode

package zookeeper; import java.util.List; import org.apache.zookeeper.KeeperException; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.Watcher.Event.EventType; import org.apache.zookeeper.Zoo

通过TelnetClient获取Zookeeper监控数据

如果想编写一个监控Zookeeper的Java程序,可以通过两种方式 : (1)通过TelnetClient发送命令 ,命令的详解参考:http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_zkCommands (2)通过JMX,说明请参考:http://zookeeper.apache.org/doc/trunk/zookeeperJMX.html 本文通过一个简单的例子来演示如何通过TelnetClient发送mntr命令获

Zabbix实战-简易教程--中间件ZooKeeper监控

一.监控思路 通过zabbix trapper方式监控,之前看到网友们都是通过定时任务进行主动上传数据,但是,zabbix还有另外一神器--自动发现,也能达到同样的功能. 二.实现步骤 1.准备脚本 https://github.com/loveqx/zabbix-doc/blob/master/zabbix-scripts/zabbix-template-zookeeper/zookeeper-monitor-lld.py 2.安装依赖包 #Centos6 rpm -ivh http://re

Zookeeper监控之——node-zk-browser

Node-zk-browser主要可以查看所连接Zkserver的结点内容与信息,并通过简单的身份验证,对zookeeper中的内容进行编辑.删除.添加等. 安装部署:   一:部署nodejs环境: 从 https://github.com/joyent/node/tags 下载node-0.8.14.zip源码包,最好下载0.8.14版本,其他版本可能有兼容问题. 上传至服务器,编译,安装nodejs: # unzipnode-0.8.14.zip # cd node-0.8.14 # ./

Zookeeper监控的作用

当服务越来越多.规模越来越大时,相应的机器数量也越来越大,单靠人工来管理和维护服务及地址的配置地址信息,已经非常困难了,而且.依赖单一的硬件负载均衡设备或者使用LVS.nginx等软件方案进行路由和负载均衡调度.单点故障的问题也開始凸显,一旦服务路由或者负载均衡server宕机.依赖他的全部服务均将失效. 此时,须要一个可以动态注冊和获取服务信息的地方.来统一管理服务名称和其对应的server列表信息,称之为服务配置中心,服务提供者在启动时,将其提供的服务名称.server地址注冊到服务配置宗新