ZooKeeper实践:(2)集群管理

前言:

随着业务的扩大,用户的增多,访问量的增加,单机模式已经不能支撑,从而出现了从单机模式->垂直应用模式->集群模式,集群模式诞生了,伴随着一堆问题也油然而生,Master怎么选举,机器故障及时移除集群,添加机器了如何及时的感应到,Zookeeper不仅能维护当前的集群服务状态,还能及时的选出master,它们的实现方式都是在Zookeeper上面注册一个EPHEMERAL目录节点,在创建目录的父目录上面调用getChildren(String path,boolean watch)设置watch为true,注册watcher事件,由于是临时节点,当服务器出现问题造成session丢失,相对应的目录节点随之删除,Children节点发生变化,就会调用前面注册的watcher,使集群内的每个节点都得到新的集群信息。反之,新增节点也是这样。

注:master选举,不同之处是注册一个EPHEMERAL_SEQUENTIAL 目录节点,我们可以选择最小编号为master,实现了动态选择master,避免master出现单点故障

一、架构体系

     

二:模拟代码

      监控类:

package com.zk.config.manager;

import java.io.IOException;
import java.util.Collections;
import java.util.List;
import java.util.concurrent.CountDownLatch;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.Watcher.Event.KeeperState;
import org.apache.zookeeper.ZooDefs.Ids;

public class AppRegister {

	private CountDownLatch connectedSemaphore = new CountDownLatch(1);
	private ZooKeeper zooKeeper;
	private Object lock = new Object();
	private String ip;

	private String rootConfig;

	public AppRegister(String ip, String root) {
		this.ip = ip;
		this.rootConfig = root;
		this.zooKeeper = connectZookeeper();

	}

	public ZooKeeper connectZookeeper() {
		synchronized (lock) {
			if (zooKeeper == null) {
				try {
					zooKeeper = new ZooKeeper("10.32.180.251:2181", 5000, new Watcher() {
						public void process(WatchedEvent event) {
							if (KeeperState.SyncConnected == event.getState()) {
								if (EventType.None == event.getType() && null == event.getPath()) {
									try {
										connectedSemaphore.countDown();
										zooKeeper.getChildren(rootConfig, true);
										zooKeeper.create(rootConfig + "/" + ip, ip.getBytes(), Ids.OPEN_ACL_UNSAFE,
												CreateMode.EPHEMERAL_SEQUENTIAL);
									} catch (KeeperException e) {
										e.printStackTrace();
									} catch (InterruptedException e) {
										e.printStackTrace();
									}
								} else if (EventType.NodeChildrenChanged == event.getType()) {
									try {
										List<String> childrenList = zooKeeper.getChildren(rootConfig, true);
										System.out.println("节点变化了:" + childrenList);
										Collections.sort(childrenList);
										System.out.println("我是master了:" + childrenList.get(0));
									} catch (KeeperException e) {
										e.printStackTrace();
									} catch (InterruptedException e) {
										e.printStackTrace();
									}

								}

							}
						}
					}

					);
					connectedSemaphore.await();
				} catch (IOException e) {
					e.printStackTrace();
				} catch (InterruptedException e) {
					e.printStackTrace();
				}

			}
		}
		return zooKeeper;
	}
}

模拟程序:

package com.zk.config.manager;

public class AppMonitor {
	private final static String rootConfig = "/AppCluster";
	public static void main(String[] args) throws InterruptedException {

		/**
		 * 新增机器,选举master
		 */
		addHost();

		Thread.sleep(Integer.MAX_VALUE);
	}

	private static void  addHost()
	{
		new Thread(new Runnable() {
			public void run() {
				new AppRegister("192.168.1.1", rootConfig);
			}
		}).start();

		new Thread(new Runnable() {
			public void run() {
				try {

					Thread.sleep(2000);
					new AppRegister("192.168.1.2", rootConfig);
				} catch (InterruptedException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
		}).start();

	}

}

运行结果:

节点变化了:[192.168.1.10000000029]
我是master了:192.168.1.10000000029
节点变化了:[192.168.1.20000000030, 192.168.1.10000000029]
我是master了:192.168.1.10000000029
节点变化了:[192.168.1.20000000030, 192.168.1.10000000029]
我是master了:192.168.1.10000000029

时间: 2024-10-18 05:55:48

ZooKeeper实践:(2)集群管理的相关文章

2 weekend110的zookeeper的原理、特性、数据模型、节点、角色、顺序号、读写机制、保证、API接口、ACL、选举、 + 应用场景:统一命名服务、配置管理、集群管理、共享锁、队列管理

在hadoop生态圈里,很多地方都需zookeeper. 启动的时候,都是普通的server,但在启动过程中,通过一个特定的选举机制,选出一个leader. 只运行在一台服务器上,适合测试环境:Zookeeper 的启动脚本在 bin 目录下:在启动脚本之前,还有几个基本的配置项需要配置一下, tickTime :这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个  tickTime  时间就会发送一个心跳:dataDir:顾名思义就是 Zookee

搞懂分布式技术5:Zookeeper的配置与集群管理实战

搞懂分布式技术5:Zookeeper的配置与集群管理实战 4.1 配置文件 ZooKeeper安装好之后,在安装目录的conf文件夹下可以找到一个名为"zoo_sample.cfg"的文件,是ZooKeeper配置文件的模板. ZooKeeper启动时,会默认加载"conf/zoo.cfg"作为配置文件,所以需要将"zoo_sample.cfg"复制一份,命名为"zoo.cfg",然后根据需要设定里面的配置项. 配置项很简单,

集群管理要点

第一章:RD/OP 实际上在写同一个分布式系统 1.每个应用都是集群的一部分,每个RD都有一套自己的集群管理方式 有的设计得非常简单:一个配置文件,读取一下数据库的ip和端口 有的设计得非常复杂:使用zookeeper这样的名字服务,自己做监控,自己部署代码,自己做服务发现等 RD的视角很少考虑运维的问题,RD视角出发的集群管理基本上是以程序能够运行起来为标准的. RD没法不考虑集群管理,因为没有这个,程序是无法独立运行的. RD没法太多的去考虑集群管理,因为大部分的应用的开源的,无法假设实际的

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭

(转)ZooKeeper伪分布式集群安装及使用

转自:http://blog.fens.me/hadoop-zookeeper-intro/ 前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品.在单机中,系统协作大都是进程级的操作.分布式系统中,服务协作都是跨服务器才能完成的.在ZooKeeper之前,我们对于协作服务大都使用消息中间件,随着分布式系统的普及,用消息中间件完成协作,会有大量的程序开发.ZooKeeper直接面向于分布式系统,可以减少我们自己的开发,帮助我们更好完成分布式系统的数据管理问题. 目录 zook

Ignite集群管理——基于静态IP的节点发现

Ignite作为分布式内存,集群管理必不可少,Ignite支持基于组播,静态IP,Zookeeper,JDBC等方式发现节点,本文主要介绍基于静态IP的节点发现. 两个最重要的TCP通信设置类: 1. TcpDiscoverySpi 用于设置集群维持与节点发现的tcp通信ip,port. 2. TcpCommunicationSpi 用于设置业务数据(缓存数据)tcp通信的ip,port. 3. 两者的区别与联系 TcpDiscoverySpi用于维持管理集群,交换的是用户不感知的ignite内

王家林的云计算分布式大数据Hadoop征服之旅:HDFS&amp;MapReduce&amp;HBase&amp;Hive&amp;集群管理

一:课程简介: 作为云计算实现规范和实施标准的Hadoop恰逢其时的应运而生,使用Hadoop用户可以在不了解分布式底层细节的情况下开发出分布式程序,从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储,而且Hadoop的运算和存储是可靠的.高效,的.可伸缩的,能够使用普通的社区服务器出来PB级别的数据,是分布式大数据处理的存储的理想选择. 本课程会助你深入浅出的掌握Hadoop开发(包括HDFS.MapReduce.HBase.Hive等),并且在此基础上掌握Hadoop集群的配置.维

一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等

作者:大数据女神-诺蓝(微信公号:dashujunvshen).本文是36大数据专稿,转载必须标明来源36大数据. 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统.消息系统.分布式服务.集群管理.RPC.基础设施.搜索引擎.Iaas和监控管理等大数据开源工具. 日志收集系统 一.Facebook Scribe 贡献者:Facebook 简介:Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用.它能够从各种

Kafka 0.11客户端集群管理工具AdminClient

很多用户都有直接使用程序API操作Kafka集群的需求.在0.11版本之前,kafka的服务器端代码(即添加kafka_2.**依赖)提供了AdminClient和AdminUtils可以提供部分的集群管理操作,但社区官网主页并没有给出这两个类的使用文档.用户只能自行查看源代码和测试用例才能了解具体的使用方法.倘若使用客户端API的话(即添加kafka_clients依赖),用户必须构造特定的请求并自觉编写代码向指定broker创建Socket连接并发送请求,同样是十分繁琐.故Kafka 0.1

[转载] 闲谈集群管理模式

原文: http://dockone.io/article/423 文章总结的非常好, 算是科普类文章, 不过一直有一个疑问, immutable servers如何解决频繁的本地小文件更新的问题? Docker很火很红,简直到了没有道理的地步了.Docker为什么这么红?因为它是一种可以用来掀桌子的技术.在部署自动化这条产业上的工人和机床制造商们,看家护院的 cmdb,分布式脚本执行等所谓核心技术即便不会变成明日黄花,也会沦为二流技术.仅仅把 Docker 当成一个轻量级 vmware 来使用