Zookeeper系列五：Master选举、ZK高级特性：基本模型

一、Master选举

1. master选举原理：

有多个master，每次只能有一个master负责主要的工作，其他的master作为备份，同时对负责工作的master进行监听，一旦负责工作的master挂掉了，其他的master就会收到监听的事件，从而去挣脱负责工作的权利，其他没有争夺到负责主要工作的master转而去监听负责工作的新master。

本质其实是利用zookeeper的临时节点的特性：临时节点随着会话的消亡二消亡，同一个临时节点只能创建一个，创建失败的节点（从master）对创建成功节点（主master）进行监控，一旦创建成功的节点（主master）会话消失，之前创建失败的节点（从master）就会监听到去抢夺创建临时节点

2. 代码实现-两个tomcat模拟master选举

2.1 准备工作：

1）首先在新建一个maven项目ZK-Demo,然后在pom.xml里面引入zk的依赖

        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.10</version>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-framework</artifactId>
            <version>4.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-recipes</artifactId>
            <version>4.0.0</version>
        </dependency>

        <dependency>
            <groupId>javax.servlet</groupId>
            <artifactId>javax.servlet-api</artifactId>
            <version>3.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.tomcat</groupId>
            <artifactId>tomcat-catalina</artifactId>
            <version>7.0.39</version>
        </dependency>

2）在eclipse里面配置两个tomcat，具体方法百度

注意：这里的两个tomcat的命名不规范，端口分别为8080,8081

2.2 编写选举master的业务类

package com.study.demo.election;

import java.io.IOException;

import javax.servlet.ServletException;

import org.apache.catalina.connector.Request;
import org.apache.catalina.connector.Response;
import org.apache.catalina.valves.ValveBase;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;
import org.apache.curator.framework.recipes.cache.TreeCache;
import org.apache.curator.framework.recipes.cache.TreeCacheEvent;
import org.apache.curator.framework.recipes.cache.TreeCacheListener;
import org.apache.curator.retry.ExponentialBackoffRetry;
import org.apache.zookeeper.CreateMode;

/**
*
* @Description: 两个tomcat模拟master选举
* @author liguangsheng
* @date 2018年9月6日
*
*/
public class ZkTomcatMaster extends ValveBase {

    private static CuratorFramework client;
    // zk临时节点路径（主master）
    private final static String zkPath = "/Tomcat/ActiveLock";
    //Curator事件监听
    private static TreeCache cache;

    @Override
    public void invoke(Request request, Response response) throws IOException, ServletException {
        client = CuratorFrameworkFactory.builder().connectString("192.168.152.130:2181").connectionTimeoutMs(1000)
                .retryPolicy(new ExponentialBackoffRetry(1000, 3)).build();
        client.start();

        try {
            createZKNode(zkPath);
        } catch (Exception e1) {
            System.out.println("=========== 抢夺成为master失败，对master进行监控！");
            try {
                addZKNodeListener(zkPath);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

    //创建临时节点zkPath = "/Tomcat/ActiveLock"
    private void createZKNode(String path) throws Exception {
        client.create().creatingParentsIfNeeded().withMode(CreateMode.EPHEMERAL).forPath(path);
        System.out.println("=========== 创建成功，节点当选为master");
    }

    //创建临时节点zkPath = "/Tomcat/ActiveLock"失败时对创建成功的节点(主master)进行监听
    private void addZKNodeListener(final String path) throws Exception {
        cache = new TreeCache(client, path);
        cache.start();
        cache.getListenable().addListener(new TreeCacheListener() {
            public void childEvent(CuratorFramework client, TreeCacheEvent event) throws Exception {
                if (event.getData() != null && event.getType() == TreeCacheEvent.Type.NODE_REMOVED) {
                    System.out.println("=========== master挂了，赶紧抢master权限！");
                    createZKNode(path);
                }
            }
        });

        System.out.println("=========== 已经对master进行监控");
    }
}

2.3  在eclipse里面将ZkTomcatMaster.java打包成zkTomcatMaster.jar放到两个tomcat的lib目录下

E:\apache-tomcat-8.5.33\lib

E:\software\apache-tomcat-7.0.63\lib

同时还要向lib目录下放入相关依赖的包：

zkTomcatMaster.jar

相关依赖的包:
curator-client-4.0.0.jar
curator-framework-4.0.0.jar
curator-recipes-4.0.0.jar
zookeeper-3.4.10.jar
jline-0.9.94.jar
netty-3.10.5.Final.jar
slf4j-api-1.6.1.jar
slf4j-log4j12-1.6.1.jar
selenium-server-standalone-2.44.0.jar
javax.servlet-api-3.1.0.jar
tomcat-catalina-7.0.39.jar
log4j-1.2.14.jar

 需要这些包的朋友私聊我哈！

2.4 在两个tomcat的server.xml里面加入如下配置：

<Host appBase="webapps" autoDeploy="true" name="localhost" unpackWARs="true">
    此处省略n行配置.....
    <Valve className="com.study.demo.election.ZkTomcatMaster"/>
 </Host>

2.5 分别运行两个tomcat查看效果

先运行Tomcat8.5 8080

再运行tomcat8080

2.6 停掉Tomcat8.5 8080观察tomcat8080的情况

说明：这里是之前对Tomcat8.5 8080（主master的监听器作用了）

2.7 再次启动Tomcat8.5 8080

二、ZK高级特性：基本模型

1. Zookeeper的数据模型—节点

树模型（采用文件系统的形式，只不过去掉文件和目录），叫数据节点。

2. ACL—权限控制

2.1 对于一个节点可操作的权限有5种

READ（只读）
WRITE（只写）
CREATE（创建）
DELETE（删除）
ADMIN（节点管理权限）
All = READ|WRITE|CREATE|DELETE|ADMIN（所有权限）

ACL机制：权限模式（Schema）、授权对象（ID）、权限（Permission）

1）world：开放模式。意思所有人都可以访问。
2）IP： 针对某个IP开放权限
3）digest：用户/密码模式
4）Super：超级用户模式

2.2 设置节点权限

使用密文语法：setAcl path digest|ip:username:password:c|d|r|w|a

示例：
1）用户名和加密密码的方式：

创建test节点：

create /test 123

设置权限前先对密码进行加密(执行目录在zk根目录)：

cd /software/zookeeper-3.4.6
java -cp ./zookeeper-3.4.6.jar:./lib/log4j-1.2.16.jar:./lib/slf4j-api-1.6.1.jar:./lib/slf4j-log4j12-1.6.1.jar org.apache.zookeeper.server.auth.DigestAuthenticationProvider user1:123456

加密后的密文：

user1:123456->user1:HYGa7IZRm2PUBFiFFu8xY2pPP/s=

设置权限：

setAcl /test digest:user1:HYGa7IZRm2PUBFiFFu8xY2pPP/s=:crwa

使用明文增加认证才可以访问：
语法：

addauth digest username:password

eg:

addauth digest user1:123456

2）IP的方式 setAcl /test ip:192.168.152.1:cdra

设置以后，只有192.168.152.1才能访问

3）使用明文设置权限(设置完以后可以直接使用 ls /test查看，不会像密文设置时查看提示没有权限)：

语法：

setAcl /path auth:username:password:cdrwa

eg:

删除直接的/test节点并重新创建

delete /test
create /test 123

设置权限

setAcl /test auth:user1:123456:cdrwa

说明：

这里的删除得使用delete命令，rmr命令删除不了，会提示没有权限

2.3 查看节点的权限

语法：

getAcl path

2.4 节点的版本

执行ls2  /test可看到如下信息

cversion 当前节点的权限
dataversion 当前节点数据内容的版本号
aclVersion  就是ACL版本号

说明：

zookeeper版本的含义：版本指的是变更的次数。
CAS（compare and swap）比较然后交换。-》比较数据的版本号以后交换数据

原文地址：https://www.cnblogs.com/leeSmall/p/9600959.html

时间： 2024-10-12 13:29:35

Zookeeper系列五：Master选举、ZK高级特性：基本模型的相关文章

使用zookeeper实现分布式master选举（c 接口版本）

zookeeper,已经被很多人所熟知,主要应用场景有(数据订阅/发布 ,负载均衡, 命名服务, 分布式协调/通知,集群管理,Master选举,分布式锁,分布式队列). C接口的描述  主要参考 Haippy 的文章 :Zookeeper C API 指南 (感谢大神) 但是网上的C++版 示例代码少之又少,作为一个小白,自己摸索,给大家参考. Master选举的需求主要如下: 1.多台机器同时进行选举,产生唯一的一台机器作为Master,其它的机器作为slave. 2.当Master宕机后,需

Spark系列(五)Master主备切换机制

Spark Master主备切换主要有两种机制,之中是基于文件系统,一种是基于Zookeeper.基于文件系统的主备切换机制需要在Active Master挂掉后手动切换到Standby Master上,而基于Zookeeper的主备切换机制可以实现自动切换Master. 切换流程图 流程说明: Standby Master模式 1. 使用持久化引擎读取持久化的storeApps.storeDrivers.storeWorkers,持久化引擎有FileSystemPersistenceEngin

zookeeper典型应用场景之一：master选举

对于zookeeper这种东西,仅仅知道怎么安装是远远不够的,至少要对其几个典型的应用场景进行了解,才能比较全面的知道zk究竟能干啥,怎么玩儿,以后的日子里才能知道这货如何能为我所用.于是,有了如下的学习: 我们知道zookeeper可以用于搭建高可用服务框架,主要先看以下几个应用场景:1. master的选举基本思路和编码实现2. 数据的发布和订阅3. 软负载均衡4. 分布式队列5. 分布式锁6. 命名服务 目前zookeeper常用的开发包有zkclient跟curator,后者更为方便,日

ZooKeeper场景实践：（6）集群监控和Master选举

1. 集群机器监控 这通常用于那种对集群中机器状态,机器在线率有较高要求的场景,能够快速对集群中机器变化作出响应.这样的场景中,往往有一个监控系统,实时检测集群机器是否存活. 利用ZooKeeper有两个特性(读可监控,临时节点),就可以实现一种集群机器存活性监控系统: 1. 客户端在节点 x 上注册一个Watcher,那么如果x的子节点变化了,会通知该客户端 2. 创建EPHEMERAL类型的节点,一旦客户端和服务器的会话结束或过期,那么该节点就会消失 利用这两个特性,可以分别实现对客服端的状

JSP简明教程（五）：高级特性

JSP过滤器 过滤器的作用是给web请求增加额外的逻辑,每个页面可以被多个过滤器进行处理.过滤器需要在web.xml文件中进行定义,语法如下.过滤器的执行顺序与filter-mapping的定义顺序相同. <filter> <filter-name>FilterName</filter-name> <filter-class>TestFilter</filter-name> <init-param> <param-name>

（原）3.1 Zookeeper应用 - Master选举

本文为原创文章,转载请注明出处,谢谢 Master 选举 1.原理 服务器争抢创建标志为Master的临时节点 服务器监听标志为Master的临时节点,当监测到节点删除事件后展开新的一轮争抢 某个服务器成功创建则为Master 2.架构图 Master:服务器争抢节点 Servers:服务器列表节点 work Server:服务器节点 3.流程图 4.核心代码 workServer监听 public WorkServer(final ServerData serverData) { this.s

【LESS系列】高级特性——模式匹配

前面我已经有一篇文章是写 LESS 的基础语法的. 那么这一次我们来看一下 LESS 的高级特性. 虽然个人觉得模式匹配的实用度其实也是一般般,但在关键时候,有它们在的话,还是能够让我们开发得更得心应手的. 其实传参设置默认值,就是一个最简单的模式匹配. 你调用 Mixins 函数,传入参数,和不传入参数,可能会出现不同的编译结果. 那么除此之外,模式匹配还有那些情况呢,让我们来看一下. 按照先前的惯例,LESS CODE 和 CSS CODE 分别是编译前跟编译后的代码. 1.用不同参数个数来

[转]Zookeeper系列（一）

一.ZooKeeper的背景 1.1 认识ZooKeeper ZooKeeper---译名为“动物园管理员”.动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动 物所观赏.为了让各种不同的动物呆在它们应该呆的地方,而不是相互串门,或是相互厮杀,就需要动物园管理员按照动物的各种习性加以分类和管理,这样我们才能更加放心安全的观赏动物. 回到企业级应用系统中,随着信息化水平的不断提高,企业级系统变得越来越庞大臃肿,性能急剧下降

ZooKeeper 系列（一）—— ZooKeeper核心概念详解

一.Zookeeper简介 二.Zookeeper设计目标 三.核心概念 ????????3.1 集群角色 ????????3.2 会话 ????????3.3 数据节点 ????????3.4 节点信息 ????????3.5 Watcher ????????3.6 ACL 四.ZAB协议 ????????4.1 ZAB协议与数据一致性 ????????4.2 ZAB协议的内容 五.Zookeeper的典型应用场景 ????????5.1数据的发布/订阅 ????????5.2 命名服务 ??