Zookeeper详解(九):Zookeeper高可用方面的建议和日常运维

集群数量:3、5、7这样的奇数。当然偶数也可以组成集群只是3台与4台组成的集群其实允许的故障数量是一样的,所以4台组成的集群不划算。

多机房问题:如果每个机房之间的网络状况良好可以在每个机房都部署ZK服务器来组成一个大的Zookeeper集群。首先确定你的集群规模比如是N台。然后分别计算每个机房的点数。第一个机房N1=(n-1)/2 ,第二个机房N2的取值范围是 1~(N-N1)/2,第三个机房N3就是N-N1-N2。

如果是双机房可以在一个主要机房部署多台,在一个次要机房部署少量ZK服务器。原则就是保证主要机房的ZK服务器数量多于次要机房。

扩容:通常都是水平扩容也就是向集群中添加机器,但是在Zookeeper集群中你添加机器就需要重启整个集群,这个要注意。反正不是一起重启就是逐个重启。

默认情况下ZK不会清理快照和日志文件,你可以写一个脚本来手动删除。或者使用自带zkCleanup.sh来清理,当然也可以配置自动清理。

原文地址:http://blog.51cto.com/littledevil/2134516

时间: 2024-11-04 07:26:15

Zookeeper详解(九):Zookeeper高可用方面的建议和日常运维的相关文章

zookeeper 用法和日常运维

本文以ZooKeeper3.4.3版本的官方指南为基础:http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html,补充一些作者运维实践中的要点,围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西.本文并非一个ZK搭建的快速入门,关于这方面,可以查看<ZooKeeper快速搭建>. 1.部署 本章节主要讲述如何部署ZooKeeper,包括以下三部分的内容: 系统环境 集群模式的配置 单机模式的配置 系统环境和集群模式配置这两节内容大

zookeeper简易配置及hadoop高可用安装

zookeeper介绍    是一个分布式服务的协调服务,集群半数以上可用(一般配置为奇数台),            快速选举机制:当集群中leader挂掉,所有小弟会投票选举出新的leader.    快速同步数据:zk将会存储小量用于服务做协调的数据.        标准文件系统用于存储大量数据:而zk存储小量协调数据    标准文件系统文件就是文件,目录就是目录:zk中文件既是目录. 1.zookeeper的安装与启动        解压并配置环境变量    配置./conf/zoo.c

ZooKeeper分布式过程协同技术详解1——ZooKeeper的概念和基础

简介 分布式系统和应用,不仅能提供更强的计算能力,还能为我们提供更好的容灾性和扩展性. ZooKeeper是Google的Chubby项目的开源实现,它曾经作为Hadoop的子项目,在大数据领域得到广泛应用 ZooKeeper以Fast Paxos算法为基础,同时为了解决活锁问题,对Fast Paxos算法进行了优化,因此也可以广泛用于大数据之外的其他分布式系统,为大型分布式系统提供可靠的协作处理功能. Apache ZooKeeper旨在减轻构建健壮的分布式系统的任务.ZooKeeper基于分

大厂分布式面试题分享:ZooKeeper集群如何实现高可用部署?

Zookeeper 我想大家都不陌生,在很多场合都听到它的名字.它是 Apache 的一个顶级项目,为分布式应用提供一致性高性能协调服务.可以用来做:配置维护.域名服务.分布式锁等.有很多开源组件,尤其是中间件领域,使用 Zookeeper 作为配置中心或者注册中心.它是 Hadoop 和 HBase 的重要组件,是 Kafka 的管理和协调服务,是 Dubbo 等服务框架的注册中心等. 原理 在介绍高可用部署前,我们先了解下 Zookeeper 的基本知识,这对充分理解它的高可用部署非常重要.

由浅入深Zookeeper详解(参考官方文档)

[老哥我最近接到个任务研究一下Zookeeper,对于我这个Linux运维领域的小菜鸟来说也是刚刚听到这个名字,为了养成良好的文档整理和学习能力,我人生第一次开通了博客并把这次的研究经历记录了下来,以后我会不定期的记录下来我对技术领域的探索,希望热爱Linux运维志同道合的兄弟们多指教,一同进步成长.(ps:我本人平时比较沉默,善于观察思考,对历史人物颇有见解,但是一旦说起话来就会滔滔不绝,谁让我曾经的梦想是当一名教师呢!哈哈!)同时,送给大家一句话,人生是一场马拉松比赛,只有坚持到最后的人,才

python 操作zookeeper详解

ZooKeeper 简介 ZooKeeper 是一个分布式的.开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 Hbase 的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.组服务等.ZooKeeper 支持大部分开发语言,除了某些特定的功能只支持 Java 和 C.python 通过 kazoo 可以实现操作 ZooKeeper . 一.安装 这个简单,使用 pip 命令安装 pip3

Zookeeper详解-API(六)

ZooKeeper有一个绑定Java和C的官方API.Zookeeper社区为大多数语言(.NET,python等)提供非官方API.使用ZooKeeper API,应用程序可以连接,交互,操作数据,协调,最后断开与ZooKeeper集合的连接. ZooKeeper API具有丰富的功能,以简单和安全的方式获得ZooKeeper集合的所有功能.ZooKeeper API提供同步和异步方法. ZooKeeper集合和ZooKeeper API在各个方面都完全相辅相成,对开发人员有很大的帮助.让我们

详解应对平台高并发的分布式调度框架TBSchedule

tbschedule是一款非常优秀的高性能分布式调度框架,非常高兴能分享给大家.这篇文章是我结合多年tbschedule使用经验和研读三遍源码的基础上完成的,期间和阿里空玄有过不少技术交流,非常感谢空玄给予的大力支持.我写这篇文章的目的一是出于对tbschedule的一种热爱,二是现在是一个资源共享.技术共享的时代,希望把它展现给大家(送人玫瑰,手留余香),能给大家的工作带来帮助. 一.tbschedule初识 时下互联网和电商领域,各个平台都存在大数据.高并发的特点,对数据处理的要求越来越高,

标准文件IO详解(九)---fileno函数详解

在前面笔记“打开流详解”中提到了 fdopen 函数,可以通过文件描述符 fd 来获取对应的文件流指针.而同时 C 库函数提供了 fileno 函数,这个函数的作用就是能够通过 文件流指针来获取对应的 文件描述符 fd . ======================================================= 函数原型: 函数参数: stream:要操作的文件流指针 返回值: 函数返回与文件流指针对应的文件描述符,此函数不会出错(和umask函数类似) =========