Zookeeper -- 管理分布式环境中的数据

1、zookeeper配置文件简介:

* zookeeper的配置文件在conf目录下,有zoo_sample.cfg, 需要将zoo_sample.cfg 改为zoo.cfg,因为zookeeper在启动时会找这个文件作为默认的配置文件。

* 参数:

tickTime:zookeeper服务器或者客户端与服务器之间维持心跳时间间隔参数。每个ticktime时间就会发送一个心跳。

dataDir : zookeeper数据存储目录。默认情况会把日志文件保存到这个目录。

clientPort :zookeeper服务器商品,zookeeper会监听这个端口,接受客户端的请求。

2、集群模式:

zookeeper不仅可以单机提供服务,同时也支持多机组成集群来提供服务。实际上zookeeper还支持另外一种伪集群的方式,就是可以在一台机器人上配置多个zookeeper实例。

配置(zoo.cfg):

initLimit=5

syncLimit=2

server.1=192.168.211.1:2888:3888

server.2=192.168.211.2:2888:3888

* initLimit :这个配置项是用来配置zookeeper接受客户端初始化连接时最长能忍受多少个心跳时间间隔数。

* syncLimit : leader与Follower之间发送消息、请求应用于时间长度,最长不能超过多少个ticktime的时间长度。

* server.A = B : C : D   其中A是一个数字,表示这是第几号服务器;B是这服务器的ip地址;  C表示的是这个服务器与集群中的leader服务器交换信息的端口; D表示的是万一集群中的leader服务器挂了,需要一个端口来重新进行选举新的leader。

除了修改zoo.cfg配置文件,集群模式下还要配置一个文件myid, 这个文件在dataDir目录下,这个文件里面就是一个数据就是A的值,zookeeper启动时会读取这个文件,拿到里面的数据与zoo.cfg里面的配置信息从而判断到底是哪个server。

3、应用场景

Zookeeper人设计模式的角度来看是一个观察者模式的分布式服务管理框架,负责存储和管理大家关心的数据,然后接受观察者的注册,一旦这些数据发生变化,Zookeeper就会负责通知已经注册过了的那些observer做出相应的反应,从而实现集群中类似的Master、Slave管理模式。

* 统一命名服务(Name Service)

分布式应用中,通常需要有一套完整的命名规则, 能够产生唯一的名称 又便于人识别和记住,通常情况下用树形的名称结构是一个理想的选择,树形的名称结构是一个有层次的目录结构,即对人友好又不会重复。 Name Service是Zookeeper内置的功能, 只须调用其api就可以实现。如调用 create接口就可以容易的创建 一个目录节点。(与JNDI 差不多吧)

* 配置管理

配置的管理费用在分布式应用环境中很常见,例如同一个应用系统需要多个pc server运行, 但是它们运行的应用系统的某些配置项是相同的,如果要修改这些相同的的配置项,那么就必须同时修改每台运行这个应用系统的PCserver 这样非常容易出错。  像这样的配置信息完全可以交给zookeeper管理,将配置信息保存在zookeeper的某个目录节点上,然后将所有需要修改的应用机器监控配置信息的状态,一旦配置信息发生变化,每台机器就会收zookeeper的通知。

时间: 2024-11-04 09:17:59

Zookeeper -- 管理分布式环境中的数据的相关文章

ZooKeeper学习第五期--ZooKeeper管理分布式环境中的数据

转:http://www.cnblogs.com/sunddenly/p/4092654.html 引言 本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它涉及到了paxos算法.Zab协议.通信协议等相关知识,理解起来比较抽象所以还需要借助一些应用场景,来帮我们理解.由于内容比较多,一口气吃不成胖子,得慢慢来一步一个脚印,因此我对后期ZooKeeper的学习规划如下: 第一阶段: |---理解ZooKeeper的应用 |---ZooKeeper是什么 |--

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

安装和配置详解 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等.本文将 从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理.集群管理.同步锁.Leader 选举.队列管理等),用 Java 实现它们并给出示例代码. 单机模式 单 机安装非常简单,只要获取

【转】分布式服务框架 Zookeeper -- 管理分布式环境中的数据

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等.本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理.集群管理.同步锁.Leader 选举.队列管理等),用 Java 实现它们并给出示例代码. 安装和配置详解 本文介绍的 Zookeeper 是以 3

【Zookeeper】分布式服务框架 Zookeeper -- 管理分布式环境中的数据

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等.本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理.集群管理.同步锁.Leader 选举.队列管理等),用 Java 实现它们并给出示例代码. 安装和配置详解 本文介绍的 Zookeeper 是以 3

Zookeeper和分布式环境中的假死脑裂问题(转)

Zookeeper和分布式环境中的假死脑裂问题 最近和同事聊天无意间发现他们的系统也存在脑裂的问题.想想当初在我们的系统中为了解决脑裂花了非常大的功夫,现在和大家一起讨论下脑裂,假死等等这些问题和解决的方法. 在一个大集群中往往会有一个master存在,在长期运行过程中不可避免的会出现宕机等问题导致master不可用,在出现这样的情况以后往往会对系统产生很大的影响,所以一般的分布式集群中的master都采用了高可用的解决方案来避免这样的情况发生. master-slaver方式,存在一个mast

ASP.Net Core 中使用Zookeeper搭建分布式环境中的配置中心系列一:使用Zookeeper.Net组件演示基本的操作

前言:马上要过年了,祝大家新年快乐!在过年回家前分享一篇关于Zookeeper的文章,我们都知道现在微服务盛行,大数据.分布式系统中经常会使用到Zookeeper,它是微服务.分布式系统中必不可少的分布式协调框架.它的作用体现在分布式系统中解决了配置中心的问题,以及解决了在分布式环境中不同进程之间争夺资源的问题,也就是分布式锁的功能以及分布式消息队列功能等等.所以在微服务的环境中Zookeeper是现在很多公司首选的分布式协调框架,包括我之前的公司也在使用Zookeeper.说了这么多,没别的就

分布式环境中,模块数据交互协议分析 (百度brpc)

1. 背景 之前听到同事说,要为自己的模块考虑写个数据协议.今天有空想了一下.写出来,方便后续使用. 开源代码brpc中可以支持多种协议,nshead.redis.mongo等20多种协议. 2. 什么是数据交互协议? 这里说的协议,不是tcp/ip这些网络协议. 在分布式环境中,我们需要将模块的数据通过网络bit流传给上.下游模块,就会涉及到数据完整性.正确性校验. 为了能够校验数据,就需要定义数据交换协议. 3. 代码brpc中的实现 每种协议类型,都需要实现自己的parser类,进行消息的

【转】Java多线程编程(十)-并发编程原理(分布式环境中并发问题)

转载地址:http://blog.csdn.net/leicool_518/article/details/42268947 在分布式环境中,处理并发问题就没办法通过操作系统和JVM的工具来解决,那么在分布式环境中,可以采取一下策略和方式来处理: 避免并发 时间戳 串行化 数据库 行锁 统一触发途径 避免并发 在分布式环境中,如果存在并发问题,那么很难通过技术去解决,或者解决的代价很大,所以我们首先要想想是不是可以通过某些策略和业务设计来避免并发.比如通过合理的时间调度,避开共享资源的存取冲突.

探索并发编程(七)------分布式环境中并发问题

在分布式环境中,处理并发问题就没办法通过操作系统和JVM的工具来解决,那么在分布式环境中,可以采取一下策略和方式来处理: 避免并发 时间戳 串行化 数据库 行锁 统一触发途径 避免并发 在分布式环境中,如果存在并发问题,那么很难通过技术去解决,或者解决的代价很大,所以我们首先要想想是不是可以通过某些策略和业务设计来避免并 发.比如通过合理的时间调度,避开共享资源的存取冲突.另外,在并行任务设计上可以通过适当的策略,保证任务与任务之间不存在共享资源,比如在以前博文中 提到的例子,我们需要用多线程或