大数据【六】ZooKeeper部署

这是一个分布式服务框架,阿帕奇的一个子项目。关于ZooKeeper我只简单的部署一下,以便后面的HBase。

一  概述

ZooKeeper 分布式服务框架是 Apache Hadoop 的一个子项目,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

ZooKeeper是以Fast Paxos算法为基础的。

ZooKeeper集群的初始化过程:集群中所有机器以投票的方式(少数服从多数)选取某一台机器作为leader(领导者),其余机器作为follower(追随者)。如果集群中只有一台机器,那么就这台机器就是leader,没有follower。

ZooKeeper集群与客户端的交互:客户端可以在任意情况下ZooKeeper集群中任意一台机器上进行读操作;但是写操作必须得到leader的同意后才能执行。

ZooKeeper选取leader的核心算法思想:如果某服务器获得N/2 + 1票,则该服务器成为leader。N为集群中机器数量。为了避免出现两台服务器获得相同票数(N/2),应该确保N为奇数。因此构建ZooKeeper集群最少需要3台机器。

二   ZooKeeper部署

1’  安装JDK(最先的博客早就说明配置了)

      因为 ZooKeeper 服务器在 JVM 上运行。

2‘  修改ZooKeeper配置文件

      >首先配置slave1,slave2,slave3之间的免密和各个机器的/etc/hosts文件

        修改ZooKeeper的配置文件,步骤如下:

        进入解压目录下,把conf目录下的zoo_sample.cfg 复制成zoo.cfg文件

          

3’  打开zoo.cfg并修改和添加配置项目,如下:

# The number of milliseconds of each tick
    tickTime=2000
    # The number of ticks that the initial 
    # synchronization phase can take
    initLimit=10
    # The number of ticks that can pass between 
    # sending a request and getting an acknowledgement
    syncLimit=5
    # the port at which the clients will connect
    clientPort=2181
    # the directory where the snapshot is stored.
    dataDir=/usr/cstor/zookeeper/data

dataLogDir=/usr/cstor/zookeeper/log

server.1=slave1:2888:3888

server.2=slave2:2888:3888

server.3=slave3:2888:3888

4‘  新建两个目录。

    mkdir /usr/cstor/zookeeper/data

    mkdir /usr/cstor/zookeeper/log

    

  将/usr/cstor/zookeeper目录传到另外两台机器上。

    scp -r /usr/cstor/zookeeper [email protected]:/usr/cstor

    scp -r /usr/cstor/zookeeper [email protected]:/usr/cstor

  分别在三个节点上的/usr/local/zookeeper/data目录下创建一个文件:myid。

      vi /usr/cstor/zookeeper/data/myid 

  分别在myid上按照配置文件的server.<id>中id的数值,在不同机器上的该文 件中填写相应过的值,如下:

      slave1   的myid内容为1

      slave2   的myid内容为2
           slave3   的myid内容为3

5’  启动ZooKeeper集群

    然后,启动ZooKeeper集群,进入客户端验证部署完成。

    分别在三个节点进入bin目录,启动ZooKeeper服务进程:

        cd /usr/cstor/zookeeper/bin

        ./zkServer.sh start

      

    在各机器上依次执行脚本,查看ZooKeeper状态信息,两个节点是follower状态,一个节点是leader状态:

        ./zkServer.sh status

    在其中一台机器上执行客户端脚本:

        ./zkCli.sh -server slave1:2181,slave2:2181,slave3:2181

      

    在客户端shell下执行创建目录命令:

        create /testZk ""

    向/testZk目录写数据:

        set /testZk ‘aaa‘

      

    读取/testZk目录数据:

        get /testZk

    删除/testZk目录:

        rmr /testZk

    在客户端shell下用quit命令退出客户端:

        quit

      

时间: 2024-08-06 03:44:40

大数据【六】ZooKeeper部署的相关文章

商业银行大数据六问六策(2)

大数据等同于数据仓库吗? 如前所述,商业银行是否具备大数据能力,应依据数据及数据分析系统所发挥的具体效用来判断.以“显著提升数据分析和商业决策的效率”,“显著提高对客户的理解与认知能力”,“低成本.批量地实现较高水准的个性化客户服务”三条标准来衡量,目前商业银行数据仓库建设还需在以下几个方面加以强化. 建设异构的数据仓库平台.多年来,商业银行的数据仓库以存储业务.交易数据为主,因此采购了存储成本较高的专业数据仓库服务,数据在进入仓库之前的ETL规则相对比较严格,并采用了“时间换空间”的策略进行主

大数据框架-Zookeeper

Hadoop的分布式协同服务,让分布式系统碰到失败时候,能够正确处理此类问题.基础功能:master选举,数据同步.Zooleeper集群有Client和Server(leader和follower),且台数为奇数.若半数以上完好,则能够提供服务.. Client和Server(leader和follower) 配置管理:高可用性的配置存储器.应用场景,用集群去提供某种配置(数据库连接等),并保证数据的一致性和可靠性: 名字服务:提供一个DNS解析域名,避免每台机器都需要自己配置.应用场景,提供

大数据系列文章汇总 - 更新到15篇

转自:http://blog.csdn.net/matthewei6/article/details/50615816 大数据(一) - hadoop生态系统及版本演化大数据(二) - HDFS大数据(三) - YARN大数据(四) - MapReduce大数据(五) - HBase大数据(六) - ZooKeeper大数据(七) - Flume大数据(八) - Sqoop大数据(九) - Hive大数据(十) - Pig大数据(十一) - Mahout大数据(十二) - Oozie大数据(十三

成都大数据Hadoop与Spark技术培训班

成都大数据Hadoop与Spark技术培训班 中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班,通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师.开发设计人员的工作水平,旨在培养专业的大数据Hadoop与Spark技术架构专家,更好地服务于各个行业的大数据项目开发和落地实施. 2015年近期公开课安排:(全国巡回开班) 08月21日——08月23日大连 09月23日——09月25日北京 10月16日——10月18日成都 11月27日——11月2

学习大数据基础框架hadoop需要什么基础

什么是大数据?进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1MB大约等于一百万字节).GB(1024MB).TB(1024GB),一直向上攀升,目前,PB(等于1024TB)级的数据系统已经很常见,随着移动个人数据.社交网站.科学计算.证券交易.网站日志.传感器网络数据量的不断加大,国内拥有的总数据量早已超出 ZB(1ZB=1024EB,1EB=1024PB

学习hadoop大数据基础框架需要什么基础

什么是大数据?进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1MB大约等于一百万字节).GB(1024MB).TB(1024GB),一直向上攀升,目前,PB(等于1024TB)级的数据系统已经很常见,随着移动个人数据.社交网站.科学计算.证券交易.网站日志.传感器网络数据量的不断加大,国内拥有的总数据量早已超出 ZB(1ZB=1024EB,1EB=1024PB

大快大数据平台架构设计的构成模块

大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门.火爆!而这要得益于互联网信息技术的快速发展,网络改变世界.改变生活,大数据技术的应用让这样的改变更为深刻.关注大数据或者是互联网方面新闻的人应该知道,大数据已经上升到了国家战略的高度.可以说这是时代发展的必然趋势,从国家战略层面推进大数据技术的普及与应用,一个至关重要且非常核心的问题--数据安全问题就非常突出.解决数据安全问题,必然要回归到大数据开发所使用的框架!国内的大数据开发起步较晚于国外,所有关于大数据大开发的各种标准和规

大快大数据技术架构的构成模块

大数据也不是近几年才出现的新东西,只是最近几年才真正意义上变得热门.火爆!而这要得益于互联网信息技术的快速发展,网络改变世界.改变生活,大数据技术的应用让这样的改变更为深刻. 关注大数据或者是互联网方面新闻的人应该知道,大数据已经上升到了国家战略的高度.可以说这是时代发展的必然趋势,从国家战略层面推进大数据技术的普及与应用,一个至关重要且非常核心的问题--数据安全问题就非常突出.解决数据安全问题,必然要回归到大数据开发所使用的框架! 国内的大数据开发起步较晚于国外,所有关于大数据大开发的各种标准

程序员想玩转大数据:需要知晓的12种工具

转自 :http://www.csdn.net/article/2012-12-20/2813054-Database 无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具.这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具.GigaOm的记者Derrick Harris列举了十二个工具,CSDN进行了编译整理: 在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为

0基础学习大数据你需要了解的学习路线和方向

现在大数据这么火,各行各业想转行大数据,那么问题来了,该往哪方面发展,哪方面最适合自己? 首先从字面来了解一下大数据 大数据 (巨量数据集合(IT行业术语)) 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 大数据的5V特点(IBM提出):Volume(大量).Velocity(高速).Variety(多样).Value(低价值密度).Veracit