大数据:从入门到XX(六)

什么是ZooKeeper,看看ZooKeeper官网怎么说:

Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination.

ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services.

点此进入:ZooKeeper Overview

ZooKeeper是分布式应用环境中的基础组件,在hadoop集群中,hdfs和yarn都要用到ZooKeeper来配置可自动切换的高可用(HA)系统,本文根据ZooKeeper官方文档,选用三台虚拟机,部署ZooKeeper集群,用到的虚拟机为前文提到的: hadoop01、hadoop02、hadoop03。以下为详细安装步骤。

1、在hadoop01机器上,创建zookeeper用户,加入hadoop组(本系列文档中有关于创建hadoop组的部分)


#以root用户登录hadoop01机器

[[email protected] hadoop]# useradd -m -g hadoop zookeeper

#首次启用,设置zookeeper用户密码
[[email protected] hadoop]# passwd zookeeper

2、下载最新的ZooKeeper发布包:官网推荐的镜像地址

#zookeeper-3.4.8.tar.gz拷贝至 /home/zookeeper 目录
[[email protected] ~]$ tar zxvf zookeeper-3.4.8.tar.gz
解压后多一个文件夹 zookeeper-3.4.8

3、使用zookeeper用户登录,设置环境变量

#在hadoop01机器上以zookeeper用户身份操作
[[email protected] hadoop]# su - zookeeper

[[email protected] ~]$ vi .bash_profile

export PATH
#add start 20160628
export ZOOKEEPER_HOME=/home/zookeeper/zookeeper-3.4.8
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#add end 20160628

#保存以上环境配置,退出vi后,执行以下命令是环境变量生效

[[email protected] ~]$ source .bash_profile

4、在hadoop01机器上设置zookeeper相关参数


[[email protected] ~]$ cd zookeeper-3.4.8/conf/

#从样例复制一个配置文件模板

[[email protected] zookeeper-3.4.8]$ cp zoo_sample.cfg zoo.cfg
#编辑配置文件
[[email protected] conf]$ vi zoo.cfg

# The number of milliseconds of each tick

tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just

# example sakes.

#modify start 20160628

#dataDir=/tmp/zookeeper

dataDir=/home/zookeeper/zookeeper-3.4.8/zkdata

#modify end 20160628

# the port at which the clients will connect

clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

#添加的配置信息

#modify start 20160628

server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888

server.3=hadoop03:2888:3888

#modify end 20160628

5、在hadoop01机器上创建工作目录,设置zookeeper ID值(在不同服务器上ID不能重复)


#在hadoop01机器上,以zookeeper用户执行以下命令

[[email protected] ~]$ cd /home/zookeeper/zookeeper-3.4.8

[[email protected] zookeeper-3.4.8]$ mkdir zkdata
[[email protected] zkdata]$ cd zkdata/
[[email protected] zkdata]$ echo ‘1‘ >myid

6、在hadoop02上执行相关操作

#在hadoop02机器上,创建zookeeper用户
[[email protected] hadoop]# useradd -m -g hadoop zookeeper

#在hadoop01机器上,执行以下操作

[[email protected] ~]$ cd /home/zookeeper

[[email protected] ~]$ scp -r zookeeper-3.4.8 hadoop02:$PWD

#在hadoop02机器上,切换zookeeper用户身份

[[email protected] hadoop]# su - zookeeper

[[email protected] ~]$ vi .bash_profile

export PATH
#add start 20160628
export ZOOKEEPER_HOME=/home/zookeeper/zookeeper-3.4.8
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#add end 20160628

#保存以上环境配置,退出vi后,执行以下命令使环境变量生效

[[email protected] ~]$ source .bash_profile

7、创建工作目录,设置zookeeper ID值


#在hadoop02机器上,以zookeeper用户执行以下命令

[[email protected] ~]$ cd /home/zookeeper/zookeeper-3.4.8

[[email protected] zookeeper-3.4.8]$ mkdir zkdata
[[email protected] zkdata]$ cd zkdata/
[[email protected] zkdata]$ echo ‘2‘ >myid

8、在hadoop03上执行相关操作

#在hadoop03机器上,创建zookeeper用户
[[email protected] hadoop]# useradd -m -g hadoop zookeeper

#在hadoop01机器上,执行以下操作

[[email protected] ~]$ cd /home/zookeeper

[[email protected] ~]$ scp -r zookeeper-3.4.8 hadoop03:$PWD

#在hadoop03机器上,切换zookeeper用户身份

[[email protected] hadoop]# su - zookeeper

[[email protected] ~]$ vi .bash_profile

export PATH
#add start 20160628
export ZOOKEEPER_HOME=/home/zookeeper/zookeeper-3.4.8
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#add end 20160628

#保存以上环境配置,退出vi后,执行以下命令使环境变量生效

[[email protected] ~]$ source .bash_profile

9、创建工作目录,设置zookeeper ID值


#在hadoop03机器上,以zookeeper用户执行以下命令

[[email protected] ~]$ cd /home/zookeeper/zookeeper-3.4.8

[[email protected] zookeeper-3.4.8]$ mkdir zkdata
[[email protected] zkdata]$ cd zkdata/
[[email protected] zkdata]$ echo ‘3‘ >myid

10、启动zookeeper集群


#在hadoop01机器上运行

[[email protected] ~]$ zkServer.sh start

ZooKeeper JMX enabled by default
Using config: /home/zookeeper/zookeeper-3.4.8/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

#在hadoop02机器上运行

[[email protected] ~]$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/zookeeper/zookeeper-3.4.8/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

#在hadoop03机器上运行

[[email protected] ~]$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/zookeeper/zookeeper-3.4.8/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

11、查看zookeeper集群状态

[[email protected] ~]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/zookeeper/zookeeper-3.4.8/bin/../conf/zoo.cfg
Mode: follower

[[email protected] ~]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/zookeeper/zookeeper-3.4.8/bin/../conf/zoo.cfg
Mode: leader

12、查看执行的进程

[[email protected] ~]$ jps -l
5449 org.apache.zookeeper.server.quorum.QuorumPeerMain

13、关闭zookeeper集群


#在hadoop01机器上运行

[[email protected] ~]$ zkServer.sh stop

#在hadoop02机器上运行

[[email protected] ~]$ zkServer.sh stop

#在hadoop03机器上运行

[[email protected] ~]$ zkServer.sh stop

14、下图演示了开启zookeeper集群,以及杀掉leader服务器的进程后,自动选举新的leader服务器情况。

时间: 2024-10-10 10:20:44

大数据:从入门到XX(六)的相关文章

[大数据从入门到放弃系列教程]第一个spark分析程序

文章施工中,由于部分网站会在我还没有写完就抓取到这篇文章,导致你看到的内容不完整,请点击这里: 或者复制访问 http://www.cnblogs.com/blog5277/p/8580007.html 来查看更完整的内容 [大数据从入门到放弃系列教程]第一个spark分析程序 原文链接:http://www.cnblogs.com/blog5277/p/8580007.html 原文作者:博客园--曲高终和寡 *********************分割线******************

大数据开发入门你必须知道的事情

昨天和三个学计算机专业的学生聊天时聊到了大数据开发方面的话题,他们三个人中,有两个已经进入企业开始工作,另外一个还是大二学生,但已经开设了自己的工作室.他们都是从事程序开发方面工作的.大数据开发自然都有关注到,只是目前的大数据技能水平只能说是"小菜鸟"吧,连入门还谈不上.当然了,大数据开发方面我也只能算是个"小学生",也是跟在师傅后面学.自然hadoop.区块链火了以后,发现很多从事程序开发的"码农"朋友们也陆续投入到大数据开发的怀抱.对于有多年

自学大数据如何入手?大数据学习入门看什么书?

2018年,火爆的科技层出不穷,大数据.云计算.人工智能.区块链等等都被侃侃而谈.尤其是大数据工程师更是深受程序员的青睐,如此火爆的职业,吸引了大批有志青年的加入.但在加入之前,你仍需要一份详细的就业前景分析报告. 作为中国官方重点扶持的战略性新兴产业,大数据产业已逐步从概念走向落地"大数据"和"虚拟化"两大热门领域得到了广泛关注和重视,90%企业都在使用大数据. 财政大数据包括:公安大数据.质检大数据.食品安全大数据.卫生大数据.共商大数据.民政大数据: 企业大数

大数据hadoop入门之hadoop家族详解

大数据这个词也许几年前你听着还会觉得陌生,但我相信你现在听到hadoop这个词的时候你应该都会觉得"熟悉"!越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了.作为一个hadoop入门级的新手,你会觉得哪些地方很难呢?运行环境的搭建恐怕就已经足够让新手头疼.如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起,一次安装搞定所有,那对于新手来说将是件多么美妙的事情!闲话扯得稍微多了点,回归整体.这篇准备给大家hadoop新入门的朋友

大数据-04-Hbase入门

本指南介绍了HBase,并详细指引读者安装HBase. 前面第二章学习指南已经指导大家安装Linux操作系统,并安装配置了Hadoop.相关安装可以查看"大数据-01-安装Hadoop". 一.安装并配置HBase 1. HBase安装 1.1 解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local,命令如下: sudo cp hbase-1.1.2-bin.tar.gz /usr/local cd /usr/local sudo tar -zxf hbas

大数据学习入门看什么书?大数据新手怎么入门?

大数据,big data,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理.这句话至少传递两种信息:大数据是海量的数据,另外大数据处理无捷径,对分析处理技术提出了更高的要求. 其实简单的来说,大数据就是通过分析和挖掘全量的非抽样的数据辅助决策.大数据可以实现的应用可以概括为两个方向,一个是精准化定制,第二个是预测.比如像通过搜索引擎搜索同样的内容,每个人的结果却是大不相同的.再比如精准营销.百度的推广.淘宝的喜欢推荐,或者你到了一个地方,自动给你推荐周边的消费设施等等.

零基础学习大数据怎样入门Spark

1.什么是Spark Apache Spark是一个围绕速度.易用性和复杂分析构建的大数据处理框架.最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一. 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势,一起来看看吧. 首先,Spark为我们提供了一个全面.统一的框架用于管理各种有着不同性质(文本数据.图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求. Spark可以将Hadoop集

大数据热词科普(六)

在前面的文章中我们给大家介绍了不少关于大数据热词的科普知识,从中我们可以发现大数据中的热词之间都是有一些联系的,如果我们学习大数据的话了解这些词汇以后就会不断地激发灵感,下面我们继续给大家介绍一下大数据的热词,希望能够给大家带来帮助. 首先我们给大家介绍的就是随机森林,随机森林经常使用在机器学习中,在机器学习中,随机森林是一个包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定.随机森林这个术语是1995年由贝尔实验室的所提出的随机决策森林而来的.而随机森林在大数据中的很多方

大数据怎么入门

一.如何区分三个大数据热门职业--数据科学家.数据工程师.数据分析师 随着大数据的愈演愈热,相关大数据的职业也成为热门,给人才发展带来带来了很多机会.数据科学家.数据工程师.数据分析师已经成为大数据行业最热门的职位.它们是如何定义的?具体是做什么工作的?需要哪些技能?让我们一起来看看吧. 这3个职业是如何定位的? 对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:458345782,有大量干货(零基础以及进阶的经典实

大数据的五大核心技术,给大数据同行入门研究参考的小知识

21世纪,世界已经进入数据大爆炸的时代,大数据时代已经来临.从商业公司内部的各种管理和运营数据,到个人移动终端与消费电子产品的社会化数据,再到互联网产生的海量信息数据等,每天世界上产生的信息量正在飞速增长.2009年数据信息量达到8 000亿GB,而到2011年达到1.8 ZB.图灵奖获得者Jim Gray提出的“新摩尔定律”:“每18个月全球新增信息量是计算机有史以来全部信息量的总和”,已经得到验证. 大数据的“大”不仅仅体现在数据的海量性,还在于其数据类型的复杂性.随着报表.账单.影像.办公