安装高可用Hadoop生态 (二) 安装Zookeeper

2.    安装Zookeeper

2.1. 解压程序

※ 3台服务器分别执行

tar -xf ~/install/zookeeper-3.4.9.tar.gz -C/opt/cloud/packages

ln -s /opt/cloud/packages/zookeeper-3.4.9 /opt/cloud/bin/zookeeper
ln -s /opt/cloud/packages/zookeeper-3.4.9/conf /opt/cloud/etc/zookeeper

mkdir -p /opt/cloud/data/zookeeper/dat
mkdir -p /opt/cloud/data/zookeeper/logdat
mkdir -p /opt/cloud/logs/zookeeper

2.2. 修改配置文件

2.2.1.    修改zoo.cfg

mv /opt/cloud/etc/zookeeper/zoo_sample.cfg  /opt/cloud/etc/zookeeper/zoo.cfg
vi /opt/cloud/etc/zookeeper/zoo.cfg
# The number of milliseconds of each tick
tickTime=2000

# The number of ticks that the initial
# synchronization phase can take
initLimit=10

# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5

# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/opt/cloud/data/zookeeper/dat
dataLogDir=/opt/cloud/data/zookeeper/logdat[1]

# the port at which the clients will connect
clientPort=2181

# the maximum number of client connections.
# increase this if you need to handle more clients
maxClientCnxns=100

#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=5[2]

# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=6

# server.A=B:C:D
server.1=hadoop1:2888:3888[3]
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

2.2.2.    修改log配置文件

vi /opt/cloud/etc/zookeeper/log4j.properties

修改配置项

zookeeper.root.logger=INFO, DRFA
zookeeper.log.dir=/opt/cloud/logs/zookeeper 

增加DRFA日志定义

log4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender
log4j.appender.DRFA.Append=true
log4j.appender.DRFA.DatePattern=‘.‘yyyy-MM-dd
log4j.appender.DRFA.File=${zookeeper.log.dir}/${zookeeper.log.file}
log4j.appender.DRFA.Threshold=${zookeeper.log.threshold}
log4j.appender.DRFA.layout=org.apache.log4j.PatternLayout
log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n
log4j.appender.DRFA.Encoding=UTF-8
#log4j.appender.DRFA.MaxFileSize=20MB

2.2.3.    复制到另外2台服务器

scp /opt/cloud/etc/zookeeper/zoo.cfg hadoop2:/opt/cloud/etc/zookeeper
scp /opt/cloud/etc/zookeeper/log4j.properties hadoop2:/opt/cloud/etc/zookeeper
scp /opt/cloud/etc/zookeeper/zoo.cfg hadoop3:/opt/cloud/etc/zookeeper
scp /opt/cloud/etc/zookeeper/log4j.properties hadoop3:/opt/cloud/etc/zookeeper

2.3. 生成myid

在dataDir目录下创建一个myid文件,然后分别在myid文件中按照zoo.cfg文件的server.A中A的数值,在不同机器上的该文件中填写相应的值。

ssh hadoop1 ‘echo 1 >/opt/cloud/data/zookeeper/dat/myid‘
ssh hadoop2 ‘echo 2 >/opt/cloud/data/zookeeper/dat/myid‘
ssh hadoop3 ‘echo 3 >/opt/cloud/data/zookeeper/dat/myid‘

2.4. 设置环境变量

vi ~/.bashrc

增加

export ZOO_HOME=/opt/cloud/bin/zookeeper
export ZOOCFGDIR=${ZOO_HOME}/conf
export ZOO_LOG_DIR=/opt/cloud/logs/zookeeper
export PATH=$ZOO_HOME/bin:$PATH

即刻生效

source ~/.bashrc

复制到另外两台服务器

scp ~/.bashrc hadoop2:/home/hadoop
scp ~/.bashrc hadoop3:/home/hadoop

2.5. 手工执行

1.启动

zkServer.sh start

2.输入jps命令查看进程

QuorumPeerMain
Jps

其中,QuorumPeerMain是zookeeper进程,启动正常。

3、停止zookeeper进程

zkServer.sh stop

4、启动zookeeper集群

[[email protected] ~]$ cexec ‘zkServer.sh start‘

************************* cloud *************************
--------- hadoop1---------
ZooKeeper JMX enabled by default
Using config: /opt/cloud/bin/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

--------- hadoop2---------
ZooKeeper JMX enabled by default
Using config: /opt/cloud/bin/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

--------- hadoop3---------
ZooKeeper JMX enabled by default
Using config: /opt/cloud/bin/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

5、查看zookeeper集群状态

[[email protected] ~]$ cexec ‘zkServer.sh status‘

************************* cloud *************************

--------- hadoop1---------
ZooKeeper JMX enabled by default
Using config: /opt/cloud/bin/zookeeper/bin/../conf/zoo.cfg
Mode: follower

--------- hadoop2---------
ZooKeeper JMX enabled by default
Using config: /opt/cloud/bin/zookeeper/bin/../conf/zoo.cfg
Mode: follower

--------- hadoop3---------
ZooKeeper JMX enabled by default
Using config: /opt/cloud/bin/zookeeper/bin/../conf/zoo.cfg
Mode: leader

6、启动客户端脚本

zkCli.sh
ls /zookeeper
ls /zookeeper/quota

2.6. 系统启动时自动运行

vi /opt/cloud/bin/zookeeper/bin/zkServer.sh
找到
nohup "$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" 替换为
nohup "$JAVA" "-Dlog4j.configuration=file:${ZOOCFGDIR}/log4j.properties" \

复制到另外两台服务器

scp /opt/cloud/bin/zookeeper/bin/zkEnv.sh hadoop2:/opt/cloud/bin/zookeeper/bin/
scp /opt/cloud/bin/zookeeper/bin/zkServer.sh hadoop2:/opt/cloud/bin/zookeeper/bin/
scp /opt/cloud/bin/zookeeper/bin/zkEnv.sh hadoop3:/opt/cloud/bin/zookeeper/bin/
scp /opt/cloud/bin/zookeeper/bin/zkServer.sh hadoop3:/opt/cloud/bin/zookeeper/bin/

vi /etc/systemd/system/zookeeper.service

[Unit]
Description=Zookeeper service
After=network.target

[Service]
User=hadoop
Group=hadoop
Type=forking

Environment = ZOO_HOME=/opt/cloud/bin/zookeeper
Environment = ZOOCFGDIR=/opt/cloud/bin/zookeeper/conf
Environment = ZOO_LOG_DIR=/opt/cloud/logs/zookeeper

ExecStart=/usr/bin/sh -c ‘/opt/cloud/bin/zookeeper/bin/zkServer.sh start‘
ExecStop =/usr/bin/sh -c ‘/opt/cloud/bin/zookeeper/bin/zkServer.sh stop‘

[Install]
WantedBy=multi-user.target

复制到另外两台服务器

scp /etc/systemd/system/zookeeper.service hadoop2:/etc/systemd/system/
scp /etc/systemd/system/zookeeper.service hadoop3:/etc/systemd/system/

重新加载配置信息:systemctl daemon-reload

启动zookeeper:systemctl start zookeeper

停止zookeeper:systemctl stop zookeeper

查看进程状态及日志(重要):systemctl status zookeeper

开机自启动:systemctl enable zookeeper

关闭自启动:systemctl disable zookeeper

启动服务设置为自动启动

systemctl daemon-reload
systemctl start zookeeper
systemctl status zookeeper
systemctl enable zookeeper

2.7. 卸载

root用户操作

  • 停止并卸载zookeeper服务
   systemctl stop zookeeper
   systemctl disable zookeeper
   rm /etc/systemd/system/zookeeper.service -f
  • 复原环境变量

vi ~/.bashrc

删除zookeeper相关行

  • 删除其他文件
   rm /opt/cloud/bin/zookeeper/ -rf
   rm /opt/cloud/data/zookeeper/ -rf
   rm /opt/cloud/logs/zookeeper/ -rf
   rm /opt/cloud/packages/zookeeper-3.4.9/ -rf

[1] #如果有高速设备,dateLogDir可以设置在高速设备上以大幅提高效率

[2] 设置数据定时清理机制

[3] # server.A=B:C:D:

# A 是一个数字,表示这个是第几号服务器

# B 是这个服务器的 ip 地址;

# C 表示的是这个服务器与集群中的
Leader 服务器交换信息的端口;

# D 表示用来执行选举时服务器相互通信的端口。

时间: 2024-10-20 11:22:29

安装高可用Hadoop生态 (二) 安装Zookeeper的相关文章

安装高可用Hadoop生态 (一 ) 准备环境

为了学习Hadoop生态的部署和调优技术,在笔记本上的3台虚拟机部署Hadoop集群环境,要求保证HA,即主要服务没有单点故障,能够执行最基本功能,完成小内存模式的参数调整. 1.    准备环境 1.1. 规划 克隆3台服务器,主机名和IP如下 主机名 IP 软件 hadoop 192.168.154.128 原始虚拟机用于克隆 hadoop1 192.168.154.3 Zookeeper,journalnode Namenode, zkfc, Resourcemanager hadoop2

CDH4安装部署系列之四-安装高可用CDH4

1.1  CDH4服务器规划 编号 虚拟机IP 服务 1 10.255.0.120 Namenode1 RecourseManager zkfc 2 10.255.0.145 Namenode2 zkfc 3 10.255.0.146 Journalnode1 datanode1 NodeManager MapReduce Zookeeper 4 10.255.0.149 Journalnode2 datanode1 NodeManager MapReduce Zookeeper 5 10.25

VMM系列之安装高可用VMM管理服务器

既上篇配置了SQL Server AlwaysOn之后,即配置了VMM所需的高可用的数据库之后,本节将演示安装高可用VMM管理服务器. 一. 创建服务账户 1.打开活动目录用户和计算机(dsa.msc) 2.右键System Center选择新建"用户" 3.新建对象-用户页面,键入相应的用户名以及登陆名,点击下一步 4.键入账户密码页面,键入账户密码以及选择"用户不能更改密码"和"密码永不过期" 5.将VMM服务账户添加到VMM管理服务器中的的

Haproxy+keepalived高可用、负载均衡安装部署方案

1     环境说明 前端两台haproxy+keepalived互为主从,提供高可用:另外基于不同域名访问不同的虚拟ip实现负载均衡 1.1     环境描述 服务器A(主.从):eth0:10.241.51.245   eth1:192.168.1.9 服务器B(从.主):eth2:10.241.51.246   eth1:192.168.1.10 服务器C(web01):eth0:10.241.51.247 服务器D(web02):eth0:10.241.51.248 VIP1:10.24

红帽436——HA高可用集群之安装篇

红帽436--HA高可用集群的安装 图释: 1-  su - :真实机切换至root用户 2-  virt-manager :打开KVM管理工具 3-  从Desktop开启虚拟机:classroom(充当服务器的作用)和三台节点机 图释:在每台节点中操作 1-  通过ssh以节点root远程登录三个节点进行操作: ssh [email protected] 2-  安装pcs服务 3-  关闭firewall,并永久启用pcs服务 4-  设置用户hacluster密码:redhat    -

高可用Hadoop平台-启航

1.概述 在上篇博客中,我们搭建了<配置高可用Hadoop平台>,接下来我们就可以驾着Hadoop这艘巨轮在大数据的海洋中遨游了.工欲善其事,必先利其器.是的,没错:我们开发需要有开发工具(IDE):本篇文章,我打算讲解如何搭建和使用开发环境,以及编写和讲解WordCount这个例子,给即将在Hadoop的海洋驰骋的童鞋入个门.上次,我在<网站日志统计案例分析与实现>中说会将源码放到Github,后来,我考虑了下,决定将<高可用的Hadoop平台>做一个系列,后面基于这

高可用Hadoop平台-实战

1.概述 今天继续<高可用的Hadoop平台>系列,今天开始进行小规模的实战下,前面的准备工作完成后,基本用于统计数据的平台都拥有了,关于导出统计结果的文章留到后面赘述.今天要和大家分享的案例是一个基于电商网站的用户行为分析,这里分析的指标包含以下指标: 统计每日PV 每日注册用户 每日IP 跳出用户 其他指标可以参考上述4个指标进行拓展,下面我们开始今天的分析之旅. 2.流程 首先,在开发之前我们需要注意哪些问题?我们不能盲目的按照自己的意愿去开发项目,这样到头来得不到产品的认可,我们的工作

高可用Hadoop平台-Flume NG实战图解篇

1.概述 今天补充一篇关于Flume的博客,前面在讲解高可用的Hadoop平台的时候遗漏了这篇,本篇博客为大家讲述以下内容: Flume NG简述 单点Flume NG搭建.运行 高可用Flume NG搭建 Failover测试 截图预览 下面开始今天的博客介绍. 2.Flume NG简述 Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持Failover和负载均衡.并且它拥有非常丰富的组件.Fl

Hadoop学习笔记-011-CentOS_6.5_64_HA高可用-Zookeeper3.4.5安装Kafka+消息监控KafkaOffsetMonitor

参考: http://www.cnblogs.com/smartloli/p/4538173.html http://blog.csdn.net/lsshlsw/article/details/47342821 虚拟机中共五个centos系统,每个系统有两个用户root和hadoop:cdh1,cdh2,cdh3,cdh4,cdh5 集群规划 安装kafka(cdh3机器) 第一步,解压已下载好的kafka安装包 #tar -zxvf kafka_2.9.2-0.8.2.2.tgz 解压后删除k