【Zookeeper学习】Zookeeper安装部署

【时间】2014年11月19日

【平台】Centos 6.5

【工具】

【软件】jdk-7u67-linux-x64.rpm

　　　　zookeeper-3.4.6.tar.gz

【步骤】

　　　　1. 准备条件

　　　　　　（1）集群规划

主机类型	IP地址	域名
zookeeper1	192.168.50.21	zookeeper1.hadoop.com
zookeeper2	192.168.50.22	zookeeper2.hadoop.com
zookeeper3	192.168.50.23	zookeeper3.hadoop.com

　　　　　（2）以root身份登录操作系统

　　　　　　（3）在集群中的每台主机上执行如下命令，设置主机名。

　　　　　　　　 hostname *.hadoop.com

　　　　　　　　编辑文件/etc/sysconfig/network如下

　　　　　　　　 HOSTNAME=*.hadoop.com

　　　　　　（4）修改文件/etc/hosts如下

　　　　　　　　 192.168.86.21 zookeeper1.hadoop.com
　　　　　　　　 192.168.86.22 zookeeper2.hadoop.com
　　　　　　　　 192.168.86.23 zookeeper3.hadoop.com

　　　　　　　　执行如下命令，将hosts文件复制到集群中每台主机上

　　　　　　　　 scp /etc/hosts 192.168.50.*:/etc/hosts

　　　　　　（5）安装jdk

　　　　　　　　 rpm -ivh jdk-7u67-linux-x64.rpm

　　　　　　（6）关闭iptables

　　　　　　　　service iptables stop

　　　　　　　　 chkconfig iptables off

　　　　　　（7）关闭selinux。修改文件/etc/selinux/config，然后重启操作系统

　　　　　　　　 SELINUX=disabled

　　　　2. 安装

　　　　　　（1）解压

　　　　　　　　 tar -zxf zookeeper-3.4.6.tar.gz

　　　　　　　　 cd zookeeper-3.4.6

　　　　　　（2）示例如下

　　　　　　（3）根据实际应用场景安装部署

　　　　　　　　1）单机部署——适用于开发测试

　　　　　　　　　　配置：conf/zoo.cfg

　　　　　　　　　　　　 tickTime=2000

　　　　　　　　　　　　 initLimit=10

　　　　　　　　　　　　 syncLimit=5

　　　　　　　　　　　　 dataDir=/var/lib/zookeeper

　　　　　　　　　　　　 clientPort=2181

　　　　　　　　　　启动：

　　　　　　　　　　　　 bin/zkServer.sh start

　　　　　　　　　　查看：

　　　　　　　　　　停止：

　　　　　　　　　　连接到Zookeeper：

　　　　　　　　　　　 bin/zkCli.sh -server 127.0.0.1:2181 适用于Java开发

　　　　　　　　2）伪集群部署（单机多进程）——适用于开发测试

　　　　　　　　　配置：conf/zoo.cfg

　　　　　　　　　　　　 tickTime=2000

　　　　　　　　　　　　 initLimit=10

　　　　　　　　　　　　 syncLimit=5

　　　　　　　　　　　　 dataDir=/var/lib/zookeeper

　　　　　　　　　　　　 clientPort=2181

　　　　　　　　　　　　 autopurge.purgeInterval=12

　　　　　　　　　　　　 autopurge.snapRetainCount=3

　　　　　　　　　　　　 server.1=192.168.50.254:2887:3887

　　　　　　　　　　　　 server.2=192.168.50.254:2888:3888

　　　　　　　　　　　　 server.3=192.168.50.254:2889:3889

　　　　　　　　　　　　复制conf/zoo.cfg为三份：conf/zoo1.cfg、conf/zoo2.cfg、conf/zoo3.cfg

　　　　　　　　　　　　修改zoo1.cfg

　　　　　　　　　　　　　　　　 dataDir=/var/lib/zookeeper/node1

　　　　　　　　　　　　　　　　 clientPort=2181

　　　　　　　　　　　　修改zoo2.cfg

　　　　　　　　　　　　　　　　 dataDir=/var/lib/zookeeper/node2

　　　　　　　　　　　　　　　　 clientPort=2182

　　　　　　　　　　　　修改zoo3.cfg

　　　　　　　　　　　　　　　　 dataDir=/var/lib/zookeeper/node3

　　　　　　　　　　　　　　　　 clientPort=2183

　　　　　　　　　　　　执行如下命令：

　　　　　　　　　　　　　　　　 mkdir /var/lib/zookeeper/node1 && echo 1 > /var/lib/zookeeper/node1/myid

　　　　　　　　　　　　　　　　 mkdir /var/lib/zookeeper/node2 && echo 1 > /var/lib/zookeeper/node2/myid

　　　　　　　　　　　　　　　　 mkdir /var/lib/zookeeper/node3 && echo 1 > /var/lib/zookeeper/node3/myid

　　　　　　　　　启动：

　　　　　　　　　　　　 bin/zkServer.sh start conf/zoo1.cfg

　　　　　　　　　　　　 bin/zkServer.sh start conf/zoo2.cfg

　　　　　　　　　　　　 bin/zkServer.sh start conf/zoo3.cfg

　　　　　　　　　　查看：

　　　　　　　　　　停止：

　　　　　　　　　　连接到Zookeeper：

　　　　　　　　　　　　 bin/zkCli.sh -server 127.0.0.1:2181

　　　　　　　　　　　　 bin/zkCli.sh -server 127.0.0.1:2182

　　　　　　　　　　　　 bin/zkCli.sh -server 127.0.0.1:2183

　　　　　　　　　　　　示例如下：（输入quit退出）

　　　　　　　　3）集群部署——适用于生产环境

　　　　　　　　　配置：conf/zoo.cfg

　　　　　　　　　　　　 tickTime=2000

　　　　　　　　　　　　 initLimit=10

　　　　　　　　　　　　 syncLimit=5

　　　　　　　　　　　　 dataDir=/var/lib/zookeeper

　　　　　　　　　　　　 clientPort=2181

　　　　　　　　　　　　 autopurge.purgeInterval=12

　　　　　　　　　　　　 autopurge.snapRetainCount=3

　　　　　　　　　　　　 server.1=zookeeper1.hadoop.com:2888:3888

　　　　　　　　　　　　 server.2=zookeeper2.hadoop.com:2888:3888

　　　　　　　　　　　　 server.3=zookeeper3.hadoop.com:2888:3888

　　　　　　　　　　　　执行如下命令，把zoo.cfg复制到集群中的每台主机上

　　　　　　　　　　　　 scp <本地主机配置文件> 192.168.50.*:<目标主机配置文件路径>

　　　　　　　　　　优化：设置Java heap，以避免发生内存交换（swap）

　　　　　　　　　　　　 echo -e "\nJVMFLAGS=-Xmx512m" >> bin/zkEnv.sh

　　　　　　　　　　　　 scp bin/zkEnv.sh 192.168.50.*:<目标主机配置文件路径>

　　　　　　　　　　启动：在集群中的每台主机上执行如下命令

　　　　　　　　　　　　 bin/zkServer.sh start

　　　　　　　　　　查看：

　　　　　　　　　　　　 bin/zkServer.sh status

　　　　　　　　　　停止：

　　　　　　　　　　　　 bin/zkServer.sh stop

　　　　　　　　　　连接：

　　　　　　　　　　　　 bin/zkCli.sh -server zookeeper1:2181

　　　　　　　　　　　　 bin/zkCli.sh -server zookeeper2:2181

　　　　　　　　　　　　 bin/zkCli.sh -server zookeeper3:2181

　　　　3. 配置。将以下文件修改完毕后，用scp命令复制到集群中的所有主机上

　　　　　　（1）修改文件/etc/spark/conf/spark-env.sh

　　　　　　　　 export STANDALONE_SPARK_MASTER_HOST= master.hadoop.com

　　　　　　（2）修改文件/etc/spark/conf/spark-defaults.conf

　　　　　　　　 spark.master spark://master.hadoop.com:7077

　　　　　　　 spark.eventLog.enabled true

　　　　　　　　 spark.eventLog.dir hdfs://master.hadoop.com:8020/user/spark/eventlog

　　　　　　　　 spark.yarn.historyServer.address http://master.hadoop.com:18081

　　　　　　　　 spark.executor.memory 2g

　　　　　　　　 spark.logConf true

　　　　　　（3）复制配置文件到集群所有主机

　　　　　　　　 scp /etc/spark/conf/* 192.168.50.10:/etc/spark/conf/*

【参考】

　　　　1）Zookeeper官方网站 http://zookeeper.apache.org

时间： 2024-11-08 00:37:41

【Zookeeper学习】Zookeeper安装部署的相关文章

ZooKeeper 学习之安装部署

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用. Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等.核心词就是一个,协调. 下面实践安装来学习下,分为独立部署.集群部署一.下载安装 wget -c http://www.eu

（转）ZooKeeper 笔记(1) 安装部署及hello world

ZooKeeper 笔记(1) 安装部署及hello world 先给一堆学习文档,方便以后查看官网文档地址大全: OverView(概述) http://zookeeper.apache.org/doc/r3.4.6/zookeeperOver.html Getting Started(开始入门) http://zookeeper.apache.org/doc/r3.4.6/zookeeperStarted.html Tutorial(教程) http://zookeeper.apache.

Zookeeper集群安装部署

zookeeper集群: zookeeper作为一个开源的分布式应用协调系统,已经用到了许多分布式项目中,用来状态同步服务.集群管理.分布式应用配置项的管理等工作. ZooKeeper的工作模式有三种:单机模式.集群模式.伪集群模式. 单机模式:Zookeeper只运行在一台服务器上,适合测试用: 伪集群模式:就是在一台机器上运行多个Zookeeper 实例: 集群模式:运行于一个至少有三个节点以上集群中,适合生产环境; Zookkeeper 集群中有三种角色,leader -主节点 .fol

简要分析ZooKeeper基本原理及安装部署

一.ZooKeeper 基本概念 1.ZooKeeper 是什么? Zookeeper官网地址: http://zookeeper.apache.org/ Zookeeper官网文档地址:http://zookeeper.apache.org/doc/trunk/index.html ZooKeeper 是Hadoop下的一个子项目,它是一个针对大型分布式系统的可靠协调系统:它提供的功能包括:配置维护.名字服务.分布式同步.组服务等: 它的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性

zookeeper与kafka安装部署及java环境搭建

1. ZooKeeper安装部署本文在一台机器上模拟3个zk server的集群安装. 1.1. 创建目录.解压 cd /usr/ #创建项目目录 mkdir zookeeper cd zookeeper mkdir tmp mkdir zookeeper-1 mkdir zookeeper-2 mkdir zookeeper-3 cd tmp mkdir zk1 mkdir zk2 mkdir zk3 cd zk1 mkdir data mkdir log cd zk2 mkdir data

深入理解ZooKeeper基本原理及安装部署

1. ZooKeeper 是什么 ZooKeeper 是一个针对大型分布式系统的可靠协调系统:它提供的功能包括:配置维护.名字服务.分布式同步.组服务等: 它的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户. 2. ZooKeeper特点 ZooKeeper 主要包含以下几个特点: 1).最终一致性:为客户端展示同一视图,这是 ZooKeeper 最重要的性能. 2).可靠性:如果消息被一台服务器接受,那么它将被所有的服务器接受. 3).实时性:ZooK

zookeeper 学习 zookeeper下载部署

下载 http://mirror.bit.edu.cn/apache/zookeeper/ 校验解压后得到zookeeper-3.4.10.jar,使用md5sum zookeeper-3.4.10.jar 得到 450dbad05d829607bc45b9ccad789890 zookeeper-3.4.10.jar 与zookeeper-3.4.10.jar.md5中的内容比较伪集群部署以server0为例 [email protected]:~/server0/zookeeper/

【Hadoop 分布式部署九：分布式协作框架Zookeeper架构分布式安装部署】

1.首先将运行在本地上的 zookeeper 给停止掉 2.到/opt/softwares 目录下将 zookeeper解压到 /opt/app 目录下命令: tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app/ 3.修改配置文件将文件 zoo_sample.cfg 重命名为 zoo.cfg 创建文件目录 mkdir -p data/zkData 完整的路径:/opt/app/zookeeper-3.4.5/da

haproxy学习之安装部署和应用

[认识haproxy] 官网:www.haproxy.org 软件作用:负载均衡,可做4层也可做7层. 优点: 1 配置简单,软件使用简单 2 4.7层都可以做 3 有自动的监控检查功能 4 是一个专业反向代理软件 5 会话保持功能比较强大(ngixn的实现是通过ip hash,LVS 是通过-p) 6 几乎不需要优化,支持数以万计的并发连接. 常常用来对比LVS和NGINX对比 [常用环境] 1 邮件服务器代理 2 取代F5 等设备,或者作为其备份 3 代理web [haporxy的简单搭建和

大数据学习——hive安装部署

1上传压缩包 2 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps 3 重命名 mv apache-hive-1.2.1-bin hive 4 设置环境变量 vi /etc/profile expert HIVE_HOME=/root/apps/hiveexport PATH=$PATH:$HIVE_HOME/bin 5 启动hive cd apps/hive bin/hive 出现上面的问题是因为版本不兼容解决一下版本不兼容问题:替换 app