Linux巩固记录(6) Hbase环境准备-zookeeper安装

Hbase是运行在hadoop之上,所以请参考第3篇文章搭建好一个master,两个slave的hadoop环境,我采用的版本为hadoop2.7.4

不了解Hbase的同学可以参考下这篇文章,分析得相当深刻,感谢作者 http://blog.csdn.net/u010270403/article/details/51648462

为啥在安装Hbase前需要安装zookeeper?

1,hbase regionserver 向zookeeper注册,提供hbase regionserver状态信息(是否在线)

2,hmaster启动时候会将hbase 系统表-ROOT- 加载到 zookeeper cluster,通过zookeeper cluster可以获取当前系统表.META.的存储所对应的regionserver信息。

注意:zookeeper集群节点最少3台,这样才能满足选举规则,少数服从多数

忘了讲一个问题

集群中,所有节点的时间同步非常重要,所以要将所有节点的时间设置为一样,

当然,手动设置时间肯定不行,需要用到ntp来自动同步

#设置时区为上海
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

#安装ntp
yum -y install ntp

# 同步时间
ntpdate pool.ntp.org

#确认时间是否正确
date

现在master节点上配置,配置好后复制到两个slave节点就好了

wget http://mirror.bit.edu.cn/apache/zookeeper/current/zookeeper-3.4.10.tar.gz

tar -zxvf zookeeper-3.4.10.tar.gz 

#进入conf目录
cp -p zoo_sample.cfg zoo.cfg

#编辑cfg文件
vi zoo.cfg

#内容修改为如下

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=1

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
#master
echo "1" > /tmp/zookeeper/myid

#slave1
echo "2" > /tmp/zookeeper/myid

#slave2
echo "3" > /tmp/zookeeper/myid

#启动
/home/zookeeper-3.4.10/bin/zkServer.sh start /home/zookeeper-3.4.10/conf/zoo.cfg 

#状态查看
[[email protected] conf]# /home/zookeeper-3.4.10/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[[email protected] conf]# 

#如果启动失败,查看日志
less zookeeper.out

#停止服务
[[email protected] conf]# /home/zookeeper-3.4.10/bin/zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /home/zookeeper-3.4.10/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
[[email protected] conf]# jps
3589 Jps
[[email protected] conf]# 

找到leader节点,并停掉,你会发现刚开始为follower的某个节点又变为leader了

至此zookeeper配置完成

时间: 2024-12-09 11:26:35

Linux巩固记录(6) Hbase环境准备-zookeeper安装的相关文章

windows环境下zookeeper安装和使用

一.简介        zooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.组服务等.        zooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户.        zooKeeper包含一个简单的原语集,提供Java和C的接口.        zo

Linux乐彩平台搭建环境下Memcached安装及问题解决

一. 乐彩平台搭建安装论坛:haozbbs.com Q1446595067 步骤 1.1 安装libevent,当前最新版本为2.1.8,官网:http://libevent.org/ wget https://github.com/libevent/libevent/releases/download/release-2.1.8-stable/libevent-2.1.8-stable.tar.gz 1.2 解压 tar -xvf libevent-2.1.8-stable.tar.gz 1.

Linux巩固记录(7) Hbase安装

zookeeper安装好,并启动成功后,接下来开始安装hbase #下载hbase wget http://mirror.bit.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gz [[email protected] home]# ll total 103248 drwxr-xr-x. 8 root root 191 Sep 5 22:31 eclipse drwxr-xr-x. 13 20415 101 195 Sep 5 21:29 hadoo

Linux巩固记录(3) hadoop 2.7.4 环境搭建

由于要近期使用hadoop等进行相关任务执行,操作linux时候就多了 以前只在linux上配置J2EE项目执行环境,无非配置下jdk,部署tomcat,再通过docker或者jenkins自动部署上去 看下进程,复制粘贴删除等基本操作,很多东西久了不用就忘了,所有写个demo巩固下曾经的linux知识 后续会有hadoop等主流的大数据相关环境的搭建及使用 ---------------------------------------------------------------------

Hadoop集群之 ZooKeeper和Hbase环境搭建

前面讲解了Hadoop完全分布式的搭建,本章主要讲解一下在Hadoop完全分布式已经搭建成功的情况下搭建ZooKeeper和Hbase环境 所有软件下载百度云 密码:uup8 讲在开头:对于笔者的完全分布式环境请见该文:Hadoop完全分布式安装 1.ZooKeeper和Hbase的简答介绍: ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包

CentOS系统下Hadoop、Hbase、Zookeeper安装配置

最近两天给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3.主要是配置JDK,安装Tomcat,Hadoop.HBase和Zookeeper软件,本人在Hadoop这方面也是新手,配置这个环境遇到过许多问题,查了许多资料,这里做一个总结,以便日后回顾. 首先是账户权限的修改,安装软件环境需要上传文件和一些系统文件的修改权限,所以最好设置成root权限 权限修改方法:http://www.linuxidc.com/Linux/2012-03/55629.htm 软件的安装,网上

大数据学习系列之二 ----- HBase环境搭建(单机)

引言 在上一篇中搭建了Hadoop的单机环境,这一篇则搭建HBase的单机环境 环境准备 1,服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G 2,配置选择 JDK:1.8 (jdk-8u144-linux-x64.tar.gz) Hadoop:2.8.2 (hadoop-2.8.2.tar.gz) HBase:1.6.2 (hbase-1.2.6-bin.tar.gz) 3,下载地址 官网地址: JDK: http

linux下zookeeper安装

更改测试集群版本,重新安装集群,就写了个文档记录一下. 1.关闭Linux的防火墙 临时关闭防火墙:service iptables stop永久关闭防火墙:chkconfig iptables off 2.安装JDK 配置环境: vim /etc/profile 环境变量生效:  source /etc/profile 查看JDK是否配置成功: 集群之间使用scp -r 命令进行cp,使每一台机器都生效. 3.解压zookeeper,进入Zookeeper的安装目录下的子目录conf目录中:c

【VNC】Linux环境VNC服务安装、配置与使用

[VNC]Linux环境VNC服务安装.配置与使用 2009-06-25 15:55:31 分类: Linux 前言:作为一名DBA,在创建Oracle数据库的过程中一般要使用dbca和netca图像化进行建库和创建监听(如果使用脚本建库另说),如果您身体好估计可以在瑟瑟发抖的机房中完成数据库的创建过程,由于本人对寒冷比较敏感,又不想通过这样的方式锻炼身体,所以更愿意在舒适的房间内一边品味着咖啡的浓香,顺便度过相对枯燥的数据库安装和配置的过程,So,图形化操作工具是必不可少的,在Linux操作系