【4】搭建HA高可用hadoop-2.3(部署配置HBase)

【1】搭建HA高可用hadoop-2.3(规划+环境准备)

【2】搭建HA高可用hadoop-2.3(安装zookeeper)

【3】搭建HA高可用hadoop-2.3(部署配置hadoop--cdh5.1.0)

【4】搭建HA高可用hadoop-2.3(部署配置HBase)


部署配置habase

(1)安装habase

  • master1、slave1、slave2、slave3
#cd /opt
#tar xf  hbase-0.98.1-cdh5.1.0.tar.gz
#ln -s  hbase-0.98.1-cdh5.1.0 hbase

(2)配置habase

  • master1、slave1、slave2、slave3
  • 以下1-3步骤配置,需要同步到每台hbase主机上。可以先在master上配置,然后copy到其他服务器。


1:配置环境变量

#hbase自带zookeeper,如果不用自带zk,将下面设置为fales,避免start-hbase.sh的时候启动zookeeper。hadoop的变量,防止hbase不识别集群名

#cat >> /opt/hbase/conf/hbase-env.sh << EOF
export HADOOP_HOME=/opt/hadoop-2.3.0-cdh5.1.0  #配置hadoop变量,否则hbase不识别hdfs集群名
export HBASE_HOME=/opt/hbase-0.98.1-cdh5.1.0
export HBASE_LOG_DIR=${HBASE_HOME}/logs
export HBASE_MANAGES_ZK=fales            #不使用hbase自带的zookeeper,使用搭建的zk集群。
export HBASE_CLASSPATH=${HBASE_HOME}/conf
export JAVA_HOME=/usr/java/jdk1.8.0_60
EOF

2:配置hbase-site.xml

#mkdir -p /data/hbase/tmp
#vim hbase-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--##############hbase-site.xml##########-->
<configuration>
    <property>
        <!--设置hbase 数据库存放数据的目录-->
        <name>hbase.rootdir</name>
        <value>hdfs://mycluster/hbase</value>
    </property>
    <property>
        <!--打开hbase分布模式-->
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <!--指定hbase的master-->
        <name>hbase.master</name>
        <value>master1:60000</value>
    </property>
    <property>
        <!--指定zookeeper集群节点名,因为是由zookeeper表决算法决定的-->
        <name>hbase.zookeeper.quorum</name>
        <value>master1,master2,slave1,slave2,slave3</value>
    </property>
    <property>
        <!--指zookeeper集群data目录-->
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/data/zookeeper/data/</value>
    </property>
    <property>
        <!--指hbase的tmp目录-->
        <name>hbase.tmp.dir</name>
        <value>/data/hbase/tmp</value>
    </property>
</configuration>

3:配置regionservers

slave1
slave2
slave3


(3)启动habase

  • master1
#/opt/hbase/bin/start-hbase.sh
#jps

看到如下结果。

【1】搭建HA高可用hadoop-2.3(规划+环境准备)

【2】搭建HA高可用hadoop-2.3(安装zookeeper)

【3】搭建HA高可用hadoop-2.3(部署配置hadoop--cdh5.1.0)

【4】搭建HA高可用hadoop-2.3(部署配置HBase)

时间: 2024-12-31 20:24:26

【4】搭建HA高可用hadoop-2.3(部署配置HBase)的相关文章

搭建HA高可用集群

搭建HA高可用集群 一.搭建集群的准备环境 有三台机器,两台上装ricci,另外一台装luci Luci管理机:172.25.47.6 Ricci节点:172.25.47.4   172.25.47.5 Yum仓库: Yum仓库中要指向其他的一些包 注意:yum仓库一般是从Server目录中下载包,但是也有一些其他的包在其他的目录下,因此此次yum 源的配置会和以往不一样 Yum源中配置的是这几个模块: 防火墙方面: 永久关闭防火墙 Selinux方面: 由于这些套件是redhat自带的,所以可

linux下搭建HA高可用集群

HA 即 (high available)高可用,又被叫做双机热备,用于关键性业务. 简单理解就是,有两台机器A和B,正常是A提供服务,B待命闲置,当A宕机或服务宕掉,会切换至B机器继续提供服务.常用实现高可用的开源软件有heartbeat和keepalived,其中keepalived有负载均衡的功能. 实验前需准备的环境: 系统:两个CentOS  6.6系统 网卡:eth0.eth1 (本实验是在虚拟机上搭建需要提前给两个虚拟机系统各添加一块网卡) 给两个系统配置好网卡和IP后: [ema

linux HA高可用安装及最简单配置

亲测可用 两台Linux服务器 (联网状态) r1:192.168.1.10       r2:192.168.1.11 1 更改节点名称 r1: vim /etc/sysconfig/network HOSTNAME=r1.xiaodao.com r2: HOSTNAME=r2.xiaodao.com 2 添加双方信任 r1:    ssh-keygen -t rsa ssh-copy-id 192.168.1.11 r2    ssh-keygen -t rsa ssh-copy-id 19

HA高可用的搭建

HA 即 (high available)高可用,又被叫做双机热备,用于关键性业务. 简单理解就是,有两台机器A和B,正常是A提供服务,B待命闲置,当A宕机或服务宕掉,会切换至B机器继续提供服务.常用实现高可用的开源软件有heartbeat和keepalived,其中keepalived有负载均衡的功能.<ignore_js_op> HA高可用搭建目的及环境说明: 这次是为nginx服务搭建高可用集群. 环境说明:1台主服务器,一台备用服务器. 其中主服务器的eth0 192.168.2.77

OpenStack Mitaka HA高可用搭建

OpenStack Mitaka HA高可用搭建mini试看版version 1.0环境虚拟机列表:10.1.1.120 controller1 controller1.test.com10.1.1.121 controller2 controller2.test.com10.1.1.122 controller3 controller3.test.com10.1.1.133 compute1 compute1.test.com10.1.1.134 glance-backend backend.

HA高可用

HA:高可用----------------------------------------------------------- 1.Quorum Journal Manager:群体日志管理 个数2n+1个,保证节点宕机次数为(n-1)/2;一般情况下,JNS在slave节点开启: 2.HA的namenode个数:一定是两个:nn1和nn2; 3.搭建HA步骤: 0.创建软连接:指向hadoop_cluster_HA 1.修改[hdfs-site.xml] <property> <n

CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装

1       VM网络配置... 3 2       CentOS配置... 5 2.1             下载地址... 5 2.2             激活网卡... 5 2.3             SecureCRT. 5 2.4             修改主机名... 6 2.5             yum代理上网... 7 2.6             安装ifconfig. 8 2.7             wget安装与代理... 8 2.8       

红帽436——HA高可用集群之安装篇

红帽436--HA高可用集群的安装 图释: 1-  su - :真实机切换至root用户 2-  virt-manager :打开KVM管理工具 3-  从Desktop开启虚拟机:classroom(充当服务器的作用)和三台节点机 图释:在每台节点中操作 1-  通过ssh以节点root远程登录三个节点进行操作: ssh [email protected] 2-  安装pcs服务 3-  关闭firewall,并永久启用pcs服务 4-  设置用户hacluster密码:redhat    -

高可用Hadoop平台-启航

1.概述 在上篇博客中,我们搭建了<配置高可用Hadoop平台>,接下来我们就可以驾着Hadoop这艘巨轮在大数据的海洋中遨游了.工欲善其事,必先利其器.是的,没错:我们开发需要有开发工具(IDE):本篇文章,我打算讲解如何搭建和使用开发环境,以及编写和讲解WordCount这个例子,给即将在Hadoop的海洋驰骋的童鞋入个门.上次,我在<网站日志统计案例分析与实现>中说会将源码放到Github,后来,我考虑了下,决定将<高可用的Hadoop平台>做一个系列,后面基于这