Hadoop2.6+Zookper3.4+Hbase1.0部署安装

hadoop完全分布式安装后,再结合zookper+hbase安全。
在之前环境配置下继续进行。

一、zookper安装

1.1 下载并解压软件

cd /software
wget -c http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
tar -zxf zookeeper-3.4.10.tar.gz -C /usr/local/
ln -sv /usr/local/zookeeper-3.4.10/ /usr/local/zookeeper
echo 

1.2 修改配置文件

配置文件参数详解可参考zookeeper参数

cat > /usr/local/zookeeper/conf/zoo.cfg<<EOF
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/data
datalogDir=/usr/local/zookeeper/logs
clientPort=2181
server.1=172.20.2.203:2888:3888
server.2=172.20.2.203:2888:3888
server.3=172.20.2.203:2888:3888
EOF

1.3 创建目录添加环境变量

mkdir -p /usr/local/zookeeper/{data,logs}
echo "1">/usr/local/zookeeper/data/myid
chown hadoop.hadoop /usr/local/zookeeper/ -R
cat >/etc/profile.d/zookeeper.sh<<EOF
export PATH=\$PATH:/usr/local/zookeeper/bin
EOF
source /etc/profile.d/zookeeper.sh

1.4 同样方式配置其他服务器

可以将文件分发至hadoop-2/3 需要修改myid为2/3

1.5 启动服务

zkServer.sh start启动服务
zkServer.sh status 查看服务器状态

二、hbase安装

2.1 下载并解压软件

cd /software
wget -c http://archive.apache.org/dist/hbase/1.0.1.1/hbase-1.0.1.1-bin.tar.gz
tar -zxf hbase-1.0.1.1-bin.tar.gz -C /usr/local/
mkdir -p /usr/local/hbase/logs
ln -sv /usr/local/hbase-1.0.1.1/ /usr/local/hbase
chown hadoop.hadoop /usr/local/hbase-1.0.1.1/ -R

2.2 修改配置文件

修改hbase-env.sh,添加java环境变量和生命使用外部zookeeper

cat >/usr/local/hbase/conf/hbase-env.sh<<EOF
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-3.b10.el6_9.x86_64
export HBASE_LOG_DIR=/usr/local/hbase/logs
export HBASE_MANAGES_ZK=false
EOF

修改hbase-site.xml,添加hbase在HDFS上的存储路径

cat >/usr/local/hbase/conf/hbase-site.xml<<EOF
<configuration>
    <!-- 指定hbase在HDFS上存储的路径 -->
       <property>
               <name>hbase.rootdir</name>
               <value>hdfs://hadoop-1:8020/data</value>
       </property>
    <!-- 指定hbase是分布式的 -->
       <property>
               <name>hbase.cluster.distributed</name>
               <value>true</value>
       </property>
    <!-- 指定zk的地址,多个用“,”分割 -->
       <property>
               <name>hbase.zookeeper.quorum</name>
               <value>hadoop-1,hadoop-2,hadoop-3</value>
       </property>
       <property>
               <name>hbase.master.info.port</name>
               <value>60010</value>
       </property>
</configuration>
EOF

修改regionservers

cat>/usr/local/hbase/conf/regionservers<<EOF
hadoop-2
hadoop-3
EOF

2.3 添加环境变量

cat >/etc/profile.d/hbase.sh<<EOF
export PATH=\$PATH:/usr/local/hbase/bin
EOF
source /etc/profile.d/hbase.sh

2.3 同样方式配置其他服务器并启动服务

可以将文件分发至hadoop-2/3 需要修改myid为2/3
启动服务start-hbase.sh


2.3 web页查看

2.4 hbase shell测试



注意:服务的启停顺序
服务启动:hadoop->zookeeper->hbase
服务停止:hbase->zookeeper->hadoop

原文地址:http://blog.51cto.com/kaliarch/2119507

时间: 2024-08-29 08:48:23

Hadoop2.6+Zookper3.4+Hbase1.0部署安装的相关文章

Hadoop 2.2.0部署安装(笔记,单机安装)

SSH无密安装与配置 具体配置步骤: ◎ 在root根目录下创建.ssh目录 (必须root用户登录) cd /root & mkdir .ssh chmod 700 .ssh & cd .ssh ◎ 创建密码为空的 RSA 密钥对: ssh-keygen -t rsa -P "" ◎ 在提示的对称密钥名称中输入 id_rsa将公钥添加至 authorized_keys 中: cat id_rsa.pub >> authorized_keys chmod 6

Hadoop0.21.0部署安装以及mapreduce测试

鉴于hadoop的需要...但是并不限于此...有时候闲输入密码麻烦,也可以用这种办法从一个节点通过ssh进入另一个节点... 设要使master进入slave是免密码的,则可以在master(ip为192.168.169.9)中如下操作: 命令:ssh-keygen -t rsa  然后一路回车(该命令不需要进入特定目录) cd进入/root/.ssh/可以看见如下(橙色是新生成的) id_rsa  id_rsa.pub  known_hosts 然后用scp命令将id_rsa远程传输到sla

hadoop2.6和hbase1.0单机版安装配置

环境 系统:Ubuntu 14.04 hadoop版本:2.6.0 hbase版本:1.0 jdk版本:1.8 下载地址:Apache上慢慢找吧~~ jdk的环境配置这里就不列出来了,首先讲一下hadoop配置吧. hadoop安装 1.安装位置:/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 4.给hadoop添加权限 sudo vim /etc/sudoers 在

ELK 5.0部署安装

版本说明: Elasticsearch 5.0 Logstash 5.0(暂时未用) Filebeat 5.0 Kibana 5.0 ELK是一套采集日志并进行清洗分析的系统,由于目前的分析的需求较弱,所以仅仅采用filebeat做日志采集,没有使用logstash 一.环境准备&&软件安装: 1.首先,需要安装Java环境 下载安装包:jre-8u111-linux-x64.rpm 安装:yum install jre-8u111-linux-x64.rpm 2. 新建一个用户,else

Flume1.5.0的安装、部署、简单应用(含分布式、与hadoop2.2.0、hbase0.96的案例)

目录: 一.什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二.flume的官方网站在哪里? 三.在哪里下载? 四.如何安装? 五.flume的案例 1)案例1:Avro 2)案例2:Spool 3)案例3:Exec 4)案例4:Syslogtcp 5)案例5:JSONHandler 6)案例6:Hadoop sink 7)案例7:File Roll Sink 8)案例8:Replicating Channel Sel

Hadoop学习笔记-010-CentOS_6.5_64_HA高可用-Hadoop2.6+Zookeeper3.4.5安装Hbase1.0.0

参考: http://www.aboutyun.com/blog-9721-986.html http://www.cnblogs.com/jun1019/p/6260492.html 虚拟机中共五个centos系统,每个系统有两个用户root和hadoop:cdh1,cdh2,cdh3,cdh4,cdh5 集群规划 安装hbase(cdh1机器) 第一步,解压已下载好的hbase安装包 #tar -zxvf hbase-1.0.0-cdh5.4.4.tar.gz 解压后删除hbase安装包,节

mac下安装伪分布hadoop2.6.0和hbase1.0.1.1

1.安装JDK,我安装的是java1.7 2.创建管理员账户 3.安装ssh服务(如果已有跳过此步) 4.ssh无密码验证登陆 以上过程略,可参考ubuntu下安装hadoop一文. 5.下载并解压hadoop2.6.0安装包 tar -xzvf hadoop-2.6.0.tar.gz /Users/hadoop 6.配置hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,yarn-site.xml. hadoop-env.sh中加

NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(二)

?? Precondition: hadoop 2.7.1 hbase 1.0.1.1 / hbase 0.98.13 192.168.1.106 ->master 192.168.1.105 ->slave / regionservers hbase部署 直接下载hbase bin文件 hbase1.0.1.1 还有hbase 0.98.13 和hadoop2.7.1 / hadoop 2.5.2 配合并没有问题. 仅仅只是 Nutch2.3 似乎和hbase 0.98.13 配合比較好.

NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr4.8.1部署(二)

 Precondition: hadoop 2.7.1 hbase 1.0.1.1 / hbase 0.98.13 192.168.1.106 ->master 192.168.1.105 ->slave / regionservers hbase部署 直接下载hbase bin文件 hbase1.0.1.1 还有hbase 0.98.13 和hadoop2.7.1 / hadoop 2.5.2 配合并没有问题.只不过 Nutch2.3 似乎和hbase 0.98.13 配合比较好. 1.