分布式HBase-0.98.3环境搭建

Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper,构造HDFS基础上的分布式Hbase。

1 安装环境

操作系统:Ubuntu-12.04

JDK版本:jdk1.7.0_51

计算机台数:2 (master:192.168.44.130   slave1:192.168.44.131)

2 预安装配置

安装Hadoop-2.2.0集群

安装SSH及设置SSH免密码登录

配置/etc/hosts 及/etc/hostname

3 启动停止Hbase

启动

bin/start-hbase.sh

停止

bin/stop-hbase.sh

4 环境变量

在文件conf/hbase-env.sh中加入

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51

export HBASE_HEAPSIZE=4096

 5 设置ulimit 和 nproc

HBase是数据库,会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的,会导致FAQ: Why do I see "java.io.IOException...(Too many open files)" in my logs?异常。所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc,如果过低会造成OutOfMemoryError异常。

在文件 /etc/security/limits.conf (其中hadoop是运行Hbase和Hadoop的用户)添加一行

hadoop - nofile 32768

hadoop soft/hard nproc 32000

另外,在 /etc/pam.d/common-session 加上这一行

session required pam_limits.so

否则在 /etc/security/limits.conf上的配置不会生效.还有注销再登录,这些配置才能生效!

6 配置

  除非运行在实现了持久化同步(sync)的HDFS上,HBase 将丢失所有数据。Sync必须显式开启。即 dfs.support.append 同时在客户端和服务器端设为真,客户端: hbase-site.xml ,服务器端: hdfssite.

xml。修改后必须重启集群。

  一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers (Hadoop的作者把这个单词拼错了).配置这个文件conf/hdfs-site.xml里面的xceivers参数,至少要有4096。

hbase-site.xml

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>

<property>
    <name>dfs.support.append</name>
    <value>true</value>
</property>

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  <description>The mode the cluster will be in. Possible values are
  false: standalone and pseudo-distributed setups with managed Zookeeper
  true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
  </description>
</property>

hdfs-site.xml

<property>
    <name>dfs.support.append</name>
    <value>true</value>
</property>

<property>
  <name>dfs.datanode.max.xcievers</name>
  <value>4096</value>
</property>

完全分布式模式的还需要修改conf/regionservers,一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动,集群的停止而停止.

在hbase-env.sh里将HBASE_CLASSPATH环境变量加上HADOOP_CONF_DIR。

7 分发

scp -r hbase-0.98.3-hadoop2 slave1:~/

8 运行和确认你的安装

首先确认你的HDFS是运行着的。你可以运行HADOOP_HOME中的 bin/start-hdfs.sh 来启动HDFS.你可以通过put命令来测试放一个
文件,然后有get命令来读这个文件。通常情况下Hbase是不会运行mapreduce的。所以比不需要检查这些。
如果你自己管理ZooKeeper集群,你需要确认它是运行着的。如果是Hbase托管,ZoopKeeper会随Hbase启动。

一旦Hbase启动,可以建表,插入数据,scan你的表,还有disable这个表,最后把它删掉。

分布式HBase-0.98.3环境搭建,布布扣,bubuko.com

时间: 2024-10-22 14:11:41

分布式HBase-0.98.3环境搭建的相关文章

在Eclipse上建立hbase 0.98.3/0.96.2源代码阅读环境

2.1. 切换到源代码目录,执行: mvn install -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911 黄色部分作用为设置代理.由于本人的编译环境在公司内网,所以需要设置代理 2.2. 生成eclipse项目环境: mvn eclipse:eclipse -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911 2.

hbase 0.98.1集群安装

本文将基于hbase 0.98.1解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net/bluishglc/article/details/24593597,转载请注明出处. 1. 安装与配置 1.1. 前置条件 确保已经安装了hadoop并保证hadoop运行正常.关于hbase与hadoop的版本号依赖关系,请參考:  https://hbase.apache.org/book/configuration.html#hado

hadoop2 hive0.13.0 hbase 0.98.2版本集成错误总结

一. hadoop2.2.0的安装启动错误总结 关于hadoop在启动时datanode无法启动问题 1.core-site.xml文件中没有配置从节点 2.slave配置文件中没有添加从节点 3.所有节点的host链表不统一或有错位 4.因为多次formate namenode造成namenode和datanode的clusterID不一致 解决方案: 删除所有节点/home/hadoop/hadoop-2.2.0/dfs/data/下 curren目录 <name>hadoop.tmp.d

spark-1.2.0 集群环境搭建

1.下载scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html ,也可以使用wget http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.248348352.61371242.1418807768 2.解压和安装: 解压 :[[email protected] scala]$ tar -xvf scala-2.11.4.tgz  ,安装:[

MiS603开发板 第十章 USB2.0 CY7C68013A 开发环境搭建

作者:MiS603开发团队 日期:20150911 公司:南京米联电子科技有限公司 论坛:www.osrc.cn 网址:www.milinker.com 网店:http://osrc.taobao.com EAT博客:http://blog.chinaaet.com/whilebreak 博客园:http://www.cnblogs.com/milinker/ MiS603开发板 第十章 USB2.0 CY7C68013A 开发环境搭建   CY7C68013A是Cypress公司推出的稳定,易

【Cocos2D-X 学习笔记】Cocos2D-x 3.0+VS开发环境搭建[使用Python]

上一节讲了如何用VS自带的项目管理器创建项目,该方法只适用于cocos2d-x 2.0版本,而cocos2d-x 3.0较之前版本在命名等方面有了较大更新,而cocos2d-x3.0不再支持用VS项目管理器自建项目,而是用Python脚本创建项目. 为什么做这种改变?经过上一节讨论可以发现,使用VS创建项目有一个缺陷:新建的项目必须在cocos2d-x的解决方案中,这样会导致自己的项目和Template项目混淆:如果想单独创建一个项目的话,又需要把cocos2d-x包中的cocos2d文件整个拷

cocos2d-x 3.0正式版 环境搭建 (解决载入失败,未能载入XXX包)

cocos2d-x 3.0正式版最终公布了~ 等了好久~ 废话不多说,直接写方法. 1.下载安装vc2012 ,我用的是旗舰版,传送门:点击打开链接 2.下载cocos2d-x 3.0正式版,传送门:点击打开链接 3.下载安装python,传送门:点击打开链接 4.设置环境变量好后,打开cocos2d-x安装文件夹下build/cocos2d-win32.vc2012.sln,又一次生成解决方式就OK了. **假设出现了vc2012项目载入失败,提示未能载入XXXX包*,下载vc2012KB27

[精华]Hadoop,HBase分布式集群和solr环境搭建

1. 机器准备 1.1 准备了2台机器,安装win7系统(64位) 两台windows物理主机: 192.168.131.44 administrator/(密码是一个空格) 192.168.131.67 administrator/(密码是一个空格) 1.2. 每台机器上安装VMwareWorkstation8.0.3 VMwareWorkstation8.0.3序列号:JG2TD-DJL95-FZZZ8-DU1NH-33GH7 1.3. 创建虚拟机CentOS-6.5-x86_64-bin-

[Nutch]Nutch2.3+Hadoop+HBase+Solr在Ubuntu环境搭建

上一篇博文介绍了在Windows 10系统下用Cygwin搭建Nutch开发环境,本文将介绍在Ubuntu下Nutch2.3的开发环境的搭建. 1. 需要的软件及其版本 Ubuntu 15.04 hadoop 1.2.1 hbase 0.94.27 nutch 2.3 solr 4.9.1 2. 系统环境准备 2.1 安装Ubuntu操作系统 基本要求,网上也有很多,自行安装,有问题可以留言. 2.2 单独新建一个kandy用户 useradd kandy 2.3 设置密码 passwd kan