Hbase0.98.4/Hadoop2.4.1整合小结

  设定hbase的数据目录,修改conf/hbase-site.xml

<configuration>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
        <description>The mode the clusterwill be in. Possible values are
            false: standalone and pseudo-distributedsetups with managed Zookeeper
            true: fully-distributed with unmanagedZookeeper Quorum (see hbase-env.sh)
        </description>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://Master:9000/hbase</value>
        <description>The directory shared byRegionServers.
        </description>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2222</value>
        <description>Property fromZooKeeper‘s config zoo.cfg.
        The port at which the clients willconnect.
        </description>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>Master</value><!--有多台就填多台主机名-->
        <description>Comma separated listof servers in the ZooKeeper Quorum.
        For example,"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".
        By default this is set to localhost forlocal and pseudo-distributed modes
        of operation. For a fully-distributedsetup, this should be set to a full
        list of ZooKeeper quorum servers. IfHBASE_MANAGES_ZK is set in hbase-env.sh
        this is the list of servers which we willstart/stop ZooKeeper on.
        </description>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/hbase/zookeeper</value>
        <description>Property fromZooKeeper‘s config zoo.cfg.
        The directory where the snapshot isstored.
        </description>
    </property>
</configuration>

  修改conf/regionservers,和hadoop的slaves一样的操作,我还是要把localhost干掉的。一样的,要配多个就放多个。

Master

  替换hbase安装目录下的lib中使用的hadoop的jar包,改成一致的。

  原先hadoop相关的包为

  在hbase中lib目录下建立一个sh(省得直接用命令把杂七杂八的全部复制过来了)

find -name "hadoop*jar" | sed ‘s/2.2.0/2.4.1/g‘ | sed ‘s/.\///g‘ > f.log
rm ./hadoop*jar
cat ./f.log | while read Line
do
find /usr/local/hadoop/share/hadoop -name "$Line" | xargs -i cp {} ./
done

rm ./f.log

  完了直接启动hbase,hadoop的dfs那边会有反应了:

  剩下的随便折腾了。

Hbase0.98.4/Hadoop2.4.1整合小结

时间: 2024-08-03 15:52:36

Hbase0.98.4/Hadoop2.4.1整合小结的相关文章

Hbase0.98版本的安装部署配置管理(Hadoop2.3、Hbase0.98、Hive0.13整合)

简介: HStore存储是HBase存储的核心了,其中由两部分组成,一部分是MemStore,一部分是StoreFiles.MemStore是Sorted Memory Buffer,用户写入的数据首先会放入MemStore,当MemStore满了以后会Flush成一个StoreFile(底层实现是HFile),当StoreFile文件数量增长到一定阈值,会触发Compact合并操作,将多个StoreFiles合并成一个StoreFile,合并过程中会进行版本合并和数据删除,因此可以看出HBas

hbase-0.98整合hadoop-2.6,附java操作代码

cd /opt/hbase-0.98.13-hadoop2/conf vi hbase-env.sh export JAVA_HOME=/opt/jdk1.7.0_75 vi hbase-site.xml <!--设置hbase根目录,master为机器的hostname--><property><name>hbase.rootdir</name><value>hdfs://master:9000/hbase</value></

hadoop2.5.2、hbase0.98.7和sqoop1.4.6搭建

1.前期工作: (1)准备三台电脑: 安装Ubuntu14.04(最好用户名都为hadoop,方便后面的文件传输) 网络映射: 分别修改三台的主机名(sudo /etc/hostname):分别为master,slave1,slave2并配好IP假设为:ip1,ip2,ip3 修改网络映射:sudo /etc/hosts 可以注释掉127.0.1.1一行 增加ip1 master ip2 slave1  ip3 slave2 (2)安装openssh-server(sudo apt-get in

Hadoop2.4.1 64-Bit QJM HA and YARN HA + Zookeeper-3.4.6 + Hbase-0.98.8-hadoop2-bin HA Install

Hadoop2.4.1 64-Bit QJM HA and YARN HA Install + Zookeeper-3.4.6 + Hbase-0.98.8-hadoop2-bin HA(Hadoop2.4.1(QJM方式的HDFS NameNode HA,YARN ResourceManager HA)集群+Zookeeper3.4.6集群+Hbase-0.98.8(Master HA)集群搭建) HostName            IP                Soft      

hadoop2.4.1+hbase0.98.3实现的分布式网盘系统初步

直接上图片 web端用spring mvc4.0.5 hadoop+hbase 伪分布实验环境 已实现用户注册 登陆 网盘管理:上传文件 创建文件夹 修改文件及文件夹 分享文件及文件夹 删除文件及文件夹 仿百度文库浏览文档 和下载文件功能. 关注用户管理: 关注和取消关注用户 文件分享:分享列表查看 hadoop2.4.1+hbase0.98.3实现的分布式网盘系统初步,布布扣,bubuko.com

Ganglia3.6.0,nginx+php搭建gweb,监控Hadoop2.2 和 Hbase0.98.1

服务端(master): 安装 ganglia ganglia-devel ganglia-gmetad ganglia-gmond ganglia-web ganglia-gmond-python rrdtool httpd php 客户端(slave) : 安装 ganglia-gmond 1 安装Ganglia  yum加入 epel 源 >rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noa

设置hdfs和hbase副本数。hadoop2.5.2 hbase0.98.6

hdfs副本和基本读写. core-site.xmlhdfs-site.xml 从/etc/hdfs1/conf下拷贝到工作空间 import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.

hbase0.98.8源码编译(基于hadoop2.4.1)

上一篇介绍了hadoop2.4.1的编译过程,以及hive和spark的编译,这次简单介绍hbase的编译过程. hbase0.98.8默认使用hadoop2.2.0进行编译,笔者的hadoop环境是2.4.1版本,为避免包不一致引发的各种错误,需要对hbase进行重新编译. 1.生成编译使用的pom文件 修改$HBASE_HOME/pom.xml,<hadoop-two.version>2.2.0</hadoop-two.version>修改为<hadoop-two.ver

Hadoop-2.6.0 + Zookeeper-3.4.6 + HBase-0.98.9-hadoop2环境搭建示例

1    基本信息 1.1     软件信息 hadoop-2.6.0 zookeeper-3.4.6 hbase-0.98.9-hadoop2 (以下示例中使用的操作系统是Centos 6.5,请将下载的3个tar包分别解压并放置在/usr/local/目录下) (Hbase包中lib里可以看到zookeeper的jar包,从文件名可以确定使用的zookeeper版本) 1.2     集群组成: Server Name Hadoop Cluster Zookeeper Ensemble HB