HADOOP HBASE配置注意事项

1、yum安装的jdk工具1.8版本,在配置hbase1.2版本需要在hbase-env.sh配置文件中注释掉下面的内容:

export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

如果不注释的话在启动hbase服务的时候会报128M相关的错误

2、zookeeper服务需要启动至少三个节点,并且节点数为奇数个。

昨天为生产环境搭建hadoop集群,结果配置好zookeeper集群后启动一个节点,老是看到服务异常状态,一度以为是服务配置问题,这个问题卡了半天时间。其实这个问题是因为启动的服务数量没有超过集群半数的原因,集群5个节点的话,至少要启动3个节点,集群才是生效的,否则集群失效。如果理解zookeeper运行机制的话就不成问题,所以不能只是搭建环境,要去理解环境的运行机制和原理。

3、在执行命令./bin/habse shell之后执行status查看集群状态,出现下面的信息:

hbase> status

hbase> status 'simple'

hbase> status 'summary'

hbase> status 'detailed'

hbase> status 'replication'

hbase> status 'replication', 'source'

hbase> status 'replication', 'sink'

并且在{HBASE_HOME}/logs目录下查看日志,观察到下面字样的信息:

zookeeper.MetaTableLocator: Failed verification of hbase:meta,,1 at address=slave3,16020,15312

处理方法:

3.1、停止hbase集群服务、停止zookeeper集群服务

3.2、删除{ZOOKEEPER_HOME}/conf/zoo.cfg配置文件中配置的对应的dataDir参数对应目录下的version-2目录(所有zookeeper服务节点)

3.3、启动zookeeper集群服务、启动hbase集群服务

未完待续....

原文地址:http://blog.51cto.com/xiaoxiaozhou/2140455

时间: 2024-10-28 09:25:10

HADOOP HBASE配置注意事项的相关文章

Hadoop 管理工具HUE配置-HBase配置

1 前言 首先要陪只好HBase,可以参见http://www.cnblogs.com/liuchangchun/p/4096891.html,完全分布式类似 2 HBase配置 2.1 HUE 配置文件设置,找到hbase标签,配置如下 # Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'. # Use full hostname with security

[推荐]Hadoop+HBase+Zookeeper集群的配置

Hadoop+HBase+Zookeeper集群的配置  http://wenku.baidu.com/view/991258e881c758f5f61f67cc.html?re=view HDFS+MapReduce+Hive+HBase十分钟快速入门   http://wenku.baidu.com/view/7db2fcd276eeaeaad1f33055.html Hadoop+Zookeeper+HBase部署指南  http://wenku.baidu.com/view/02e4ad

通过 JMX 获取Hadoop/HBase监控数据

概述 说到对Hadoop和 HBase的集群监控,大家知道的和用的最多的可能还是第三方的监控工具,cacti,ganglia,zabbix之类的.玩的深一些的,会用 zenoss之类的.这些工具确实不错,也能发挥很大的作用,但时间长了总感觉监控粒度还是比较粗,不够详细.毕竟是第三方的监控,即便Hadoop自带 了ganglia的接口,也还是觉得不够. 其实Hadoop本身是带有监控接口的,各公司的发行版还有自己定制的接口,不过可能知道的人就不太多了. 其实这个接口特别简单,但是非常详细,也非常方

HDFS和Hbase配置同步

在Hbase中服务器先读取hbase-defalut.xml文件,然后读取hbase-site.xml文件,也就是说后者会覆盖前者 hbase的配置中有一些和hdfs关联的配置,当hdfs中修改了,但是hbase中修改了,hbase中是不会知道的,比如 dfs.replication,有时候我们想增加备份的数量,在hdfs中设置为5了,但是hbase中默认为3,这样hbase还是只保存3份. 那么有什么方法可以使他们的配置文件同步,有三种方法: (1)在hbase-env.sh的HBASE_CL

hadoop+hbase

hadoop的配置见下面这篇文章 http://www.powerxing.com/install-hadoop-2-4-1-single-node/ Hadoop安装教程_单机/伪分布式配置_Hadoop2.4.1_Ubuntu14.04 2014-08-09 (updated: 2014-12-30) 8275 环境 系统: Ubuntu 14.04 64bit Hadoop版本: Hadoop 2.4.1 (stable) JDK版本: OpenJDK 7 本教程基于 Hadoop 2.4

构建Hadoop+Hbase+ZooKeeper分布式存储

前言* Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊.Facebook和Yahoo等等.对于我来说,最近的一个使用点就是服务集成平台的日志分析.服务集成平台的日志量将会很大,而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景). 今天我们来实际搭建一下Hadoop 2.2.0版,实战环境为目前主流服务器操作系统CentOS 6.5系统. 一.实战环境 系统版本:CentOS 6.5 x86_64 JAVA版本:JDK

hbase(ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet)

今天启动clouder manager集群时候hbase list出现 (ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet ERROR: Can't get master address from ZooKeeper; znode data == null ) 一类错误 看网上有几种解决方案 一个是 1: 在使用 hbase shell 时,一直报错.花了半个多小时

hadoop(四):配置参数

hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置,core-default.xml,hdfs-default.xml,mapred-default.xml 是集群的默认配置,HDP2.4 安装包中 hadoop 版本为2.7,分别可从下面的地址获取到默认的参数说明: core-

学习搭建Hadoop+HBase+ZooKeeper分布式集群环境

一.环境配置 由于集群至少需要三台服务器,我就拿上次做的MongoDB Master, Slave, Arbiter环境来做Hadoop集群.服务器还是ibmcloud 免费提供的.其中Arbiter在这里做的也是slave的角色. Hostname IP  Server Type Master 192.168.0.28 Centos6.2 Slave 192.168.0.29 Ubuntu14.04 Arbiter 192.168.0.30 Ubuntu14.04 配置三台机器的Master