hbase启动问题记录

昨天测试环境的Hbase启动有问题,日志中显示:

transaction type: 1 error: KeeperErrorCode = NoNode for /hbase

hmaster等其他进程日志中显示连接不上zookeeper,发现zookeeper启动有问题。

于是判断可能是zookeeper中的某些数据丢失了,之前也出现过类似的启动问题,都是清除zookeeper所有数据解决的,这显然不能根本上解决问题。

进一步分析和判断想到hbase的数据目录,由于商测环境是用伪分布式的方式部署的,zookeeper集成在hbase里管理,所以zookeeper的数据也在hbase的临时数据目录下。hbase的临时目录默认是放在/tmp的,而linux的/tmp目录是会被定期清理的(参考linux系统的tmpwatch)。到此问题已基本定位清楚了,修改hbase的临时目录位置,问题解决。

  • hbase.rootdir

这个目录是region server的共享目录,用来持久化Hbase。URL需要是‘完全正确‘的,还要包含文件系统的scheme。例如,要表示hdfs中的 ‘/hbase‘目录,namenode 运行在namenode.example.org9090端口。则需要设置为hdfs:~/~/namenode.example.org:9000 /hbase。默认情况下Hbase是写到/tmp的。不改这个配置,数据会丢失。

默认: file:~/~//tmp/hbase-${user.name}/hbase

hbase.tmp.dir

本地文件系统的临时文件夹。可以修改到一个更为持久的目录上。(/tmp会清除)

默认: /tmp/hbase-${user.name}

这两点是hadoop/hbase系统部署和运维要重点注意的事项

更多精彩内容请访问首发博客http://jenwang.me

进一步交流:

- Email:[email protected]

- 对于本博客某些话题感兴趣,希望进一步交流的,请加 qq 群:2825967

- 更多技术交流分享在圈子「架构杂谈」,跟老司机们聊聊互联网前沿技术、架构、工具、解决方案等

 

时间: 2024-10-12 13:53:45

hbase启动问题记录的相关文章

Orange's 自己动手写操作系统 第一章 十分钟完成的操作系统 U盘启动 全记录

材料: 1 nasm:编译汇编源代码,网上很多地方有下 2  WinHex:作为windows系统中的写U盘工具,需要是正版(full version)才有写的权限,推荐:http://down.liangchan.net/WinHex_16.7.rar 步骤: 1 编译得到引导程序的机器代码.用命令行编译汇编源代码:name boot.asm -o boot.bin,其中boot.bin文件产生在命令行的当前目录中. 2 将引导程序写入到U盘引导盘的第一个扇区的第一个字节处(后),即主引导区.

erlang启动参数记录

不管在erlang的shell下还是脚本里,启动参数都是非常有用的,抽空儿整理下erlang的常用启动参数: +A size   异步线程池的线程数,范围为0~1024,默认为10 +P Number|legacy   最大进程数,范围为1024-134217727 ,默认为  262144 +K true | false  是否启用的kernel的poll机制,默认为false -config Config  加载指定的配置文件,config.config -heart  开启erlang的心

hbase启动时遇到class not found 错误

问题描述: 1 当hbase自己运行时,没有问题,可以正常启动 2 当搭建完hadoop环境后,再启动报异常: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/util/HBaseConfTool Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.util.HBaseConfTool

Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误

1:Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误,是因为jar包冲突了,所以对于和hadoop的jar包冲突的,可以将其他jar包删除,如果你不确定是否删除正确,可以将其他的jar包复制备份或者修改名称,确保操作以后失败了,还可以找回. SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:fil

全网最详细的HBase启动以后,HMaster进程启动了,几秒钟以后自动关闭问题的解决办法(图文详解)

不多说,直接上干货! 问题详情 情况描述如题所示,hbase启动以后,HMaster进程启动了,几秒钟以后自动关闭,但是HRegionServer进程正常运行: 解决办法: 1.检查下每台机器的时间是否同步: 2.检查下每台机器的防火墙是否关闭: 3.查看HMaster的日志路径 但是不久后HMaster会自动关闭,hbase启动失败啊!!! 查看日志 我们这样解决,我们进入zookeeper里面,删除hbase的数据 再次启动hbase HMaster不会挂掉.即成功解决. 欢迎大家,加入我的

Hbase常用操作记录

Hbase常用操作记录 Hbase 创建表 查看表结构 修改表结构 删除表 创建表 语法:create <table>, {NAME => <family>, VERSIONS => <VERSIONS>} 例如:创建表t1,有两个family name:f1,f2,且版本数均为2 create 'table',{NAME => 'family1', VERSIONS => 2,TTL=>'100000'},{NAME => 'fam

Hbase启动出问题 master.HMaster: Failed to become active master

Hbase启动出问题 2019-12-15 09:59:57,183 WARN [hadoop:16000.activeMasterManager] hdfs.DFSClient: DFS Read org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1472472866-192.168.121.133-1568433211461:blk_1073741842_1018 file=/hbase/hbas

HBase启动时报错:/bin/java: No such file or directory6/bin/../bin/hbase: line 412: /usr/local/jdk1.8.0_152/bin/java

欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 今天在启动HBase时发现如下错误:/bin/java: No such file or directory6/bin/../bin/hbase: line 412: /usr/local/jdk1.8.0_152/bin/java,而在我的hbase-env.sh中又JAVA_HOME,路径也是正确的,可为什么还会报这个错误呢?后来我才发现是因

HBase启动和停止命令

启动HBase集群: bin/start-hbase.sh 单独启动一个HMaster进程: bin/hbase-daemon.sh start master 单独停止一个HMaster进程: bin/hbase-daemon.sh stop master 单独启动一个HRegionServer进程: bin/hbase-daemon.sh start regionserver 单独停止一个HRegionServer进程: bin/hbase-daemon.sh stop regionserve