hbase中hbase和regionserver端口冲突问题

hbase中 hmaster 和regionserver的端口冲突问题

java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer

at org.apache.hadoop.hbase.regionserver.HRegionServer.constructRegionServer(HRegionServer.java:2458)

at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandLine.java:64)

at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.run(HRegionServerCommandLine.java:87)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)

at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:126)

at org.apache.hadoop.hbase.regionserver.HRegionServer.main(HRegionServer.java:2473)

Caused by: java.lang.reflect.InvocationTargetException

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

at org.apache.hadoop.hbase.regionserver.HRegionServer.constructRegionServer(HRegionServer.java:2456)

... 5 more

Caused by: java.net.BindException: Problem binding to om-liyongjian-119/192.168.188.119:16020 : Address already in use

at org.apache.hadoop.hbase.ipc.RpcServer.bind(RpcServer.java:2368)

at org.apache.hadoop.hbase.ipc.RpcServer$Listener.<init>(RpcServer.java:524)

at org.apache.hadoop.hbase.ipc.RpcServer.<init>(RpcServer.java:1896)

at org.apache.hadoop.hbase.regionserver.RSRpcServices.<init>(RSRpcServices.java:788)

at org.apache.hadoop.hbase.regionserver.HRegionServer.createRpcServices(HRegionServer.java:570)

at org.apache.hadoop.hbase.regionserver.HRegionServer.<init>(HRegionServer.java:487)

... 10 more

Caused by: java.net.BindException: Address already in use

at sun.nio.ch.Net.bind0(Native Method)

at sun.nio.ch.Net.bind(Net.java:444)

at sun.nio.ch.Net.bind(Net.java:436)

at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)

at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)

at org.apache.hadoop.hbase.ipc.RpcServer.bind(RpcServer.java:2366)

... 15 more

执行 bin/start-hbase.sh 后,在hmaster 节点上执行 bin/local-regionservers.sh start 1(2,3,4...) 启动regionserver

1,2,3,4表示偏移量 默认端口是 16020 加上偏移量之后启用16021端口,解决端口冲突

时间: 2024-10-26 20:01:07

hbase中hbase和regionserver端口冲突问题的相关文章

【转】HBase中Zookeeper,RegionServer,Master,Client之间关系

在2.0之前HDFS中只有一个NameNode,但对于在线的应用只有一个NameNode是不安全的,故在2.0中对NameNode进行抽象,抽象成NamService其下包含有多个NameNode,但只有一个运行在活跃状态,因此需要zookeeper进行选举和自动转换.一旦active当掉之后zookeeper会自定进行切换将standby切换为active. 图片来源:HDFS-1623设计文档 图片作者: Sanjay Radia, Suresh Srinivas 如上图,每一个运行Name

IIS服务器和xampp中的appche服务器端口冲突解决办法

今天在启动xampp中的appche的时候,发现以前能起来的现在起不来了.想到可能是最近配置的系统自带的IIS服务器把appche的端口给占用了. (appche和iis的默认端口号都是:80:) 问题来了,那么想办法解决吧. 1.解除iis服务器80端口的占用,让appche可以启动: 方法一: 控制面板-管理工具-服务-World Wide Web Publishing Service 先停止后禁用 : 方法二 :打开cmd命令行控制台,运行  net stop iisadmin /yes

hbase中regionserver进程没过一段时间就会down

各位,哪位大神帮忙看一下,cdh5.9.2环境中hbase中的regionserver服务没过一段时间就会down 本人已经确认不是时间同步问题,下面是具体的regionserver日志信息 2018-05-05 15:12:42,461 INFO org.apache.hadoop.hbase.util.VersionInfo: HBase 1.2.0-cdh5.9.22018-05-05 15:12:42,480 INFO org.apache.hadoop.hbase.util.Versi

ZooKeeper原理及其在Hadoop和HBase中的应用

简介 ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现.分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅.负载均衡.命名服务.分布式协调/通知.集群管理.Master选举.分布式锁和分布式队列等功能. 基本概念 本节将介绍ZooKeeper的几个核心概念.这些概念贯穿于之后对ZooKeeper更深入的讲解,因此有必要预先了解这些概念. 集群角色 在ZooKeeper中,有三种角色: Leader Follower Observer 一

Hbase 中 hbase-site.xml 参数含义

hbase.client.scanner.caching 定义在扫描器中调用next方法时取回的行数.数值越大,在扫描时客户端需要对RegionServer发出的远程调用次数越少.数值越大,客户端消耗内存越大. hbase.balancer.period region均衡器在HBase Master中周期性运行.该属性定义了均衡器运行的时间间隔,默认5分钟,单位毫秒. hbase.client.write.buffer 客户端HTable实例写缓存,单位Byte.越大RPC调用越少,同时占用更多

hbase中的位图索引--布隆过滤器

在hbase中,读业务是非常频繁的.很多操作都是客户端根据meta表定位到具体的regionserver然后再查询region中的具体的数据. 但是现在问题来了,一个region由一个memstore以及多个filestore组成,memstore类似缓存在服务器内存中,可以提高插入的效率,当memstore达到一定大小(由hbase.hregion.memstore.flush.size设置)或者说用户手动flush之后,就会固化存储在hdfs之类的磁盘系统上.也就是说一个region可以对应

Hbase的WAL在RegionServer基本调用过程

版权声明:本文由熊训德原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/221 来源:腾云阁 https://www.qcloud.com/community Hbase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群.本文档用于说明hbase的wal简单原理以及从源码的角度分析一个"写"请求是如何到达wal,wal又会做哪些请求.

【HBase】zookeeper在HBase中的应用

转自:http://support.huawei.com/ecommunity/bbs/10242721.html Zookeeper在HBase中的应用 HBase部署相对是一个较大的动作,其依赖于zookeeper cluster,hadoop HDFS. Zookeeper作用在于: 1.hbase regionserver 向zookeeper注册,提供hbase regionserver状态信息(是否在线). 2.hmaster启动时候会将hbase系统表-ROOT- 加载到 zook

MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)

声明: 若要转载, 请标明出处. 前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中. 引用: 一.这种方式有很多的优点: 1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 "Bulk Loading"方法,即HBase提供的HFileOutputFormat类. 2. 它是利用hbase