hbase port

From "Jonathan Hsieh (JIRA)" <[email protected]>
Subject [jira] [Updated] (HBASE-10123) Change default ports; move them out of linux ephemeral port range
Date Fri, 17 Jan 2014 17:42:23 GMT
     [ https://issues.apache.org/jira/browse/HBASE-10123?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel
]

Jonathan Hsieh updated HBASE-10123:
-----------------------------------

    Release Note:
After 0.98 hbase‘s default ports have changed to be outside of the ephemeral port range:.

hbase.master.port :  60000 -> 16000
hbase.master.info.port (http): 60010 -> 16010
hbase.regionserver.port : 60020 -> 16020
hbase.regionserver.info.port (http): 60030 -> 16030
hbase.status.multicast.port : 60100 -> 16100

To set the old defaults you can add this to your hbase-site.xml:

 <property >
    <name>hbase.master.port</name>
    <value>60000</value>
  </property>
  <property>
    <name>hbase.master.info.port</name>
    <value>60010</value>
  </property>
  <property>
    <name>hbase.regionserver.port</name>
    <value>60020</value>
  </property>
  <property>
    <name>hbase.regionserver.info.port</name>
    <value>60030</value>
  </property>

HBase up to and including 0.98.x chose default tcp ports in the 600xx port range which conflicts
with the standard unix/linux ephmeral port range of 49152-65535 or 32768-61000.  This meant
if any other processes chose to bind to a os specified port it could bind to the ports that
hbase had as default.  If hbase processes were restarted some hbase nodes would fail to start.
 The probability of this happening increases as the number of nodes in the cluster increases.

  was:
After 0.98 hbase‘s default ports have changed to be outside of the ephemeral port range:.

hbase.master.port :  60000 -> 16000
hbase.master.info.port (http): 60010 -> 16010
hbase.regionserver.port : 60020 -> 16020
hbase.regionserver.info.port (http): 60030 -> 16030
hbase.status.multicast.port : 60100 -> 16100

HBase up to and including 0.98.x chose default tcp ports in the 600xx port range which conflicts
with the standard unix/linux ephmeral port range of 49152-65535 or 32768-61000.  This meant
if any other processes chose to bind to a os specified port it could bind to the ports that
hbase had as default.  If hbase processes were restarted some hbase nodes would fail to start.
 The probability of this happening increases as the number of nodes in the cluster increases.

> Change default ports; move them out of linux ephemeral port range
> -----------------------------------------------------------------
>
>                 Key: HBASE-10123
>                 URL: https://issues.apache.org/jira/browse/HBASE-10123
>             Project: HBase
>          Issue Type: Bug
>    Affects Versions: 0.96.1.1
>            Reporter: stack
>            Assignee: Jonathan Hsieh
>            Priority: Critical
>             Fix For: 0.98.0
>
>         Attachments: hbase-10123.patch, hbase-10123.v2.patch, hbase-10123.v3.patch, hbase-10123.v4.patch
>
>
> Our defaults clash w/ the range linux assigns itself for creating come-and-go ephemeral
ports; likely in our history we‘ve clashed w/ a random, short-lived process.  While easy to
change the defaults, we should just ship w/ defaults that make sense.  We could host ourselves
up into the 7 or 8k range.
> See http://www.ncftp.com/ncftpd/doc/misc/ephemeral_ports.html

--
This message was sent by Atlassian JIRA
(v6.1.5#6160)
时间: 2024-08-29 23:06:03

hbase port的相关文章

Spring For Hadoop--Working With HBase(一)

最近在做web项目使用到了Hadoop,HBase,在这里对Spring For Hadoop(SHDP)的使用做个总结,主要使用了SHDP中提供的一些封装好的HBase模块.本博客将分两部分写: 对Spring For Hadoop--Working With HBase的基本认识(结合官方文档和自己的使用心得) 项目中的使用案例 1.对Spring For Hadoop--Working With HBase的基本认识 SHDP对HBase和Spring进行了整合,开发者可以通过这个框架可以

Linux巩固记录(6) Hbase环境准备-zookeeper安装

Hbase是运行在hadoop之上,所以请参考第3篇文章搭建好一个master,两个slave的hadoop环境,我采用的版本为hadoop2.7.4 不了解Hbase的同学可以参考下这篇文章,分析得相当深刻,感谢作者 http://blog.csdn.net/u010270403/article/details/51648462 为啥在安装Hbase前需要安装zookeeper? 1,hbase regionserver 向zookeeper注册,提供hbase regionserver状态信

HBase框架学习之路

1 背景知识 1.1 解决问题 解决HDFS不支持单条记录的快速查找和更新的问题. 1.2 适用情况 存在亿万条记录的数据库,只有千万或者百万条记录使用RDBMS更加合适 确保你的应用不需要使用RDBMS的高级特性(第二索引,事务机制,高级查询语言等) 足够的硬件配置,即节点数,HDFS在少于5个节点时并不会表现得很好,HBase也存在相同情况. 2 设计理念 2.1 概述 2.1.1 简介 使用Java语言开发的NoSQL类型的分布式数据库 不支持RDBMS的一些高级特性,如事务机制,第二索引

Hbase关于Java常用API举例

1. HBase相关对Admin操作的的API封装在HBaseAdmin中,封装了HBase常用操作的API 使用方法: pom.xml <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client --> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</arti

hbase ganglia监控配置

hbase ganglia 显示器 hbase 构造 hadoop-metrics2-hbase.properties *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink.ganglia.period=10 hbase.sink.ganglia.period=10 hbase.sink.ganglia.servers=239.2.11.71:8649 hbase.class=org.a

HBase建立二级索引的一些解决方案

HBase的一级索引就是rowkey,我们只能通过rowkey进行检索.如果我们相对hbase里面列族的列列进行一些组合查询,就需要采用HBase的二级索引方案来进行多条件的查询. 常见的二级索引方案有以下几种: 1.MapReduce方案 2.ITHBASE方案 3.IHBASE方案 4.Coprocessor方案 5.Solr+hbase方案 MapReduce方案 IndexBuilder:利用MR的方式构建Index 优点:并发批量构建Index 缺点:不能实时构建Index 举例: 原

MapReduce on HBase使用与集成

为什么需要MapReduce on HBase? hbase本身并没有提供很好地二级索引方式.如果直接使用hbase提供的scan直接扫描方式,在数据量很大的情况下就会非常慢. 可以使用Mapreduce的方法操作hbase数据库.Hadoop MapReduce提供相关API,可以与hbase数据库无缝连接. API链接: http://hbase.apache.org/devapidocs/index.html HBase与Hadoop的API对比 相关类 TableMapper packa

Hbase伪分布式安装

前面的文章已经讲过hadoop伪分布式安装,这里直接介绍hbase伪分布式安装. 1. 下载hbase 版本hbase 1.2.6 2. 解压hbase 3. 修改hbase-env.sh 新增如下内容 export JAVA_HOME=/home/cauchy/software/jdk export HADOOP_HOME=/home/cauchy/software/hadoop export HBASE_HOME=/home/cauchy/software/hbase export HBAS

深入HBase架构解析(一)[转]

前记 公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了自己的语言,并且加入了其他资源的参考理解以及本人自己读源码时对其的理解,属于半翻译.半原创吧. HBase架构组成 HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型节点组成:HMaster节点.HR