hbase (local mode) remote access

如果初学hbase,没必要弄一个集群,hbase的local mode够用了。

这里写一个简单的教程。适用于初学hbase,想要用代码访问hbase的童鞋们。

目录:

0. 准备

1).  开发环境

2).  修改主机名

3). centos里安装jdk

1. 安装hbase (local mode)

1). 下载

2). 解压

3). 配置

4). 运行

5). hbase shell访问

2. 远程访问

3. 总结

0. 准备

1).  开发环境

一台laptop,win10,eclipse,vmware 10,centos 7.3

这是本人的笔记本的开发环境,基本上eclipse运行在 windows上,hbase运行在vm中。

如果在centos7.3里装个eclipse,这个就不算远程访问了。这里不讨论这种情况。

2).  修改centos 7.3的机器名

本地模式的hbase,默认是使用主机名作为/hbase/master的地址的。如果主机名是localhost,在eclipse远程访问时有问题。所以要修centos的主机名。

# vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=docker

# vi /etc/hosts
192.168.1.135  docker

重启centos# init 6

因为这个vm本人也用来学习docker,所以主机名就改为docker了。

3). centos里安装jdk

下载一个rpm形式的jdk, 然后

# rpm -ivh jdk-8u101-linux-x64.rpm

其它如.tar.gz形式也无所谓,安装就行了。

2.  安装hbase

本地模式是指底层的文件系统不是使用HDFS,而是直接使用OS的本地文件系统。

1). 下载

下载hbase-1.2.6, 这个去hbase.apache.org去下载就好了,可以在win10里下,再copy进centos,也可以直接在centos里下

# wget ...

下载zookeeper-3.4.6,这个下载后只要解压即可,放在/opt/zookeeper-3.4.6

2).  解压

假设文件在/opt/hbase-1.2.6.tar.gz
# cd /opt
# tar zvxf hbase-1.2.6.tar.gz

则hbase解压后位于/opt/hbase-1.2.6

3). 配置

本机运行,需要配置两个文件: conf/hbase-env.sh, conf/hbase-site.xml

conf/hbase-env.sh

依据你的JDK的位置,配置JAVA_HOME

# cd /opt/hbase-1.2.6
# vi conf/hbase-env.sh
...
export JAVA_HOME=/usr/java/latest
...

conf/hbase-site.xml

# vi conf/hbase-site.xml
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///opt/hbase-1.2.6/data/hbase</value>
  </property>

  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/opt/hbase-1.2.6/data/zookeeper</value>
  </property>
</configuration>

再新建两个目录, 用于保存数据

# cd /opt/hbase-1.2.6
# mkdir -p data/hbase
# mkdir data/zookeeper

4). 运行

运行后,可以在浏览器里打开hbase的web ui  -> http://192.168.1.135:16010

因为本地模式zookeeper是运行于hbase的jvm内,使用 jps命令看不到zookeeper的进程,此时可以使用下载的zookeeper连接查看:

# cd /opt/zookeeper-3.4.6
# bin/zkCli.sh

这样就连接到zookeeper,可以查看master的地址:

如果不改主机名, centos默认是localhost, 那么红框这个地方就是localhost。

停止运行:

5). hbase shell访问

新建表,表名:test,列族:cf

然后向test表中put一行:  rowkey:  "row1",   列:a,  即cf:a, 值:"value1"

然后通过get查询,结果如下图:

二. 远程访问

“远程”,是指访问的程序不运行于hbase运行的centos中, 换句话说,就是访问程序和hbase运行的vm用的是两个IP。(比如我的win10: 192.168.1.102, vm: 192.168.1.135)

在eclipse里新建java工程,普通的java工程,只使用main()运行。

然后在工程目录下建一个目录: lib,与src同级,将vm中hbase-1.2.6/lib目录下的所有jar,全部复制放到eclipse的lib里,设置eclipse 工程的build路径,添加lib里的所有jar,这个应该搞 java都知道。

工程目录结构:

TestConnection.java

package ex1;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;

public class TestConnection {

    public static Configuration configuration;
    static{
        configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.quorum", "192.168.1.135") ;
        System.out.println("===============");
    }

    public static void main(String[] args) throws Exception {
        Connection conn = ConnectionFactory.createConnection(configuration);
        Table table = conn.getTable(TableName.valueOf("test"));
        Get get = new Get(Bytes.toBytes("row1"));
        get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("a"));
        Result r = table.get(get);
        if(r.isEmpty()) {
            System.out.println("result is null");
        }
        System.out.println("result=" + new String(r.value()));
        conn.close();
    }
}

运行程序前,要改win10的 /etc/hosts文件(C:\Windows\System32\drivers\etc\hosts),添加如下行:

192.168.1.135    docker

改完这个文件后, web ui也可以这样访问了 ->  http://docker:16010

运行结果:

3. 总结:

其实说了这么多, 捞干的说就是: hbase的本地模式使用主机名作为地址

而hbase client(即eclipse中的代码)是通过zookeeper中的地址(就是画红框的那个地方)访问hbase的,如果zookeeper保存的是localhost, 而localhost的ip是127.0.0.1,

那么就变成了访问win10自己了,就不是访问centos了。

改vm的主机名,就是让这个名字仅是个名字,这样才可以关联其它IP,而不是127.0.0.1。

原文地址:https://www.cnblogs.com/bear129/p/8270810.html

时间: 2024-11-14 11:56:17

hbase (local mode) remote access的相关文章

500 OOPS: vsftpd: both local and anonymous access

配置ftp服务器,有如下报错 C:\netos74\bin>ftp 10.20.100.252Connected to 10.20.100.252.500 OOPS: vsftpd: both local and anonymous access disabled!Connection closed by remote host. 解决办法 [[email protected] etc]# vi /etc/vsftpd/vsftpd.conf //修改vsftpd.conf文件 local_en

vpn找不到设备,win7建立新的VPN总时显示错误711,无法启动 Remote Access Connection Manager 及 Remote Access Auto Connection Manager 错误1068

试试相关服务!一.remote access connection manager是网络连接的服务,它依赖于Technology服务,现在你的这个服务已经启动,而Secure Socket Tunnel是基于ipsec的,以下几个service必须在运行:Base Filtering EngineIKE and Authip IPsec Keying ModuleIPsec Policy Agent楼主看看这些服务启动没有,然后再这样试试:开始菜单-运行-regedt32,打开注册表定位到“HK

Dell&#8482; Remote Access Controller 默认用户名和密码

Dell Remote Access Controller 访问基于 Web 的界面的 默认用户名是 root,默认密码是 calvin,一般系统主清除后,就是此密码.

Linux Ubuntu MySQL remote access 远程连接配置

For security consideration, mySQL does NOT allow remote access by default. You might see err: Can't connect to MySQL server on 'xx.xx.xx.xx'(10061) Please check below configurations: ========================== 1. Listen to remote servers vi /etc/mysq

【转】 Pro Android学习笔记(七六):服务(1):local和remote

文章转载只能用于非商业性质,且不能带有虚拟货币.积分.注册等附加条件.转载须注明出处:http://blog.csdn.net/flowingflying/ Android提供服务,服务是运行在后台的组件,没有UI,独立于activity的生命周期.有两种类型的服务:local services和remote services.本地服务是只能被本应用调用,而远端服务则可以被其他应用调用.远端服务通过AIDL(Android Interface Definition Language)描述.在服务

3.0 - remote access 基础知识

RA概述: remote access: 广域网的远程连接,按L1分类: 1:通过电路交换网络实现的专线:(circuit switching) ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~`` 1.1:通过真实的专用物理链路,实现的专线: 一般是通过同步串行链路(V.35)连接的,其支持的二层封装协议主要包括: HDLC/PPP/SLIP 1.2:通过TDM网络(时分多路复用)实现的专线: 典型有:E1 其支持的二层

EJB之Local与Remote

:first-child{margin-top:0!important}img.plugin{box-shadow:0 1px 3px rgba(0,0,0,.1);border-radius:3px}iframe{border:0}figure{-webkit-margin-before:0;-webkit-margin-after:0;-webkit-margin-start:0;-webkit-margin-end:0}kbd{border:1px solid #aaa;-moz-bord

Ubuntu14.04 开启MySQL的remote access

一旦开启MySQL的remote access, 即可实现在windows系统下连接ubuntu下的mysql 步骤如下: sudo vim /etc/mysql/my.cnf bind-address            = 127.0.0.1 #表示仅允许此ip地址访问, 将其注释 去phpmyadmin下, 添加一个用户 用户名+密码+主机%(代表任意主机) 全局权限: 数据+结构全选, 管理不选 即可远程访问mysql数据库

选择Remote Access Plus作为企业内部远程工具的五个原因

自2005年以来,远程工作一直在增长,并且在过去12年中增长了159%以上.而现在,随着COVID-19肆虐全球,越来越多的公司采取居家远程办公的方法降低人与人接触的几率,从而减少被传染概率. "无论准备好与否,许多冠状病毒应急计划都需要远程工作," Gartner说 . 长期以来,企业一直认为无可挑剔的远程工作经验是其应急计划的关键要素.现在,COVID-19的连锁反应使远程工作成为所有行业的必需品.在IT部门中,这意味着管理员需要提供远程的支持和故障排除等.ManageEngine