Spark操作Hbase

Spark 下操作 HBase（1.0.0 新 API）

HBase经过七年发展，终于在今年2月底，发布了 1.0.0 版本。这个版本提供了一些让人激动的功能，并且，在不牺牲稳定性的前提下，引入了新的API。虽然 1.0.0 兼容旧版本的 API，不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark 结合，进行数据的写入与读取。鉴于国内外有关 HBase 1.0.0 新 API 的资料甚少，故作此文。

本文将分两部分介绍，第一部分讲解使用 HBase 新版 API 进行 CRUD 基本操作；第二部分讲解如何将 Spark 内的 RDDs 写入 HBase 的表中，反之，HBase 中的表又是如何以 RDDs 形式加载进 Spark 内的。

环境配置

为了避免版本不一致带来不必要的麻烦，API 和 HBase环境都是 1.0.0 版本。HBase 为单机模式，分布式模式的使用方法类似，只需要修改HBaseConfiguration的配置即可。

开发环境中使用 SBT 加载依赖项

name := "SparkLearn"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.3.0"

libraryDependencies += "org.apache.hbase" % "hbase-client" % "1.0.0"

libraryDependencies += "org.apache.hbase" % "hbase-common" % "1.0.0"

libraryDependencies += "org.apache.hbase" % "hbase-server" % "1.0.0"

HBase 的 CRUD 操作

新版 API 中加入了 Connection，HAdmin成了Admin，HTable成了Table，而Admin和Table只能通过Connection获得。Connection的创建是个重量级的操作，由于Connection是线程安全的，所以推荐使用单例，其工厂方法需要一个HBaseConfiguration。

val conf = HBaseConfiguration.create()conf.set("hbase.zookeeper.property.clientPort", "2181")conf.set("hbase.zookeeper.quorum", "master")

//Connection 的创建是个重量级的工作，线程安全，是操作hbase的入口val conn = ConnectionFactory.createConnection(conf)

创建表

使用Admin创建和删除表

val userTable = TableName.valueOf("user")

//创建 user 表val tableDescr = new HTableDescriptor(userTable)tableDescr.addFamily(new HColumnDescriptor("basic".getBytes))println("Creating table `user`. ")if (admin.tableExists(userTable)) {  admin.disableTable(userTable)  admin.deleteTable(userTable)}admin.createTable(tableDescr)println("Done!")

插入、查询、扫描、删除操作

HBase 上的操作都需要先创建一个操作对象Put,Get,Delete等，然后调用Table上的相对应的方法

try{  //获取 user 表  val table = conn.getTable(userTable)

  try{    //准备插入一条 key 为 id001 的数据    val p = new Put("id001".getBytes)    //为put操作指定 column 和 value （以前的 put.add 方法被弃用了）    p.addColumn("basic".getBytes,"name".getBytes, "wuchong".getBytes)    //提交    table.put(p)

    //查询某条数据    val g = new Get("id001".getBytes)    val result = table.get(g)    val value = Bytes.toString(result.getValue("basic".getBytes,"name".getBytes))    println("GET id001 :"+value)

    //扫描数据    val s = new Scan()    s.addColumn("basic".getBytes,"name".getBytes)    val scanner = table.getScanner(s)

    try{      for(r <- scanner){        println("Found row: "+r)        println("Found value: "+Bytes.toString(          r.getValue("basic".getBytes,"name".getBytes)))      }    }finally {      //确保scanner关闭      scanner.close()    }

    //删除某条数据,操作方式与 Put 类似    val d = new Delete("id001".getBytes)    d.addColumn("basic".getBytes,"name".getBytes)    table.delete(d)

  }finally {    if(table != null) table.close()  }

}finally {  conn.close()}