关系型数据库导入到Hbase

#!/bin/sh
. /etc/profile

sqoop import #连接
--connect \
"jdbc:mysql://192.168.1.107:3306/test" #用户名
--username  root#密码
 --password 123456 #使用多少个Map
   - m\
 1 #如果有null用‘‘替代
--null-string‘‘#Mysql的表名
   --table user #字段
   --columns  "id,host,user,password" #可加条件
--where
  id=108
#Hbase的表名
   --hbase-table aa #列族
   --column-family cf #那一列字段作为rowkey呢？
   --hbase-row-key id 

关系型数据库的ID一般来说是自增的，如果我们导入到Hbase可能会造成存储热点，如何避免呢？

维护一个reverse(id) 即可。

一般来说在关系型数据库创建一个字段，进行翻转

update user set reverse_id = reverse(id);

然后把reverse_id 当做RowKey即可

调用执行

sqoop --options-file ./user.opt