博文作者:那伊抹微笑
csdn 博客地址:http://blog.csdn.net/u012185296
itdog8 地址链接 : http://www.itdog8.com/thread-202-1-1.html
博文标题:HBase - MapReduce - 使用 MapReduce 批量操作 HBase 介绍 | 那伊抹微笑
个性签名:世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在
技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术
转载声明:可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作!
qq交流群:214293307 (期待与你一起学习,共同进步)
参考 : http://abloz.com/hbase/book.html#mapreduce.example
1 三种访问模式
HBase 作为输入源:输入源是 HBase,输出源可以使 RDBMS、HDFS 或其他 NoSQL。多用于统计现有 HBase 中的相关数据,将结果输出到非 HBase 存储中。
HBase 作为输出源:与 HBase 作为输入正好相反。输入是其它非 HBase 存储,例如 RDBMS、HDFS等,输出到 HBase。常用于数据迁移,从传统存储迁移到 HBase。
HBase 作为共享源:输入和输出源都是 HBase。常用于丹数据已经存储在HBase 中,中间结果处理后仍需要使用 HBase 作为存储的处理场景。比如:特殊业务列的更新
2 实现 MapReduce API(HBase 自带,方便用户开发)
-----------------------------------
-------
--
-DML 命令列表-----------------------------------------------------------
类名 |
类作用解释 |
TableInputFormat |
将 HBase 中的表格式数据格式化为 MapReduce 可读的格式 |
TableOutputFormat |
将 MapReduce 格式数据转化为 HBase 表格式数据 |
MultiTableInputFormat |
将多个 HBase 中的表格式数据格式化为 MapReduce 可读的格式 |
MultiTableOutputFormat |
将 MapReduce 格式数据转化到多个 HBase 表中 |
TableMapper |
扩展自 Mapper 类,所有以 HBase 作为输入源的 Mapper 类需要继承该类 |
TableReducer |
扩展自 Reudcer 类,所有以 HBase 作为输出源的 Reducer 类需要继承该类 |
TableMapReduceUtil |
设置 TableMapper 和 TableReducer 的工具类 |
CellCounter |
计算表中单元格数据量的任务 |
RowCounter |
计算表中行键数据量的任务 |
版权声明:本文为博主原创文章,未经博主允许不得转载。