HBase数据的导入和导出

查阅了几篇中英文资料,发现有的地方说的不是很全部,总结在此,共有两种命令行的方式来实现数据的导入导出功能,即备份和还原。

1 HBase本身提供的接口

其调用形式为:

1)导入

./hbase org.apache.hadoop.hbase.mapreduce.Driver import 表名    数据文件位置

其中数据文件位置可为本地文件目录,也可以分布式文件系统hdfs的路径。

当其为前者时,直接指定即可,也可以加前缀file:///

而当其伟后者时,必须明确指明hdfs的路径,例如hdfs://mymaster:9000/path

2)导出

./hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名    数据文件位置

同上,其中数据文件位置可为本地文件目录,也可以分布式文件系统hdfs的路径。

另外,该接口类还提供了一些其它的方法,例如表与表之间的数据拷贝,导入tsv文件等,可回车键查看

2 hadoop提供的工具(hadoop tool interface)

使用该工具的话,需要首先配置hadoop-env.sh,否则在执行时会提示缺少jar包或者class文件。

1)配置

切换到hadoop安装目录下,

vim hadoop-env.sh,加以下语句

export HADOOP_CLASSPATH="hbasejar包路径:zookeeper的jar包路径:hbase的config目录"

2)使用

导入:

hadoop jar /../hbase/hbase-*.jar import mytest /export/mybakup

导出:

hadoop jar /../hbase/hbase-*.jar import mytest /import/mybackup

直接将数据导出到hdfs目录中,当不指定file前缀时。

另外:

export,fs的参数为hdfs上的路径时,该路径必须不能已经存在,否则会报错。

import的表必须是hbase中已经创建好的,否则会报错。

时间: 2024-08-07 21:18:38

HBase数据的导入和导出的相关文章

详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出

一.使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二.使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL 2.3 HBase中的数据导出到mysql 目前没有直接的命令将HBase中的数据导出到MySQL,但可以先将HBase中的数据导出到HDFS中,再将数据导出到MySQL. 三.使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase 下面只给出将Oracle中的数据导入HBase,其他情况下的命令行选项与MySQL的操作相似 O

Oracle 数据的导入和导出(SID service.msc)

一:版本说明: (1)(Oracle11  32位系统)Oracle - OraDb11g_home1: (2)安装成功后显示如下:第一个图是管理工具,创建连接,创建表:第二个是数据库创建工具: (3)Oracle 的数据库创建可不像MySQL先建立连接(localhost 3306),再在连接界面右键点击即可创建数据库,之后在创建表,一个连接对应多个数据库:Oracle恰恰相反:先创建数据库(按第二个图是数据库创建工具):再建立连接(按第一个图是管理工具,创建连接,创建表),在连接的基础上创建

HBase数据快速导入之ImportTsv&Bulkload

导入数据最快的方式,可以略过WAL直接生产底层HFile文件 (环境:centos6.5.Hadoop2.6.0.HBase0.98.9) 1.SHELL方式 1.1 ImportTsv直接导入 命令:bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv Usage: importtsv -Dimporttsv.columns=a,b,c <tablename> <inputdir> 测试: 1.1.1在HBase中创建好表 c

基于Metronic的Bootstrap开发框架经验总结(7)--数据的导入、导出及附件的查看处理

在很多系统模块里面,我们可能都需要进行一定的数据交换处理,也就是数据的导入或者导出操作,这样的批量处理能给系统用户更好的操作体验,也提高了用户录入数据的效率.我在较早时期的EasyUI的Web框架上,也介绍过通过Excel进行的数据导入导出操作,随笔文章为<基于MVC4+EasyUI的Web开发框架经验总结(10)--在Web界面上实现数据的导入和导出>,本文基于Bootstrap的框架基础上,再对这个模块进行更新处理,以及Office文档或者图片等附件的查看处理. 1.数据的导入操作 一般系

基于MVC+EasyUI的Web开发框架经验总结(10)--在Web界面上实现数据的导入和导出

数据的导入导出,在很多系统里面都比较常见,这个导入导出的操作,在Winform里面比较容易实现,我曾经在之前的一篇文章<Winform开发框架之通用数据导入导出操作>介绍了在Winform里面的通用导入导出模块的设计和开发过程,但在Web上我们应该如何实现呢?本文主要介绍利用MVC4+EasyUI的特点,并结合文件上传控件Uploadify 的使用,实现文件上传后马上进行处理并显示,然后确认后把数据写入数据库的过程. 我们知道,Web上对Excel的处理和Winform的有所差异,如果是在We

基于MVC4+EasyUI的Web开发框架经验总结(10)--在Web界面上实现数据的导入和导出

数据的导入导出,在很多系统里面都比较常见,这个导入导出的操作,在Winform里面比较容易实现,我曾经在之前的一篇文章<Winform开发框架之通用数据导入导出操作>介绍了在Winform里面的通用导入导出模块的设计和开发过程,但在Web上我们应该如何实现呢?本文主要介绍利用MVC4+EasyUI的特点,并结合文件上传控件Uploadify 的使用,实现文件上传后马上进行处理并显示,然后确认后把数据写入数据库的过程. 我们知道,Web上对Excel的处理和Winform的有所差异,如果是在We

HBase数据的导入导出

1.导出: hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 导出存放路径 其中数据文件位置可为本地文件目录,也可以分布式文件系统hdfs的路径. 当其为前者时,直接指定即可,也可以加前缀file:/// 而当其为后者时,必须明确指明hdfs的路径,例如hdfs://192.168.1.200:9000/path 2.导入: hbase org.apache.hadoop.hbase.mapreduce.Driver import

Sqoop_具体总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出

一.使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二.使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL 2.3 HBase中的数据导出到mysql 眼下没有直接的命令将HBase中的数据导出到MySQL.但能够先将HBase中的数据导出到HDFS中.再将数据导出到MySQL. 三.使用Sqoop将Oracle中的数据导入到HDFS/Hive/HBase 以下仅仅给出将Oracle中的数据导入HBase,其它情况下的命令行选项与MySQL的操作相似

6-06数据的导入与导出

导入数据: 从SQL Sever的外部数据源中检索数据, 然后将数据插入到SQL Sever 表中的过程. 导出数据: 将SQL Sever  中的数据导出指定格式的过程. 导入数据注意实项: 与插入数据的顺序相同,有主外键关系的,先导入主表中的数据,再导入子表中的数据. 步骤: 点击要操作的数据库,右击点任务,再点击导入数据. 这里选择要导入的文件. 直接点击下一步. 点击下一步. 这里可以选择你要把文件导入到哪一个表中,然后点击下一步. 把下面的选项都改为忽略,点击下一步. 然后就导入成功了