HBase的数据备份与恢复机制BDR

一、快照机制snapshots

简单在hbase上做个表做测试:

hbase(main):044:0> scan ‘student‘
ROW                             COLUMN+CELL                                                                               
 num1                           column=shuxing:name, timestamp=1412189531346, value=jaybing                               
 num2                           column=shuxing:name, timestamp=1412189623682, value=jaychou                               
 num3                           column=shuxing:like, timestamp=1412189669404, value=game                                  
3 row(s) in 0.0260 seconds

创建这个表的快照:
hbase(main):045:0> snapshot ‘student‘,‘snapshot_student‘
0 row(s) in 1.2620 seconds

[[email protected] ~]# hadoop fs -ls /tmpdir/
Found 9 items
drwxr-xr-x   - root supergroup          0 2014-10-02 02:58 /tmpdir/.hbase-snapshot
drwxr-xr-x   - root supergroup          0 2014-10-01 21:48 /tmpdir/.tmp
drwxr-xr-x   - root supergroup          0 2014-10-01 21:37 /tmpdir/WALs
drwxr-xr-x   - root supergroup          0 2014-10-02 02:42 /tmpdir/archive
drwxr-xr-x   - root supergroup          0 2014-09-28 00:42 /tmpdir/corrupt
drwxr-xr-x   - root supergroup          0 2014-09-26 11:20 /tmpdir/data
-rw-r--r--   2 root supergroup         42 2014-09-26 11:20 /tmpdir/hbase.id
-rw-r--r--   2 root supergroup          7 2014-09-26 11:20 /tmpdir/hbase.version
drwxr-xr-x   - root supergroup          0 2014-10-02 02:48 /tmpdir/oldWALs
[[email protected] ~]# hadoop fs -ls /tmpdir/.hbase-snapshot
Found 2 items
drwxr-xr-x   - root supergroup          0 2014-10-02 02:58 /tmpdir/.hbase-snapshot/.tmp
drwxr-xr-x   - root supergroup          0 2014-10-02 02:58 /tmpdir/.hbase-snapshot/snapshot_student    这应该就是快照的数据文件;

删除student表两行,模拟数据文件损坏;

hbase(main):061:0> disable ‘student‘
0 row(s) in 2.0310 seconds

hbase(main):062:0> is_
is_a?         is_disabled   is_enabled
hbase(main):062:0> is_enabled ‘student‘
false                                                                                                                     
0 row(s) in 0.0800 seconds

hbase(main):063:0> drop
drop             drop_all         drop_namespace
hbase(main):063:0> drop ‘student‘
0 row(s) in 0.1940 seconds

hbase(main):064:0> list

TABLE                                                                                                                     
0 row(s) in 0.0200 seconds

=> []

用快照恢复表:

hbase(main):070:0> restore_snapshot ‘snapshot_student‘
0 row(s) in 6.4950 seconds

hbase(main):071:0> scan ‘student‘
ROW                             COLUMN+CELL                                                                               
 num1                           column=shuxing:name, timestamp=1412189531346, value=jaybing                               
 num2                           column=shuxing:name, timestamp=1412189623682, value=jaychou                               
 num3                           column=shuxing:like, timestamp=1412189669404, value=game                                  
3 row(s) in 0.2190 seconds

注: 快照只是保存着快照时hbase表那一刻的数据,至于快照以后的增量的数据,快照是 不支持的;

二、导出表Export和 拷贝表copytable

HBase的表导出工具是一个内置的功能,它使数据很容易从hbase导入hdfs目录下的sequencefiles文件,它创造了一个Map reduce任务,通过一系列的hbase api来调用集群,获取指定的表格的每一行数据,并将数据写入指定 的HDFS目录中;

HBase的表拷贝工具和导出工具差不多,拷贝表也hbase api创建map reduce任务,从源数据读取数据,不同的是拷贝的输出是hbase 的另一个表;这个表可在本地集群,也可在远程集群;

时间: 2024-10-10 07:06:36

HBase的数据备份与恢复机制BDR的相关文章

Hbase写数据,存数据,读数据的详细过程

转自:http://www.aboutyun.com/thread-10886-1-1.html 附HBase 0.94之后Split策略: http://www.aboutyun.com/thread-11211-1-1.html 1.Client写入需要哪些过程?2.Hbase是如何读取数据的? Client写入 -> 存入MemStore,一直到MemStore满 -> Flush成一个StoreFile,直至增长到一定阈值 -> 出发Compact合并操作 -> 多个Sto

Hbase在数据统计中的应用心得

1. 数据统计的需求 互联网上对于数据的统计,一个重要的应用就是对网站站点数据的统计,例如CNZZ站长统计.百度统计.Google Analytics.量子恒道统计等等. 网站站点统计工具无外乎有以下一些功能: 1)网站流量统计:包括PV.UV.IP等指标,这些统计指标可以以趋势图的形式展示出来,如最近一周.最近一个月等. 2)IP来源信息统计:记录各个来源IP下的访问PV数. 3)访问来源分析:记录访客是从哪些途径到达本网站的. 4)搜索引擎及搜索关键词分析:对于各个指定搜索引擎带来访问PV的

CentOS 6.5 MySQL/MariaDB数据备份与恢复备份详解

MySQL/MariaDB数据备份与恢复备份 数据对我们来说再重要不过了,那我们如何做到对数据尽可能的安全呢,当我们的数据丢失了那又该怎么做呢,所以说数据备份对我们的数据安全性来说太重要了. 数据对我们来说再熟悉不过了,也最平常不过了,我们每天都在接触各色各样的数据,数据记录了我们平常相关的业务信息,所以数据对于我们来说是很重要的,这么重要的数据如果我们的数据丢失了那我们是不是相关的业务都没法进行了呢,这应该是个很麻烦的问题,那我们怎么保护我们的数据的安全呢,这就要用到我们的数据备份了. 如何执

Redis数据备份与恢复

Redis数据备份与恢复 持久化 一.RDB方式(默认) RDB方式的持久化是通过快照(snapshotting)完成的,当符合一定条件时Redis会自动将内存中的所有数据进行快照并存储在硬盘上.进行快照的条件可以由用户在配置文件中自定义,由两个参数构成:时间和改动的键的个数.当在指定的时间内被更改的键的个数大于指定的数值时就会进行快照.RDB是Redis默认采用的持久化方式,在配置文件中已经预置了3个条件: save 900 1    # 900秒内有至少1个键被更改则进行快照 save 30

数道云大数据平台解决方案,Hadoop + HDFS+Hive+Hbase大数据开发整体架构设计

波若大数据平台(BR-odp)Hadoop + HDFS+Hive+Hbase大数据开发工具剖析: HDFS:分布式.高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,大规模的波若大数据平台(BR-odp)用户部署上1000台的HDFS集群.数据规模高达50PB以上 HDFS和MR共同组成Hadoop分布式系统体系结构的核心.HDFS在集群上实现了分布式文件系统,MR在集群上实现了分布式计算和任务处理.HDFS在MR任务处理过程中提供了文件操作和存储等支持,MR在HDF

Oracle 和SQL server中数据备份与恢复

Oracle 侧 创建一个表,将现有表数据导入其中. create Table  TB_NYU_TENDERTBL_BAK   as  select *  from  TB_NYU_TENDERTBL  where  1=1 删除原来表内容. DELETE  FROM TB_NYU_TENDERTBL 恢复表的内容 insert  into TB_NYU_TENDERTBL  select  * from  TB_NYU_TENDERTBL_BAK SQL server侧 select  * i

关系型数据库与HBase的数据储存方式区别

如今Bigtable型(列族)数据库应用越来越广,功能也很强大.但是很多人还是把它当做关系型数据库在使用,用原来关系型数据库的思维建表.存储.查询.本文以hbase举例讲述数据模式的变化. 传统关系型数据库(mysql,oracle)数据存储方式主要如下: 图一 上图是个很典型的数据储存方式,我把每条记录分成3部分:主键.记录属性.索引字段.我们会对索引字段建立索引,达到二级索引的效果. 但是随着业务的发展,查询条件越来越复杂,需要更多的索引字段,且很多值都不存在,如下图: 图二 上图是6个索

Redis 数据备份与恢复

Redis 数据备份与恢复参考资料:http://www.runoob.com/redis/redis-backup.htmlRedis SAVE 命令用于创建当前数据库的备份.语法redis Save 命令基本语法如下:redis 127.0.0.1:6379> SAVE 实例redis 127.0.0.1:6379> SAVE OK该命令将在 redis 安装目录中创建dump.rdb文件.恢复数据如果需要恢复数据,只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服

kettle连接Hbase中数据导入(8)

http://wiki.pentaho.com/display/BAD/Loading+Data+into+HBase 1)下载样本文件 到官网去下载 2)Hbase中建表 3)创建转换 3)配置Text file Input 5)配置content和Fields 6)添加HBase Output 7)配置HBase Output 8)配置Mapping 9)完成配置连接 10)保存运行 11)检查Hbase中数据