HBase的快照技术

(1)     什么是快照

    快照就是一份元信息的合集,允许管理员恢复到表的先前状态,快照不是表的复制而是一个文件名称列表,因而不会复制数据。

    完全快照恢复是指恢复到之前的表结构以及当时的数据快照之后发生的数据不会恢复。

(2)     快照的作用

    Hbase中存在的备份或克隆表的方法就是使用复制/导出表或者在关闭表之后拷贝hdfs中的所有的hfile。复制/导出时通过一些列工具调用mapreduce来扫描并复制表,这样子会对regionserver有直    接的影响,关闭表会停止所有的读写操作,实际环境中往往无法接受。

    相比之下,hbase的快照允许管理员不拷贝数据直接克隆一张表,这对服务器产生的影响最小。将快照导出至其他集群不会直接影响到任何服务器,导出只是带有一些额外逻辑的群间数据同步。

(3)     快照操作

      a)       生成快照:本操作尝试对指定表生成快照。如果集群在执行数据均衡、分割或合并等操作时,可能会一起操作失败,可以现对该表进行快照操作。

          snapshot  ‘tablename’ , ‘table-snapshot’   -->生成表的快照

          list_snapshots   --à查看所有的快照

      b)       克隆快照:本操作使用与指定快照相同的结构数据构建一张新表。操作结果会生成一张有完整功能的表,对该表的任意修改不会对元彪或者快照产生影响。

          clone_snapshot  ‘table-snapshot’ ,’ new-tablename’  --->克隆快照,并生成一张新表,修改新表不会影响原表

      c)        还原快照:本操作将表结构和数据恢复到生成快照时的状态。

          restore_snapshot ‘snapshot-name’

          说明:snapshot-name是对应表的快照,在还原之前请将原表disable。还原之后再enable原表。

      d)       删除快照:本操作将系统中的快照删除,释放未共享的磁盘空间,而且不会影响其他克隆或者快照。

          delete_snapshot  ‘snapshotname’

      e)       导出快照:本操作将快照数据和元数据复制到其他集群。操作只会涉及hdfs,不会与master或者服务器产生任何联系,因此hbase集群可以关闭。

          Hbase  org.apache.hadoop.hbase.snapshot.ExportSnapshot  -snapshot  snapshotname  -copy-to  hdfs:///server2:8082/hbase

(4)     快照的优势

    导出快照与复制/导出表除了更好保持一致性外,主要的不同在于导出快照是在hdfs的层面操作。这意味着Master和服务器与操作无关。因此不需要为不必要的数据创建缓存空间,也不会有扫描过     程,因为大量对象创建引起的GC暂停。对于hbase来说主要性能影响就是datanode额外的网络和磁盘负载。

时间: 2024-08-03 09:37:33

HBase的快照技术的相关文章

vmware vSphere克隆与快照技术

通过Web vCenter我们可以很容易的对虚拟机进行管理,通过克隆技术或创建模板,我们可以迅速的创建虚拟机,我们也可以通过快照技术去捕获虚拟机的一些状态,比如说虚拟机的内存.设置或者虚拟磁盘的情况等等. (1)克隆:副本虚拟机拥有源虚拟机相同的属性,但是副本虚拟机和原始虚拟机有不同的MAC地址和UUID,因此这就允许副本虚拟机和原始虚拟机可以出现在同一网络,并且不会产生任何冲突,可以在开机状态下克隆,也可以在关机状态下克隆.vCenter支持两种克隆方式 完整克隆:与原始虚拟机脱离关系.就一套

利用HBase的快照功能来修改表名

hbase的快照功能常常被用来做数据的恢复的,但是由于项目的特殊需求需要改hbase表的表名.在官网上通过快照功能来修改hbase表名的用法: 下面展示用shell命令的和Java api两种方式: In versions 0.90.x of hbase and earlier, we had a simple script that would rename the hdfs table directory and then do an edit of the hbase:meta table

ROW/COW 快照技术原理解析

目录 目录 快照与备份的区别 Snapshot 快照技术 全量快照 增量快照 COW 写时拷贝快照技术 ROW 写时重定向快照技术 快照与备份的区别 传统地, 人们一直采用数据复制.备份.恢复等技术来保护重要的数据信息, 定期对数据进行备份或复制.由于数据备份过程会影响应用性能, 并且非常耗时, 因此数据备份通常被安排在系统负载较轻时进行(如夜间). 另外, 为了节省存储空间, 通常结合全量和增量备份技术. 显然, 这种数据备份方式存在一个显著的不足, 即备份窗口问题. 在数据备份期间, 企业业

快照技术解析(收集)

1 概述 1.1 快照技术产生背景 在过去的20多年中,虽然计算机技术取得了巨大的发展,但是数据备份技术却没有长足进步.数据备份操作代价和成本仍然比较高,并且消耗大量时间和系统资源,数据备份的恢复时间目标和恢复点目标比较长. 传统地,人们一直采用数据复制.备份.恢复等技术来保护重要的数据信息,定期对数据进行备份或复制.由于数据备份过程会影响应用性能,并且非常耗时,因此数据备份通常被安排在系统负载较轻时进行(如夜间).另外,为了节省存储空间,通常结合全量和增量备份技术. 显然,这种数据备份方式存在

快照技术

随着企业数据量逐渐增加且数据增长速度不断加快,缩短备份窗口成为系统管理员重点关注的问题,以在线方式对数据进行保护,提升数据保护的简易性, 降低数据保护的代价,提高数据保护过程中的应用感知能力,逐步成为客户的首要需求.快照备份技术逐渐成为解决这一问题的有效方法之一. 一.快照概念介绍 存储网络行业协会(SNIA)对快照的定义是:对指定数据集合的一个完全可用拷贝,该拷贝包含源数据在拷贝时间点的静态影像. 快照可以是数据再现的一个副本或者复制.对于文件系统来说,文件系统快照是文件系统的一个即时拷贝,它

HDFS的快照原理和Hbase基于快照的表修复

前一篇文章<HDFS和Hbase误删数据恢复>主要讲了hdfs的回收站机制和Hbase的删除策略.根据hbase的删除策略进行hbase的数据表恢复.本文主要介绍了hdfs的快照原理和根据快照进行的数据恢复. 1.Hdfs的快照原理 1.1 快照原理 Hdfs的快照(snapshot)是在某一时间点对指定文件系统拷贝,快照采用只读模式,可以对重要数据进行恢复.防止用户错误性的操作. 快照分两种:一种是建立文件系统的索引,每次更新文件不会真正的改变文件,而是新开辟一个空间用来保存更改的文件,一种

HBase创建快照(snapshot)出现异常的处理方法

今天在hbase中创建快照的时候遇到了如下错误: hbase(main):004:0> snapshot 'booking', 'booking-snapshot-20140912' ERROR: org.apache.hadoop.hbase.snapshot.HBaseSnapshotException: Snapshot { ss=booking-snapshot-20140912 table=booking type=FLUSH } had an error. Procedure boo

通过HP 3PAR存储底层快照技术,快速启动测试数据库

#基于HP 3Par快照同步技术的数据库快速复制 生产集群数据库,通过存储底层复制技术生成快照数据,利用快照数据,可以将数据库快速打开,新的数据库可以用于测试,恢复等用途. 下面是启动快速数据库的具体步骤,底层复制操作由存储厂家完成. 确认主机环境信息 fgscrmdb#[/]machinfo fgscrmdb#[/]hostname 检查3Par存储挂载情况 (root) fgscrmdb#[/]3parinfo -i Device File Name Size [MB] ==========

hbase迁移快照ExportSnapshot时遇到的错

1.Cannot allocate memory 报错信息: Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000005c5330000, 8502706176, 0) failed; error='Cannot allocate memory' (errno=12) # # There is insufficient memory for the Java Runtime Environment t