在线备份

一、常用备份:

下面的方法是比较简单且常用的SQLite数据库备份方式,见如下步骤:
    1). 使用SQLite API或Shell工具在源数据库文件上加共享锁。
    2). 使用Shell工具(cp或copy)拷贝数据库文件到备份目录。
    3). 解除数据库文件上的共享锁。
    以上3个步骤可以应用于大多数场景,而且速度也比较快,然而却存在一定的刚性缺陷,如:
    1). 所有打算在源数据库上执行写操作的连接都不得不被挂起,直到整个拷贝过程结束并释放文件共享锁。
    2). 不能拷贝数据到in-memory数据库。
    3). 在拷贝过程中,一旦备份数据库所在的主机出现任何突发故障,备份数据库可能会被破坏。
    在SQLite中提供了一组用于在线数据库备份的APIs函数(C接口),可以很好的解决上述方法存在的不足。通过该组函数,可以将源数据库中的内容拷贝到另一个数据库,同时覆盖目标数据库中的数据。整个拷贝过程可以以增量的方式完成,在此情况下,源数据库也不需要在整个拷贝过程中都被加锁,而只是在真正读取数据时加共享锁。这样,其它的用户在访问源数据库时就不会被挂起。
    
二、在线备份APIs简介:

SQLite提供了以下3个APIs函数用于完成此操作,这里仅仅给出它们的基本用法,至于使用细节可以参考SQLite官方网站"APIs Reference"(http://www.sqlite.org/c3ref/backup_finish.html)。
    1). 函数sqlite3_backup_init()用于创建sqlite3_backup对象,该对象将作为本次拷贝操作的句柄传给其余两个函数。
    2). 函数sqlite3_backup_step()用于数据拷贝,如果该函数的第二个参数为-1,那么整个拷贝过程都将在该函数的一次调用中完成。
    3). 函数sqlite3_backup_finish()用于释放sqlite3_backup_init()函数申请的资源,以避免资源泄露。
    在整个拷贝过程中如果出现任何错误,我们都可以通过调用目的数据库连接的sqlite3_errcode()函数来获取具体的错误码。此外,如果sqlite3_backup_step()调用失败,由于sqlite3_backup_finish()函数并不会修改当前连接的错误码,因此我们可以在调用sqlite3_backup_finish()之后再获取错误码,从而在代码中减少了一次错误处理。见如下代码示例(来自SQLite官网):

 1 /* 2 ** This function is used to load the contents of a database file on disk  3 ** into the "main" database of open database connection pInMemory, or 4 ** to save the current contents of the database opened by pInMemory into 5 ** a database file on disk. pInMemory is probably an in-memory database,  6 ** but this function will also work fine if it is not. 7 ** 8 ** Parameter zFilename points to a nul-terminated string containing the 9 ** name of the database file on disk to load from or save to. If parameter10 ** isSave is non-zero, then the contents of the file zFilename are 11 ** overwritten with the contents of the database opened by pInMemory. If12 ** parameter isSave is zero, then the contents of the database opened by13 ** pInMemory are replaced by data loaded from the file zFilename.14 **15 ** If the operation is successful, SQLITE_OK is returned. Otherwise, if16 ** an error occurs, an SQLite error code is returned.17 */18 int loadOrSaveDb(sqlite3 *pInMemory, const char *zFilename, int isSave){19   int rc;                   /* Function return code */20   sqlite3 *pFile;           /* Database connection opened on zFilename */21   sqlite3_backup *pBackup;  /* Backup object used to copy data */22   sqlite3 *pTo;             /* Database to copy to (pFile or pInMemory) */23   sqlite3 *pFrom;           /* Database to copy from (pFile or pInMemory) */24 25   /* Open the database file identified by zFilename. Exit early if this fails26   ** for any reason. */27   rc = sqlite3_open(zFilename, &pFile);28   if( rc==SQLITE_OK ){29 30     /* If this is a ‘load‘ operation (isSave==0), then data is copied31     ** from the database file just opened to database pInMemory. 32     ** Otherwise, if this is a ‘save‘ operation (isSave==1), then data33     ** is copied from pInMemory to pFile.  Set the variables pFrom and34     ** pTo accordingly. */35     pFrom = (isSave ? pInMemory : pFile);36     pTo   = (isSave ? pFile     : pInMemory);37 38     /* Set up the backup procedure to copy from the "main" database of 39     ** connection pFile to the main database of connection pInMemory.40     ** If something goes wrong, pBackup will be set to NULL and an error41     ** code and  message left in connection pTo.42     **43     ** If the backup object is successfully created, call backup_step()44     ** to copy data from pFile to pInMemory. Then call backup_finish()45     ** to release resources associated with the pBackup object.  If an46     ** error occurred, then  an error code and message will be left in47     ** connection pTo. If no error occurred, then the error code belonging48     ** to pTo is set to SQLITE_OK.49 */50     pBackup = sqlite3_backup_init(pTo, "main", pFrom, "main");51     if( pBackup ){52       (void)sqlite3_backup_step(pBackup, -1);53       (void)sqlite3_backup_finish(pBackup);54     }55     rc = sqlite3_errcode(pTo);56   }57 58   /* Close the database connection opened on database file zFilename59   ** and return the result of this function. */60   (void)sqlite3_close(pFile);61   return rc;62 }

三、高级应用技巧:
    
    在上面的例子中,我们是通过sqlite3_backup_step()函数的一次调用完成了整个拷贝过程。该实现方式仍然存在之前说过的挂起其它写访问连接的问题,为了解决该问题,这里我们将继续介绍另外一种更高级的实现方式--分片拷贝,其实现步骤如下:
    1). 函数sqlite3_backup_init()用于创建sqlite3_backup对象,该对象将作为本次拷贝操作的句柄传给其余两个函数。
    2). 函数sqlite3_backup_step()被调用用于拷贝数据,和之前方法不同的是,该函数的第二个参数不再是-1,而是一个普通的正整数,表示每次调用将会拷贝的页面数量,如5。
    3). 如果在函数sqlite3_backup_step()调用结束后,仍然有更多的页面需要被拷贝,那么我们将主动休眠250ms,然后再重复步骤2).
    4). 函数sqlite3_backup_finish()用于释放sqlite3_backup_init()函数申请的资源,以避免资源泄露。
    在上述步骤3)中我们主动休眠250ms,此期间,该拷贝操作不会在源数据库上持有任何读锁,这样其它的数据库连接在进行写操作时亦将不会被挂起。然而在休眠期间,如果另外一个线程或进程对源数据库进行了写操作,SQLite将会检测到该事件的发生,从而在下一次调用sqlite3_backup_step()函数时重新开始整个拷贝过程。唯一的例外是,如果源数据库不是in-memory数据库,同时写操作是在与拷贝操作同一个进程内完成,并且在操作时使用的也是同一个数据库连接句柄,那么目的数据库中数据也将被此操作同时自动修改。在下一次调用sqlite3_backup_step()时,也将不会有任何影响发生。  
    事实上,在SQLite中仍然提供了另外两个辅助性函数backup_remaining()backup_pagecount(),其中前者将返回在当前备份操作中还有多少页面需要被拷贝,而后者将返回本次操作总共需要拷贝的页面数量。显而易见的是,通过这两个函数的返回结果,我们可以实时显示本次备份操作的整体进度,计算公式如下:
    Completion = 100% * (pagecount() - remaining()) / pagecount() 
    见以下代码示例(来自SQLite官网):

 1 /* 2 ** Perform an online backup of database pDb to the database file named 3 ** by zFilename. This function copies 5 database pages from pDb to 4 ** zFilename, then unlocks pDb and sleeps for 250 ms, then repeats the 5 ** process until the entire database is backed up. 6 **  7 ** The third argument passed to this function must be a pointer to a progress 8 ** function. After each set of 5 pages is backed up, the progress function 9 ** is invoked with two integer parameters: the number of pages left to10 ** copy, and the total number of pages in the source file. This information11 ** may be used, for example, to update a GUI progress bar.12 **13 ** While this function is running, another thread may use the database pDb, or14 ** another process may access the underlying database file via a separate 15 ** connection.16 **17 ** If the backup process is successfully completed, SQLITE_OK is returned.18 ** Otherwise, if an error occurs, an SQLite error code is returned.19 */20 int backupDb(21   sqlite3 *pDb,               /* Database to back up */22   const char *zFilename,      /* Name of file to back up to */23   void(*xProgress)(int, int)  /* Progress function to invoke */     24 ){25   int rc;                     /* Function return code */26   sqlite3 *pFile;             /* Database connection opened on zFilename */27   sqlite3_backup *pBackup;    /* Backup handle used to copy data */28 29   /* Open the database file identified by zFilename. */30   rc = sqlite3_open(zFilename, &pFile);31   if( rc==SQLITE_OK ){32 33     /* Open the sqlite3_backup object used to accomplish the transfer */34     pBackup = sqlite3_backup_init(pFile, "main", pDb, "main");35     if( pBackup ){36 37       /* Each iteration of this loop copies 5 database pages from database38       ** pDb to the backup database. If the return value of backup_step()39       ** indicates that there are still further pages to copy, sleep for40       ** 250 ms before repeating. */41       do {42         rc = sqlite3_backup_step(pBackup, 5);43         xProgress(44             sqlite3_backup_remaining(pBackup),45             sqlite3_backup_pagecount(pBackup)46         );47         if( rc==SQLITE_OK || rc==SQLITE_BUSY || rc==SQLITE_LOCKED ){48           sqlite3_sleep(250);49         }50       } while( rc==SQLITE_OK || rc==SQLITE_BUSY || rc==SQLITE_LOCKED );51 52       /* Release resources allocated by backup_init(). */53       (void)sqlite3_backup_finish(pBackup);54     }55     rc = sqlite3_errcode(pFile);56   }57   58   /* Close the database connection opened on database file zFilename59   ** and return the result of this function. */60   (void)sqlite3_close(pFile);61   return rc;62 }

时间: 2024-10-12 20:07:29

在线备份的相关文章

Windows Azure Online Backup是一套基于云技术的在线备份

Windows Azure Online Backup是一套基于云技术的在线备份解决方案.你可以通过它将文件备份到云端的数据中心,在本地文件出现损坏或丢失时,他将给你提供更为安全可靠的文件恢复.微软将它作为本地备份解决方案的替代产品.它提供块级存储的增量备份(就是说备份系统仅仅更改数据块的信息,这样就能降低存储和带宽浪费).数据压缩.数据加密和流量限制,以及云端数据完整性验证等功能. 在过去您可以利用Windows Server Backup功能来将您的Windows Server备份到外接式硬

五个在线备份解决方案及优势分析

在云计算快速.迅速.飞速发展的当下,你要是不用点和云计算相关的新产品你还真不好意思说你了解互联网.如今,在线备份已经成为个人和中小企业备份的重要工具,通过web页面的集中管理,就可以随时对数据进行备份,你说,是不是很酷!今天,笔者为大家带来了五款在线备份解决方案及优势分析,具体内容如下 一. MozyHome MozyHome 是一个安全的在线备份服务(即网络硬盘).它是用一种简单,智能而经济的方法来保护文件不被损坏.防止您的数据被意外删除或硬件故障等危害.定期备份你的数据到安全的服务器(美国)

Linux操作系统备份之一:使用LVM快照实现Linux操作系统数据的在线备份

这里我们讨论Linux操作系统的备份. 在生产环境,客户都会要求做全系统的数据备份,用于系统崩溃后的一种恢复手段.这其中就包含操作系统数据的备份恢复. 由于是生产环境,客户都会要求备份不中断业务,也就是在线备份. 今天我们介绍使用LVM快照实现Linux操作系统在线备份的一种方法. 使用LVM实现操作系统在线备份的简要原理是:LVM是Linux自带的卷管理软件,LVM支持快照,而Linux又支持将LVM卷作为操作系统分区,因此可以使用LVM的快照功能实现操作系统的在线备份. 1. 分区规划 上面

Linux操作系统备份之二:通过tar拷贝分区实现Linux操作数据的在线备份

http://www.tektea.com/archives/2163.html. 在<Linux操作系统备份之一:使用LVM快照实现Linux操作系统数据的在线备份>文章中,我们介绍了使用LVM快照实现操作性系统在线备份的方法,LVM快照可以实现在线操作系统数据的备份,在线的意思也就是说,不中断业务的条件下,完成操作系统数据的备份. 今天我们介绍另外一种在线备份Linux操作系统的方法:通过tar拷贝操作系统分区数据,完成操作系统备份. 在继续往下面读之前,为了更好理解,请先阅读这篇文章:&

Win Server 8中的利器:微软在线备份服务

微软在Windows Server 8中添加在线备份服务了?你一定以为我在开玩笑,是吧?但是微软确实这么做了. 微软在Windows Server 8中添加在线备份服务了?你一定以为我在开玩笑,是吧?但是微软确实这么做了. 微软在线备份服务是Windows Server 8测试版专用的一个可安装服务,它允许到云服务的文件和文件夹备份. 这从根本上说是一个离线备份解决方案,向使用微软在线备份服务的云中备份.它为Windows Server 8机器提供文件及文件夹备份功能. 它不能备份系统状态.成功

QEMU/KVM磁盘在线备份

QEMU/KVM磁盘的在线完整及增量备份,是"打包"方案的一种具体实现,可实现基于时间点的备份,同时支持本地与远程2种备份方式,并可指定备份文件进行恢复. tag: qemu, kvm, disk, live, backup, incremental, bitmap 小慢哥的原创文章,欢迎转载 目录 ? 1. 本文缘由? 2. 最终能实现什么? 3. 环境说明? 4. 常用命令一览? 5. 磁盘在线备份的4种方式? 6. 查询磁盘对应的设备名? 7. 什么是bitmap? 8. 创建与

Mysql使用innobackupex在线备份方案(全量+增量)操作记录

在日常的linux运维工作中,对mysql数据库的备份是非常重要的一个环节.关于mysql的备份和恢复,比较传统的是用mysqldump工具.今天这里介绍下另一款mysql备份工具innobackupex,利用它对mysql做全量和增量备份,仅仅依据本人实战操作做一记录,如有误述,敬请指出~ 一.innobackupex的介绍Xtrabackup是由percona开发的一个开源软件,是使用perl语言完成的脚本工具,能够非常快速地备份与恢复mysql数据库,且支持在线热备份(备份时不影响数据读写

DB2数据库在线备份还原笔记

数据库在线增量备份    由于一般客户的生产系统数据量都很大,所以频繁的进行数据库或表空间的全量备份在空间存储上变得不可行.DB2 支持两种增量的备份,一种是增量备份(comulative backup),另一种是差异备份(deltabackup).总的说来,增量的备份(包括增量备份和差异备份),在其备份映像文件中只包含自上次进行备份以来有过更新的页,除更新的数据和索引页之外,每个增量备份映像还包含通常存储在完全备份映像中的初始数据库元数据(例如,数据库配置.表空间定义和数据库历史记录等).增量

xtrabackup在线备份还原(不锁表)

安装配置xtrabackuptar zxvf percona-xtrabackup-2.0.7.tar.gzcd percona-xtrabackup-2.0.7AUTO_DOWNLOAD="yes" ./utils/build.sh 5.5 #5.5表示为数据库5.5版本,如果是5.6版本这里修改成5.6安装完之后,建立软链接# cp /root/soft/percona-xtrabackup-2.0.7/innobackupex /usr/local/mysql_p/bin/inn