MongoDB Hot Backup 测试及痛点

Percona MongoDB Hot Backup 测试及痛点

前言

Part1:写在最前

Percona MongoDB 支持Hot Backup,解决了MongoDB官方版本只能使用mongodump的情况。mongodump在小库中还好,量上来后,备份恢复都是痛苦的。本文就MongoDB hot backup 备份中的一个bug进行复现和解决。

实战

Part1:限制

在Percona MongoDB3.2.12版本之前,在进行物理热备份时,如果配置文件中配置了

directoryPerDB: true

directoryForIndexes: true

这两个参数的话,那么在执行备份的时候会爆出错误:

[[email protected] bin]#./mongo 127.0.0.1:27020/admin
MongoDB shellversion: 3.2.11-3.1 
connecting to:127.0.0.1:27020/admin
 
heleitest:PRIMARY>use admin
switched to db admin
heleitest:PRIMARY>db.runCommand({createBackup: 1, backupDir: "/home/work/backup"})
{ "ok" : 0, "errmsg" : "boost::filesystem::copy_file: No such file or directory:\"/home/mongodb/data/admin/collection/11-6714811575794894766.wt\",\"/home/work/backup/admin/collection/11-6714811575794894766.wt\""}

Part1:痛点

这个问题会很头痛,比如生产库中,MongoDB库越来越大,促使我们计划采用hot backup方案,由于起先的库开启了这个方式,那么临时的解决方案是什么样的呢?

It may be useful to simply let a secondary initial sync with those options off, then you could take a hot backup again to populate all the other nodes. This is not a solution but a path to get the production system back into a state you can use the backups. 
please note this assume production is built to best practices and is in a replica-set and not a stand alone mongod process.

意思是在我们MongoDB常规的复制集中,如果想要备份这个库,那么首先要下掉一个Secondary,清空数据目录进行重新复制,这个过程会非常缓慢和复杂。如果仅仅是重启数据库的话,会起不来报错,原因是已经开启了多路径存储数据和索引独立存储这两个选项,而现有版本的hotbackup是不支持这样的备份方式的。

Part2:方案

好在Percona版本响应给力,在贺春旸老师提出该Bug后,官方在3.2.12-3.2版本便修正了这一问题,使得hot backup的痛点得以解决,例如,原先我需要重新对集群进行关闭参数,导出导入数据,这无疑是一个巨大的工作量,同时会让数据库可靠性在不短的时间内都处于较低状态。而现在,我们仅仅要做的就是升级数据库,这一问题就能够得到解决。

Part3:复现

[[email protected] bin]# ./mongo 127.0.0.1:27020/admin
Percona Server for MongoDB shell version: 3.2.12-3.2
connecting to: 127.0.0.1:27020/admin
 
heleitest:PRIMARY> db.runCommand({createBackup: 1, backupDir: "/home/work/backup"})
{ "ok" : 1 }


我这里先对之前的3.2.11-3.1版本进行一个升级,如何升级MongoDB数据库可参考:

http://suifu.blog.51cto.com/9167728/1947035

同时,配置文件中配置了

directoryPerDB: true

directoryForIndexes: true

可以看到,在3.2.12-3.2版本中,备份是没有任何异常的。

Part4:校验

我们来看下3.4最新版是否也是正常的

[[email protected] bin]# ./mongo 127.0.0.1:27020/admin
Percona Server for MongoDB shell version v3.4.4-1.4
connecting to: mongodb://127.0.0.1:27020/admin
Percona Server for MongoDB server version: v3.4.4-1.4
heleitest:PRIMARY> db.runCommand({createBackup: 1, backupDir: "/home/work/backup"})
{ "ok" : 1 }

可以看到,最新版也没有问题。

Part5:Percona 官方升级日志

#PSMDB-123: Fixed the creation of proper subdirectories inside the backup destination directory

贺春旸老师提交的jira

https://jira.percona.com/browse/PSMDB-123

——总结——

感谢贺春旸老师的bug提交,感谢Percona团队高效的修复速率,开源,让世界更美好~由于者的水平有限,编写时间也很仓促,文中难免会出现一些错误或者不准确的地方,不妥之处恳请读者批评指正。

时间: 2024-11-05 01:49:34

MongoDB Hot Backup 测试及痛点的相关文章

python 对mongodb进行压力测试

最近对mongoDB数据库进行性能分析,需要对数据库进行加压. 加压时,最初采用threading模块写了个多线程程序,测试的效果不理想. 单机读数据库每秒请求数只能达到1000次/s.而开发的java程序请求数能达到6000-7000次/s. 证明受限于GIL,python的多线程表现确实不理想. 后来,采用了multiprocessing模块,采用多进程的方式进行加压. 经过测试证明,multiprocessing的性能还是不错,和开发java程序的性能相当. 脚本如下: #!/usr/bi

MongoDB下载安装测试及使用

1.下载安装 64位:mongodb-win32-x86_64-enterprise-windows-64-2.6.4-signed.msi http://downloads.mongodb.com/win32/mongodb-win32-x86_64-enterprise-windows-64-2.6.4-signed.msi?_ga=1.238525191.607472782.1411452026 32位:mongodb-win32-i386-2.6.5.zip https://fastdl

mongodb的IO测试工具 mongoperf

之前没发现mongoperf这个工具,测试IO的状态用的是iostat来进行观察. mongoperf < myjsonconfigfile  echo "{nThreads:2,fileSizeMB:20,w:true,r:true}" | mongoperf 参数示列如下: { nThreads:<n>, fileSizeMB:<n>, sleepMicros:<n>, mmf:<bool>, r:<bool>, w

MongoDB之Java测试代码(DAO层)

MongoInit.java是数据库初始化及连接类 MongoUtils.java是对mongodb的各种操作方法 MongoInit.java package com.wlwcloud.datatest; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.net.UnknownHostException; import java.util.Properties

java程序连接MongoDB副本集测试

三个节点有一个节点挂掉也不会影响应用程序客户端对整个副本集的读写! [java] view plaincopy public class TestMongoDBReplSet { public static void main(String[] args) { try { List<ServerAddress> addresses = new ArrayList<ServerAddress>(); ServerAddress address1 = new ServerAddress

springmvc+mongodb+maven 项目测试代码

你看我有一篇文章配置,或许还会有.mongodb性能测试结果.一个"快"字 源代码包,请留下邮箱 代码结构图 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaDM0ODU5MjUzMg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" > 直接上代码 BaseDao.java package com.yiyuwanglu.

mongodb Map/reduce测试代码

private void AccountInfo() { ls.Clear(); DateTime dt = DateTime.Now.Date; IMongoQuery query = Query<mtime_time>.GTE(p => p.showdate, dt); MapReduceOutput output = new MapReduceOutput("mtime_time_tem"); MongoCollection comcol = MongoFact

使用YCSB测试MongoDB的微分片性能

MongoDB的库级锁 MongoDB是目前最流行的NoSQL数据库,以其自然的文档型数据结构,灵活的数据模式以及简单易用的水平扩展能力而获得了很多开发人员的青睐. 但是金无足赤人无完人,MongoDB不是没有它的一些弱点,比如说它的库级锁就是人们经常抱怨的一个性能瓶颈.简单来说MongoDB的库级锁就是针对某一个数据库的所有写操作,必须在获得这个数据库仅有的一个互斥锁情况下才能进行.这个听上去很糟糕,但实际上由于一个写操作只是针对于内存数据更新的那一刹那保留锁,所以每个写锁的占用时间通常是在纳

【转】使用YCSB测试MongoDB的微分片性能

MongoDB的库级锁 MongoDB是目前最流行的NoSQL数据库,以其自然的文档型数据结构,灵活的数据模式以及简单易用的水平扩展能力而获得了很多开发人员的青睐. 但是金无足赤人无完人,MongoDB不是没有它的一些弱点,比如说它的库级锁就是人们经常抱怨的一个性能瓶颈.简单来说MongoDB的库级锁就是针对某一个数据库的所有写操作,必须在获得这个数据库仅有的一个互斥锁情况下才能进行.这个听上去很糟糕,但实际上由于一个写操作只是针对于内存数据更新的那一刹那保留锁,所以每个写锁的占用时间通常是在纳