Mongodb备份恢复到任意时间点

描述:

根据技术反馈,上午有人误操作删除了线上mongodb表数据,用户已反馈到客服,现在需要给用户恢复数据。

首先要确定被删除数据的数据库架构是什么模式

1.1、单点:
是否有备份,有备份情况下,启动一个实例将,将备份数据导入到新实例
查找新实例是否有被删除掉的数据,使用mongodump导出数据,再导入到源被删除数据实例,恢复数据。
详细见本章下边内容:2.2备份和 2.5恢复
单节点mongodb没有oplog的概念,如果没有备份,数据就会出现丢失,正式环境尽量使用复制集架构。

1.2、复制集:
1.2.1、可以采用延迟节点形式,一PRIMARY节点,两SECONDARY其中一个做延迟节点,
比如我们延迟节点延迟8小时,我们删除数据要在8小时内发现,并恢复(保证oplog不被覆盖情况下)
1.2.2、全量+增量:根据数据量和重要性,选择天全量备份+小时增量oplog备份,或者周全量备份+天增量oplog备份。

1.3、分片集群
分片集群也是由多个复制集组成,备份方式可以按照复制集备份策略

2、复制集架构模拟误删除:

我们采用全量备份+oplog增量备份方式
2.1、我们插入1000条数据:for (var i=0;i<1000;i++){ db.user.save({"userid":i}) }

[[email protected] ~]# /data/mongodb3.6.9/bin/mongo  10.1.1.159:27020
rs02:PRIMARY> use jia_test
switched to db jia_test
rs02:PRIMARY> for (var i=0;i<1000;i++){ db.user.save({"userid":i})  }
rs02:PRIMARY> db.user.count()
1000
rs02:PRIMARY> db.user.find()
{ "_id" : ObjectId("5e69f820ce1bb2285a21a343"), "userid" : 0 }
{ "_id" : ObjectId("5e69f820ce1bb2285a21a344"), "userid" : 1 }
{ "_id" : ObjectId("5e69f820ce1bb2285a21a345"), "userid" : 2 }
{ "_id" : ObjectId("5e69f820ce1bb2285a21a346"), "userid" : 3 }

2.2、我们做个全量备份:

[[email protected] ~]# /data/mongodb3.6.9/bin/mongodump -h 10.1.1.159:27020 -d jia_test -o /root/
2020-03-12T16:52:37.418+0800    writing jia_test.user to
2020-03-12T16:52:37.421+0800    done dumping jia_test.user (1000 documents)

2.3、第一种情况:
如果我们在备份后的几个小时进行删除操作,只要把数据导入到新的实例就能找回数据,这样太简单了。
前提是我们有备份才能恢复。
2.4、我们继续第二种情况

我们继续插入数据:

[[email protected] ~]# /data/mongodb3.6.9/bin/mongo  10.1.1.159:27020
rs02:PRIMARY> use jia_test
rs02:PRIMARY> db.user.insert({"userid" :1000})
WriteResult({ "nInserted" : 1 })
rs02:PRIMARY> db.user.insert({"userid" :1001})
WriteResult({ "nInserted" : 1 })
rs02:PRIMARY> db.user.insert({"userid" :1002})
WriteResult({ "nInserted" : 1 })
rs02:PRIMARY> db.user.insert({"userid" :1003})
WriteResult({ "nInserted" : 1 })
rs02:PRIMARY> db.user.insert({"userid" :1004})
WriteResult({ "nInserted" : 1 })
rs02:PRIMARY> db.user.insert({"userid" :1005})           #1、我们又插入了三条数据
WriteResult({ "nInserted" : 1 })
rs02:PRIMARY> db.user.remove({"userid" :1003})           #2、我们删除了一条数据
WriteResult({ "nRemoved" : 1 })
rs02:PRIMARY> db.user.insert({"userid" :1006})            #3、我们又插入一条数据
WriteResult({ "nInserted" : 1 })
rs02:PRIMARY>

我们来恢复"userid" :1003 的这条数据,我们需要恢复到删除前一刻,也就是恢复到执行db.user.remove({"userid" :1003})这个时间点之前。

2.5、我们创建一个新的副本集实例,将全量备份导入

[[email protected] ~]# /data/mongodb3.6.9/bin/mongorestore -h 10.1.1.77:27010 -d jia_test /root/jia_test/
2020-03-12T17:03:27.054+0800    the --db and --collection args should only be used when restoring from a BSON file. Other uses are deprecated and will not exist in the future; use --nsInclude instead
2020-03-12T17:03:27.055+0800    building a list of collections to restore from /root/jia_test dir
2020-03-12T17:03:27.056+0800    reading metadata for jia_test.user from /root/jia_test/user.metadata.json
2020-03-12T17:03:27.074+0800    restoring jia_test.user from /root/jia_test/user.bson
2020-03-12T17:03:27.099+0800    no indexes to restore
2020-03-12T17:03:27.099+0800    finished restoring jia_test.user (1000 documents)
2020-03-12T17:03:27.099+0800    done
/data/mongodb3.6.9/bin/mongo 10.1.1.77:27010
rs02:PRIMARY&gt; db.user.count()
1000
rs02:PRIMARY&gt;

2.6、导出oplog日志:

### 首先我们查一下什么时间执行删除操作的、连上执行删除操作的数据实例
[[email protected] ~]# /data/mongodb3.6.9/bin/mongo  10.1.1.159:27020
rs02:PRIMARY> use local
switched to db local
rs02:PRIMARY> db.oplog.rs.find({"op":"d","ns":"jia_test.user"})                                               #op是操作,d是删除,ns命名空间就是某个库的某个表,oplogs日志解释详见oplog介绍
{ "ts" : Timestamp(1584003536, 1), "t" : NumberLong(1), "h" : NumberLong("5476681688775461425"), "v" : 2, "op" : "d", "ns" : "jia_test.user", "ui" : UUID("2527737e-eeea-415b-95de-061b6615a23c"), "wall" : ISODate("2020-03-12T08:58:56.056Z"), "o" : { "_id" : ObjectId("5e69f9b02e42450b5489dd4f") } }
rs02:PRIMARY>

已知:我们全量备份时间:2020-03-12T16:52:37.421+0800 done dumping jia_test.user (1000 documents)

删除时间也知道了,我们需要把全量备份成功的时间,进行一下转换,我们拿到时间戳,

尽量在备份时间在提前十分钟,这样我们日志就不会出现缺失,导入重复会自动覆盖。

我们拿到两个时间戳:

备份时间戳: 1584002557
删除时间戳:"ts" : Timestamp(1584003536, 1)

导出删除数据实例的oplog日志(大于备份时间小于删除时间的这一段)

 [[email protected] ~]# /data/mongodb3.6.9/bin/mongodump -h  10.1.1.159:27020 -d local -c oplog.rs -q ‘{ts:{$gt:Timestamp(1584002557, 1),$lt: Timestamp(1584003536, 1)},"ns":{"$regex":"jia_test.user"}}‘ -o .

2.7、oplog导入到新实例:

 [[email protected] ~]# /data/mongodb3.6.9/bin/mongorestore -h 10.1.1.77:27010 –oplogReplay local/oplog.rs.bson

2.8、连接新恢复实例查看:

[[email protected] ~]# /data/mongodb3.6.9/bin/mongo 10.1.1.77:27010
rs02:PRIMARY> use jia_test
switched to db jia_test
rs02:PRIMARY> db.user.count()
1006
rs02:PRIMARY> db.user.find({"userid":1003})                                                    #查看1003数据存在
{ "_id" : ObjectId("5e69f9b02e42450b5489dd4f"), "userid" : 1003 }
rs02:PRIMARY> db.user.find({"userid":1006})                                                     #查看1006数据不存在,因为这条数据是在删除之后插入的,我们恢复的时间点是删除之前的。
rs02:PRIMARY>

2.9、老的实例查看:

[[email protected] ~]# /data/mongodb3.6.9/bin/mongo  10.1.1.159:27020
rs02:PRIMARY> use jia_test
switched to db jia_test
rs02:PRIMARY> db.user.count()
1006
rs02:PRIMARY> db.user.find({"userid" :1003})                                                #1003数据不存在
rs02:PRIMARY> db.user.find({"userid" :1006})                                               #1006数据存在,删除只要又写入的
{ "_id" : ObjectId("5e69f9d42e42450b5489dd52"), "userid" : 1006 }
rs02:PRIMARY>

2.10 我们把新实例数据通过导出,导入到线上正式环境就可以了

温馨提示:Mongodb正式业务,至少要使用复制集,不要单点,数据一定要有备份。

前段时间某公司删除数据导致损失好几亿,

数据不备份 运维两行泪

原文地址:https://blog.51cto.com/jiachen/2486045

时间: 2024-11-14 10:57:27

Mongodb备份恢复到任意时间点的相关文章

Mongodb基于oplog恢复至任意时间

背景: 最近后端基于mongo的项目越来越多,MySQL基于冷备份+binlog可以恢复至任意时间点,那么mongo是否有同样的功能呢?经过调研发现可以通过dump+oplog可以实现粒度更细致的恢复. 官方文档关于oplog的说明 : <a class="mongo-link" href="https://docs.mongodb.com/manual/core/replica-set-oplog/"></a> 以下是实验步骤,附脚本内容.

mongodb备份恢复,数据导入导出

数据导出 mongoexport 假设库里有一张apachelog表,里面有2 条记录,我们要将它导出 /test/mongodb/bin/mongo use wxdata switched to db wxdata db.apachelog.find(); { "_id" : ObjectId("53993357e0e73ac14b29da8a"), "host" : "66.249.69.194", "metho

MongoDB备份恢复与导出导入

说明:本文所有操作均在win7下的MongoDB3.4.4版本中进行. 一.备份与恢复 1. 备份: mongodump -h IP --port 端口 -u 用户名 -p 密码 -d数据库 -o 文件路径 (将使用某个用户账号将某个mongodb服务器上的某个数据库备份到某个路径下) 如果无需指定用户,可以去掉-u和-p:如果导出本机的数据库,可以去掉-h:如果是默认端口,可以去掉--port: 如果想导出所有数据库,可以去掉-d.如果只想备份某个集合,应在"-d 数据库"后添加&q

python | MongoDB备份恢复与导出导入

说明:本文所有操作均在win7下的MongoDB3.4.4版本中进行. 一.备份与恢复 1. 备份: mongodump -h IP --port 端口 -u 用户名 -p 密码 -d数据库 -o 文件路径 (将使用某个用户账号将某个mongodb服务器上的某个数据库备份到某个路径下) 如果无需指定用户,可以去掉-u和-p:如果导出本机的数据库,可以去掉-h:如果是默认端口,可以去掉--port: 如果想导出所有数据库,可以去掉-d.如果只想备份某个集合,应在”-d 数据库”后添加”-c 集合名

MongoDB备份恢复

备份指定库mongodump -h ip -d dbname -o dir //-h后面跟服务器ip-d后面跟database名字不加则备份所有库-o后指定备份到哪里它是一个目录 备份所有库mongodump -h ip -o dir 备份指定集合mongodump -d mydb -c testc -o /tmp/testc //-c指定集合名字 导出集合为json文件mongoexport -d mydb -c testc -o /tmp/testc.json // -o后面跟的是一个文件名

赋能云HBase备份恢复 百T级别数据量备份恢复支持

云HBase发布备份恢复功能,为用户数据保驾护航.对大多数公司来说数据的安全性以及可靠性是非常重要的,如何保障数据的安全以及数据的可靠是大多数数据库必须考虑的.2016 IDC的报告表示数据的备份(data-protection)和数据恢复(retention)是Nosql的最基础的需求之一. 为什么需要云HBase备份恢复???我们希望云HBase支持备份和恢复功能,主要原因: 用户直接访问操作数据库,可能存在安全风险:项目存在合规以及监管的强需求:对数据库恢复数据到任意时间点(归档到任意时间

MongoDB迁移方案-冷备份+增量备份恢复

QQ群:465614686 1.  环境构建步骤 (1)线上环境 都是副本集模式 3个业务访问节点+1个隐藏节点 (隐藏节点做hadoop.spark数据同步使用以及数据报表查询等) (2)主机以及配置说明 10.21.18.21  primary节点    优先级为100 10.21.18.22  secondary节点  优先级为90 10.21.18.23  secondary节点  优先级为80 10.21.18.24  隐藏节点       优先级为0 系统配置:128G内存,64Co

MongoDB 备份(mongodump)恢复(mongorerstore) 导出 (Mongoexport) 导入( Mongoimport)

MongoDB 备份(mongodump) 在Mongodb中我们使用mongodump命令来备份MongoDB数据.该命令可以导出所有数据到指定目录中. mongodump命令可以通过参数指定导出的数据量级转存的服务器. 语法 mongodump命令脚本语法如下: mongodump -h dbhost -d dbname -o dbdirectory -h: MongDB所在服务器地址,例如:127.0.0.1,当然也可以指定端口号:127.0.0.1:27017 -d: 需要备份的数据库实

MongoDB备份和恢复

前面两篇文章介绍了mongodb的搭建与使用:http://msiyuetian.blog.51cto.com/8637744/1720559 以及mongodb的副本集部署:http://msiyuetian.blog.51cto.com/8637744/1722406 下面我们来介绍mongodb的备份和恢复 一.MongoDB备份 1.准备工作 1)创建库.集合 > use mydb