开源一套数据异地备份系统

简介

此系统解决游族2w+个数据库实例(包括mysql,redis,ssdb)的异地灾备

每天大概40w+个备份文件(99%的数据库实例进行每小时备份策略)

每天40TB+数据量进行异地传输

支持任意备份

  • 此系统只负责备份异地传输,不负责如何备份 具体备份脚本用户自行编写,只要按照要求把备份信息写入对应日志文件即可
备份脚本规范

1.每次都是全备的方式 (例如redis通过RDB每次都是全备)

2.全备+增量 的方式(例如Mysql通过Xtrabackup)

脚本日志生成规范:

    备份成功:back_log 第一行为ok,第二行为文件名

    备份失败:back_log 第一行为wrong,第二行为错误信息

如果是第2种方式,则在生成back_log的时候,同时生成一份相同的日志信息在last_all_log 日志中
  • 备份队列优先级控制,重要的备份优先拉取到异地

支持以下报警类型

  • 正常备份脚本出错(脚本退出码非0)
  • 超过规定时间未备份
  • 非法备份

针对报警做了一个chrome插件提醒的功能

支持后端集群线性扩展

  • 集群支持拉取数据调整,权重调整,集群容量可以通过简单的增加节点进行增加
  • 节点根据配置预留空间,超过预留空间自动暂停,暂停后只要集群中还尚有正常工作的节点,整个集群就能继续工作

支持多纬度数据分析

  • 元数据存储在ES,根据需要进行数据分析

一键恢复

  • 配合恢复脚本可以实现查询备份位置,下载,恢复一气呵成

github地址:

https://github.com/lustlost/ubackup

gitoschina地址:

http://git.oschina.net/lustlost/ubackup

时间: 2024-10-07 20:23:30

开源一套数据异地备份系统的相关文章

Duplicati 教程:开源备份系统

Duplicati v2.0.1.20 发布了,Duplicati 是一个开源的备份系统,采用100%的托管C#实现,可支持 Windows 和 Linux 的备份. Duplicati是一個可在Linux/Windows下使用的開源軟體,可以將檔案定時備份到電腦中的資料夾.Windows或Samba檔案 伺服 器.FTP伺服器.WebDAV伺服器.Amazon S3雲端儲存服務,甚至以SSH方式備份.備份可通過密碼進行加密,數據備份和復原也可透過圖形界面進行.Duplicati更可管理備份歷史

使用rsync做一个简单的异地备份

Rsync是一个非常简单和方便的小工具,而且也非常的适用:不仅可以用来方便的下拉文件,而且也可以用来作为数据备份的一个工具.下面我自己实验来搭建一个使用rsync作为备份工具. 实验一. A.     B两个linux系统服务器,服务器A作为网站服务器,上面有重要的数据需要实时备份:服务器B作为备份服务器,需要实时去将A服务器的数据和文件下载下来进行异地备份. A服务器ip :192.168.5.120 B服务器ip :192.168.5.147 1.  rsync的安装(此步骤非常的简单,可以

关于SQL异地备份的方法(转)

最近公司对服务器依赖越来越严重了,机房两台服务器,一台挂了一套餐饮系统.进销存系统,另一台挂了一套OA系统(老总的心血!),考虑到最近社会不太和谐,小偷泛滥,遂特别担心服务器上的数据安全,虽然做了本地备份,但在可恶的小偷面前~~~所以得赶紧做一下NetworkBacup比较妥当安全! 想了一个方案和网上的几个方案参考一下: 方案一:SQL自带的数据库备份计划 一:基本思路1:要实现异地备份,必须使用域用户帐号来启动SQL Server服务以及SQL Server Agent服务,因为本地系统帐户

异地备份的最佳实践与注意事项

大家是否知道异地备份的最佳实践与注意事项 呢?小编在这里整理好了~一起来看看吧  我们的多数新客户自己已经做了备份,其中的多数已经工作了至少有一段时间.客户一般对他们的备份感觉良好(即便他们从未测试过).  然而,这些备份多数仅存储在本地,而不是异地,因此数据和业务实际上存在巨大的风险.您所有的重要数据都应该进行异地备份,否则火灾.洪水或商业纠纷都可能让您永远失去它们.在中国,各种法规和政府问题也可能会限制对您的系统(可能是某个IDC中的所有系统)的访问.所以您需要在其它的地方备份数据.  这带

异地备份mongo

为了提升逼格,我决定使用英文版的的这句作为开头,尽管我最初想到的是中文版orz 天灾人祸这种事,总归是有的.尽管服务器的灾难性故障不常发生,概率也比遇到鬼或是遇到爱情来得高些,将风险考虑在内总归是好的,所谓有备无患.如果你已经在自己的架构中将单点故障考虑进去了,就不必往下拉啦,继续舔酸奶盖去吧~如果你的云服务商已经考虑了单点故障,你也没啥好做啦. 如果两者都没有,你应该请我喝杯星冰乐再往下拉. ps:我最近多是在处理性能优化,数据迁移,安全策略,系统稳定性这类事,简直是伪装成开发的运维orz 策

备特佳容灾备份系统

-- 集数据库备份.文件备份.操作系统备份于一体的综合实时备份系统 针对Windows.Linux.Unix平台下的各类数据库.文件.操作系统进行智能备份的CDP灾备系统.具有实时备份.任意回退.业务接管.异地容灾.集中备份.异构备份.集中管理.中转备份.信息报警等功能. 支持全系列32位和64位的Windows操作系统(包括IA安腾系列的CPU):支持HP-UX.Saloris.AIX等Unix操作系统:支持Redhat.Redflag.SUSE.Ubuntu.中标麒麟等Linux系统:支持M

Jeewx 是一款开源、免费的微信管家系统(多触点管理平台)。采用 JAVA 语言

Jeewx 是一款开源.免费的微信管家系统(多触点管理平台).采用 JAVA 语言,支持微信公众号.微信企业号.支付宝服务窗.QQ 公众号.微博账号等多触点管理.Jeewx 实现了微信.支付窗.微信企业号.微博等触点的基础管理功能,便于用户二次开发. 2014年荣获CSDN开发商大会第一名.采用JAVA语言,支持微信公众号.微信企业号.支付宝服务窗等多触点管理.Jeewx实现了微信公众号.支付窗.微信企业号等触点的基础管理功能,便于用户二次开发. http://git.oschina.net/j

CommVault通过异地备份恢复数据

问题需求在本地备份的数据,通过辅助拷贝的形式将数据备份到异地,现如何直接通过异地备份的数据来恢复数据? 解决方法在恢复时,选择高级里的"数据路径"选择"异地MA及库",并且选择相应的"拷贝优先顺序" 恢复完成

buntu下备份系统的方法

今天不小心强行结束了一不知道用处的进程,结果造成进不了x界面,gdm启动不了,使用apt-get进行修复,结果几乎要把整个x界面有关的软件包删除,所以只好重装系统,为了防止下次出现类似的问题,所以把系统做了一个备份. 备份的方法有两种,一种是通过一种软件进行被份,另外一种是通过命令行进行备份. 软件备份的方法是下载一个叫UCloner的软件.使用方法压缩包内已经说明了我就不再多说,不过因为这个软件说只支持Ubuntu 10.10 10.04 和9.10,所以别的版本就要使用命令行进行备份了. 下