利用Python编写linux自动备份脚本

题目:

周末的时候帮朋友写了一个备份需求的脚本,现在整理一下,分享出来使用Python语言的Fabric模块,这里就不扫盲了,运维必用的Python模块;

大概要求:

公司需求,每天凌晨2点备份数据(数据量不大,每天全备),拷贝至备份服务器,通过md5对比备份文件(本机备份文件和备份服务器文件对比),并将备份情况通知运维组同学。

备份思路:

(1.每天凌晨2点在服务器本地使用tar打包备份文件;

(2.备份成功以后,推送至备份服务器;

(3.校验本地备份文件和备份服务器文件的完整性和一致性;

(4.校验文件是否一致,并将备份状态(成功or失败)写入logs文件;

(5.通过查看logs状态检查备份是否成功,并将内容以邮件形式发送管理员;

(6.日志信息以标签的方式写入文本,通过查看文本的信息。确认是否备份成功;

(7.多台服务器备份,所以备份目录格式为:/backup/ip/

备份流程图:

备份脚本 [server端]

# -*- coding: utf-8 -*
#!/usr/bin/env python
from fabric.api import *
from fabric.colors import *
from fabric.context_managers import *
from fabric.contrib.console import confirm
import time
import datetime

#backup server
env.user = ‘root‘
env.hosts= [‘192.168.64.129‘]
env.password= ‘123456‘

env.deploy_version = time.strftime("%Y%m%d")

#local backup
env.project_dev_source = [‘/usr/local/nginx/‘,‘/usr/local/php/‘]
env.project_tar_source = ‘/backup/‘
#backup server
env.deploy_project_dir = ‘/backup/‘
env.deploy_address_ip  = ‘192.168.64.128‘  
env.deploy_address_dir = env.deploy_project_dir + env.deploy_address_ip

@task
@runs_once
def tar_backup():
        #在本地打包备份文件
    print yellow("Creating backup package...")
    local("mkdir -p %s" % env.project_tar_source)
    for source in env.project_dev_source:
        with lcd(source):
            local("tar -czf %s-%s.tar.gz . " % ((env.project_tar_source + env.deploy_version),source.split(‘/‘)[-2]))
    local("find /backup -name ‘*.tar.gz‘ -mtime +7|xargs rm -f")
    print green("Creating backup package success!")

@task
def put_package():
        #推送至备份服务器
    print yellow("Start put package...")
    run("mkdir -p %s "% env.deploy_address_dir)
    with settings(warn_only=True):
      for source in env.project_dev_source:
        result = put(env.project_tar_source+env.deploy_version+"-"+source.split(‘/‘)[-2]+".tar.gz",env.deploy_address_dir)
    print green("Put & backup package success!")

@task
@runs_once
def md5_check():
        #通过md5对比备份服务器和本地备份文件的完整性
    print yellow("check backup package...")
    with lcd(env.project_tar_source):
        lmd5 = local("md5sum %s%s*.gz|awk ‘{print $1}‘"% (env.project_tar_source,env.deploy_version),capture=True).split()
        rmd5 = run("md5sum %s/%s*.gz|awk ‘{print $1}‘"% (env.deploy_address_dir,env.deploy_version)).split()
        #将备份状态信息写入备份服务器的日志文本
        if lmd5==rmd5:
            status = ‘备份时间 : %-25s备份IP : %-30s备份状态 : 备份成功!‘% (datetime.date.today(),env.deploy_address_ip)
            run("echo ‘%s‘ >> %slogs/backup_%s.log"% (status,env.deploy_project_dir,env.deploy_version))
            print green("backup package md5 contrast success!")
        else:
            status = ‘备份时间 : %-25s备份IP : %-30s备份状态 : 备份失败!‘% (datetime.date.today(),env.deploy_address_ip)
            run("echo ‘%s‘ >> %slogs/backup_%s.log"% (status,env.deploy_project_dir,env.deploy_version))
            print green("backup package md5 contrast failure!")

@task
def back():
    tar_backup()
    put_package()
    md5_check()

Email脚本 [backup server端]

# -*- coding: utf-8 -*
#!/usr/bin/env python

import commands
import smtplib
import string
import time

#查看备份服务器的日志文本信息
info = commands.getoutput(‘cat /backup/logs/backup_%s.log‘% time.strftime("%Y%m%d"))

def email():
    HOST = "smtp.qq.com"
    SUBJECT = ""
    #收件人
    TO = "[email protected]"
    #发件人
    FROM = "[email protected]"
    #邮件内容
    text = "%s" % info
    BODY = string.join((
            "From: %s" % FROM,
            "To: %s" % TO,
            "Subject: %s" % SUBJECT ,
            "",
            text
            ), "\r\n")
    #防止一次发送失败,循环发送5次       
    for i in range(5):
        try:
            server = smtplib.SMTP()
            server.connect(HOST,"25")
            server.starttls()
            server.login("[email protected]","password")
            server.sendmail(FROM, [TO], BODY)
            server.quit()
            return True
        except Exception,error:
            print " \033[31m%s \033[0m"% error
            continue
            return False
if __name__ == ‘__main__‘:
    email()

效果测试图,待补充 ...

时间: 2024-11-04 20:23:02

利用Python编写linux自动备份脚本的相关文章

python编写Mysql自动备份脚本

#!/usr/bin/env python # -*- coding: utf-8 -*-  # filename: mysql_dump.py import os import time import string ''' defined variable ''' databases='--database kbss_kcas reportdb koacif sequence infocenter' sql_user='root' sql_pwd='123456' ''' Defining t

Linux自动备份脚本

今天网上一个朋友问了我一个shell的题目,让我帮他做下.下面是题目以及解题思路. 题目: 写作一个备份/etc目录的脚本,要求:将/etc目录下的所有文件cp到/var/backups目录下的以当天的日期命名的目录中例如(/var/backups/etc.20140809).并且判断前一天的目录中的文件与当天的区别,如果无区别,则删除前一天的备份目录. 解答: [[email protected] scripts]# cat auto_bak.sh  #!/bin/bash # # This 

Linux自动备份脚本--解析

      由于上次做项目的时候,客户要求需要对系统状态做自动备份,当时觉得自己写得脚本实在是不够上档次,就开始在网上搜索各种比较好的脚本,现在找到了一个还挺不错的脚本,与大家一起来解析分享一下.其实我第一遍看的时候中间有一小部分没有弄懂,觉得里面的语法真的是用的恰到好处,不过还是稍稍修改了一点. #说明使用的是bash语法来写脚本 #!/bin/bash #设置日志文件,前提建好了/backup/log目录 LogFile=/backup/log/`date +"%Y-%m"`.lo

linux 自动备份脚本

首先我在/root/backup 目录下建立一个文件夹, #mkdir /root/backup/mysqlbackup 以后在每天五点钟,就会有一个文件保存在这里. 接着新建文件 #vim /root/mysqlautobak 输入: filename=` date +%Y%m%d ` mysqldump --all-databases -uroot -p(mysql密码)> /root/backup/mysqlbackup/mysql$file.sql 保存退出! 让它可以执行 #chomd

LINUX 自动备份脚本文件

首先我在/root/backup 目录下建立一个文件夹, #mkdir /root/backup/mysqlbackup 以后在每天五点钟,就会有一个文件保存在这里. 接着新建文件 #vim /root/mysqlautobak 输入: filename=` date +%Y%m%d ` mysqldump --all-databases -uroot -p(mysql密码)> /root/backup/mysqlbackup/mysql$file.sql 保存退出! 让它可以执行 #chomd

Python - 利用python编写的memcached启动脚本

memcached作为缓存文件服务,默认是操作系统里面是可以直接yum -y install memcached进行安装的. /etc/init.d/memcached 是属于系统shell编写的管理脚本,下面这个脚本是python脚本编写出来的memcached管理脚本,和shell编写的脚本实现的效果一样. #!/usr/bin/python import sys import os from subprocess import Popen,PIPE class Process(object

Linux下Oracle自动备份脚本

#!/bin/bash export ORACLE_HOME=/usr/local/instantclient_11_2export PATH=$ORACLE_HOME:$PATHexport TNS_ADMIN=$ORACLE_HOME/network/adminexport LD_LIBRARY_PATH=$ORACLE_HOME:$LD_LIBRARY_PATH#export NLS_LANG='simplified chinese_china.ZHS16GBK'export NLS_LA

python编写的自动获取代理IP列表的爬虫-chinaboywg-ChinaUnix博客

python编写的自动获取代理IP列表的爬虫-chinaboywg-ChinaUnix博客 undefined Python多线程抓取代理服务器 | Linux运维笔记 undefined java如果模拟请求重启路由器(网络爬虫常用),还有java如何下载图片 - baidu_nod的专栏 - 博客频道 - CSDN.NET undefined [多线程数据采集]使用Jsoup抓取数据+破解屏蔽ip访问. - MiniBu - 开源中国社区 undefined 单linux服务器同时拨多条AD

使用php作linux自动执行脚本

使用php作linux自动执行脚本 [来源] 达内    [编辑] 达内   [时间]2013-03-21 在作社区时, 时常需要统计上线人数等数据. 一般做法是, 把这段代码放在用户 login或者某一个页面中, 以便在用户登录或访问到该时,触发运行该代码. 这样 一来, 会造成一个问题, 如果该代码教复杂, 明显减慢该页的正常调用速度. 最近在用PHP(PHP培训 php教程 )作一社区, 在写到计算最高上线人数时, 成功调试出把PHP作为 shell script直接在服务器上运行. 在作