python 导入数据库的脚本

该脚本针对批量导入数据sql文件,data目录存放所要导入的sql文件,list.txt存放要导入的列表信息。

脚本内容如下:

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import os, sys, logging, datetime

# 日志文件配置
if not os.path.isdir(‘logs‘):
    os.mkdir(‘logs‘)
logging.basicConfig(level=logging.INFO,
                    format=‘%(asctime)s %(name)-12s %(levelname)-8s %(message)s‘,
                    datefmt=‘%Y-%m-%d %H:%M‘,
                    filename=‘logs/importable.log‘,
                    filemode=‘a‘)
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter(‘%(message)s‘)
console.setFormatter(formatter)
logging.getLogger(‘‘).addHandler(console)
logger = logging.getLogger(__name__)

# 从本地配置文件中读取主机列表信息
def readinfo(confile):
    info_list = []
    if os.path.isfile(confile):
        with open(confile, ‘r+‘) as f:
            for line in f.readlines():
                if not line.startswith("#"):
                    dict = {}
                    dict[‘id‘] = line.split()[0]
                    dict[‘host‘] = line.split()[1]
                    dict[‘name‘] = line.split()[2]
                    info_list.append(dict)
            return info_list
    else:
        logger.error(u"本地配置文件%s不存在!" % confile)
        sys.exit(1)

def readsqlfile(data):
    sql_list = []
    # 判断本地的sql文件是否存在目录是否存在。
    if os.path.isdir(data):
        for sql_file in os.listdir(data):
            if sql_file:
                sql_list.append(os.path.join(data,sql_file))
            else:
                logger.error(u"本地%s目录中没有要导入的sql文件!"%data)
    else:
        logger.error(u"%s 不是一个目录。"%data)
    return sql_list

# 循环info_list和sql_list将sql导入每一个服务器
def importhost(info_list, sql_list):
    succ_list = []
    fail_list = []
    for ser in info_list:
        for sql_file in sql_list:
            cmd = "%s/mysql -u%s -p%s -h‘%s‘ %s < %s" % (mysql_path, mysql_user, mysql_passwd, ser[‘host‘], ser[‘name‘] ,sql_file)
            status = os.system(cmd)
            if status == 0:
                msg = "%s -- %s -- %s 导入sql:%s 完毕!"%(ser[‘id‘],ser[‘host‘],ser[‘name‘],sql_file)
                succ_list.append(msg)
                logger.info(msg)
            else:
                msg = "%s -- %s -- %s 导入sql:%s 失败!" % (ser[‘id‘], ser[‘host‘], ser[‘name‘], sql_file)
                fail_list.append(msg)
                logger.error(msg)
                sys.exit(1)

    return succ_list,fail_list

def yesorno(confile,data):
    print "数据库列表如下:"
    info_list = readinfo(confile)
    for ser in info_list:
        print "%s --- %s ---- %s"%(ser[‘id‘],ser[‘host‘],ser[‘name‘])
    iput = raw_input("你是否要导入sql文件 %s,请输入yes or no:" % (os.listdir(data)))
    while True:
        if iput.lower() in [‘y‘,‘yes‘]:
            print "你选择了继续执行程序动作!"
            break
        elif iput.lower() in [‘n‘,‘no‘]:
            print "你选择了退出程序动作!"
            sys.exit(1)
        else:
            print "你输入了非法的字符,脚本并未执行导入sql文件的任何动作,程序即将退出。"
            sys.exit(1)

if __name__ == ‘__main__‘:
    # 基本信息配置变量
    data = r‘data‘ # 存放本地sql文件的目录
    confile = ‘list.txt‘ # 存放服务器列表信息,格式如: id  host dbname : 1 192.168.2.20 game_name_cn1
    # MySQL变量
    mysql_path = ‘/usr/local/mysql/bin‘
    mysql_user = ‘root‘
    mysql_passwd = ‘xirexrt,mf‘

    yesorno(confile,data)
    startime = datetime.datetime.now()
    sql_list = readsqlfile(data)
    info_list = readinfo(confile)
    succ,fail= importhost(info_list,sql_list)
    logger.info(u‘总共执行成功%s条. \r\n 总共执行失败%s条.‘%(len(succ), len(fail)))
    endtime = datetime.datetime.now()
    logger.info(u"\r\nTotal time: %s ms" % ((endtime - startime).microseconds / 1000))
时间: 2024-07-30 21:42:05

python 导入数据库的脚本的相关文章

Python 实现数据库更新脚本的生成

我在工作的时候,在测试环境下使用的数据库跟生产环境的数据库不一致,当我们的测试环境下的数据库完成测试准备更新到生产环境上的数据库时候,需要准备更新脚本,真是一不小心没记下来就会忘了改了哪里,哪里添加了什么,这个真是非常让人头疼.因此我就试着用Python来实现自动的生成更新脚本,以免我这烂记性,记不住事. 主要操作如下: 1.在原先 basedao.py 中添加如下方法,这样旧能很方便的获取数据库的数据,为测试数据库和生产数据库做对比打下了基础. 1 def select_database_st

Python数据库迁移脚本(终极版)

上次的那几个脚本这次全部整合到了一起,而且后面发现了一个可以使用的ODBC包,于是这次采用的方式就很简单了,直接通过ODBC将InterBase数据库中的数据全部取出来之后通过Python的sqlalchemyORM框架直接连接远程的MySQL数据库,之后便可以方便的传递数据了,当然,作为我的终极完善版本,自动模式和手动模式是少不了的了,在自动模式中将自动检查InterBase数据库是否存在,如果不存在则自动restore,然后自己创建InterBase的数据源,之后便可以取出数据了,下面是流程

python之TXT数据导入数据库

为了导入数据,可以先对数据做些处理,让其更容易导入数据库 #!/usr/bin/python #coding=utf-8 import _mysql,sys,time #读入数据函数 def add_data(id,name,created_time):     try:         conn=_mysql.connect('127.0.0.1','root','')         conn.query("set names utf8")         conn.query(&

利用python将文本文件导入数据库时,报错:Duplicate entry &#39;...&#39; for key &#39;PRIMARY&#39;

错误原因就是添加了相同的主键,我想了好一会儿,我抓的数据主键是Isbn啊,不可能重的啊,于是,我去数据库中查了以下报错的isbn号,插入的数据中也有,因为分类不一样,所以要再插入一次,这就肯定会报错啦,其中一个处理方法就是, 如果数据库中有这条记录,那么就跳过这条记录,另外,还可以在跳过这条记录的同时,把数据库中这本书的类别改为这两种类别. ans = con.execute("select * from b where isbn=(%s)",isbn)if (ans): contin

python之EXCEL数据导入数据库

操作承接上面数据库操作的基础,好了,直接上代码 # Excel导入数据库处理 tables = load_workbook(filename='Database/stud.xlsx') # 获取表内容 data = tables.worksheets[0] rows = data.max_row cols = data.max_column sql = 'insert into stu (name, age) values (?, ?)' xl_data = [] for rx in range

python sqlite3 数据库操作

SQLite3是python的内置模块,是一款非常小巧的嵌入式开源数据库软件. 1. 导入Python SQLite数据库模块 import sqlite3 2. python sqlite3模块的API """ sqlite3.connect(database [,timeout ,other optional arguments]) 该 API 打开一个到 SQLite 数据库文件 database 的链接.您可以使用 ":memory:" 来在 RA

python之数据库支持

13.1.1 全局变量 任何支持2.0版本DB API的数据库模块都必须定义3个描述模块特性的全局变量.这样做的原因时API设计的很灵活,以支持不同的基础机制.避免过多包装,可如果想让程序同时应用于几个数据库,那可是件麻烦事了,因为需要考虑到各种可能出现的状况. 变量名 用途 apilevel 所使用的python DB API版本 threadsafety 模块的线程安全等级 paramstyle 在SQL查询中使用的参数风格 API级别是个字符串常量,提供正在使用的API版本号. 线程安全性

Ubuntu Server下MySql数据库备份脚本代码

明: 我这里要把MySql数据库存放目录/var/lib/mysql下面的pw85数据库备份到/home/mysql_data里面,并且保存为mysqldata_bak_2012_04_11.tar.gz的压缩文件格式(2012_04_11是指备份执行时当天的日期), 最后只保留最近7天的备份. 实现步骤: 1.创建保存备份文件的目录:/home/mysql_datacd /home #进入目录mkdir mysql_data #创建目录2.创建备份脚本文件:/home/mysql_data/m

【DRP】采用dom4j完成XML文件导入数据库

xml文件在现在的web开发中扮演着重要的角色,从数据库连接配置到其他各种参数的设置,xml文件在反射技术的应用中举足轻重,也正因为xml文件中保存着如此重要的参数,所以对xml文件的读写操作就显得更加重要.下面我们重点讲解一下dom4j完成XML文件导入数据库. 0.带读取的xml文件如下: 1.利用PL/SQL导入SQL脚本,建立Oracle数据库表(表T_XML)结构,用于接收xml导入的数据 2.按照下图,建立目录并导入相应文件 通过引入的相关jar包,实现dom4j技术解析xml文件(