Python调用MYSQL,将文件名和路径批量入库用法小结

最近项目需要将大量的压缩文件导入到数据库中,所以开始总结用Python批量处理的办法,本次是首先将这些压缩文件的文件名提取出来,然后导入到数据库中。

由于涉及到路径的读取处理,所以方法有os模块和commands模块,本次主要采用commands模块(有时间的话,一定要再探索一下os模块实现的方式)。

# encoding: utf-8
#!/usr/bin/python

import commands
import MySQLdb

conn = MySQLdb.connect(
host=‘localhost‘,
user=‘***‘,
passwd=‘***‘,
db=‘***‘,
charset=‘utf8‘)

cur = conn.cursor()

#path = ‘/home/***/***/‘
res = commands.getstatusoutput( ‘find /home/***/***/企业名录/‘ ) #res 为返回的元组,包含(status,pathlist)即状态码,路径两个元素;find为Linux下查找文件的命令
#res = commands.getstatusoutput( ‘find /home/***/***/‘ )

pathlist = res[1].split(‘\n‘) #通过下标为1,提取出元祖res中的路径,并通过字符串方法split,去掉‘\n’,转换成一个一维的路径列表

#for line in pathlist:
# type(line)

for i in range(0,len(pathlist)): #通过for循环将列表中的文件路径取出

fileLine = pathlist[i] #取出后的文件路径为一个字符串

# print type(fileLine)
seperator = fileLine.rfind(‘/‘) #通过字符串方法rfind,找到字符‘/’在路径中最后出现的位置,在此位置之前为路径,在此之后为文件名(但是有一个小问题是文件夹的名字是一个路径)
filePath = fileLine[0:seperator+1] #通过切片的方式提取出文件路径
fileName = fileLine[seperator+1:] #通过切片的方式提取出文件名
fileType = fileLine[-3:]

# sql = "insert into table rarFileList(ID,filePath,fileName,fileType) values (%s,%s,%s,%s)"(str(i),filePath,fileName,fileType)
# sql = "insert into table rarFileList(ID,filePath,fileName,fileType) values (" + str(i) + "," + filePath + "," + fileName + "," + fileType + ")"  #此处为多种方式尝试,需要小心会有一些数据类型错误等情况出现
# print sql
# cur.execute(sql)
cur.execute("insert into rarFileList(ID,filePath,fileName,fileType) values (%s,%s,%s,%s)",(i,filePath,fileName,fileType))
# if fileLine[-3:] == ‘rar‘:
# sql = "update rarFileList set status= ‘done‘ where fileType = ‘rar‘"
# cur.execute(sql)
# elif fileLine[-3:]== ‘zip‘:
# sql = "update rarFileList set status= ‘done‘ where fileType =‘zip‘"
# cur.execute(sql)
cur.close()
conn.commit()
conn.close()

时间: 2024-10-16 09:19:09

Python调用MYSQL,将文件名和路径批量入库用法小结的相关文章

python 调用mysql存储过程返回结果集

存储过程: delimiter | create procedure get_product_info(in imid int(10),int iuser varchar(20)) begin select * from tb_test where mid = imid and user = iuser; end; | delimiter ; python调用: import mysql.connector cnx = mysql.connector.connect( user='test',p

python调用py中rar的路径问题。

1.python调用py,在py中的os.getcwd()获取的不是py的路径,可以通过os.path.split(os.path.realpath(__file__))[0]来获取py的路径. 2.当py中有调用类似rar这种命令时,会出现路径问题.这个时候在py同目录下建bat批处理,然后由python调用这个bat.bat格式如下 D:CD D:\XXXcall python xxx.py

redis缓存队列+MySQL +php任务脚本定时批量入库

原文地址:http://blog.jobbole.com/99567/ 需求背景:有个调用统计日志存储和统计需求,要求存储到mysql中:存储数据高峰能达到日均千万,瓶颈在于直接入库并发太高,可能会把mysql干垮. 问题分析 思考:应用网站架构的衍化过程中,应用最新的框架和工具技术固然是最优选择:但是,如果能在现有的框架的基础上提出简单可依赖的解决方案,未尝不是一种提升自我的尝试.解决: 问题一:要求日志最好入库:但是,直接入库mysql确实扛不住,批量入库没有问题,done.[批量入库和直接

python调用MySQL数据库

在Python中访问mysql数据库中的数据需要三步骤: 1,建立连接 2,操作数据库 3,连接关闭

一个小玩具:Python调用Mysql

1. ubuntu安装MySQL how to install:$ sudo apt-get install mysql-server$ sudo apt-get install mysql-client$ sudo apt-get install libmysqlclient-dev#python DB API$  sudo apt-get install python-mysqldb check:sudo netstat -tap | grep mysql run:mysql -u root

使用python调用mysql模块插入数据

安装MySQLdb python模块 [[email protected] history]# yum install -y MySQL-python 写一个python脚本关联mysql: [[email protected] day2]# cat mysql2.py  #!/bin/usr/python import MySQLdb as mysql con = mysql.connect(user="root",passwd="redhat",        

Python调用MySQL的一些用法小结

目标:1个excel表内容导入到数据库中,例如:原始excel文件为 aaa.xls 首先:将aaa.xls 转换成aaa.txt ,注意当文件中含有中文字符时,可以通过notepad++打开,在“格式”下选择转存为utf8格式或者选择utf8格式再另存 即: txtFile = aaa.txt #引入MySQLdb库,这个库的安装再另外写 import MySQLdb #定义数据库的接入 def getDbAccessConf( confFileName ): dbIp = "unknown&

如何用python从文中获取文件名再用正则表达式批量修改文件名

第零步:问题的提出 我在网上购买了星火英语的六级晨读美文100篇(六级早已高分飘过,不过很喜欢这些文章,买来重新品味),但是发现其文章的命名都为01.txt或10.txt等.为了便于检索需要修改文件名称. 第一步:从文件中取出文件名. 我发现txt文件的第一行为文件名,格式为如:Passage 3. Three Passions I Have Lived for, 后面还有几个换行符.写下如下代码进行第一步修改: import os x = 1 while x < 101: if x < 10

用Python操纵MySQL

本例用Python操纵MySQL,从指定文件读取数据,并对数据进行处理,处理之后批量插入MySQL. 贴上代码: # -*- coding: gbk -*- import re import MySQLdb import time def select(sqlselect): try: conn = MySQLdb.connect("localhost","test","123456","testdb" ) cursor=co