Python批量复制迁移数据

前言

Python可以利用shutil库进行对文件夹,文件的迁移。而在本次的实践当中,难点在于目标文件夹的名称和数据源文件夹的名称,需要利用

工作单位提供的中间数据去进行对比连接起来。

例如:目标源的文件夹叫做,“1.台协办”。而数据源的文件夹叫做“103_广东省台协办委员会”。而他们中间的数据叫“103台协办”。

通过目标源的文字部分,连接中间数据,再用中间数据的数字编码部分,连接数据源的文件夹名称。

思路:通过生成器生成三个列表,将需要的数据进行拆分,然后去对比每个数据。最后将符合要求的文件名留下,用于绝对路径的组成,进行文件复制迁移。


复制迁移的代码

import os
import shutil

group_num = ‘第一组‘

NO1 = [‘例子:202广东省李小龙会‘] #中间数据,有提供中间数据,连接两个不完全相同的文件夹内容

data_type = [(‘电子帐1‘,‘财政指标‘),(‘电子帐5‘,‘公务卡信息‘)] #数据类型,在元组内一一对应
for data_type_longer,data_type in data_type:
    root = r‘F:\目标源路径\{group_num}‘.format_map(var()) #里面的文件名均为“数字.文字”,例如“22.广东省李小龙会”
    root2 = r‘F:\数据源路径\{data_type}‘.format_map(var())#里面的文件名均为“数字_文字”,例如“202_广东省李小龙纪念协会”
    list1 = [(i,i[:3],i[3:]) for i in NO1] #将中间数据拆为,原字符串,前3位数字,3位数字后的中文
    list2 = [(i,i.split(‘.‘)[0]),i.split(‘.‘)[-1] for i in os.lisdir(root)]#将目标源内的文件名以“.”拆分为,原字符串,数字,文字部分
    list3 = [(i,i.split(‘_‘)[0]),i.split(‘_‘)[-1] for i in os.lisdir(root2)]#将数据源内的文件名以“_”拆分为,原字符串,数字,文字部分
    res = list()
    for li1 in list1:
        for li2 in list2:
            for li3 in list3:
                if li3[1] == li1[1] and li1[2] == li2[2]:#做一个对比
                    res.append(li2[0],li3[0])#采集到最终的数据,用于两个需要复制移动文件夹的路径
                    print(res,len(res))
    for i in res:
        unit_string = i[0]
        unit_number = i[1]
        new_dir_name = r‘F:\目标源路径\{group_num}\{unit_string}\{data_type_longer}\{unit_number}‘.format_map(var())#目标源的绝对路径
        old_dir_name = r‘F:\数据源路径\{data_type}\{unit_number}‘.format_map(var())#数据源的绝对路径
        shutil.copytree(old_dir_name,new_dir_name)

目标源的绝对路径组成是:\组名\单位名称\数据类型\迁移的文件夹名称

数据源的绝对路径组成是:\数据类型\迁移的文件夹名称

执行成功


检查的脚本

因为需要检查目标源里面的文件夹哪个是空的,就是没有匹配到合适的数据源文件,所以写了一个检查脚本。

import os

group_list = [‘第一组‘,‘第二组‘,‘第三组‘,‘第四组‘....]

for i in group_list:
    group_num = i
    root = r‘F:\目标源路径\{group_num}‘.format_map(var())
    list0 = os.listdir(root)
    data_type_all = [(‘电子帐1‘,‘财政指标‘),(‘电子帐5‘,‘公务卡信息‘)....]
    print(‘\n‘)
    print(‘\n‘)
    print(‘___________在{group_num}中____________‘.format_map(var()))
    for unit in list0:
        if os.path.isdir(r‘F:\目标源路径\{group_num}\{unit}‘.format_map(var())):#判断是否一个文件夹,因为有其他文件中里面
            print(‘\n‘)
            print(‘___________在{unit}中____________‘.format_map(var()))
            for data_type in data_type_all:
                data_type0 = data_type[0]
                root1 = r‘F:\目标源路径\{group_num}\{unit}\{data_type0}‘.format_map(var())
                list_empty = os.listdir(root1)
                if list_empty==[]:                    #判断是否一个空的文件夹
                    print(‘______缺少——————{data_type0}‘.format_map(var()))
                else:
                    pass
        else:
            pass

原文地址:https://www.cnblogs.com/10sxluo/p/10455457.html

时间: 2024-10-18 04:42:39

Python批量复制迁移数据的相关文章

mysql批量复制表数据到另外几张表的写法

delimiter // create procedure oneKey(in newNames varchar(1000),in oldName varchar(250),in id INT,in count INT) BEGIN declare num int; -- 定义变量给循环使用 set num = 0; while num < count do SET @sqlStmt = CONCAT('insert into ', -- 要动态修改表名需要concat()方法 substrin

C# 使用SqlBulkCopy类批量复制大数据

特别注意  sqlbulkcopy.ColumnMappings.Add(dt.Columns[i].ColumnName, dt.Columns[i].ColumnName); 插入的时候列的顺序可以不一致,但名称和数据类型最好要保存一致.不一致时候,也能进行正确的转换,除了比如DataTime数据类型,不能插入一个无效的string时间字符串. 本文转载:http://zhoufoxcn.blog.51cto.com/792419/166052 参考http://www.cnblogs.co

使用SqlBulkCopy类批量复制大数据

1 using System; 2 using System.Configuration; 3 using System.Data; 4 using System.Data.SqlClient; 5 using System.Diagnostics; 6 7 namespace SqlBulkCopy1 8 { 9 class Program 10 { 11 static void Main(string[] args) 12 { 13 Stopwatch sw = new Stopwatch(

使用SqlBulkCopy类来批量复制数据

DataTable dt = new DataTable(); dt.Columns.Add("id", typeof(string)); for (int i = 0; i < 100; i++) { DataRow dr = dt.NewRow(); dr["id"] = "sadf" + i; dt.Rows.Add(dr); } using (SqlConnection conn = new SqlConnection(@"

使用asp.net 2.0中的SqlBulkCopy类批量复制数据

介绍:在软件开发中,把数据从一个地方复制到另一个地方是一个普遍的应用. 在很多不同的场合都会执行这个操作,包括旧系统到新系统的移植,从不同的数据库备份数据和收集数据. ASP.NET 2.0有一个SqlBulkCopy类,它可以帮助你从不同的数据源复制数据到SQL SERVER数据库. 本文中我将示范SqlBulkCopy类的不同应用. 数据库设计: 这个数据库的设计还是蛮简单的,它基于Northwind数据库的Products表.另外我还在Northwind数据库中创建了3个表. 详情可以看一

ADO.NET 新特性之SqlBulkCopy(批量插入大量数据)

转自:http://blog.csdn.net/huaer1011/article/details/2312361 在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便.而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据.数据源可以来自关系数据库或者XML文件,甚至WebService返回结果.其中最重要的一个类就是SqlBulkCopy类,使用它

python 学习笔记 3 -- 数据结构篇下

5.引用 当你创建一个对象并给它赋一个变量的时候,这个变量仅仅 引用 那个对象,而不是表示这个对象本身!也就是说,变量名指向你计算机中存储那个对象的内存.这被称作名称到对象的绑定.eg. [python] view plaincopy # -*- coding: utf-8 -*- shoplist = ['apple', 'mango', 'carrot', 'banana'] print "we copy the shoplist to mylist directly \"with

SqlServer批量复制(bcp)[C#SqlBulkCopy]性能极低问题

背景 最近一段给xx做项目,这边最头疼的事情就是数据库入库瓶颈问题. 环境 服务器环境:虚拟机,分配32CPU,磁盘1.4T,4T,5T,6T几台服务器不等同(转速都是7200r),内存64G. 排查步骤 排查一:数据库恢复模式为简单模式,数据库和tempdb的初始大小.数据库文件初始化大小100G,日志文件初始化大小50G,两个文件都是自动增长(按10%):tempdb初始化大小10G*4个文件,日志5G*4个文件,两个文件都是自动增长(按10%),分布在两个磁盘中(但看了这篇文章后,有点傻眼

python打印表格式数据,留出正确的空格和段落星号或注释

python打印表格式数据,留出正确的空格,格式化打出 代码如下: def printPicnic(itemsDict,leftWidth,rightWidth): print('PICNIC ITEMS'.center(leftWidth + rightWidth,'-')) for k,v in itemsDict.items(): print(k.ljust(leftWidth,'.')+str(v).rjust(rightWidth)) picnicItems = {'sandwitch