使用notepad++/excle快速将cvs文件转换为insert语句技巧以及注意点

使用notepad++/excle快速将cvs文件转换为insert语句技巧以及注意点

业务场景

最近nc项目经理从第三方弄来了一个300w行的csv文件,让导入数据库做处理,出现了下列问题:

csv文件中的字段分隔符,默认使用,进行分隔的,insert的字段个数必须和插入字段的个数对应上,错误的原因就是:存储的问题子当中,有用,分隔的内容,导入的时候导致多一个字段,每次导入一部分就出错

注意事项/问题:

  • 文件过大,excle/notepad++均无法打开,使用linux工具对文件进行按行拆分

    #将文件上传到linux中,使用下面命令,total.csv为需要拆分的文件,company为拆分后的文件名
    split -l 100000 total.csv company

  • 文件格式无法不能用excle编辑,编辑后,出现格式乱码,可使用notepad++编辑保存;
  • 拆分后的文件也不宜过大,否则进行字符替换的时候,编辑器会卡死;
  • 由于使用转为insert语句导入的原因,空字符串在导入的过程中容易出错,所以讲空用""代替;

一、使用notepad++转换sql语句

1.使用正则表达是将最后一个行最后的字符替换为");

? "$"找到最后一个字符;

? 将最后一个字符替换为");",及sql语句的结束语句;

?

前两步效果:

? 将,替换为",",因为csv文件中如果为空值,会直接用,隔开,不会区分字段的分割,

? 将开头换为"(,记得要使用转义字符,不然无法替换

? 再将开头换为insert语句

? 最后结果:

二、使用excle替换

这次不用在意文件的格式,因为最后是保存sql语句

下面是公式

=CONCATENATE("INSERT INTO `new1_copy`(`DWMC`, `DWDZ`, `ZZJGDM`, `DWDH`, `DWDJ`, `DWXZ`, `XZQY`, `AQZRR`, `DWLX`, `AQZRRSFZ`, `AQZRRDH`, `JZMJ`, `DWZSX`, `GIS_X`, `GIS_Y`, `Deleted`) VALUES ('",A1,"','",B1,"','",C1,"','",D1,"','",E1,"','",F1,"','",G1,"','",H1,"','",I1,"','",J1,"','",K1,"','",L1,"','",M1,"','",N1,"','",O1,"','",P1,"');")

如果数据量很大,下拉很慢,双击公式单元格左下角:

会自动往下生成

原文地址:https://www.cnblogs.com/liweiweicode/p/12077668.html

时间: 2024-10-10 17:42:17

使用notepad++/excle快速将cvs文件转换为insert语句技巧以及注意点的相关文章

BAT 快速删除CVS文件和拷贝最近修改文件的目录结构

相信大家在操作大量文件的的时候,经常会遇到一些手动很难操作的情况 比如有CVS版本控制下每个文件夹下都有一个CVS文件夹,一个个手工删除肯定很费劲,我们都是懒人,还是用工具解决吧.不用重新写程序,直接用BAT命令就能作到.把下面的代码拷贝到记事本,保存成bat可执行文件,放到CVS根目录下,直接执行就行. ? 1 2 3 4 5 6 7 @echo off echo Deleting CVS folders and files under: %1 REM Open Folder specifie

把表里的数据转换为insert 语句

当表里面有数据时,怎么把表里的数据转换为insert 语句 (从别人那里看来的用SQLServer 2008 R2测试可用) CREATE PROC spGenInsertSQL @TableName AS VARCHAR(100)ASDECLARE xCursor CURSORFORSELECT NAME ,xusertypeFROM syscolumnsWHERE (id = OBJECT_ID(@TableName)) DECLARE @F1 VARCHAR(100)DECLARE @F2

怎样可以快速将pdf文件转换为jpg图片

有些PDF文件中会有一些图像内容,在使用需要使用这些图片的时候需要把这些内容转为jpg格式的图片,将文档转成图片看上去不是难事,但是想要快速的把文档转换成统一规格的jpg图片也是需要方法的. 要将PDF文件转成JPG图片,使用截图的方式对于一些页面较多的文档显示是不可取的.除此外还有一些简便的方法可使PDF文件转换成为JPG图片. 直接通过在线转换,首先进入在PDF在线转换器app.xunjiepdf.com.然后找到“PDF转成图片”这个转换类型,点击进入操作. 首先选择文件,把要转换的文件添

如何去除项目里面的SVN和CVS文件夹

SVN和CVS是我们常使用的项目版本管理工具,为我们的工作带来了很大的方便.但是,有时候我们需要删除里面的SVN和CVS文件夹. 1 如何快速的删除项目中的版本控制文件夹  (1) 删除项目中的SVN文件夹.我们可以使用bat脚本来实现快速递归删除,代码如下: @echo off echo Deleting SVN folders and files under: %1 REM Open Folder specified by parameter. cd %1 REM Recursive del

execl打开linux下cvs文件乱码问题解决办法

好久没写过文章了,今天遇到一个execl打开linux下cvs文件乱码的问题顺便记录下问题的解决办法.很多时候需要写一些脚本定时导出sql报表,导出的文件直接用execl打不开或者打开有中文乱码.如下两步便能解决: 一.处理格式问题tab键或空格转换为逗号shell脚本中tab键转换为空格sed -i "s/\t/,/g" table.csv 二.编码转换UTF-8转换GBKiconv -f TUF-8 -t GBK table.csv -o newtable.csv 就这么简单,各自

(总结)Linux下使用rsync最快速删除海量文件的方法

昨天遇到了要在Linux下删除海量文件的情况,需要删除数十万个文件.这个是之前的程序写的日志,增长很快,而且没什么用.这个时候,我们常用的删除命令rm -fr * 就不好用了,因为要等待的时间太长.所以必须要采取一些非常手段.我们可以使用rsync来实现快速删除大量文件. 1.先安装rsync:yum install rsync2.建立一个空的文件夹:mkdir /tmp/test3.用rsync删除目标目录:rsync --delete-before -a -H -v --progress -

python之模块py_compile用法(将py文件转换为pyc文件)

# -*- coding: cp936 -*- #python 27 #xiaodeng #python之模块py_compile用法(将py文件转换为pyc文件) #二进制文件,是由py文件经过编译后,生成的文件. ''' import py_compile #不带转义r py_compile.compile('D:\test.py') Traceback (most recent call last): File "<pyshell#1>", line 1, in &l

快速生成plist文件

在一个项目中,我们会经常用到许多plist文件,但是你怎么快速生成plist 文件吗?我给你提供一个方法. NSArray *title = [[NSArray alloc]initWithObjects:@"限免",@"降价",@"免费",@"专题",@"热榜", nil]; NSArray *iconName= [[NSArray alloc] initWithObjects:@"tabbar

arcgis 3种方法快速制作tpk文件(转)

arcgis 3种方法快速制作tpk文件(转) 作者:www.cnblogs.com  来源:www.cnblogs.com  发布日期:2015-03-22 来自:http://blog.csdn.net/arcgis_mobile/article/details/8048549 tpk是ArcGIS10.1推出的一种新的数据文件类型,主要是用于将切片文件打包形成离线地图包,tpk可以在ArcGIS Runtime或者ArcGIS for Android/iOS中作为切片底图被加载,有多种制作