使用MesaSQLite入库CSV文件

  这篇文章说的是将Excel数据最终存储进SQLite数据库的过程。

  以本人遇到的问题为例,由于数据库更新,需要重新做一份全量数据库,对于经理而言,显而易见Excel是最佳选择,但是到我这边,又不能直接使用Excel文件,鉴于Excel文件中数据量之大,本猿也不可能去依次插入数据建库,于是有了下面的种种。

  1.将Excel文件导成CSV文件(comma-separated values)

  拿到CSV文件后,别着急,避免编码问题,最好用txt格式打开CSV文件,并将其另存为txt文件。

    原始Excel文件,导出的CSV文件,最后的txt文件。好了,基本的数据文件已经准备完毕,下面开始数据库操作部分。

  2.使用MesaSQLite把txt文件内容入库

  打开MesaSQLite,我们需要首先建立一个新的数据库

  

  取名为全量,放在桌面,点击save

  

  我们可以看到桌面上多了一个后缀名为rdb的东东,我们可以直接修改其后缀名为db,也可不改。

  

  打开可以看到全貌:

  

  新建表

  

  为表添加字段

  

  最终表结构如图:

  

  接下来就是关键了:

  我们在菜单栏点击 import,注意选择刚建好的表

  

  然后选择之前放在桌面的txt文件,结果如图

  

  然后,a.使用 ’ 分隔符将字段分行显示

     b.拖拽右侧字段分别与左侧字段对应

     c.点击红色圆点,使之选中

       d.点击 import

  

  如无异常,则显示成功插入XX条数据,最后显示:

  

  完成。

  退出数据库,使用终端用SQLite3打开该数据库:

  

  

时间: 2024-08-25 04:00:25

使用MesaSQLite入库CSV文件的相关文章

用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件

转自:http://blog.csdn.net/think2me/article/details/12999907 1. 说说csv 和 Excel 这两者都是我们平时导出或者导入数据一般用到的载体.两者有什么区别呢?csv 格式更兼容一点.那么共同点都是GBK格式的,非UTF8.所以我们上传文件的时候,老是出现乱码,就是编码问题没有转好导致. 2. 推荐的几种方法 1. 函数 fgetss($handel);  返回字符串.它就是strip_tags(fget($handel))的组合读取cs

php操作csv文件导入mysql时中文乱码的解决办法

用网上通用的方法读取并上传csv文件内容进入mysql数据库中时,中文显示乱码,即使对数据用iconv函数转码后仍然乱码,这时可以用setlocale()函数: 这个函数经查阅是配置地域信息用的,在读取和写入csv数据前先用此函数进行定义,比如我的csv文件是无BOM的UTF-8格式,就先用如下函数进行定义: setlocale(LC_ALL, 'zh_CN.UTF8′); 然后再用iconv函数对数据内容进行转码入库等后续操作.

java将数据生成csv文件

1,httpRequest接口触发进程[或者可以换成其他方式触发] /** * 出入库生成CSV文件 * @param req * @param params * @return */@RequestMapping(value = "explanCsvFileToOrder")ResponseMessage explanCsvFileToOrder(HttpServletRequest req, @RequestParam Map<String, String> param

Java之利用openCsv将csv文件导入mysql数据库

前两天干活儿的时候有个需求,前台导入csv文件,后台要做接收处理,mysql数据库中,项目用的springboot+Vue+mybatisPlus实现,下面详细记录一下实现流程. 1.Controller层部分: /** * 读取csv文件,批量插入到数据库中 */ @RequestMapping("/importcsv") @RequiresPermissions("xxx:xxxxx:xxx") public R importCsv(@RequestParam(

oracle导出多CSV文件的靠谱的

oracle导出多CSV文件的问题 ---------------------------------------------------------------------- 用ksh脚本从oracle数据库中导出80w数据到csv文件,如用户给定名字为a.csv(文件最大4000行记录),则自动生产文件为a_1.csv,a_2.csv,...., a_200.csv 我已经实现了一个方法,但80w要导5小时,用户没法接受.如下: sqlplus -s user/pwd @${SqlDir}/

字符串与csv文件的日常操作

本周使用习惯了函数式编程,这样可以节省不少繁琐的步骤,而且对于程序的条理化非常有益.说来简单就是每个东西写成函数,规定输入输出. 下一周的任务就是面向对象了,把对象这个东西搞清楚,说不定可以重写整个文件为对象的操作 这里说几个本周很经常用的方法,一个是构建字符串数据中的字典数据,实际就是一个列表,这个列表我也是参考了一个tf-idf的文档给出的方法,核心思想就是将每一个字符串填入一个list最后将list写入循环对比,如果碰到一样的跳过,如果遇到不一样的输出,并且把这个字符串同样装入到list中

C/C++读写csv文件(用getline探测逗号分隔符)

csv文件其实就是文本文件,每行字段用逗号分隔. 代码 [cpp] view plain copy print? #include <iostream> #include <string> #include <vector> #include <fstream> #include <sstream> using namespace std; int main() { // 写文件 ofstream outFile; outFile.open(&q

解决 Excel 打开 UTF-8 编码 CSV 文件乱码的 BUG

解决 Excel 打开 UTF-8 编码 CSV 文件乱码的 BUG [email protected] http://www.cnblogs.com/swje/ 作者:Zhouwan 2017-6-6 方法一: 出处:http://blog.csdn.net/leonzhouwei/article/details/8447643 直接用 Excel 打开 UTF-8 编码的 CSV 文件会导致汉字部分出现乱码. 原因是 Excel 以 ANSI 格式打开,不会做编码识别. 打开 UTF-8 编

python csv文件打开错误:_csv.Error: line contains NULL byte

正常的csv文件读取如下: #coding:utf-8 import csv csvfilename = 'demo.csv' print u'################获取某一行' with open(csvfilename, 'rb') as csvfile: reader = csv.reader(csvfile) rows = [row for row in reader] print rows[0], rows[1], rows[2], rows[3] print u'#####