将csv格式的数据文件导入/导出数据库+添加新的字段

最近一直忙于实验室的事情，没有好好更新博客，在抓包的过程中，遇到了很多问题。

因为我常用Wireshark将抓包信息导出为csv文件，这里简单mark一下将csv文件导入/导出到数据库的2种方法：

一.简单，但是稍慢的方法，使用Navicat for MySQL，傻瓜式导入数据库：

流程如下：

安装完成并配置好连接后界面如下：

新建数据库

进入导入向导

选择导入类型：

然后选择文件作为数据源，这里是我之前抓好的包，300w+条抓包记录

这里直接采取默认设置

同样默认

自己设置了下表明，新建了表

这里是程序根据文件内容进行的猜测，注意要修改下数据类型，并根据需要做相应调整，这里有点不太好，目前只找到了通过方向键“下”来添加，没有其他操作，如果增加的数据记录没有填写，则自动删除。

我将包的信息缩减到只用我需要的，这样抓取的信息就从1G锐减到200+M

半小时，300w+个记录

这慢的，谁用谁知道~~~~

二.使用SQL语句进行导入，速度快！

这个方法一直都报告Error 1265，目前还没有解决

时间： 2024-08-05 11:12:37

将csv格式的数据文件导入/导出数据库+添加新的字段的相关文章

ETL工具—Kettle数据的导入导出—数据库到数据库

ETL简介: ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程) 数据库到数据库 下面讲解:kettle工具实现方法 案例目的:从用户scott下将emp表导入到用户testuser下. 准备工作:首先在testuser账户下,新建一个与scott账户中emp表结构相同的表. 操作步骤: 1.检测一下testuser账户下是否已经建立了emp的空表. 图1:检测用户testuser中的emp表 2.新建一个"转换",拖入"表输入&quo

DB2导入导出数据库数据

导出数据库中数据 在db2cmd命令下生成建库脚本(-z指定模式名) db2look -d BBS -z db2admin -u db2admin -e -o bbs.sql 在db2cmd命令下导出数据 db2move BBS export -sn db2admin -u db2admin -p db2admin 导入数据到数据库 1.使用指定的csv格式的数据文件并生成日志文件 import   from   "D:/tmp/qm_east_info.csv"   OF   DEL

MATLAB中文件的读写和数据的导入导出

http://blog.163.com/tawney_daylily/blog/static/13614643620111117853933/ 在编写一个程序时,经常需要从外部读入数据,或者将程序运行的结果保存为文件.MATLAB使用多种格式打开和保存数据.本章将要介绍 MATLAB中文件的读写和数据的导入导出. 13.1 数据基本操作 本节介绍基本的数据操作,包括工作区的保存.导入和文件打开.13.1.1 文件的存储 MATLAB支持工作区的保存.用户可以将工作区或工作区中的变量以文件的形式保

导入CSV格式的数据

导入CSV格式的数据 (参见http://dev.mysql.com/doc/refman/5.6/en/load-data.html) 1.数据库表(st_pptn_r) CREATE TABLE st_pptn_r ( STCD varchar(8) DEFAULT NULL, TM datetime DEFAULT NULL, DRP decimal(5,1) DEFAULT NULL, INTV decimal(5,2) DEFAULT NULL, PDR decimal(5,2) DE

excel数据导入导出数据库

第一种方法: 先把Excel另存为.csv格式文件,如test.csv,再编写一个insert.ctl 用sqlldr进行导入! insert.ctl内容如下: load data          --1.控制文件标识 infile ‘my.csv‘          --2.要输入的数据文件名为my.csv append into table "tbl_test"   --3.向表table_name中追加记录 fields terminated by ‘,‘          

Laravel Excel 实现 Excel-CSV 文件导入导出功能

Laravel Excel 是一款基于 PHPExcel 开发的Laravel框架专用的 Excel/CSV 文件导入导出功能的扩展包,用起来的非常方便. 它的 Github 地址是:https://github.com/Maatwebsite/Laravel-Excel 安装 我们就按照GIthub上的readme文件进行安装吧. composer require "maatwebsite/excel:~2.1.0" 在 config/app.php 中注册服务提供者到 provid

数据库文件导入导出

用pl/sql developer导出表的数据时有三种方式: Oracle Export,Sql Insert,pl/sql developer 导出步骤: 1 tools ->export tables-> Oracle Export 选择选项导出.dmp文件 2 tools ->export user object 选择选项,导出.sql文件 导入步骤: 1 tools->import talbes->Oracle Import然后再导入dmp文件 2 tools->

客户关系管理系统中对客户及相关数据的导入导出操作

在很多系统,我们都知道,Excel数据的导入导出操作是必不可少的一个功能,这种功能能够给使用者和外部进行数据交换,也能批量迅速的录入数据到系统中:但在一些系统中,为了方便,可能把很多个基础表或者相关的数据综合到一个Excel表格文件里面,然后希望通过接口进行导入,这种需求处理就显得比较复杂一点了.本文探讨在我的客户关系管理系统中,对于单个Excel表格中,集合了客户基础数据及相关数据的导入和导出操作的处理. 1.导入导出的需求分析 本随笔主要介绍如何在系统中,导入单一文件中的数据到系统中,这个文

以太坊钱包开发系列2 - 账号Keystore文件导入导出

以太坊去中心化网页钱包开发系列,将从零开始开发出一个可以实际使用的钱包,本系列文章是理论与实战相结合,一共有四篇:创建钱包账号.账号Keystore文件导入导出.展示钱包信息及发起签名交易.发送Token(代币),这是第二篇,主要介绍钱包账号导出与导入,将对Keystore文件的生成的原理进行介绍. 如何导入Geth创建的账号? 在上一篇文章,介绍了如何使用私钥及助记词来创建账号,如果是使用已有的私钥及助记词,这其实也是账号导入的过程. 有一些同学会问,我的账号是Geth生成的,如何导入到钱包呢