快速的mysql导入导出数据(load data和outfile)

1.load data:

***实际应用:把日志生成的xls文件load到MySQL中:

mysql_cmd = "iconv -c -f utf-8 -t gbk ./data/al_ver_" + yesterday_time + ".xls -o ./data/GBK_al_ver_" + yesterday_time + ".xls "
print(mysql_cmd)
os.system(mysql_cmd)

mysql_cmd = "mysql -h60.28.200.78 -uroot -pyeelion -A LogStat_RT  -e \"load data local  infile \‘./data/GBK_al_ver_" + yesterday_time + ".xls ‘ into table HiveData_508\""
print(mysql_cmd)
os.system(mysql_cmd)

上边的代码在load之前先进行了转码,iconv的用法:http://www.cnblogs.com/leezhxing/p/3929435.html

基本语法:

load data  [low_priority] [local] infile ‘file_name txt‘ [replace | ignore]
into table tbl_name
[fields
[terminated by‘t‘]
[OPTIONALLY] enclosed by ‘‘]
[escaped by‘\‘ ]]
[lines terminated by‘n‘]
[ignore number lines]
[(col_name,   )]

oad data infile语句从一个文本文件中以很高的速度读入一个表中。使用这个命令之前,mysqld进程(服务)必须已经在运行。为了安全原因,当读取位于服务器上的文本文件时,文件必须处于数据库目录或可被所有人读取。另外,为了对服务器上文件使用load data infile,在服务器主机上你必须有file的权限。

1  如果你指定关键词low_priority,那么MySQL将会等到没有其他人读这个表的时候,才把插入数据。可以使用如下的命令:

load data  low_priority infile "/home/mark/data sql" into table Orders;

2  如果指定local关键词,则表明从客户主机读文件。如果local没指定,文件必须位于服务器上。

3  replace和ignore关键词控制对现有的唯一键记录的重复的处理。如果你指定replace,新行将代替有相同的唯一键值的现有行。如果你指定ignore,跳过有唯一键的现有行的重复行的输入。如果你不指定任何一个选项,当找到重复键时,出现一个错误,并且文本文件的余下部分被忽略。例如:

load data  low_priority infile "/home/mark/data sql" replace into table Orders;

4 分隔符

(1) fields关键字指定了文件记段的分割格式,如果用到这个关键字,MySQL剖析器希望看到至少有下面的一个选项:

terminated by分隔符:意思是以什么字符作为分隔符

enclosed by字段括起字符

escaped by转义字符

terminated by描述字段的分隔符,默认情况下是tab字符(\t)

enclosed by描述的是字段的括起字符。

escaped by描述的转义字符。默认的是反斜杠(backslash:\ )

例如:load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by‘,‘ enclosed by ‘"‘;

(2)lines 关键字指定了每条记录的分隔符默认为‘\n‘即为换行符

如果两个字段都指定了那fields必须在lines之前。如果不指定fields关键字缺省值与如果你这样写的相同: fields terminated by‘\t‘ enclosed by ’ ‘‘ ‘ escaped by‘\\‘

如果你不指定一个lines子句,缺省值与如果你这样写的相同: lines terminated by‘\n‘

例如:load data infile "/jiaoben/load.txt" replace into table test fields terminated by ‘,‘ lines terminated by ‘/n‘;

5  load data infile 可以按指定的列把文件导入到数据库中。 当我们要把数据的一部分内容导入的时候,,需要加入一些栏目(列/字段/field)到MySQL数据库中,以适应一些额外的需要。比方说,我们要从Access数据库升级到MySQL数据库的时候

下面的例子显示了如何向指定的栏目(field)中导入数据:

load data infile "/home/Order txt" into table Orders(Order_Number, Order_Date, Customer_ID);

6  当在服务器主机上寻找文件时,服务器使用下列规则:

(1)如果给出一个绝对路径名,服务器使用该路径名。

(2)如果给出一个有一个或多个前置部件的相对路径名,服务器相对服务器的数据目录搜索文件。

(3)如果给出一个没有前置部件的一个文件名,服务器在当前数据库的数据库目录寻找文件。

例如: /myfile txt”给出的文件是从服务器的数据目录读取,而作为“myfile txt”给出的一个文件是从当前数据库的数据库目录下读取。

2.outfile

select * from Table into outfile ‘/路径/文件名‘
fields terminated by ‘,‘
enclosed by ‘"‘
lines terminated by ‘\r\n‘

fields子句:在FIELDS子句中有三个亚子句:TERMINATED BY、 [OPTIONALLY] ENCLOSED BY和ESCAPED BY。如果指定了FIELDS子句,则这三个亚子句中至少要指定一个。

TERMINATED BY用来指定字段值之间的符号,例如,“TERMINATED BY ‘,‘”指定了逗号作为两个字段值之间的标志。

ENCLOSED BY子句用来指定包裹文件中字符值的符号,例如,“ENCLOSED BY ‘ " ‘”表示文件中字符值放在双引号之间,若加上关键字OPTIONALLY表示所有的值都放在双引号之间。

ESCAPED BY子句用来指定转义字符,例如,“ESCAPED BY ‘*‘”将“*”指定为转义字符,取代“\”,如空格将表示为“*N”。

LINES子句:在LINES子句中使用TERMINATED BY指定一行结束的标志,如“LINES TERMINATED BY ‘?‘”表示一行以“?”作为结束标志。

时间: 2024-10-18 17:18:12

快速的mysql导入导出数据(load data和outfile)的相关文章

mysql导入导出数据中文乱码解决方法小结

inux系统中 linux默认的是utf8编码,而windows是gbk编码,所以会出现上面的乱码问题. 解决mysql导入导出数据乱码问题 首先要做的是要确定你导出数据的编码格式,使用mysqldump的时候需要加上--default-character-set=utf8, 例如下面的代码: 复制代码 代码如下: mysqldump -uroot -p --default-character-set=utf8 dbname tablename > bak.sql 那么导入数据的时候也要使用--

[转]mysql导入导出数据中文乱码解决方法小结

本文章总结了mysql导入导出数据中文乱码解决方法,出现中文乱码一般情况是导入导入时编码的设置问题,我们只要把编码调整一致即可解决此方法,下面是搜索到的一些方法总结,方便需要的朋友. linux系统中 linux默认的是utf8编码,而windows是gbk编码,所以会出现上面的乱码问题. 解决mysql导入导出数据乱码问题 首先要做的是要确定你导出数据的编码格式,使用mysqldump的时候需要加上--default-character-set=utf8, 例如下面的代码: 代码如下: mys

解决mysql导入导出数据乱码问题

最近在linux上面用mysqldump导出数据,放在windows系统中导入就会出现中文乱码,然后就会导致出现: Unknown MySQL server host和Can't connect to the server的错误.解决mysql导入导出数据乱码问题就是统一导入导出的编码,linux默认的是utf8编码,而windows是gbk编码,所以会出现上面的乱码问题. 解决mysql导入导出数据乱码问题 首先要做的是要确定你导出数据的编码格式,使用mysqldump的时候需要加上--def

mysql导入导出数据

大家都知道myisam读数据时比innodb要快,但导入大量表是myisam的记录特别慢,下面是我总结的mysql在导入导出大数据时加快速度的方法 一.使用into outfile导出.load data导入数据1.导出大数据表(into outfile导出的数据是文本) mysql> select count(*) from app_china; +----------+ | count(*) | +----------+ | 17931 | +----------+ 1 row in set

Navicat for mysql 导入导出数据表数据库

1.导出数据表 联通 如图所示,右击所要进行导出的表格,选择 Dump SQL File 下面的选项是只导出数据表结构,没有数据 上面的选项包含数据,连同表结构带着数据一同进行导出 2.导入数据表 选择数据库,右击进入,选择 Excute SQL File,自动弹出文件选择的列表,找到想要的文件,进行导入 3.导出数据库 操作方式与导出数据表相似,只是这部分变成了右击数据库来进行操作. 4.导入数据库 严格意义上来讲,导出的数据库文件只是一堆表结构关系,导入数据库文件本质上就是讲这些表导进来,操

常用mysql导入导出数据的命令

To export 导出指定db_name的数据: $ mysqldump -u [uname] -p[pass] db_name > db_backup.sql 导出整个库的数据: $ mysqldump -u [uname] -p[pass] --all-databases > all_db_backup.sql 导出指定表的数据 $ mysqldump -u [uname] -p[pass] db_name table1 table2 > table_backup.sql 导出打包

mysql导入导出数据库命令

1.导出数据库:mysqldump -u 用户名 -p 数据库名 > 导出的文件名 如我输入的命令行: mysqldump -u root -p news > /home/jason/sql/news.sql (输入后会让你输入进入MySQL的密码)(如果导出单张表的话在数据库名后面输入表名即可) 2.导入数据库 先用命令行进入mysql并use相应数据库 导入文件:source 导入的文件名; 如我输入的命令行: mysql>source /home/jason/sql/news.sq

常见MYSQL导入导出数据命令

导出数据库: mysqldump –uuser -ppassword -hhost databasename > target_20150225.sql 打包: tar zcvf target_20150225.sql.tgz target_20150225.sql 到新的数据库里新建库: Create databases target_database; 解压数据库文件: Tar zxvf target_20150225.sql.tgz 导入数据库: source  /date/target_

mysql导入导出csv文件

问题:为什么要导入导出为csv文件呢? (1)所谓大数据处理,仅仅关心某些列的数据,而非整个表结构,这些数据就需要保存为csv通用的存储格式,不仅可以在widows下作为文本文件进行处理:也可以在hadoop分布式系统上上进行处理: (2)mysql 数据库 迁移为 Oracle .SQLServer数据库,或者反过来,由于各自的设计不同,不能直接的导入导出为dmb sql等格式的文件,可能需要数据的导出导入为csv,而数据表结构的设计可能得通过其它途径. 一:MYSQL如何导出文本文件  (备