mysql大批量插入数据的4种方法示例

前言

本文主要给大家介绍了关于mysql大批量插入数据的4种方法，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧

方法一：循环插入

这个也是最普通的方式，如果数据量不是很大，可以使用，但是每次都要消耗连接数据库的资源。

大致思维如下

（我这里写伪代码，具体编写可以结合自己的业务逻辑或者框架语法编写）

?


1

2

3

4

5

6

7

8

9

10

11

12

13

for($i=1;$i<=100;$i++){

 $sql = ‘insert...............‘;

 //querysql

}

foreach($arr as $key => $value){

$sql = ‘insert...............‘;

 //querysql

}

while($i <= 100){

$sql = ‘insert...............‘;

 //querysql

 $i++

}

因为太过普通同时也没什么难度同时也不是我今天主要写的所以这里我不多说

方法二：减少连接资源，拼接一条sql

伪代码如下

?


1

2

3

4

5

6

7

8

9

10

//这里假设arr的key和数据库字段同步，其实大多数框架中在php操作数据库的时候都是这么设计的

$arr_keys  = array_keys($arr);

$sql    = ‘INSERT INTO tablename (‘ . implode(‘,‘ ,$arr_keys) . ‘) values‘;

$arr_values  = array_values($arr);

$sql    .= " (‘" . implode("‘,‘" ,$arr_values) . "‘),";

$sql    = substr($sql ,0 ,-1);

//拼接之后大概就是 INSERT INTO tablename (‘username‘,‘password‘) values

(‘xxx‘,‘xxx‘),(‘xxx‘,‘xxx‘),(‘xxx‘,‘xxx‘),(‘xxx‘,‘xxx‘),(‘xxx‘,‘xxx‘),(‘xxx‘,‘xxx‘)

.......

//querysql

这样写正常插入一万条基本问题不大，除非数据很长，应付普通的批量插入够用了，比如：批量生成卡号，批量生成随机码等等。。。

方法三：使用存储过程

这个我手里正好再用这个就把sql付出来，具体业务逻辑大家自己组合一下就可以。

?


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

delimiter $$$

create procedure zqtest()

begin

declare i int default 0;

set i=0;

start transaction;

while i<80000 do

 //your insert sql

set i=i+1;

end while;

commit;

end

$$$

delimiter;

call zqtest();

这个也只是个测试代码，具体参数大家自行定义

我这里是一次插入8万条，虽然不多但是，每一条数据量都很大，有很多varchar4000 和text字段
耗时 6.524s

方法四：使用MYSQL LOCAL_INFILE

这个我目前正在使用，所以顺便把pdo的代码也复上来，以便大家参考

?


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

//设置pdo开启MYSQL_ATTR_LOCAL_INFILE

/*[email protected]

public function pdo_local_info ()

{

  global $system_dbserver;

  $dbname = ‘[email protected]‘;

  $ip  = ‘[email protected]‘;

  $user = ‘[email protected]‘;

  $pwd  = ‘[email protected]‘;

  $dsn  = ‘mysql:dbname=‘ . $dbname . ‘;host=‘ . $ip . ‘;port=3306‘;

  $options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true];

  $db  = new PDO($dsn ,$user ,$pwd ,$options);

  return $db;

 }

//伪代码如下

public function test(){

  $arr_keys   = array_keys($arr);

  $root_dir   = $_SERVER["DOCUMENT_ROOT"] . ‘/‘;

  $my_file   = $root_dir . "[email protected]/sql_cache/" . $order[‘OrderNo‘] . ‘.sql‘;

  $fhandler   = fopen($my_file,‘a+‘);

  if ($fhandler) {

  $sql = implode("\t" ,$arr);

   $i = 1;

   while ($i <= 80000)

   {

    $i++;

    fwrite($fhandler ,$sql . "\r\n");

   }

   $sql = "LOAD DATA local INFILE ‘" . $myFile . "‘ INTO TABLE ";

   $sql .= "tablename (" . implode(‘,‘ ,$arr_keys) . ")";

   $pdo = $this->pdo_local_info ();

   $res = $pdo->exec($sql);

   if (!$res) {

    //TODO 插入失败

   }

   @unlink($my_file);

  }

}

这个同样每一条数据量都很大，有很多varchar4000 和text字段

耗时 2.160s

以上满足基本需求，100万数据问题不大，要不数据实在太大也涉及分库分表了，或者使用队列插入了。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。

原文地址：https://www.cnblogs.com/bit5566/p/12185463.html

时间： 2024-08-05 21:58:59

mysql大批量插入数据的4种方法示例的相关文章

MySQL批量插入数据的几种方法

最近公司要求测试数据库的性能,就上网查了一些批量插入数据的代码,发现有好几种不同的用法,插入同样数据的耗时也有区别 别的先不说,先上一段代码与君共享 方法一: package com.bigdata; import java.sql.Connection; import java.sql.Driver; import java.sql.DriverManager; import java.sql.PreparedStatement; public class TestBigData { /**

用python代码简单连接MySQL以及插入数据的两种方法

连接MySQL代码如下: import pymysql # 打开数据库连接 参数依次如下: conn = pymysql.connect(host='localhost',user='root',password='1234',database='pymysql_demo',port=3306) # 使用cursor()方法获取操作游标 cursor = conn.cursor() . . . . # 关闭数据库连接 conn.close() 插入数据: 1) import pymysql co

MySQL大批量插入数据

MySQL大批量插入数据 1. 对于Myisam类型的表,可以通过以下方式快速的导入大量的数据. ALTER  TABLE  tblname  DISABLE  KEYS; loading  the  data ALTER  TABLE  tblname  ENABLE  KEYS; 这两个命令用来打开或者关闭Myisam表非唯一索引的更新.在导入大量的数据到一 个非空的Myisam表时,通过设置这两个命令,可以提高导入的效率.对于导入大量 数据到一个空的Myisam表,默认就是先导入数据然后才

SQL Server 批量插入数据的两种方法

在SQL Server 中插入一条数据使用Insert语句,但是如果想要批量插入一堆数据的话,循环使用Insert不仅效率低,而且会导致SQL一系统性能问题.下面介绍SQL Server支持的两种批量数据插入方法:Bulk和表值参数(Table-Valued Parameters). 运行下面的脚本,建立测试数据库和表值参数. [c-sharp] view plaincopy --Create DataBase create database BulkTestDB; go use BulkTes

MySQL中删除数据的两种方法

转自:http://blog.csdn.net/apache6/article/details/2778878 在MySQL中有两种方法可以删除数据,一种是DELETE语句,另一种是TRUNCATE TABLE语句. DELETE语句可以通过WHERE对要删除的记录进行选择.而使用TRUNCATE TABLE将删除表中的所有记录.因此,DELETE语句更灵活. 如果要清空表中的所有记录,可以使用下面的两种方法: DELETE FROM table1 TRUNCATE TABLE table1 其

PHP大批量插入数据库的3种方法和速度对比

这篇文章主要是说php插入数据库速度的对比,方法都是从网上找的,自己实践测试了下.其实主要是使用方案三解决了自己的问题,所以在此处记录下 第一种方法:使用insert into 插入,代码如下: 1 $params = array(‘value'=>'50′); 2 set_time_limit(0); 3 echo date(“H:i:s”); 4 for($i=0;$i<2000000;$i++){ 5 $connect_mysql->insert($params); 6 }; 7

SQL Server 批量插入数据的两种方法(转)

在SQL Server 中插入一条数据使用Insert语句,但是如果想要批量插入一堆数据的话,循环使用Insert不仅效率低,而且会导致SQL一系统性能问题.下面介绍SQL Server支持的两种批量数据插入方法:Bulk和表值参数(Table-Valued Parameters). 运行下面的脚本,建立测试数据库和表值参数. [c-sharp] view plaincopy --Create DataBase create database BulkTestDB; go use BulkTes

MySQL查询随机数据的4种方法和性能对比

从MySQL随机选取数据也是我们最常用的一种发发,其最简单的办法就是使用”ORDER BY RAND()”,本文介绍了包括ORDER BY RAND()的4种获取随机数据的方法,并分析了各自的优缺点. 下面从以下四种方案分析各自的优缺点.方案一: 复制代码 代码如下: SELECT * FROM `table` ORDER BY RAND() LIMIT 0,1; 这种方法的问题就是非常慢.原因是因为MySQL会创建一张零时表来保存所有的结果集,然后给每个结果一个随机索引,然后再排序并返回.有几

[转载]SQLServer 批量插入数据的两种方法。

在SQL Server 中插入一条数据使用Insert语句,但是如果想要批量插入一堆数据的话,循环使用Insert不仅效率低,而且会导致SQL一系统性能问题.下面介绍SQL Server支持的两种批量数据插入方法:Bulk和表值参数(Table-Valued Parameters).运行下面的脚本,建立测试数据库和表值参数. 复制代码 代码如下: --Create DataBase create database BulkTestDB; go use BulkTestDB; go --Creat