mysql+php+pdo批量添加大数据

1.使用insert into插入

  ini_set(‘max_execution_time‘,‘0‘);//限制超时时间,因为第一种时间较长,索性设为0不限制
  $pdo = new PDO("mysql:host=localhost;dbname=oradt_cloud1520","root","123456");

   for($i=0; $i<100000; $i++){

    $str = strrand(32);

  $pdo -> exec("insert into scan_card_picture(uuid,account_id,handle_state,created_time,status,from_account,accuracy,ifupdate) values(‘".$str."‘,‘A7kVzZYK2EyAXm2jIVVpF0ls4M2LS00000001044‘,‘handled‘,‘2015-09-17 07:55:10‘,‘active‘,‘[email protected]‘,‘90‘,1)");
  }

  使用这种方法,时间大概得1个多小时,慢的很离谱的,实在没办法,就使用了第二种。

2. ini_set(‘max_execution_time‘,‘0‘);
  $pdo = new PDO("mysql:host=localhost;dbname=oradt_cloud1520","root","123456");

  $sql = "insert into scan_card_picture(uuid,account_id,handle_state,created_time,status,from_account,accuracy,ifupdate) values";

  for($i=0; $i<100000; $i++){
    $str = strrand(32);
    $sql .="(‘".$str."‘,‘A7kVzZYK2EyAXm2jIVVpF0ls4M2LS00000001044‘,‘handled‘,‘2015-09-17 07:55:10‘,‘active‘,‘[email protected]‘,‘90‘,1),";
  }
  $sql = substr($sql,0,strlen($sql)-1);
  var_dump($sql);
  if($pdo -> exec($sql)){
    echo "插入成功!";
    echo $pdo -> lastinsertid();
  }

  使用这种方法,添加10万条时间也就是一分钟吧。肯能运行过程中会报错PDO::exec(): MySQL server has gone away ;可以在mysql控制台里面set global max_allowed_packet=2*1024*1024*10;  (详细参考http://www.cnblogs.com/zlx7/p/4763207.html)

3.网上查的还可以使用事物提交(每10条提交一次都可以,但是时间没有第二种快),大家可以自己试试。。

  

时间: 2024-10-11 21:05:29

mysql+php+pdo批量添加大数据的相关文章

ASP.NET MVC用存储过程批量添加修改数据

用Entity Framework 进行数据库交互,在代码里直接用lamda表达式和linq对数据库操作,中间为程序员省去了数据库访问的代码时间,程序员直接可以专注业务逻辑层的编写.但是对于比较复杂的表关系关联查询或者修改就比较费劲了.通常可以采用的方式是用EF执行SQL语句或者"存储过程",特别是执行复杂批量任务,当然也可以在MVC底层用ADO.NET,这里就不多说了.怎么做批量呢?这里讲讲在EF下用存储过程批量添加修改数据. 需求是这样的:需要批量添加修改产品类别的投放任务数额,每

python mysql curros.executemany 批量添加

#添加的表结构字段分辨是(id,title,summary,visits,accountName,grabTime) #其中id,是int自增主键,在添加操作的时候,不需要对id进行操作 conn = mysql.connector.connect(user='root',password='',database='newsdb',host='127.0.0.1', port='3306')cursor = conn.cursor() #此处Sql语句必须指定添加的字段名称!!!!!sql =

C# 使用SqlBulkCopy类批量复制大数据

特别注意  sqlbulkcopy.ColumnMappings.Add(dt.Columns[i].ColumnName, dt.Columns[i].ColumnName); 插入的时候列的顺序可以不一致,但名称和数据类型最好要保存一致.不一致时候,也能进行正确的转换,除了比如DataTime数据类型,不能插入一个无效的string时间字符串. 本文转载:http://zhoufoxcn.blog.51cto.com/792419/166052 参考http://www.cnblogs.co

.Net批量插入数据到SQLServer数据库,SqlBulkCopy类批量插入大数据到数据库

批量的的数据导入数据库中,尽量少的访问数据库,高性能的对数据库进行存储. 采用SqlBulkCopy来处理存储数据.SqlBulkCopy存储大批量的数据非常的高效,将内存中的数据表直接的一次性的存储到数据库中,而不需要一次一次的向数据库Insert数据. 经过几次实验,百万级别的数据表,也只需几秒时间内就可以完全的存入数据库中,其速度,比传统的Insert into方法不止快很多倍. 下面看代码: /// <summary> /// 批量插入数据 /// </summary> /

ArcEngine批量添加XY数据

使用ArcGIS Desktop “添加XY数据”或者“创建XY事件图层”工具 可以导入Excel坐标数据,生成临时图层并添加至ArcMap.ArcGlobe或者ArcScene中.在ArcEngine中可以利用GP工具(MakeXYEventLayer)将某个 x,y 坐标表添加到地图.globe 或 scene 中.该数据表中必须包含两个字段:一个用于 x 坐标,一个用于 y 坐标.Excel表的表头最好字段放至第一行,否则会报错.原本想直接将MakeXYEventLayer创建事件图层添加

秒速插入百万测试数据MYSQL,提供你玩玩大数据!

1.用PHP代码循环把要插入的数据存入文件 //随机字符串 function getRandChar($length){ $str = null; $strPol = "ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789abcdefghijklmnopqrstuvwxyz"; $max = strlen($strPol)-1; for($i=0;$i<$length;$i++){ $str.=$strPol[rand(0,$max)];//rand($min

使用SqlBulkCopy类批量复制大数据

1 using System; 2 using System.Configuration; 3 using System.Data; 4 using System.Data.SqlClient; 5 using System.Diagnostics; 6 7 namespace SqlBulkCopy1 8 { 9 class Program 10 { 11 static void Main(string[] args) 12 { 13 Stopwatch sw = new Stopwatch(

如何批量处理大数据

1. 通过数据状态(未处理.处理中.处理完成) 2. 分页 分层 3. 通过数据锁定 select for update (多线程安全) 4. 事务 实例: 用户表.兑换资格表.兑换资格统计表 1. 千万用户 2. 用户通过签到获取若干兑换资格 3. 定时任务在固定时间统计每个用户去年未兑换的资格总数 4. 用户可手动兑换,此时 未兑换->兑换中 ,也需要更新统计表 具体实现: 通过select 非处理中用户并加锁,然后更新处理状态为(处理中) 循环处理这N条数据. for{ 锁定统计表 更新统

第三十三节(java-操作Excel实现企业级批量处理大数据)

package com.tanzhou.aduio;//创始一个包 import java.io.File;//引入类 import java.io.IOException; import java.util.Scanner; import jxl.Cell; import jxl.Sheet; import jxl.Workbook; import jxl.format.UnderlineStyle; //import jxl.read.biff.BiffException; import j