批量数据插入高效 转发

  1. public static void insert() {
  2. // 开时时间
  3. Long begin = new Date().getTime();
  4. // sql前缀
  5. String prefix = "INSERT INTO tb_big_data (count, create_time, random) VALUES ";
  6. try {
  7. // 保存sql后缀
  8. StringBuffer suffix = new StringBuffer();
  9. // 设置事务为非自动提交
  10. conn.setAutoCommit(false);
  11. // Statement st = conn.createStatement();
  12. // 比起st，pst会更好些
  13. PreparedStatement pst = conn.prepareStatement("");
  14. // 外层循环，总提交事务次数
  15. for (int i = 1; i <= 100; i++) {
  16. // 第次提交步长
  17. for (int j = 1; j <= 10000; j++) {
  18. // 构建sql后缀
  19. suffix.append("(" + j * i + ", SYSDATE(), " + i * j
  20. * Math.random() + "),");
  21. }
  22. // 构建完整sql
  23. String sql = prefix + suffix.substring(0, suffix.length() - 1);
  24. // 添加执行sql
  25. pst.addBatch(sql);
  26. // 执行操作
  27. pst.executeBatch();
  28. // 提交事务
  29. conn.commit();
  30. // 清空上一次添加的数据
  31. suffix = new StringBuffer();
  32. }
  33. // 头等连接
  34. pst.close();
  35. conn.close();
  36. } catch (SQLException e) {
  37. e.printStackTrace();
  38. }
  39. // 结束时间
  40. Long end = new Date().getTime();
  41. // 耗时
  42. System.out.println("cast : " + (end - begin) / 1000 + " ms");
  43. }
时间： 2024-10-09 20:46:30

批量数据插入高效 转发的相关文章

数据库批量数据插入问题分析

在数据库的相关开发中,经常会遇到数据的批量插入问题.本文主要是通过实验的方式探讨批量数据插入的瓶颈,以及优化建议. 以10w条记录的插入作为实验对象,采用下面的几种方法插入: 1.       普通插入:普通的一条条插入 2.       普通插入+手动提交:setAutoCommit(false).commit() 3.       普通插入+手动提交+ prepareStatement方式 4.       批量插入:addBatch.executeBatch 5.       批量插入:i

SqlParameter 事务 批量数据插入

不错,很好,以后防注入批量事务提交虽然麻烦点研究了几个小时,但不会是问题了 1 SqlCommand cmd; 2 HelpSqlServer helps = new HelpSqlServer(); 3 //定义SqlParameter数组 4 SqlParameter[] param = new SqlParameter[4]; 5 6 7 protected void Page_Load(object sender, EventArgs e) 8 { 9 var strsql = "&qu

自学.net（5）SqlBulkCopy批量数据插入

插个1万条的数据用了40多秒,我感觉我这个代码还是有问题 using Microsoft.Win32; using System; using System.Collections; using System.Collections.Generic; using System.Configuration; using System.Data; using System.Data.SqlClient; using System.IO; using System.Linq; using System

使用SqlBulkCopy进行批量数据插入

1 Dim dt As DataTable = New DataTable() 2 dt.Columns.Add("DtCostProductRuleGUID", GetType(Guid)) 3 dt.Columns.Add("RecollectGUID", GetType(Guid)) 4 dt.Columns.Add("ProjCode", GetType(String)) 5 dt.Columns.Add("ProductGUI

批量数据入库

下面主要介绍数据库批量操作数据(主要是 Insert)的方法,涉及 SQL Server.DB2.MySQL 等. SQL Server 首先,准备工作,新建一个数据库实例 在数据库实例中新建一张数据表 自认而然,最常用的是普通的 insert 方法,可以插入一条或多条数据 但是,在大数据量的情况下,普通的 insert 方法插入批量数据执行太慢. 参见:.NET批量大数据插入性能分析及比较: 下面提供 2 种方法,提高批量数据插入效率: (1)SqlBulkCopy .Net 2.0 提供 S

php+mysqli实现批量执行插入、更新及删除数据的方法

本文实例讲述了php+mysqli实现批量执行插入.更新及删除数据的方法.分享给大家供大家参考.具体如下: mysqli批量执行插入/更新/删除数据,函数为 multi_query(). 下面的代码只是批量插入数据,事实上,插入数据.更新数据.删除数据等可以混合一起执行.查询时使用该函数,读取数据有点不太一样,具体参考如下代码: <?php //1.创建数据库连接对象 $mysqli = new MySQLi("localhost","root","

.NET批量大数据插入性能分析及比较

原文:.NET批量大数据插入性能分析及比较 数据插入使用了以下几种方式 1. 逐条数据插入2. 拼接sql语句批量插入3. 拼接sql语句并使用Transaction4. 拼接sql语句并使用SqlTransaction5. 使用DataAdapter6. 使用TransactionScope及SqlBulkCopy7. 使用表值参数 数据库使用SQL Server,脚本如下 create table TestTable(Id int ,Name nvarchar(20)) 程序中生成测试Dat

C API向MySQL插入批量数据的快速方法——关于mysql_autocommit

MySQL默认的数据提交操作模式是自动提交模式(autocommit).这就表示除非显式地开始一个事务,否则每个查询都被当做一个单独的事务自动执行.我们可以通过设置autocommit的值改变是否是自动提交autocommit模式.查询当前数据库事务提交方式的命令为: mysql> show variables like 'autocommit'; +---------------+-------+ | Variable_name | Value | +---------------+-----

SQL Server 批量数据导入

1. 由于Bulk Insert通常配合格式化文件批量导入数据更方便,所以这里先介绍bcp工具导出格式化文件的方法. bcp是SQL Server提供的命令行实用工具提供了数据的导出.导入.格式文件导出等功能,导出格式化文件的语法如下: bcp 数据库名.用户名.表名 format nul -- 这里的nul必须存在,用于不是导出和导入数据的情况下 -f 输出的格式化文件名 [-x] -c -- -x参数指定输出的格式文件为xml格式(默认非xml格式); -c参数指定数据存储方式为字符,并默认