使用SqlBulkCopy类批量复制大数据

 1 using System;
 2 using System.Configuration;
 3 using System.Data;
 4 using System.Data.SqlClient;
 5 using System.Diagnostics;
 6
 7 namespace SqlBulkCopy1
 8 {
 9     class Program
10     {
11         static void Main(string[] args)
12         {
13             Stopwatch sw = new Stopwatch();
14             for (int multiply = 0; multiply < 10; multiply++)
15             {
16                 DataTable dt = GetTableSchema();
17                 for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)
18                 {
19                     DataRow r = dt.NewRow();
20                     r[0] = count;
21                     r[1] = string.Format("username-{0}", count * multiply);
22                     r[2] = string.Format("userpwd-{0}", count * multiply);
23                     r[3] = string.Format("address-{0}", count * multiply);
24                     dt.Rows.Add(r);
25                 }
26                 sw.Start();
27                 BulkToDB(dt);
28                 sw.Stop();
29                 Console.WriteLine(string.Format("已消耗时间{0}毫秒", sw.ElapsedMilliseconds));
30             }
31             Console.ReadLine();
32         }
33         public static void BulkToDB(DataTable dt)
34         {
35             SqlConnection con = new SqlConnection(ConfigurationManager.ConnectionStrings["SqlConnString"].ConnectionString);
36             SqlBulkCopy bulkCopy = new SqlBulkCopy(con);
37             bulkCopy.DestinationTableName = "USERINFO";
38             bulkCopy.BatchSize = dt.Rows.Count;
39             try
40             {
41                 con.Open();
42                 if (dt != null && dt.Rows.Count != 0)
43                     bulkCopy.WriteToServer(dt);
44             }
45             catch (Exception)
46             {
47
48                 throw;
49             }
50         }
51
52         public static DataTable GetTableSchema()
53         {
54             DataTable dt = new DataTable();
55             dt.Columns.AddRange(new DataColumn[] {
56             new DataColumn("id",typeof(int)),
57             new DataColumn("username",typeof(string)),
58             new DataColumn("userpwd",typeof(string)),
59             new DataColumn("address",typeof(string))
60             });
61             return dt;
62         }
63     }
64 }

100W条数据消耗时间:

时间: 2024-08-01 20:01:19

使用SqlBulkCopy类批量复制大数据的相关文章

C# 使用SqlBulkCopy类批量复制大数据

特别注意  sqlbulkcopy.ColumnMappings.Add(dt.Columns[i].ColumnName, dt.Columns[i].ColumnName); 插入的时候列的顺序可以不一致,但名称和数据类型最好要保存一致.不一致时候,也能进行正确的转换,除了比如DataTime数据类型,不能插入一个无效的string时间字符串. 本文转载:http://zhoufoxcn.blog.51cto.com/792419/166052 参考http://www.cnblogs.co

.Net批量插入数据到SQLServer数据库,SqlBulkCopy类批量插入大数据到数据库

批量的的数据导入数据库中,尽量少的访问数据库,高性能的对数据库进行存储. 采用SqlBulkCopy来处理存储数据.SqlBulkCopy存储大批量的数据非常的高效,将内存中的数据表直接的一次性的存储到数据库中,而不需要一次一次的向数据库Insert数据. 经过几次实验,百万级别的数据表,也只需几秒时间内就可以完全的存入数据库中,其速度,比传统的Insert into方法不止快很多倍. 下面看代码: /// <summary> /// 批量插入数据 /// </summary> /

使用asp.net 2.0中的SqlBulkCopy类批量复制数据

介绍:在软件开发中,把数据从一个地方复制到另一个地方是一个普遍的应用. 在很多不同的场合都会执行这个操作,包括旧系统到新系统的移植,从不同的数据库备份数据和收集数据. ASP.NET 2.0有一个SqlBulkCopy类,它可以帮助你从不同的数据源复制数据到SQL SERVER数据库. 本文中我将示范SqlBulkCopy类的不同应用. 数据库设计: 这个数据库的设计还是蛮简单的,它基于Northwind数据库的Products表.另外我还在Northwind数据库中创建了3个表. 详情可以看一

C# 使用 SqlBulkCopy 类批量复制数据到数据库

最近公司需要优化导入的问题,由于之前使用的方式是生成 Insert 语句插入数据库,数据量小的时候还行,但是随着发展数据量渐渐大了,之前的方法性能就跟不上了,于是发现了 SqlBulkCopy 这个类. 使用 SqlBulkCopy 类只能向 SQL Server 表写入数据.但是,数据源不限于 SQL Server:可以使用任何数据源,只要数据可加载到 DataTable 实例或可使用 IDataReader 实例读取数据. public class Conn { private static

mysql批量复制表数据到另外几张表的写法

delimiter // create procedure oneKey(in newNames varchar(1000),in oldName varchar(250),in id INT,in count INT) BEGIN declare num int; -- 定义变量给循环使用 set num = 0; while num < count do SET @sqlStmt = CONCAT('insert into ', -- 要动态修改表名需要concat()方法 substrin

Python批量复制迁移数据

前言 Python可以利用shutil库进行对文件夹,文件的迁移.而在本次的实践当中,难点在于目标文件夹的名称和数据源文件夹的名称,需要利用 工作单位提供的中间数据去进行对比连接起来. 例如:目标源的文件夹叫做,“1.台协办”.而数据源的文件夹叫做“103_广东省台协办委员会”.而他们中间的数据叫“103台协办”. 通过目标源的文字部分,连接中间数据,再用中间数据的数字编码部分,连接数据源的文件夹名称. 思路:通过生成器生成三个列表,将需要的数据进行拆分,然后去对比每个数据.最后将符合要求的文件

如何批量处理大数据

1. 通过数据状态(未处理.处理中.处理完成) 2. 分页 分层 3. 通过数据锁定 select for update (多线程安全) 4. 事务 实例: 用户表.兑换资格表.兑换资格统计表 1. 千万用户 2. 用户通过签到获取若干兑换资格 3. 定时任务在固定时间统计每个用户去年未兑换的资格总数 4. 用户可手动兑换,此时 未兑换->兑换中 ,也需要更新统计表 具体实现: 通过select 非处理中用户并加锁,然后更新处理状态为(处理中) 循环处理这N条数据. for{ 锁定统计表 更新统

第三十三节(java-操作Excel实现企业级批量处理大数据)

package com.tanzhou.aduio;//创始一个包 import java.io.File;//引入类 import java.io.IOException; import java.util.Scanner; import jxl.Cell; import jxl.Sheet; import jxl.Workbook; import jxl.format.UnderlineStyle; //import jxl.read.biff.BiffException; import j

mysql+php+pdo批量添加大数据

1.使用insert into插入 ini_set('max_execution_time','0');//限制超时时间,因为第一种时间较长,索性设为0不限制 $pdo = new PDO("mysql:host=localhost;dbname=oradt_cloud1520","root","123456");  for($i=0; $i<100000; $i++){ $str = strrand(32); $pdo -> exe