C#中大批量数据导入

 Database db = DatabaseFactory.CreateDatabase();
                using (SqlConnection connection = (SqlConnection)db.CreateConnection())
                {
                    try
                    {
                        connection.Open();
                        string tableName = "BG_Payment_Details";
                        using (SqlBulkCopy bulk = new SqlBulkCopy(connection, SqlBulkCopyOptions.KeepIdentity, null)
                        {
                            DestinationTableName = tableName,
                            BatchSize = 10000
                        })
                        {
                            foreach (DataColumn dc in dsPayment.Tables[1].Columns)
                            {
                                bulk.ColumnMappings.Add(dc.ColumnName, dc.ColumnName);
                            }
                            bulk.WriteToServer(dsPayment.Tables[1]);
                            bulk.Close();
                        }
                    }
                    catch (Exception exp)
                    {
                        throw exp;
                    }
                    finally
                    {
                        connection.Close();
                    }
                }

代码如上,实际上还是比较简单的,就是本地赋值好表,之后对应上服务器上的目标表,直接使用上面的程式就OK了。

DataTable直接到服务器的Table.

但是也有一个坑在那边,必须两边开启一个服务。

参照下面的网页

http://www.lmwlove.com/ac/ID1144

Win7中"已禁用对分布式事务管理器(MSDTC)的网络访问。请使用组件服务管理工具启用 DTC 以便在 MSDTC 安全配置中进行网络访问。"

因为在程序中用到了TransactionScope对象,测试的时候报出了"已禁用对分布式事务管理器(MSDTC)的网络访问。请使用组件服务管理工具启用 DTC 以便在 MSDTC 安全配置中进行网络访问。"的错误,本人是Win7系统,解决方法如下:
打开"控制面板"- >"管理工具"- >"组件服务" 如下图:

然后依次双击"计算机"- >"我的电脑"- >"Distributed Transaction Coordinator",然后右键点击"本地DTC",选择“属性”选项,在"安全"选项卡中设置如下即可:

时间: 2024-11-08 23:51:47

C#中大批量数据导入的相关文章

SQL Server 批量数据导入

1. 由于Bulk Insert通常配合格式化文件批量导入数据更方便,所以这里先介绍bcp工具导出格式化文件的方法. bcp是SQL Server提供的命令行实用工具提供了数据的导出.导入.格式文件导出等功能,导出格式化文件的语法如下: bcp 数据库名.用户名.表名 format nul -- 这里的nul必须存在,用于不是导出和导入数据的情况下 -f 输出的格式化文件名 [-x] -c -- -x参数指定输出的格式文件为xml格式(默认非xml格式); -c参数指定数据存储方式为字符,并默认

网页实现批量数据导入功能

场景 我有一批平铺数据放在txt文件,其量大概在10W条,接下来我们希望将这10W条记录进行切割获取,并且将单条数据分析校验,然后插入到DB中.前提是我们使用的是HTTP文件上传方式来导入数据.现在的问题是:如果用户直接上传,然后我们一条条数据读取.校验并将其插入数据库,这个过程将会耗费非常长的时间(大概在1小时以上),而这么长的时间等待会导致apache.nginx或者浏览器端(一般情况下是60分钟)的超时.那么我们应该如何的解决这个问题呢? 分批次处理 分批次解决办法意思就是,将文件的大数据

sql server之批量数据导入

实际应用场景中,有时会需要把一批数据导入数据库.这批数据可能来源于另一个数据源.比较常规的做法是先读取到dataset,然后跑一个循环,每一行拼一句insert into语句,执行之.用过的人会知道,这种导入数据的方法效率十分低下.那么,有没有什么更好的方法呢?答案是有的.使用System.Data.SqlClient.SqlBulkCopy类.我觉得这个应该是在使用sql server资源管理器时,导入数据时所使用的方法.代码如下: ------------------------------

mysql批量数据导入探究

最近工作碰到一个问题,如何将大量数据(100MB+)导入到远程的mysql server上. 尝试1: Statement执行executeBatch的方法.每次导入1000条记录.时间为12s/1000条.比较慢. 对于1M次的插入这意味着需要4个多小时,期间还会因为网络状况,数据库负载等因素而把载入延迟提升到85s/1000条甚至更高. 效果较差. 尝试2: 使用PreparedStatement,该方法需要预先给定insert操作的“格式”. 实测用这种方式插入的效率为每秒钟数十行. 注意

oracle批量数据导入工具 sqlldr

sqlldr工具参数: [[email protected] ~]$ sqlldr SQL*Loader: Release 11.2.0.3.0 - Production on Wed Nov 19 09:47:56 2014 Copyright (c) 1982, 2011, Oracle and/or its affiliates. All rights reserved. Usage: SQLLDR keyword=value [,keyword=value,...] Valid Keyw

OracleBulkCopy的批量数据导入

1 private void button1_Click(object sender, EventArgs e) 2 { 3 OpenFileDialog afd = new OpenFileDialog(); 4 if (afd.ShowDialog()!=System.Windows.Forms.DialogResult.OK) 5 { 6 return; 7 } 8 string fileName = afd.FileName; 9 if (Path.GetExtension(fileNa

ImportTsv-HBase数据导入工具

一.概述 HBase官方提供了基于Mapreduce的批量数据导入工具:Bulk load和ImportTsv.关于Bulk load大家可以看下我另一篇博文. 通常HBase用户会使用HBase API导数,但是如果一次性导入大批量数据,可能占用大量Regionserver资源,影响存储在该Regionserver上其他表的查询,本文将会从源码上解析ImportTsv数据导入工具,探究如何高效导入数据到HBase. 二.ImportTsv介绍 ImportTsv是Hbase提供的一个命令行工具

BDC、CATT批量数据维护

声明:原创作品,转载时请注明文章来自SAP师太技术博客:www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将追究法律责任!原文链接:http://www.cnblogs.com/jiangzhengjun/p/4291452.html BDC批量数据导入... 19 SM35(包含SHDB)录屏操作... 19 生成程序... 22 带服务器端测试数据文件... 22 编辑服务器端上生成的测试数据文件... 23 CG3Y.CG3Z文件每行字符超长问

窗体Excel数据导入(第二讲)

在第一讲我们说了导入窗体的开发.之前做得导入,只适合小批量数据导入,如果遇到数据很多时,效率就很低.比如,惠美达办公系统里面的医院基本信息,那里面包含很多医院,医院下面有很多科室,如果一家一家医院的导科室,效率就非常低.像这种情况,我们可以在科室表里面,增加医院名称字段,然后用科室表的主表ID去匹配医院表. 效果图如下: 导入窗体的代码如下: 科室表的医院名称自动匹配医院表的医院名称: 原文地址;http://bbs.delit.cn/thread-228-1-1.html 转载请注明出处; 撰