OracleBulkCopy的批量数据导入

  1        private void button1_Click(object sender, EventArgs e)
  2         {
  3             OpenFileDialog afd = new OpenFileDialog();
  4             if (afd.ShowDialog()!=System.Windows.Forms.DialogResult.OK)
  5             {
  6                 return;
  7             }
  8             string fileName = afd.FileName;
  9             if (Path.GetExtension(fileName)!=".csv")
 10             {
 11                 MessageBox.Show("文件名后缀必须是.csv");
 12                 return;
 13             }
 14             DataTable table = new DataTable();
 15             using(Stream stream=new FileStream(fileName,FileMode.Open,FileAccess.Read))
 16             using(StreamReader sr=new StreamReader(stream,Encoding.Default))
 17             {
 18                 string firstline = sr.ReadLine();
 19                 string line;
 20
 21
 22                 #region 把创建的列加入表的列集合中
 23                 //Id
 24                 DataColumn column = new DataColumn();
 25                 column.ColumnName = "Id";
 26                 column.DataType = System.Type.GetType("System.Int32");
 27                 table.Columns.Add(column);
 28                 //MobileNumber
 29                 column = new DataColumn();
 30                 column.ColumnName = "MobileNumber";
 31                 column.DataType = System.Type.GetType("System.String");
 32                 column.MaxLength = 10;
 33                 table.Columns.Add(column);
 34                 //MobileArea
 35                 column = new DataColumn();
 36                 column.ColumnName = "MobileArea";
 37                 column.DataType = System.Type.GetType("System.String");
 38                 column.MaxLength = 30;
 39                 table.Columns.Add(column);
 40                 //MobileType
 41                 column = new DataColumn();
 42                 column.ColumnName = "MobileType";
 43                 column.DataType = System.Type.GetType("System.String");
 44                 column.MaxLength = 20;
 45                 table.Columns.Add(column);
 46                 //AreaCode
 47                 column = new DataColumn();
 48                 column.ColumnName = "AreaCode";
 49                 column.DataType = System.Type.GetType("System.String");
 50                 column.MaxLength = 10;
 51                 table.Columns.Add(column);
 52                 //PostCode
 53                 column = new DataColumn();
 54                 column.ColumnName = "PostCode";
 55                 column.DataType = System.Type.GetType("System.String");
 56                 column.MaxLength = 8;
 57                 table.Columns.Add(column);
 58                 #endregion
 59
 60                 while ((line = sr.ReadLine())!=null)
 61                 {
 62                     string[] mobileMsg = line.Split(new char[] { ‘,‘ }, StringSplitOptions.RemoveEmptyEntries);
 63                     int Id = Convert.ToInt32(mobileMsg[0]);
 64                     string MobileNumber = mobileMsg[1].Trim(‘"‘);
 65                     string MobileArea = mobileMsg[2].Trim(‘"‘);
 66                     string MobileType = mobileMsg[3].Trim(‘"‘);
 67                     string AreaCode = mobileMsg[4].Trim(‘"‘);
 68                     string PostCode = mobileMsg[5].Trim(‘"‘);
 69                     //创建行,把行加入表的行集合中
 70                     DataRow row = table.NewRow();
 71                     row["Id"] = Id;
 72                     row["MobileNumber"] = MobileNumber;
 73                     row["MobileArea"] = MobileArea;
 74                     row["MobileType"] = MobileType;
 75                     row["AreaCode"] = AreaCode;
 76                     row["PostCode"] = PostCode;
 77                     table.Rows.Add(row);
 78                 }
 79             }
 80
 81             int i = table.Rows.Count;
 82             Stopwatch sw = new Stopwatch();
 83             sw.Start();
 84             using (OracleBulkCopy bulkCopy = new OracleBulkCopy(OracleHelper.CreateConnection()))
 85                 {
 86                     bulkCopy.DestinationTableName = "T_MOBILE";
 87                     foreach (DataColumn column in table.Columns)
 88                     {
 89                         bulkCopy.ColumnMappings.Add(column.ColumnName, column.ColumnName);//源列名->目标列名
 90                     }
 91                     try //如果发生异常就回滚
 92                     {
 93                         bulkCopy.WriteToServer(table);//把table表写入数据库表中
 94                        // tx.Commit();
 95                     }
 96                     catch (Exception ex)
 97                     {
 98                       //  tx.Rollback();
 99                         throw new Exception(ex.Message);
100                     }
101                 }
102                 sw.Stop();
103                 MessageBox.Show("耗时:" + sw.ElapsedMilliseconds + "秒");
104            // }
105         }
时间: 2024-10-27 11:19:56

OracleBulkCopy的批量数据导入的相关文章

SQL Server 批量数据导入

1. 由于Bulk Insert通常配合格式化文件批量导入数据更方便,所以这里先介绍bcp工具导出格式化文件的方法. bcp是SQL Server提供的命令行实用工具提供了数据的导出.导入.格式文件导出等功能,导出格式化文件的语法如下: bcp 数据库名.用户名.表名 format nul -- 这里的nul必须存在,用于不是导出和导入数据的情况下 -f 输出的格式化文件名 [-x] -c -- -x参数指定输出的格式文件为xml格式(默认非xml格式); -c参数指定数据存储方式为字符,并默认

网页实现批量数据导入功能

场景 我有一批平铺数据放在txt文件,其量大概在10W条,接下来我们希望将这10W条记录进行切割获取,并且将单条数据分析校验,然后插入到DB中.前提是我们使用的是HTTP文件上传方式来导入数据.现在的问题是:如果用户直接上传,然后我们一条条数据读取.校验并将其插入数据库,这个过程将会耗费非常长的时间(大概在1小时以上),而这么长的时间等待会导致apache.nginx或者浏览器端(一般情况下是60分钟)的超时.那么我们应该如何的解决这个问题呢? 分批次处理 分批次解决办法意思就是,将文件的大数据

sql server之批量数据导入

实际应用场景中,有时会需要把一批数据导入数据库.这批数据可能来源于另一个数据源.比较常规的做法是先读取到dataset,然后跑一个循环,每一行拼一句insert into语句,执行之.用过的人会知道,这种导入数据的方法效率十分低下.那么,有没有什么更好的方法呢?答案是有的.使用System.Data.SqlClient.SqlBulkCopy类.我觉得这个应该是在使用sql server资源管理器时,导入数据时所使用的方法.代码如下: ------------------------------

mysql批量数据导入探究

最近工作碰到一个问题,如何将大量数据(100MB+)导入到远程的mysql server上. 尝试1: Statement执行executeBatch的方法.每次导入1000条记录.时间为12s/1000条.比较慢. 对于1M次的插入这意味着需要4个多小时,期间还会因为网络状况,数据库负载等因素而把载入延迟提升到85s/1000条甚至更高. 效果较差. 尝试2: 使用PreparedStatement,该方法需要预先给定insert操作的“格式”. 实测用这种方式插入的效率为每秒钟数十行. 注意

oracle批量数据导入工具 sqlldr

sqlldr工具参数: [[email protected] ~]$ sqlldr SQL*Loader: Release 11.2.0.3.0 - Production on Wed Nov 19 09:47:56 2014 Copyright (c) 1982, 2011, Oracle and/or its affiliates. All rights reserved. Usage: SQLLDR keyword=value [,keyword=value,...] Valid Keyw

C#中大批量数据导入

Database db = DatabaseFactory.CreateDatabase(); using (SqlConnection connection = (SqlConnection)db.CreateConnection()) { try { connection.Open(); string tableName = "BG_Payment_Details"; using (SqlBulkCopy bulk = new SqlBulkCopy(connection, Sql

ImportTsv-HBase数据导入工具

一.概述 HBase官方提供了基于Mapreduce的批量数据导入工具:Bulk load和ImportTsv.关于Bulk load大家可以看下我另一篇博文. 通常HBase用户会使用HBase API导数,但是如果一次性导入大批量数据,可能占用大量Regionserver资源,影响存储在该Regionserver上其他表的查询,本文将会从源码上解析ImportTsv数据导入工具,探究如何高效导入数据到HBase. 二.ImportTsv介绍 ImportTsv是Hbase提供的一个命令行工具

BDC、CATT批量数据维护

声明:原创作品,转载时请注明文章来自SAP师太技术博客:www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将追究法律责任!原文链接:http://www.cnblogs.com/jiangzhengjun/p/4291452.html BDC批量数据导入... 19 SM35(包含SHDB)录屏操作... 19 生成程序... 22 带服务器端测试数据文件... 22 编辑服务器端上生成的测试数据文件... 23 CG3Y.CG3Z文件每行字符超长问

窗体Excel数据导入(第二讲)

在第一讲我们说了导入窗体的开发.之前做得导入,只适合小批量数据导入,如果遇到数据很多时,效率就很低.比如,惠美达办公系统里面的医院基本信息,那里面包含很多医院,医院下面有很多科室,如果一家一家医院的导科室,效率就非常低.像这种情况,我们可以在科室表里面,增加医院名称字段,然后用科室表的主表ID去匹配医院表. 效果图如下: 导入窗体的代码如下: 科室表的医院名称自动匹配医院表的医院名称: 原文地址;http://bbs.delit.cn/thread-228-1-1.html 转载请注明出处; 撰