一般数据存储和批量数据存储比较--10万条数据

一、在数据库中建立Student表

二、创建10万条数据

创建数据

三、创建一般数据存储方法

 public static void SaveGeneral(DataTable dt)
        {
            string strConn = @"Data Source=.;Initial Catalog=Test;Integrated Security=True";
            SqlConnection conn = new SqlConnection(strConn);
            conn.Open();
            SqlCommand cmd = new SqlCommand();
            cmd.Connection = conn;

            for (int i = 0; i < dt.Rows.Count; i++)
            {

                string strSQL = "INSERT INTO [Test].[dbo].[Student] VALUES (‘" + dt.Rows[i][0] + "‘, ‘" + dt.Rows[i][1] + "‘  ,‘" + dt.Rows[i][2] + "‘)";
                cmd.CommandText = strSQL;
                cmd.ExecuteNonQuery();
            }
            conn.Close();
        }

四、创建批量存储数据

  建立数据源与目标存储数据结构的映射关系:

    

关系映射

  创建事务存储批量数据:

    

批量存储

总结:

  两种存储方法的时间有很大的差别。

我PC机的配置CPU 3.40GH 识别内存 3.4G

一般的存储方法存储10W条数据大约需要8分57秒左右。

采用了SqlBulkCopy批量存储10W条数据大约需要1.9503秒

时间: 2024-08-25 17:42:27

一般数据存储和批量数据存储比较--10万条数据的相关文章

java 批量插入10万条数据

for (int i = 0; i < 100000; i++) { dbHelper.insert("INSERT aaa(name) Values ('1')"); } 运行时间==780450ms conn = getConn(); // JAVA默认为TRUE,我们自己处理需要设置为FALSE,并且修改为手动提交,才可以调用rollback()函数 conn.setAutoCommit(false); st = conn.createStatement(); long s

C# DataGirdView 填充10万条数据

DataGirdView 填充10万条数据,用以下方式基本耗时 2秒 DataTable dt = new DataTable();DataColumn dc1 = new DataColumn("Column1");DataColumn dc2 = new DataColumn("Column2");DataColumn dc3 = new DataColumn("Column3");dt.Columns.Add(dc1);dt.Columns

性能优化:虚拟列表,如何渲染10万条数据的dom,页面同时不卡顿

最近做的一个需求,当列表大概有2万条数据,又不让做成分页,如果页面直接渲染2万条数据,在一些低配电脑上可能会照成页面卡死,基于这个需求,我们来手写一个虚拟列表 思路 列表中固定只显示少量的数据,比如60条 在列表滚动的时候不断的去插入删除dom startIndex.endIndex,不断的改变这个值来获取最新的显示列表 paddingTop.paddingBottom撑开容器的滚动区域 首先看一下当直接插入2万条列表时,页面的性能 可以看到火焰图中已经有了红色的部分了,dom渲染也耗时也有1s

【原创】10万条数据采用存储过程分页实现(Mvc+Dapper+存储过程)

有时候大数据量进行查询操作的时候,查询速度很大强度上可以影响用户体验,因此自己简单写了一个demo,简单总结记录一下: 技术:Mvc4+Dapper+Dapper扩展+Sqlserver 目前主要实现了两种分页:一种采用 PagedList.Mvc 实现的分页 两外一种采用 ajax异步加载分页 采用比较常用的jquery.pagination 分页插件. 功能相对比较简单仅供学习交流. 通用存储过程 1 USE [MvcProcPageDB] 2 GO 3 4 /****** Object:

批量插入100万条数据

创建数据库: --Create DataBase create database BulkTestDB; go use BulkTestDB; go --Create Table Create table BulkTestTable( Id int primary key, UserName nvarchar(32), Pwd varchar(16)) go --Create Table Valued CREATE TYPE BulkUdt AS TABLE (Id int, UserName

JavaScript如何一次性展示几万条数据

有一位同事跟大家说他在网上看到一道面试题:"如果后台传给前端几万条数据,前端怎么渲染到页面上?",如何回答? 于是办公室沸腾了, 同事们讨论开了, 你一言我一语说出自己的方案. 有的说直接循环遍历生成html插到页面上:有的说应该用分页来处理:还有的说这个面试官是个白痴, 哪有后台传几万条数据给前端这种情况的:我仔细思考了一下,先不论后端到底会不会白痴到传几万条数据给前端,假如真碰到这种情况,那么如果前端获取到数据以后, 直接将数据转换成html字符串,通过DOM操作插入到页面,势必导

极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)

原文:极限挑战-C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码) 实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间. 本实验中所用到工具为VS2008和SQL SERVER 2000.SQL SERVER 2008,分别使用5中方法将100万条数据导入SQL 2000与SQL 2008中,实验环境是DELL 2850双2.0GCPU,2G内存的服务器.感兴趣的朋友可以下载源代码自己验证一下所用时间

一个系统存储由memcache+mysql组成,写一条数据的时候,更新memcache有几种方式,

一个系统存储由memcache+mysql组成,写一条数据的时候,更新memcache有几种方式,优缺点是什么? 缓存更新(不仅仅是memceche)有2种策略 一种是写时更新 一种是读时更新 一.写时更新是指  写db成功以后  同时更新缓存 , 能有效减少穿透  但是  容易引起数据的不一致 二.读时更新是说 写完db  删除缓存,等到 需要读得时候  在重建缓存, 一致性可以保证  但是  穿透大,容易给db造成压力

给你100万条数据的一张表,你将如何查询优化?

1.两种查询引擎查询速度(myIsam 引擎 ) InnoDB 中不保存表的具体行数,也就是说,执行select count(*) from table时,InnoDB要扫描一遍整个表来计算有多少行. MyISAM只要简单的读出保存好的行数即可. 注意的是,当count(*)语句包含 where条件时,两种表的操作有些不同,InnoDB类型的表用count(*)或者count(主键),加上where col 条件.其中col列是表的主键之外的其他具有唯一约束索引的列.这样查询时速度会很快.就是可