数据量大分批执行处理

没80条执行一次

int bathInt = 80;
for(int i = 0; i < map.size()/bathInt; i++){
msg.append(pMethod.SHHSREVObject(map.subList(i*bathInt, (i+1)*bathInt),UName,TableName));
}
if(map.size()%bathInt != 0){
msg.append(pMethod.SHHSREVObject(map.subList(map.size()/bathInt*bathInt,
map.size()/bathInt*bathInt+map.size()%bathInt),UName,TableName));
}

时间: 2024-12-09 18:12:42

数据量大分批执行处理的相关文章

hsql数据量大的时候 left join 查询非常慢

最近遇到使用hsql查询两张表的时候,发现一旦left join就差些很慢,单独查很快,不知道为什么. 然后听说hsql只要数据量稍微大点,再 join一下就很慢,绞尽脑汁想到了一天终于想到办法了. 于是拆分sql把依然使用left join,但是事先把两个表的结果集变小就可以left join了.例子如下 select p.parent_id, p.id, p.pid, p.c_name, p.path, p.params, p.p_type, p.area_code, p.appid, SU

sql:日期操作注意的,如果以字符串转日期时的函数,因为数据量大,会出问题

---1.以日期字符操作转换日期 如果是VIP1生日不对,可以以上传的数据日期为生日 begin declare @NowBirthday datetime, @birthday datetime,@stat datetime,@end datetime,@statbirthday datetime,@endbirthday datetime,@thirdbirthday datetime,@firthbirthday datetime, @year int,@month int , @day

LiisView的行单独页查看、编辑、新增(行数据量大不易查看时)

好处:复杂的表不易查看.编辑.新增,将数据传到单独的页面进行查看.编辑.新增,信息详细易读清晰. ListView页的配置: 设置InsertItemPosition="None"因为不在本页编辑了,设置None后如果数据为空,则显示<EmptyDataTemplate>模板里面的内容. 删掉各种没用的模板,然后在每行添加“查看”“编辑”按钮(超链接)带着ID和action-(edit/view)重定向到ListViewUI页 在ListViewUI页引入FormView控

关于.NET大数据量大并发量的数据连接池管理

转自:http://www.cnblogs.com/virusswb/archive/2010/01/08/1642055.html 我以前对.NET连接池的认识是错误的,原来以为在web.config中设置了连接池,每次发起的数据库连接也还是会是新的,每个sql请求就是一个连接,需要打开和关闭.因此就想设计一个连接池,然后保持固定的连接数,需要数据库连接就从连接池中取出来一个给请求用,用完毕就设置连接空闲,等待下次请求.这样看来是多余的,ADO.NET已经为我们提供这样的连接池管理,每个连接字

Zabbix的history相关数据表数据太大,执行表分区操作过程

一.查询zabbix数据库大小 mysql> select table_schema, concat(truncate(sum(data_length)/1024/1024,2),' mb') as data_size,concat(truncate(sum(index_length)/1024/1024,2),'mb') as index_size from information_schema.tables group by table_schema order by data_size d

DataTable 数据量大时,导致内存溢出的解决方案

/// <summary> /// 分解数据表 /// </summary> /// <param name="originalTab">需要分解的表</param> /// <param name="rowsNum">每个表包含的数据量</param> /// <returns></returns> public DataSet SplitDataTable(DataT

数据量大的表,查寻方式优化,提升查寻效率

有一张财务流水表,未分库分表,目前的数据量为9555695,分页查询使用到了limit,优化之前的查询耗时16 s 938 ms (execution: 16 s 831 ms, fetching: 107 ms),按照下文的方式调整SQL后,耗时347 ms (execution: 163 ms, fetching: 184 ms): 操作:查询条件放到子查询中,子查询只查主键ID,然后使用子查询中确定的主键关联查询其他的属性字段: 原理:减少回表操作: -- 优化前SQL SELECT 各种

ASP.NET MVC导出excel(数据量大,非常耗时的,异步导出)

要在ASP.NET MVC站点上做excel导出功能,但是要导出的excel文件比较大,有几十M,所以导出比较费时,为了不影响对界面的其它操作,我就采用异步的方式,后台开辟一个线程将excel导出到指定目录,然后提供下载. 效果如下: 选中了多行,会导出多个工作簿sheet,一个汇总的,其他的就是明细数据. 这里我使用了NPOI组件来进行excel导出,下面是要几个封装好的类,从网上找的,然后修改了一下. GenerateSheet.cs using NPOI.SS.UserModel; usi

? ?如果表的数据量大,那为了加快读(sel人民网评:明星片酬为

RGB色彩模式是工业界的一种颜色标准,是通过对红(R).绿(G).蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红.光在外面分配了硬盘空间给虚拟机是不行的,还要进去操作一下,这里下个图形界面的工具,方便操作.sudo a-ge insall gared启动的时候报错,说a sar imor androidconenConex; imor androidexEdiable; imor androidexSelecion; imor androidexSann