inset入库优化

前段时间从报文获取数据入库数据比较多 用自带insert(吧批量数据放入缓存再一次性提交)方法入库较慢

后来把实体放入list里  自写insert语句 速度提升了70%
    /* 获取单位返回数据入库      */
    List<Map> list = ctx.getData(CDConstants.LIST_108);//108
    List<CdPenLs> newList = new ArrayList<CdPenLs>();
     for (Map map : list) {
      CdPenLs lsPenInf = new CdPenLs();
      lsPenInf.setCusAcc(map.get("cusAcc").toString());//职工账号
      lsPenInf.setName(map.get("name").toString());     //职工姓名
      lsPenInf.setSpIdNo(map.get("spIdNo").toString());//证件号码
      lsPenInf.setFileName(fileName);
      lsPenInf.setTlr(tlr);
      newList.add(lsPenInf);
     }   
     cdPenLsRep.insertls(newList);

时间: 2024-10-12 21:44:00

inset入库优化的相关文章

MySQL数据库inset性能优化

我们在使用中MySQL的时候难免会遇到大批量数据inset的情况,通常最简单的方法就是写一个insert,然后通过循环给变量赋值,批量插入数据库: //save rddform for (int i = 0; i < rddformlist.Count; i++) { string cmdText = "insert into rddform (ID,CreatedTime,ModifiedTime,CreatedBy,ModifiedBy,FormType) values ('"

Thinkphp 5.0 仿百度糯米开发多商家电商平台

第1章 课程简介本章内容会给大家通览本门课程的所有知识点1-1 课程简介 第2章 需求分析本章会先带领大家预览下整个系统包括商家.主平台.前台等,对数据表结构.数据表结构的对应关系进行讲解 最后会讲解每个模块的功能分析和数据表设计2-1 功能分析2-2 表的设计(一)2-3 表的设计(二)2-4 将表的结构导入数据库中 第3章 快速掌握thinkphp5本章讲解了tp5的简介及安装,用两种安装方式讲解(1.官网直接下载安装:2.通过composer安装);快速上手tp5,让不懂thinkphp的

【hbase】——HBase 写优化之 BulkLoad 实现数据快速入库

1.为何要 BulkLoad 导入?传统的 HTableOutputFormat 写 HBase 有什么问题? 我们先看下 HBase 的写流程: 通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式,在reduce中直接生成put对象写入HBase,该方式在大数据量写入时效率低下(HBase会block写入,频繁进行flush,split,compact等大量IO操作),并对HBase节点的稳定性造成一定的影响(GC时间过长,响应变慢,导致节点超时退出,

微信中控方法(getAccessToken、getJsapiTicket)。可继续优化,redis作为中间层,入库同时加入redis,要使用时先查询redis。

<?php /** * 微信父类控制器 * @author Songle * */ namespace Home\Controller; use Think\Controller; class Wechat2Controller extends Controller { private $last_time = null; private $appid = null; private $appsecret = null; public function __construct() { paren

mssql性能优化

总结下SQL SERVER数据库性能优化相关的注意事项,在网上搜索了一下,发现很多文章,有的都列出了上百条,但是仔细看发现,有很多似是而非或者过时(可能对SQL SERVER6.5以前的版本或者ORACLE是适用的)的信息,只好自己根据以前的经验和测试结果进行总结了. 我始终认为,一个系统的性能的提高,不单单是试运行或者维护阶段的性能调优的任务,也不单单是开发阶段的事情,而是在整个软件生命周期都需要注意,进行有效工作才能达到的.所以我希望按照软件生命周期的不同阶段来总结数据库性能优化相关的注意事

mysql优化技巧

mysql 数据库优化 包括 a.表的设计合理化(符合3NF) b.添加适当索引(index[4种:普通索引 主键索引 唯一索引unique  全文索引]) c.分表技术(水平分割,垂直分割) d.读写[写:update/delete/add]分离 e.存储过程[模块化编程 可以提高速度] 数据库的三层结构 orale MySQL db2 sql server php程序通过dbms(数据库管理系统)操作数据库文件,数据库执行相关操作返回给dbms,然后再返回给PHP dbms 首先编译PHP代

python高效解析日志入库

python脚本解析日志文件入库一般有三个重要的步骤:读文件.解析文件.入库.在这三个方面下功夫,可确保我们获得最优的性能(这里不讨论并发) 1 读文件:一次读一行,磁盘IO太多,效率低下:一次性读如全部文件内容,可能内存不够.采取一个折中的办法,每次读若干byte(具体大小视实际情况而定). 经过测试,得到结论,在我们写代码的时候应该这样写 f = open(path,'r') for line in f : ............. 这是系统提供的一种读文件的方法,一般比我们自己每次读若干

GoldenGate 性能优化方法

从根本上讲,OGG复制性能和要复制的表是否存在主键和唯一索引有很大关系,所以从应用系统开发商对表结构的规范更为有效.OGG调优通常采用拆分进行的方式,拆分方法如下所述. Extract拆分方法 1)        停止extract进程 2)        停止datapump.进程 GGSCI> INFO datapump_name EXTRACT    DPEF      Last Started 2011-01-28 12:34   Status RUNNING Checkpoint La

CCNET+MSBuild+SVN实时构建的优化总结

本文不是介绍如何使用CCNET+MSBuild+SVN构建自动编译系统,相关的内容可以从很多地方获取,可以再园子里搜一下. 随着我们的SVN库日益壮大,容量达到10G,几十G 甚至更大时,我们发现自动构建速度越来越慢,直到有一天你发现入了很小一段代码却不得不等待几小时构建完成,程序员的忍受是有极限的,因此我们决定采取措施实施优化. 首先,我们必须分析哪些因素导致了我们构建速度的减慢,罗列一下,大概如下几个方面: 1. SVN库太大,使得构建服务器在更新SVN代码时花费大量时间. 2. SVN库里