那些年我们爬过的山 - mybatis批量导入

写这篇文章之前想着给这篇博客起一个文艺一点的标题,思来想去,想到了那些年我们爬过的山,或者我们一起趟过的河?代码不规范,同事两行泪,这是多么痛的领悟啊!

背景

本组一名实习生,由于学校有事情需要回去处理,我便将他的代码接管过来,正好赶上本次迭代上线,需要将同事的代码提交测试,如果被测试出来有bug,我就来负责bug修复,代码优化等。由于不同的开发人员都有自己的编程习惯,所以不同人员所写的代码多少都会有些差异,比如:变量的命名、代码的格式等,即使组内有一套开发规范也还是会出现一些差异,这就是所谓的个性?特点? 当然 特点只是特点,并不能称得上个性。既然风格不同,那么看别人代码的时候会有值得学习的地方,也有自己感觉不舒服的地方。也罢,毕竟人都有“个性”。

问题现象

这次我接手同事的代码主要是一个Excel导入数据库这样一个功能,在测试人员测试导入数据的时候,使用的导入数据有2w条作为测试数据导入数据库,现象是 导入后发现页面先是显示上传中,之后页面没有任何反馈,经排查后发现是因为后台还在处理导入数据逻辑,时间过长页面没有得到反馈,导致页面超时。

排查过程

  • 接着查看了导入逻辑,发现导入的时候,使用的是将2w条数据循环导入数据库,每一次导入都会进行数据库交互,导致数据库连接池的连接被耗尽,会再次进行创建、分配、释放等操作,从而导致之后的处理变得缓慢。
  • 基于这些考虑使用了批量导入,批量导入的目的就是一次导入多条数据,减少和数据库交互次数,减轻数据库压力。
  • 修改程序后测试导入所用的时间并不理想,继续排查发现 在导入前还有判断卡密是否存在数据库 这样一个操作,和循环插入没有什么区别,也是会循环2w次数据库查询。因此首先想到的是减少和数据库的交互次数,先把数据查询出来,放到内存中,再将两个集合进行比较,发现数据量小的时候还可以,数据量大了就会很缓慢,尝试了几个网上搜到的“高效”list去重,发现效果并不明显。
  • 遂继续找其他的方法,最后找到使用MySQL的ignore关键字【作用:若有导致unique key 冲突的记录,则该条记录不会被插入到数据库中,去重字段一定要是唯一索引】就可以解决判断卡密重复的问题,** 经过测试 导入2w条数据由原来的16分钟,减少到目前的10秒 左右** 。

总结

对于本次问题的排查,可以总结为问题发现,和问题排查。发现问题时首先要快速了解该功能的主要逻辑是什么,这次的导入主要有两点,一是 导入前判断是否有和数据库重复,二是导入操作。弄明白主要逻辑之后,就要分析,导入慢肯定是这两个逻辑的某一个逻辑慢,或者是两个逻辑都慢。经过分析发现,这两个逻辑都出现了循环建立数据库连接的问题,发现了问题的根本原因后,就要减少建立数据库连接次数,问题便得到解决。

主要代码

对于导入前和数据库判断是否有重复的,使用了mysql的一个关键字ignore,关键字的作用是:若有导致unique key 冲突的记录,则该条记录不会被插入到数据库中,去重字段一定要是唯一索引。其他就是拼接SQL使用批量导入。下面将主要的代码贴出来供大家参考。

  • 批量导入时每次批量插入100条数据,这样数据库连接建立的次数就从原来的 20000次减少到200次。
        // 批量入库,每次批量插入100条
List<Detail> detailList = new ArrayList<>();
List<List<Detail>> tempList = new ArrayList<>();
    int insertCount = 100;
    for (int i = 0; i < detailList.size(); i += insertCount) {
        if ((i + insertCount) < detailList.size()) {
            List<Detail> newList = new ArrayList<>();
            newList.addAll(detailList.subList(i, i + insertCount));
            tempList.add(newList);
        } else {
            List<Detail> newList = new ArrayList<>();
            newList.addAll(detailList.subList(i, detailList.size()));
            tempList.add(newList);
        }
    }
Map<String, Object> map = detailManager.batchInsertDetail(tempList);
  • mybatis的写法
<insert id="batchInsertDetail" parameterType="java.util.List">
      insert ignore into my_table
        (id,code,status)
      values
        <foreach collection ="list" item="detail" index= "index" separator =",">
            (#{detail.id,jdbcType=BIGINT},#{detail.code,jdbcType=VARCHAR},#{detail.status,jdbcType=TINYINT})
        </foreach >
</insert>

原文地址:https://www.cnblogs.com/luao/p/10503345.html

时间: 2024-10-11 09:35:16

那些年我们爬过的山 - mybatis批量导入的相关文章

mybatis批量导入 ,出现异常全部不添加(回滚)

public int importModel(MultipartFile file) throws Exception{ String fileName = file.getOriginalFilename(); String suffxName = fileName.substring(fileName.lastIndexOf(".",fileName.length()) ); //System.out.println(fileName+",后缀名:"+suffx

Mybatis 批量插入多条数据,使用场景:导入多条数据

Mybatis 批量插入多条数据,使用场景:导入多条数据 接口代码: void batchInsertCapacity(@Param("list")List<Map<String, Object>> metadbmaplist); SQL: <insert id="batchInsertCapacity"> insert into index_prodcut ( ID, ORG_ID, TEXT1, TEXT2, TEXT3, P

java实现文件批量导入导出实例(兼容xls,xlsx)

1.介绍 java实现文件的导入导出数据库,目前在大部分系统中是比较常见的功能了,今天写个小demo来理解其原理,没接触过的同学也可以看看参考下. 目前我所接触过的导入导出技术主要有POI和iReport,poi主要作为一些数据批量导入数据库,iReport做报表导出.另外还有jxl类似poi的方式,不过貌似很久没跟新了,2007之后的office好像也不支持,这里就不说了. 2.POI使用详解 2.1 什么是Apache POI? Apache POI是Apache软件基金会的开放源码函式库,

将ACCESS数据批量导入SQL SERVER

代码: IF OBJECT_ID('Sp_InputAccesstoSQL') IS NOT NULL     DROP PROC Sp_InputAccesstoSQL GO CREATE PROC Sp_InputAccesstoSQL @dir NVARCHAR(100),--ACCESS文件存放路径:如D:\Files @tabname NVARCHAR(50) --定义导入到数据库中的表名,如果存在就不需要创建 AS SET NOCOUNT ON DECLARE @cmd NVARCH

bos 第4 (区域excel批量导入、区域通用分页查询、分区的添加、分区多条件分页查询、分区导出excel)

BOS项目笔记 第4天 今天内容安排: 1.区域批量导入功能 jQuery OCUpload(一键上传插件).apache POI.pinyin4j 2.实现区域的分页查询 3.对分页代码重构 4.添加分区(combobox下拉框) 5.分区的组合条件分页查询 6.分区数据导出功能 1. 区域数据批量导入功能 1.1 一键上传插件使用 ajax不能做文件上传. 第一步:在jsp页面中引入插件的js文件 <script type="text/javascript" src=&quo

Mybatis批量Insert及水平分表

首先是Mybatis批量insert 说一下核心部分,整个工程参考我的github,运行的main方法在org/xiongmaotailang/mybatis/batchinsert/DbUtil.java中,涉及到的脚本是sql.txt 需要的数据表示例,包括4个字段. CREATE TABLE `newspvuv` (   `id` int(10) unsigned NOT NULL AUTO_INCREMENT,   `pv` bigint(11) DEFAULT NULL,   `uv`

HBase结合MapReduce批量导入(HDFS中的数据导入到HBase)

HBase结合MapReduce批量导入 1 package hbase; 2 3 import java.text.SimpleDateFormat; 4 import java.util.Date; 5 6 import org.apache.hadoop.conf.Configuration; 7 import org.apache.hadoop.hbase.client.Put; 8 import org.apache.hadoop.hbase.mapreduce.TableOutput

Dynamics 2015 数据管理 之 如何批量导入数据到 正式区(一)

单一个项目的数据导入可以在具体功能 中导入,大体位置如下. 如果项目新上线的话,要批量导入数据的话,就要到如下的功能中实现了. 进入方式: 在 设置 ---- 数据管理 下载 下载后,用EXCEL打开, 给业务人员批量输入数据. 编辑好以后,上传吧,点 导入. 下一步即可以,导入以后,可以返回看看数据导入的情况,格式有没有错误等.

Office 365 系列之六:通过管理中心批量导入用户

本章节跟大家介绍通过Office 365管理中心批量导入用户并分配许可. 1. 登陆Office 365管理中心,切换到"活动用户"页面,点击"批量添加" 2. 点击"下载空白CSV文件"或"下载CSV文件示例" 3. 用Excel打开下载后的空白CSV文件, 如图: 4. 填写用户信息后并保存(实际生产环境中建议先使用几个账号测试成功后再大批量导入) 5. 用记事本打开刚才保存的文件,如图 6. 点击"文件&quo