解决数据库报唯一性约束错误的实践

猿们好,我是honery,今天来给大家唠一唠如何避免数据库报唯一性约束的错误。

一、问题的引出

??首先抛出一个问题,如何保证数据库表中的某列的值都不一样呢?相信大家很容易想到给该列加上唯一性约束,这样就能保证业务逻辑的正确性了。实际的使用中,尤其高并发场景下,很容易出现插入同一条记录的情况,该情况下数据库会报违反唯一性约束的错误。总不能让数据库一直抛这个错误吧。于是我们想到可以在业务代码中加上该列值是否为空的判断,判断为空时再行插入,于是问题就解决了。

??问题真的解决了吗?说是,你就too young too simple了。有没考虑过高并发场景呢?如果多个线程同时在某次插入前去判空,显然判断的结果都是空,那么第一次插入成功后,后续的插入动作都会报违反数据库唯一性约束的错误。总不能让日志一直报错吧,该如何解决呢?

二、问题的解决方案

??这个问题其实是个典型的问题,可以有很多种解决方案,小编这里就简单提供三种解决策略。方案很简单,猿们跟上思路~~

2.1 通过锁机制,将查询和插入原子化

??相信很多小伙伴很容易就能想到这个方案,通过锁机制(如内置锁,synchronized)将记录是否存在的查询动作和插入新记录的动作放在一个同步锁中,实现的关键代码如下:

@Transactional
public synchronized void insertWhenIdIsEmpty(Qingmj qingmj) {
    log.info("进入时间:"+System.currentTimeMillis());
    log.info(qingmj.toString());

    Qingmj qingmj_old = qingmjMapper.getQingmjById(qingmj.getId());

    try {
        //等待10s,制造并发场景
        Thread.sleep(15000);
    } catch (InterruptedException e) {
        log.warn("睡眠等待过程异常",e);
    }

    if(qingmj_old==null) {
        log.info("数据准备插入中... ...");
        try {
            qingmjMapper.insert(qingmj);
            log.info("数据插入成功!");
        }catch(Exception e) {
            log.info("数据插入失败",e);
        }
    }else {
        log.info("约束键已存在,不再插入");
    }

    log.info("结束时间:"+System.currentTimeMillis());

}
  • [执行结果]:

  • [结果分析]:

    ??从执行结果可知,通过锁机制将查询和插入原子化后,彻底的避免了插入重复数据的问题。但是带来了一个新问题,同步锁将两个业务动作锁在一起,强制执行过程串行化,会导致系统运行的性能较差,该如何优化呢?

2.2 通过双重检查锁机制,优化串行化带来的性能问题

??所谓的双重检查锁机制,从名字不难看出其逻辑。它主要有两个技术点:一、将方法锁细化成代码块锁,尽量减少锁住的执行逻辑;二、执行两次判空逻辑,即在同步代码块中再加入一次判空检查。具体的代码实现如下:

//@Transactional
public void insertWhenIdIsEmpty(Qingmj qingmj) {
    log.info("进入时间:"+System.currentTimeMillis());
    log.info(qingmj.toString());

    Qingmj qingmj_old = qingmjMapper.getQingmjById(qingmj.getId());

    try {
        //等待10s,制造并发场景
        Thread.sleep(15000);
    } catch (InterruptedException e) {
        log.warn("睡眠等待过程异常",e);
    }

    if(qingmj_old==null) {
        synchronized (this) {
            Qingmj qingmj_old_2 = qingmjMapper.getQingmjById(qingmj.getId());
            if(qingmj_old_2==null) {
                log.info("数据准备插入中... ...");
                try {
                    qingmjMapper.insert(qingmj);
                    log.info("数据插入成功!");
                }catch(Exception e) {
                    log.info("数据插入失败",e);
                }
            }else {
                log.info("约束键发现变为存在状态,不再插入");
            }
        }

    }else {
        log.info("约束键已存在,不再插入");
    }

    log.info("结束时间:"+System.currentTimeMillis());

}
  • [执行结果]:

  • [结果分析]:

    ??引入双重检查锁机制,有效优化了同步方法锁性能较差的问题,是一种较为推荐的方法。这也是单例模式中懒汉模式的一种经典实现。代码中的事务注解不能在此处方法上加上,否则会适得其反,这也是锁与事务作用范围的一个角逐。好了,回到正题,解决违反数据库唯一性约束问题,能不能不加锁呢?答案是肯定的。

2.3 通过巧用Redis的setnx特性,避免重复数据的插入

??我们要解决的问题是业务流程正常,但数据库会持续的报违反唯一性约束的问题。如何保留数据库的唯一性约束,维持业务流程正常,但同时不让数据库报上述异常呢?顺着这个思路我们可以想到能否在数据进入数据库之前就识别出重复数据的冲突呢?这样便可以解决上述问题了。有很多第三方的中间件可以帮我们做到这点,其中Redis就是一个例子。

??大家都用过Redis,知道Redis的setnx方法有个特点,当第一次插入某个key及其value值时会返回“1”;当后续继续插入该key的其他value值时会返回“0”,并插入失败。于是乎,我们在插入数据库之前,先将数据存入Redis当中,若Redis反馈为第一次插入则落地数据库中;若Redis反馈非第一次插入则不落地数据库。如此便巧妙解决了数据库报唯一性约束的问题了,而且!没有用到锁!具体实现如下:

@Transactional
public void insertWhenIdIsEmpty(Qingmj qingmj) {
    log.info("进入时间:"+System.currentTimeMillis());
    log.info(Thread.currentThread().getName() + " parameters:" + qingmj.toString());

    Qingmj qingmj_old = qingmjMapper.getQingmjById(qingmj.getId());

    try {
        //等待10s,制造并发场景
        Thread.sleep(15000);
    } catch (InterruptedException e) {
        log.warn("睡眠等待过程异常",e);
    }

    if(qingmj_old==null){
        if(redisUtil_test.setnx("constraint_id_"+qingmj.getId(), qingmj.getId()) == 1){//如果数据存在则返回0,不存在返回1
            log.info("数据准备插入中... ...");
            try {
                qingmjMapper.insert(qingmj);
                log.info("数据插入成功!");
                redisUtil_test.expire("constraint_id_"+qingmj.getId(), 1000);//设失效时间3秒
            }catch(Exception e) {
                redisUtil_test.del("constraint_id_"+qingmj.getId());//插入出异常则删除
                log.info("数据插入失败",e);
            }
        }else{
            log.info("并发情形,约束键已存在,不再插入");
        }
    }else{
        log.info("约束键已存在,不再插入");
    }

    log.info("结束时间:"+System.currentTimeMillis());
}
  • [执行结果]:

  • [结果分析]:

    ??通过巧用Redis的setnx特性有效解决了数据库持续报违反唯一性约束的错误。同时没有使用同步锁,大大提升了系统的性能。这种方法甚至在表字段未加唯一性约束的情况下,也能保证业务逻辑的正确性,非常巧妙且灵活。当然系统也必须要支持Redis才能采用这种方案啦。

三、总结

??数据库违反唯一性约束问题,只是一个典型的小问题,解决方案特别多,大家都可以去借鉴。但是小编文中陈述的三种方案汇聚了解决这类问题的两个思路。其一是加锁,锁性能优化;其二是不加锁,在落地数据库之前提前引发数据冲突。方案虽说简单,但是值得回味的。

原文地址:https://www.cnblogs.com/1024Community/p/8894248.html

时间: 2024-11-10 14:38:57

解决数据库报唯一性约束错误的实践的相关文章

Linux 下,mysql数据库报无法登陆错误:ERROR 1045 (28000): Access denied for use

今天在别人的服务器上登录mysql发现无法登陆(Mysql别人实现安装好的) 密码和用户名都是正确的,但登录后报如下错误: ERROR 1045 (28000): Access denied for user ‘admin’@'localhost’ (using password: YES) 尝试了加入-h和-port也无法登陆,最后只能重新修改了.注--该方法也可以用于当忘记数据库密码时,找回数据库密码用 如下是我执行过程,完全执行后,可以顺利登录数据库:linux下的执行脚本: Java代码

navicat 链接阿里云服务器数据库报80070007 的错误

navicat用ssh跳转登录mysql连接时报: 80070007: SSH Tunnel: Server does not support diffie-hellman-group1-sha1 for keyexchange 是由于ssh 配置缺少KexAlgorithms与Ciphers导致. 解决办法是进入/etc/ssh/sshd_config在最下面 加入下面配置: KexAlgorithms diffie-hellman-group1-sha1,[email protected],

Navicat连接远程数据库报1251的错误

mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password. 解决问题方法有两种: 方法1.升级navicat驱动:(我官网下载目前最新的Navicat 12 for MySQL是可以直接连上的) 方法2.把mysql用户登录密码加密规则还原成mysql_native_password. 这里采用方法2解决,具体操作步骤如下: 用如下命令查看用户信息,看plugin select host,user,

navicat连接oracle数据库报ORA-28547: connection to server failed, probable Oracle Net admin error错误的解决方法

原文:navicat连接oracle数据库报ORA-28547: connection to server failed, probable Oracle Net admin error错误的解决方法 navicat是通过oracle客户端连接oracle服务器的. oracle的客户端有两种,一种标准的客户端安装程序,下载地址: http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html

SQLServer 报错:用户、组或角色'XXX' 在当前数据库中已存在. 错误:15023解决方法

背景: 最近在迁移SQLServer数据库2008时,新建用户后,做用户映射时. SQLServer 报错:用户.组或角色'XXX' 在当前数据库中已存在. 错误:15023. 下面讲一下解决的方法. 分析:    将数据库恢复到其他服务器时,数据库中包含一组用户和权限,但可能没有相应的登录或者登录所关联的用户可能不是相同的用户.    这种情况被称为存在"孤立用户".此时是不能通过新建登录或者是对同名登录授予对应数据库的"用户"权限来解决登录问题,    因为SQ

MySql重装以后,修改数据库路径,打开以前的数据库报Table 'XX库.XX表' doesn't exist错误的解决办法

因为mysql主流的数据库引擎有MyISAM和InnoDB两种, 如果是MyISAM,直接把以前数据库拷贝到修改后的路径是可以的 但是InnoDB因为存储结构不同,必须还得把备份的innodb数据库表“*.frm”文件和innodb数据“ibdata1”文件拷到修改后的合适路径 参考资料:http://www.bcty365.com/content-35-2928-1.html https://blog.csdn.net/dihuangtian01/article/details/5177353

前段时间,接手一个项目使用的是原始的jdbc作为数据库的访问,发布到服务器上在运行了一段时间之后总是会出现无法访问的情况,登录到服务器,查看tomcat日志发现总是报如下的错误。    Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Data source rejected est

前段时间,接手一个项目使用的是原始的jdbc作为数据库的访问,发布到服务器上在运行了一段时间之后总是会出现无法访问的情况,登录到服务器,查看tomcat日志发现总是报如下的错误. Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Data source rejected establishment of connection, message from server: "Too man

Hibernate主键生成策略strategy = "increment"报错违反唯一性约束

背景2018年7月份,系统爆出一条bug.就是支持Excel导入的功能,导入第二次同模板不同数据时,报错,违反唯一性约束.就死活用不了了,重启Tomcat才能恢复使用.但只能到一个文件 分析需要重启Tomcat,应该是缓存的原因 原因分析完所有代码,临时数据使用clear换成new,不行:内存使用监控,导入完模板,就恢复正常,不是:最后,看着异常找原因,发现Hibernate的主键策略是strategy = "increment" 尝试会不会是hibernate主键策略选择不正确,因为

Oracle Warehouse Builder(OWB) 安装报seeding owbsys错误的解决

今天在RHEL6.4上安装Oracle Warehouse Builder 11.2时在最后一步报错,打开日志查看有如下信息: main.TaskScheduler timer[5][email protected]:27:55.055: 00> oracle.wh.ui.install.assistant.wizards.AssistantWizardDefinition.display(AssistantWizardDefinition.java:1476): [executeOwbRepo