MyBatis踩坑之SQLProvider转义字符被删除问题

目录

  • 踩坑背景
  • 问题描述
  • 原因追踪
  • 解决方案
    • 方法一
    • 方法二

踩坑背景

项目架构:Spring Boot + MyBatis + MySQL。

使用MyBatis作为ORM框架,jdbc驱动使用的是mariadb-java-client

<dependency>
    <groupId>org.mariadb.jdbc</groupId>
    <artifactId>mariadb-java-client</artifactId>
    <version>2.3.0</version>
</dependency>

为了不使用xml形式的配置文件,MyBatis使用接口映射器,并使用映射器注解方式编写SQL语句。

@Mapper
public interface TestDAO {
    @Select("select * from test where id = #{id}")
    public Test getById(@Param("id") long id);
}

问题描述

在批量添加记录时通过SQLProvider动态拼装SQL,具体代码示例如下所示:

@Repository
@Mapper
public interface TestDAO {
    // 使用SQLProvider拼装SQL实现批量插入
    @InsertProvider(type = TestProvider.class, method = "addTestBatch")
    public Integer addTestBatch(@Param("tests") List<Test> tests);
}

public class TestProvider {
    public String addTestBatch(List<Test> tests) {
        StringBuffer buffer = new StringBuffer().append("insert into scene(id,name,data,thumbnail,comments,ctime,mtime) values");
        int size = tests.size();
        for(int i = 0; i < size; i++) {
            Test test = tests.get(i);
            buffer.append("(")
                    .append(test.getId()).append(",")
                    .append("'").append(test.getName()).append("'").append(",")
                    .append("'").append(test.getData()).append("'").append(",")
                    .append("'").append(test.getThumbnail()).append("'").append(",")
                    .append("'").append(test.getComments()).append("'").append(",")
                    .append("now()").append(",")
                    .append("now()")
                    .append(")");
            if(i < (size - 1)) {
                buffer.append(",");
            }
        }
        return buffer.toString();
    }
}

Test对象的data属性值为json字符串,其中带有MySQL转意字符“”,使用上述方式添加记录时会导致test对象的data属性值中的字符“”被删除掉。
具体来说,假设Test对象的data属性值为:{"value":"{\"x\":277,\"y\":29}"},插入MySQL之后变成了:{"value":"{"x":277,"y":29}"}
显然,Test对象的data属性值插入MySQL之后其中的字符“”被删除了,这将导致该属性再次从MySQL中查询出来之后无法使用!

原因追踪

一开始我以为是MyBatis的原因导致的,因为使用如下方式插入单调记录是没有问题的:

@Repository
@Mapper
public interface TestDAO {
    // 插入单条记录
    @Insert("insert into test(id,name,data,thumbnail,comments,ctime,mtime) values(#{id},#{name},#{data},#{thumbnail},#{comments},now(),now())")
    public Integer add(Scene scene);
}

通过程序日志可以看到2种方式使用的SQL语句不一样!

通过SQLProvider拼装SQL的方式在日志中看到发送给MySQL的语句为:

而通过@Insert注解方式定义SQL在日志中看到发送给MySQL的语句为:

显然,二者的区别在于:前者使用PreparedStatement时参数列表为空,实际上列值已经在SQL语句中了,本质上并没有使用PreparedStatement。
排查到这里,心里基本有点眉目了,该问题大概率不是MyBatis的锅!

于是我直接把第一种方式的SQL语句通过MySQL客户端执行,果然插入MySQL之后其中的字符“”被删除了!!!
也就是说,这其实是MySQL本身的原因导致的,最终通过查阅MySQL官方文档得以确认:

上述这段话的大概意思就是说,MySQL在默认情况下(SQL模式不是“NO_BACKSLASH_ESCAPES”)会将插入字段中的字符“”删除掉。

解决方案

既然找到的问题的根源,那就不难解决了。
实际上,有2种解决办法:

方法一

修改MySQL配置,让MySQL的SQL模式运行在“NO_BACKSLASH_ESCAPES”模式下。

默认情况下,MySQL的SQL模式不包含“NO_BACKSLASH_ESCAPES”。修改配置文件“/etc/my.cnf”,重启MySQL即可。

$ sudo vim /etc/my.cnf
$ [mysqld]
sql-mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION,NO_BACKSLASH_ESCAPES

修改之后重启MySQL,再次查看SQL模式:

修改MySQL的SQL模式为“NO_BACKSLASH_ESCAPES”之后,再次插入带有字符“”的内容就不再会被删除了。

方法二

虽然方法一可以解决问题,但是未免太过于兴师动众,而且对于线上运行的实例通常不能做重启操作。另一个解决办法就是通过在JDBC客户端解决,只要确保在客户端使用PreparedStatement预处理语句即可解决该问题。原因是在PreparedStatement预处理语句中会对转义字符做处理,如下我们通过追踪“mariadb-java-client”的源码来确认一下。

显然,在PreparedStatement预处理语句中会对转义字符做特别处理,具体来讲:当查询的字段中包含"\NUL时,会在这些字符前面再加一个转义字符\,所以最终发送给MySQL服务器的SQL语句中这些字符对应就变成了\‘\"\\\NUL,如果此时MySQL的SQL模式不是”NO_BACKSLASH_ESCAPES“时,会删除其中的转义字符\,这样就可以使得插入到数据库中的这些特殊字符还原为自身了。

到这里我们再来回看方法一的解决方式并不优雅而且笨重,甚至会带来诸多限制。一旦使用了方法一的解决方案,那么就不能在客户端使用预处理语句PreparedStatement了,否则将会导致最终插入到MySQL中的特殊字符多带一个转义字符”“,将会带来新的问题。

再次回到实际开发中的场景,当使用MyBatis作为ORM框架时,只使用接口映射器的情况下,该如何配置SQL语句才能实现批量插入呢?
实际上,MySQL的映射器注解支持xml风格的动态SQL配置,如下所示:

@Insert({
        "<script>",
        "insert into test(id,name,data,thumbnail,comments,ctime,mtime) values",
        "<foreach item='test' index='index' collection='tests' separator=','>",
        "(#{test.id},#{test.name},#{test.data},#{test.thumbnail},#{test.comments},now(),now())",
        "</foreach>",
        "</script>"
})
public Integer addTestBatch(@Param("tests") List<Test> tests);

使用这种方式的SQL配置,也会使用PreparedStatement预处理方式对特殊字符进行处理,所以可以解决问题。

【参考】
https://fbd.intelleeegooo.cc/mysql-insert-single-quotation-backslash/ mysql语句插入含单引号或者反斜杠的值
https://codeday.me/bug/20180523/170824.html 在mysql中设置全局sql_mode
https://blog.csdn.net/mydriverc2/article/details/79226492 MySQL中如何插入反斜杠,反斜杠被吃掉,反斜杠转义之我见
https://www.cnblogs.com/end/archive/2011/04/01/2002516.html MySql字符转义
https://mybatis.org/mybatis-3/zh/dynamic-sql.html MyBatis动态SQL
https://stackoverflow.com/questions/29803628/how-to-use-foreach-statement-in-selectprovider-class-with-mybatis3 How to use statement in @SelectProvider class with MyBatis3
https://www.cnblogs.com/zhangminghui/p/4903351.html Mybatis之动态构建SQL语句
http://ascii.911cha.com/ ASCII码对照表

原文地址:https://www.cnblogs.com/nuccch/p/11909298.html

时间: 2024-10-03 21:14:10

MyBatis踩坑之SQLProvider转义字符被删除问题的相关文章

SpringBoot整合mybatis踩坑

springboot整合mybaits过程中,调用接口时报错:org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): 分析了下报错堆栈信息,认为是找不到*Mapper.xml导致,网上搜索下他人博客,以为是IDEA导致*Mapper.xml无法生成,于是检查了编译生成的classes目录(classpath),发现*Mapper.xml是存在的,IDEA并没有问题. 就在百思不得其解时,仔细

阿里云磁盘扩容踩坑总结

公司半年前上线一个新的项目,采购了一批阿里云主机,磁盘组成是40G系统盘+100G的数据盘,数据库采用MariaDB Galera Cluster集群部署,由于业务数据量快速增长,导致磁盘存储空间剩余量很少,急需要扩容,先总结整个项目规划中埋下的坑: 1.没有DBA对数据库的容量规划,而前期的运维人员采购时选用100G的SSD云盘: 2.数据库默认使用共享表空间,缺点是删除数据后不释放空间,当数据快速增长后,我们采取了先删除临时表数据的方式来尽量避免暴力扩容,争取在春节期间稳定,删除部分数据后,

网站移动版本开发踩坑实录一

最近公司项目需要开始做wap版本开发,虽然在上一家公司也有做过类似的工作,由于当时公司产品没有严格要求适配各个移动设备,也并没有很多动作效果和图片自适应这类的效果,相对来说体系没有那么成熟,更多是在wap版本上可以用就ok了(其实更多的工作集中在功能和cssser身上,交互效果没有那么强,唯一做的好玩一点的工作是菜单滑动.图片缩放[未被上线过]),因此基本上没有在移动端踩各种坑:说了这么多上一家公司的wap版本,下面开始讲讲现在做的项目让我在wap版本上踩的各种坑开始说起.   第一坑:技术选型

人工智能(AI)库TensorFlow 踩坑日记之二

上次 踩坑日志之一 遗留的问题终于解决了,所以作者(也就是我)终于有脸出来写第二篇了. 首先还是贴上 卷积算法的示例代码地址 :https://github.com/tensorflow/models   这个库里面主要是一些常用的模型用tensorflow实现之后的代码.其中我用的是 models/tree/master/tutorials/image/cifar10 这个示例,上一篇也大致讲过了. 关于上次遇到问题是: 虽然训练了很多次,但是每次实际去用时都是相同的结果.这个问题主要原因是

jQuery版本升级踩坑大全

背景 -------------------------------------------------------------------------------- jQuery想必各个web工程师都再熟悉不过了,不过现如今很多网站还采用了很古老的jQuery版本.其实如果早期版本使用不当,可能会有DOMXSS漏洞,非常建议升级到jQuery 1.9.x或以上版本.前段时间我就主导了这件事情,把公司里我们组负责的项目jQuery版本从1.4.2升级到了jQuery 1.11.3.jQuery官

踩坑(Running)填坑(ZSSURE):DevExpress的XtraTabControl、Telerik的OpenAccessContext以及StarUML

题记: 今天好友在朋友圈分享了一篇有深度的好文"请鼓励你的孩子做个幸福普通人",文章略显长,细细品读下来感触颇多.加之最近天天看着小外甥大睿睿的一步步的成长,已渐渐远离年轻稚嫩.走向成熟稳重的我对学习有了新的认识,回想起自己的成长过程,经验和技能并非是父母手把手教导的,反而是他们给我营造的"自由.开放.甚至略显放纵"的环境.他们以身作则的行动,让我从中体会.感悟出了所有的点点滴滴. 说到现在从事的软件研发工作,想想同学中毕业鲜有留下来做技术的(姑且认为IT民工也属于

SQL Server 在Alwayson上使用内存表&quot;踩坑&quot;

200 ? "200px" : this.width)!important;} --> 介绍 因为线上alwayson环境的一个数据库上使用内存表.经过大概一个星期监控程序发现了一个非常严重问题这个数据库的日志文件不会截断,已用空间一直在增加(存在定时的每个小时的日志备份),同时内存表数据库文件也无法删除,下面就介绍一下后面我的处理过程. 数据库:SQL Server2014 Enterprise Edition (64-bit) 删除文件 使用一个单独非alwayson环境的数

jQuery升级踩坑大全

背景 jQuery想必各个web工程师都再熟悉不过了,不过现如今很多网站还采用了很古老的jQuery版本.其实如果早期版本使用不当,可能会有DOMXSS漏洞,非常建议升级到jQuery 1.9.x或以上版本.前段时间我就主导了这件事情,把公司里我们组负责的项目jQuery版本从1.4.2升级到了jQuery 1.11.3.jQuery官方也为类似升级工作提供了jQuery Migrate插件. 言归正传. 坑从何处来 jQuery 1.11.3是1.x时代的最后一个版本(作者更新:2016年1月

.NET Core 从1.1升级到2.0记录(Cookie中间件踩坑)

.NET Core 2.0 新时代 万众瞩目的.NET Core 2.0终于发布了,原定于9.19的dotnetconf大会的发布时间大大提前了1个月,.NET Core 2.0/.NET Standard 2.0的正式发布是.NET 开源跨平台的一个重大里程碑. .NET Core 2.0 SDK下载地址:https://www.microsoft.com/net/download/core#/sdk Visual Studio 2017 15.3下载地址:https://www.visual