MyBatis踩坑之SQLProvider转义字符被删除问题
目录
踩坑背景
项目架构:Spring Boot + MyBatis + MySQL。
使用MyBatis作为ORM框架,jdbc驱动使用的是mariadb-java-client
。
<dependency>
<groupId>org.mariadb.jdbc</groupId>
<artifactId>mariadb-java-client</artifactId>
<version>2.3.0</version>
</dependency>
为了不使用xml形式的配置文件,MyBatis使用接口映射器,并使用映射器注解方式编写SQL语句。
@Mapper
public interface TestDAO {
@Select("select * from test where id = #{id}")
public Test getById(@Param("id") long id);
}
问题描述
在批量添加记录时通过SQLProvider动态拼装SQL,具体代码示例如下所示:
@Repository
@Mapper
public interface TestDAO {
// 使用SQLProvider拼装SQL实现批量插入
@InsertProvider(type = TestProvider.class, method = "addTestBatch")
public Integer addTestBatch(@Param("tests") List<Test> tests);
}
public class TestProvider {
public String addTestBatch(List<Test> tests) {
StringBuffer buffer = new StringBuffer().append("insert into scene(id,name,data,thumbnail,comments,ctime,mtime) values");
int size = tests.size();
for(int i = 0; i < size; i++) {
Test test = tests.get(i);
buffer.append("(")
.append(test.getId()).append(",")
.append("'").append(test.getName()).append("'").append(",")
.append("'").append(test.getData()).append("'").append(",")
.append("'").append(test.getThumbnail()).append("'").append(",")
.append("'").append(test.getComments()).append("'").append(",")
.append("now()").append(",")
.append("now()")
.append(")");
if(i < (size - 1)) {
buffer.append(",");
}
}
return buffer.toString();
}
}
Test对象的data属性值为json字符串,其中带有MySQL转意字符“\”,使用上述方式添加记录时会导致test对象的data属性值中的字符“\”被删除掉。
具体来说,假设Test对象的data属性值为:{"value":"{\"x\":277,\"y\":29}"}
,插入MySQL之后变成了:{"value":"{"x":277,"y":29}"}
。
显然,Test对象的data属性值插入MySQL之后其中的字符“\”被删除了,这将导致该属性再次从MySQL中查询出来之后无法使用!
原因追踪
一开始我以为是MyBatis的原因导致的,因为使用如下方式插入单调记录是没有问题的:
@Repository
@Mapper
public interface TestDAO {
// 插入单条记录
@Insert("insert into test(id,name,data,thumbnail,comments,ctime,mtime) values(#{id},#{name},#{data},#{thumbnail},#{comments},now(),now())")
public Integer add(Scene scene);
}
通过程序日志可以看到2种方式使用的SQL语句不一样!
通过SQLProvider拼装SQL的方式在日志中看到发送给MySQL的语句为:
而通过@Insert
注解方式定义SQL在日志中看到发送给MySQL的语句为:
显然,二者的区别在于:前者使用PreparedStatement时参数列表为空,实际上列值已经在SQL语句中了,本质上并没有使用PreparedStatement。
排查到这里,心里基本有点眉目了,该问题大概率不是MyBatis的锅!
于是我直接把第一种方式的SQL语句通过MySQL客户端执行,果然插入MySQL之后其中的字符“\”被删除了!!!
也就是说,这其实是MySQL本身的原因导致的,最终通过查阅MySQL官方文档得以确认:
上述这段话的大概意思就是说,MySQL在默认情况下(SQL模式不是“NO_BACKSLASH_ESCAPES”)会将插入字段中的字符“\”删除掉。
解决方案
既然找到的问题的根源,那就不难解决了。
实际上,有2种解决办法:
方法一
修改MySQL配置,让MySQL的SQL模式运行在“NO_BACKSLASH_ESCAPES”模式下。
默认情况下,MySQL的SQL模式不包含“NO_BACKSLASH_ESCAPES”。修改配置文件“/etc/my.cnf”,重启MySQL即可。
$ sudo vim /etc/my.cnf
$ [mysqld]
sql-mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION,NO_BACKSLASH_ESCAPES
修改之后重启MySQL,再次查看SQL模式:
修改MySQL的SQL模式为“NO_BACKSLASH_ESCAPES”之后,再次插入带有字符“\”的内容就不再会被删除了。
方法二
虽然方法一可以解决问题,但是未免太过于兴师动众,而且对于线上运行的实例通常不能做重启操作。另一个解决办法就是通过在JDBC客户端解决,只要确保在客户端使用PreparedStatement预处理语句即可解决该问题。原因是在PreparedStatement预处理语句中会对转义字符做处理,如下我们通过追踪“mariadb-java-client”的源码来确认一下。
显然,在PreparedStatement预处理语句中会对转义字符做特别处理,具体来讲:当查询的字段中包含'
,"
,\
,NUL
时,会在这些字符前面再加一个转义字符\
,所以最终发送给MySQL服务器的SQL语句中这些字符对应就变成了\'
,\"
,\\
,\NUL
,如果此时MySQL的SQL模式不是”NO_BACKSLASH_ESCAPES“时,会删除其中的转义字符\
,这样就可以使得插入到数据库中的这些特殊字符还原为自身了。
到这里我们再来回看方法一的解决方式并不优雅而且笨重,甚至会带来诸多限制。一旦使用了方法一的解决方案,那么就不能在客户端使用预处理语句PreparedStatement了,否则将会导致最终插入到MySQL中的特殊字符多带一个转义字符”\“,将会带来新的问题。
再次回到实际开发中的场景,当使用MyBatis作为ORM框架时,只使用接口映射器的情况下,该如何配置SQL语句才能实现批量插入呢?
实际上,MySQL的映射器注解支持xml风格的动态SQL配置,如下所示:
@Insert({
"<script>",
"insert into test(id,name,data,thumbnail,comments,ctime,mtime) values",
"<foreach item='test' index='index' collection='tests' separator=','>",
"(#{test.id},#{test.name},#{test.data},#{test.thumbnail},#{test.comments},now(),now())",
"</foreach>",
"</script>"
})
public Integer addTestBatch(@Param("tests") List<Test> tests);
使用这种方式的SQL配置,也会使用PreparedStatement预处理方式对特殊字符进行处理,所以可以解决问题。
【参考】
https://fbd.intelleeegooo.cc/mysql-insert-single-quotation-backslash/ mysql语句插入含单引号或者反斜杠的值
https://codeday.me/bug/20180523/170824.html 在mysql中设置全局sql_mode
https://blog.csdn.net/mydriverc2/article/details/79226492 MySQL中如何插入反斜杠,反斜杠被吃掉,反斜杠转义之我见
https://www.cnblogs.com/end/archive/2011/04/01/2002516.html MySql字符转义
https://mybatis.org/mybatis-3/zh/dynamic-sql.html MyBatis动态SQL
https://stackoverflow.com/questions/29803628/how-to-use-foreach-statement-in-selectprovider-class-with-mybatis3 How to use statement in @SelectProvider class with MyBatis3
https://www.cnblogs.com/zhangminghui/p/4903351.html Mybatis之动态构建SQL语句
http://ascii.911cha.com/ ASCII码对照表
MyBatis踩坑之SQLProvider转义字符被删除问题的更多相关文章
- 转载:mybatis踩坑之——foreach循环嵌套if判断
转载自:作者:超人有点忙链接:https://www.jianshu.com/p/1ee41604b5da來源:简书 今天在修改别人的代码bug时,有一个需求是在做导出excel功能时,mybatis ...
- MyBatis踩坑记录
在线文档: 动态SQL http://www.mybatis.org/mybatis-3/zh/dynamic-sql.html 1. Error setting null for paramete ...
- SpringBoot整合mybatis踩坑
springboot整合mybaits过程中,调用接口时报错:org.apache.ibatis.binding.BindingException: Invalid bound statement ( ...
- 初学者手册-MyBatis踩坑记(org.apache.ibatis.binding.BindingException)
1.参数绑定失败 org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.binding.Bi ...
- Java int和integer有什么区别 (mybatis踩坑)
不要在实体类中使用int 我们都知道Integer是int的包装类,而int是基本数据类型.所以Integer类型的变量会初始化为null,int类型则会被初始化为0 . 所以在下面的动态拼接例子中: ...
- k8s删除节点后再重新添加进去(踩坑)
开启本地集群,发现一台节点出问题了,想删除再换一台节点,结果就踩坑了,还好本地有好几套环境. 再master节点执行以下命令 [root@k8s-master ~]# kubectl drain k8 ...
- 一次shardingjdbc踩坑引起的胡思乱想
项目里面的一个分表用到了sharding-jdbc 当时纠结过是用mycat还是用sharding-jdbc的, 但是最终还是用了sharding-jdbc, 原因如下: 1. mycat比较重, 相 ...
- 【踩坑速记】二次依赖?android studio编译运行各种踩坑解决方案,杜绝弯路,总有你想要的~
这篇博客,只是把自己在开发中经常遇到的打包编译问题以及解决方案给大家稍微分享一下,不求吸睛,但求有用. 1.大家都知道我们常常会遇到dex超出方法数的问题,所以很多人都会采用android.suppo ...
- jQuery升级踩坑大全
jQuery升级踩坑大全 背景 jQuery想必各个web工程师都再熟悉不过了,不过现如今很多网站还采用了很古老的jQuery版本.其实如果早期版本使用不当,可能会有DOMXSS漏洞,非常建议升级到j ...
随机推荐
- POJ - 1981 :Circle and Points (圆的扫描线) hihocoder1508
题意:给定N个点,然后给定一个半径为R的圆,问这个圆最多覆盖多少个点. 思路:在圆弧上求扫描线. 如果N比较小,不难想到N^3的算法. 一般这种覆盖问题你可以假设有两个点在圆的边界上,那么每次产生的圆 ...
- BZOJ-1042:硬币购物(背包+容斥)
题意:硬币购物一共有4种硬币.面值分别为c1,c2,c3,c4.某人去商店买东西,去了tot次.每次带di枚ci硬币,买si的价值的东西.请问每次有多少种付款方法. 思路:这么老的题,居然今天才做到. ...
- python基础语法3 整形,浮点,字符串,列表
整形: ========================基本方法===========================用途: 一般用于定义整数:年龄.身份证号.qq号定义方式:age = 18 # a ...
- JMeter基础【第六篇】JMeter5.1事务、检查点、集合点、思考时间、其余设置等
JMeter5.1事务.检查点.集合点.思考时间.其余设置等
- 装饰器vue-property-decorator
接触到了新的vue项目,使用vue+ts+vue-property-decotator来进行项目的简化,一时间语法没有看懂,所以花时间学习这个装饰器的包. 1.装饰器 @Component(optio ...
- Lexicographical Substring Search SPOJ - SUBLEX (后缀数组)
Lexicographical Substrings Search \[ Time Limit: 149 ms \quad Memory Limit: 1572864 kB \] 题意 给出一个字符串 ...
- vim文本编辑器——文件导入、命令查找、导入命令执行结果、自定义快捷键、ab命令、快捷键的保存
1.文件的导入(r): 导入前: 导入后: 在光标处,将tmp目录下的zhbb文件的内容导入到了当前文件. 2.命令的查找: 3.导入命令的执行结果: 光标所在行为导入的位置. 4.自定义快捷键: ( ...
- RookeyFrame 一些心得 或者 调试技巧等
因为没有依赖具体的实现层,类库的输出路径又没有设置在web层的bin目录,所以每次都要拷贝实现层的DLL过去,有时候拷贝过去了还是没有反应,估计是缓存什么的吧, 解决:先那几个web层bin目录的 D ...
- python 路径拼接
>>> import os>>> os.path.join('/hello/','good/boy/','doiido')>>>'/hello/g ...
- Centos7 更改yum源与更新系统
[1] 首先备份 /etc/yum.repos.d/CentOS-Base.repo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/Cen ...