栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

mybatis-plus saveBatch批量插入慢的解决方法

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

mybatis-plus saveBatch批量插入慢的解决方法

           最近一个项目中修改离职同事写的发送站内信的代码时,发现 mybatis-plus的 saveBatch 批量插入方法很慢,他的做法是点击发送时往用户表插入站内信信息,我当时随便发送了1万多条消息,接口耗时23秒,我看这确实有点慢。所以我看下了他的方法。

        他是用同步发送的,这种方式确实不妥,推荐使用 异步或者mq处理,此处就不做详细描述。其实造成慢的原因是因为使用 mybatis-plus的 saveBatch 方法造成的。所以我就对这个问题进行了研究。

        首先看下我自己针对这个问题做的验证。使用 saveBatch 往表插入数据,分别插入1000,10000,50000,只做测试,实际业务中很少有插入这么多数据的情况。

首先看下我代码的截图,往岗位表插入数据,测试时均使用本地数据库,post 表中无数据测试:

@Test
	public void testInsertData() {
		List sysPostList = new ArrayList<>();
		SysPost sysPost = null;
		for (int i = 0; i < 1000; i ++) {
			sysPost = new SysPost();
			sysPost.setPostCode("test_code_" + i);
			sysPost.setPostName("test_name_" + i);
			sysPost.setPostSort(i);
			sysPost.setStatus(1);
			sysPostList.add(sysPost);
		}
		long startTime = new Date().getTime();
		sysPostService.saveBatch(sysPostList);
		long endTime = new Date().getTime();
		long l = endTime - startTime;
		System.out.println("插入完成时间:" + endTime + ",用时:" + l);
	}

数据库字段就不进行展示了,一共就几个字段。

下面是执行的耗时(单位:毫秒)

1000条数据耗时:953

10000条数据耗时:5140

5000条数据耗时:16884

通过查询资料发现MySQL JDBC驱动默认情况下会无视executeBatch()语句,会把批量语句拆散一条一条的发给数据库执行,批量插入实际上是单条插入,直接造成较低的性能。

只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL,另外这个选项对insert/update/delete 都是生效的,具体的可以进行测试验证。

下面是追加参数之后的执行时间(单位:毫秒):

1000条数据耗时:569

10000条数据耗时:3407

5000条数据耗时:12118

总体来说耗时有所提升,可能是我项目架构的原因,并没有测试出来在工作中遇到的特别慢的情况,公司的项目是springcloud。MP的批量插入,我看源码是1000条执行一次进行分批插入,自己写的批量插入方式暂时没有进行测试,可以自己测试验证。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/340584.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号