栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

JAVA关于大数据量的同步处理的一些问题

JAVA关于大数据量的同步处理的一些问题

1.大数据量重一个系统同步到另一个系统,在数据量过大的情况下,需要全量覆盖或增量更新,代码按照之前那种逻辑写的话就会出现脏数据的问题。 1.1:无需验证重复【全量覆盖】

第一次代码:
在代码的逻辑里面,我直接再serviceimpl里面写了,先删除后插入的操作

for循环{
delete(数据库老数据);
insert(新数据);
}
---出现的问题:前端超时,后端代码运行也会超时

第二次代码重构:
这次把插入的方法加了异步注解

for循环{
delete(数据库老数据);
this.insert(新数据);
}
@Async
insert(新数据){
}
--出现的问题:删除方法运行的时候,插入方法被多次调用,
--导致数据库数据没删除完,insert方法还在一直执行,导致数据库出现大量脏数据。
--这里如果把delete和insert放在通过一个异步方法的话,会出现数据库事务死锁

第三次代码重构:
从ctroller开始就调用2个service,执行2个事务,先删除,后插入

ctroller{
service.delete(条件);
service.insert(条件);
}
--解决了脏数据的问题
--解决了单个事务出现死锁的问题
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/677126.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号