栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Java批量数据采用线程池分批同步处理

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Java批量数据采用线程池分批同步处理

第一步:申明线程池
public ExecutorService taskExecutor = new ThreadPoolExecutor(6, Integer.MAX_VALUE, 0, TimeUnit.MILLISECONDS, new SynchronousQueue());

第二步:分批处理数据

// 每批次数量
Integer batchCount = 100;Integer start = 0;
// 结尾
List list=new ArrayList<>();
Integer end = 100;
int loopCount = (int) Math.ceil((float) list.size() / batchCount);

// 采用线程池的同步计数类
CountDownLatch countDownLatch = new CountDownLatch(loopCount);
for (int k = 0; k < loopCount; k++) {
    final Integer startTemp = start;
    final Integer endTemp = end;
    // 开启线程池
    taskExecutor.execute(new Runnable() {
        @Override
        public void run() {
            try {
               //todo 书写业务代码逻辑

            } catch (Exception ex) {
                LOGGER.error("getQwAllUserInfo error:", ex);
            } finally {
                countDownLatch.countDown();
            }
        }
    });
    //计算下次分片数据
    start = end;
    end = start + batchCount > list.size() ? list.size() : batchCount + start;
}

最后等所有线程数据处理完毕

countDownLatch.await();
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/341077.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号