栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Java【代码分享 09】多线程处理List数据核心代码说明(下标越界与效率问题)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Java【代码分享 09】多线程处理List数据核心代码说明(下标越界与效率问题)

1.问题说明

大数据量的List问题处理,多线程分批处理,需要解决的问题:

  • 下标越界。
  • 线程安全。
    private List> dealDataByThreads(List dataList) {
        int dataSize = dataList.size();
        // 结果数据【1】
        List> dataMap = new ArrayList<>(dataSize);
        // 每批的记录数据并计算批次
        int numberBatch = 2000;
        double number = dataSize * 1.0 / numberBatch;
        int n = ((Double) Math.ceil(number)).intValue();
        // 根据参数开启线程
        CountDownLatch countDownLatch = new CountDownLatch(n);
        ThreadPoolExecutor executor = ThreadManager.executor;
        // 分批处理数据
        for (int i = 0; i < n; i++) {
            // 计算sub的toIndex
            int end = numberBatch * (i + 1);
            if (end > dataSize) {
                end = dataSize;
            }
            // 获取分批数据
            List dataListSub = dataList.subList(numberBatch * i, end);
            int finalI = i;
            int finalEnd = end;
            executor.submit(() -> {
                long startMillis = System.currentTimeMillis();
                //【2】
                dataMap.addAll(dealData(dataListSub));
                countDownLatch.countDown();
                long endMillis = System.currentTimeMillis();
                log.info("当前线程[{}]处理{}-{}/{}耗时[{}]毫秒", Thread.currentThread().getName(), numberBatch * finalI, finalEnd, dataSize, endMillis - startMillis);
            });
        }
        // 主线程等待
        try {
            countDownLatch.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return dataMap;
    }
2.代码说明
  1. 使用dataSize初始化 Map 对象,可以避免 Map 对象的重构导致的下标越界。
List> dataMap = new ArrayList<>(dataSize);
  1. 不要将dataMap对象给线程,dataMap.add(dataListSubAfterDeal) 方法可能会覆盖 List 内的对象。
// 正确方式
dataMap.addAll(dealData(dataListSub));
// 错误方式
dealData(dataListSub,dataMap);
dataMap.add(dataListSubAfterDeal);
  1. 为什么不使用线程安全的CopyOnWriteArrayList。
// 线程安全,性能较低,没有达到多线程期待的效果。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/961539.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号