批量插入大数据量数据优化方案之分批写入

第一种就是自己分批写入：建立新list大小为500,然后循环你的数据

List list=mapper.getList(); //从数据库查询出来的list，也就是需要进行批量插入的总list
//一次插入的条数，也就是分批的list大小
int maxCount= 500;
int listSize=list.size();
int maxSize=listSize - 1;
List newList = new ArrayList();//新建一个载体list
for (int i = 0; i < listSize; i++) {
    //分批次处理
    newList.add(list.get(i));//循环将数据填入载体list
    if (maxCount== newList.size() || i == maxSize) {  //载体list达到要求,进行批量操作
        //调用批量插入
        mapper.insertList(newList);
        newList.clear();//每次批量操作后,清空载体list,等待下次的数据填入
    }
}

 第二种导入apache的包，使用他的 Lists.partition（）

    org.apache.commons
    commons-collections4
    4.4

List list=new ArrayList<>();
for (int i=0;i<500;i++){
    list.add(i);
}
List> newList = Lists.partition(list, 150);
for (List list1:newList){
    System.out.println(list1.size());
}

第三种使用guava的包

    com.google.guava
    guava
    31.0.1-jre


List list=new ArrayList<>();
for (int i=0;i<500;i++){
    list.add(i);
}
List> newList = Lists.partition(list, 150);
for (List list1:newList){
    System.out.println(list1.size());
}