List中数据量过大如何处理？集合拆分 + 并发处理（Lists.partition + Semaphore）你值得拥有

引入maven依赖

    com.google.guava
    guava
    21.0

代码举例:

public class ListPartitionDemo {

    public static void main(String[] args) {

        Semaphore semaphore = new Semaphore(2);

        List list = new ArrayList<>();

        for (int i = 0; i < 35 ; i ++) {
            list.add(UUID.randomUUID().toString());
        }

        Lists.partition(list, 10).parallelStream().forEach(l -> {
            try {
                semaphore.acquire();
                Thread.sleep(2000);
                System.out.println(l);
            } catch (InterruptedException e) {
                e.printStackTrace();
            } finally {
                semaphore.release();
            }
        });
    }
}

理解说明:

1. 在线程内部，在线程运行最开始，我们通过Semaphore的acquire方法获取运行许可（拿不到运行凭证是无法运行的），你也可以通过tryAcquire方法获取运行凭证，两个方法的区别是tryAcquire有一个布尔的返回值，是非阻塞的，而acquire是阻塞的，如果拿不到会一直等
2. 如果说我们之前讲的锁，是单线程锁（同一时间只运行一个线程访问），那么Semaphore更像是一个多线程锁（同一时间允许多个指定线程访问），它也很像我们之前说的令牌桶（限流解决方案），凭令牌数据访问相关服务，与之不同的是，这里的Semaphore可以重复使用的，所以它同样可以用于限流，比如获取数据库连接，我们可以通过Semaphore来限制连接数。