并发编程设计之生产者-消费者模式：用流水线思想提高效率

- 引言
- 生产者 - 消费者模式的优点
- 支持批量执行以提升性能
- 支持分阶段提交以提升性能

引言

Java 线程池本质上就是用生产者 - 消费者模式实现的，所以每当使用线程池的时候，其实就是在应用生产者 - 消费者模式。 Log4j2 中异步 Appender 内部也用到了生产者 - 消费者模式。

Java 语言提供的线程池本身就是一种生产者 - 消费者模式的实现，但是线程池中的线程每次只能从任务队列中消费一个任务来执行，对于大部分并发场景这种策略都没有问题。但是有些场景还是需要自己来实现，例如需要批量执行以及分阶段提交的场景。

生产者 - 消费者模式的优点

生产者 - 消费者模式的核心是一个任务队列，生产者线程生产任务，并将任务添加到任务队列中，而消费者线程从任务队列中获取任务并执行。

从架构设计的角度来看，生产者 - 消费者模式有一个很重要的优点，就是解耦。解耦对于大型系统的设计非常重要，而解耦的一个关键就是组件之间的依赖关系和通信方式必须受限。在生产者 - 消费者模式中，生产者和消费者没有任何依赖关系，它们彼此之间的通信只能通过任务队列，所以生产者 - 消费者模式是一个不错的解耦方案。

生产者 - 消费者模式还有一个重要的优点就是支持异步，并且能够平衡生产者和消费者的速度差异。在生产者 - 消费者模式中，生产者线程只需要将任务添加到任务队列而无需等待任务被消费者线程执行完，也就是说任务的生产和消费是异步的，这是与传统的方法之间调用的本质区别，传统的方法之间调用是同步的。

异步化处理最简单的方式就是创建一个新的线程去处理，那中间增加一个“任务队列”究竟有什么用呢？我觉得主要还是用于平衡生产者和消费者的速度差异。

Java 线程和操作系统线程是一一对应的，线程创建得太多，会增加上下文切换的成本，所以 Java 线程不是越多越好，适量即可。而生产者 - 消费者模式恰好能支持你用适量的线程。

支持批量执行以提升性能

有一类并发场景应用生产者 - 消费者模式就有奇效，那就是批量执行任务。
例如，我们要在数据库里 INSERT 1000 条数据，有两种方案：第一种方案是用 1000 个线程并发执行，每个线程 INSERT 一条数据；第二种方案是用 1 个线程，执行一个批量的SQL，一次性把 1000 条数据 INSERT 进去。这两种方案，显然是第二种方案效率更高。

利用生产者 - 消费者模式实现批量执行 SQL 非常简单：将原来直接 INSERT 数据到数据库的线程作为生产者线程，生产者线程只需将数据添加到任务队列，然后消费者线程负责将任务从任务队列中批量取出并批量执行。

需要注意的是，从任务队列中获取批量任务的方法 pollTasks() 中，首先是以阻塞方式获取任务队列中的一条任务，而后则是以非阻塞的方式获取任务；之所以首先采用阻塞方式，是因为如果任务队列中没有任务，这样的方式能够避免无谓的循环。

// 任务队列
BlockingQueue bq=new linkedBlockingQueue<>(2000);
// 启动 5 个消费者线程
// 执行批量任务
void start() {
   ExecutorService es=xecutors.newFixedThreadPool(5);
   for (int i=0; i<5; i++) {
     es.execute(()->{
      try {
       while (true) {
         // 获取批量任务
         List ts=pollTasks();
         // 执行批量任务
         execTasks(ts);
       }
     } catch (Exception e) {
       e.printStackTrace();
     }
    });
  }
}
// 从任务队列中获取批量任务
List pollTasks() throws InterruptedException{
  List ts=new linkedList<>();
  // 阻塞式获取一条任务
  Task t = bq.take();
  while (t != null) {
    ts.add(t);
    // 非阻塞式获取一条任务
    t = bq.poll();
  }
  return ts;
}

// 批量执行任务
execTasks(List ts) {
  // 省略具体代码无数
}

支持分阶段提交以提升性能

利用生产者 - 消费者模式还可以轻松地支持一种分阶段提交的应用场景。我们知道写文件如果同步刷盘性能会很慢，所以对于不是很重要的数据，我们往往采用异步刷盘的方式。一个日志采集项目，其中的日志组件采用的就是异步刷盘方式，刷盘的时机是：

ERROR 级别的日志需要立即刷盘；
数据积累到 500 条需要立即刷盘；
存在未刷盘数据，且 5 秒钟内未曾刷盘，需要立即刷盘。

这个日志组件的异步刷盘操作本质上其实就是一种分阶段提交。

class Logger {
  // 任务队列
  final BlockingQueue bq = new BlockingQueue<>();
  //flush 批量
  static final int batchSize=500;
  // 只需要一个线程写日志
  ExecutorService es = Executors.newFixedThreadPool(1);
  // 启动写日志线程
  void start(){
    File file=File.createTempFile("foo", ".log");
    final FileWriter writer = new FileWriter(file);
    this.es.execute(()->{
     try {
       // 未刷盘日志数量
       int curIdx = 0;
       long preFT=System.currentTimeMillis();
       while (true) {
         LogMsg log = bq.poll(5, TimeUnit.SECONDS);
         // 写日志
         if (log != null) {
           writer.write(log.toString());
           ++curIdx;
         }
         // 如果不存在未刷盘数据，则无需刷盘
         if (curIdx <= 0) {
           continue;
         }
         // 根据规则刷盘
         if (log!=null && log.level==LEVEL.ERROR || curIdx == batchSize ||System.currentTimeMillis()-preFT>5000){
            writer.flush();
            curIdx = 0;
            preFT=System.currentTimeMillis();
          }
       }
     }catch(Exception e){
        e.printStackTrace();
     } finally {
       try {
         writer.flush();
         writer.close();
       }catch(IOException e){
         e.printStackTrace();
       }
     }
   });
}
  // 写 INFO 级别日志
  void info(String msg) {
    bq.put(new LogMsg(LEVEL.INFO, msg));
  }
  // 写 ERROR 级别日志
  void error(String msg) {
    bq.put(new LogMsg(LEVEL.ERROR, msg));
  }
}

// 日志级别
enum LEVEL {
  INFO, ERROR
}

class LogMsg {
  LEVEL level;
  String msg;
  // 省略构造函数实现
  LogMsg(LEVEL lvl, String msg){}
  // 省略 toString() 实现
  String toString(){}
}

总结：
觉得有用的客官可以点赞、关注下！感谢支持谢谢!

并发编程设计之生产者-消费者模式：用流水线思想提高效率

Java相关栏目本月热门文章