flink kafka connector的数据流动过程

存在个问题，connector 只是拉取数据，而且

FlinkKafkaConsumerbase 是个并行source ,如果设置多个并行度，是不是多个拉取，但是后面又怎么分的呢？看下吧。

其实对于任何的connector (jdbc,kfk, 数据湖等)，本身都是数据流动过程，没有复杂的业务处理逻辑，就是看数据是怎么发送，接受的

kafka的 connecotr 数据的流动核心是在KafkaFetcher 下的 runFetchLoop 方法

新建的线程没有死（死的话就是只执行一次方法，是一次性的了）

所以下面2个图中的都是while呢

这里用start 方法 开启1个新的线程，所以看下新线程的run 方法的逻辑是啥，发现他是去kfk 拉取数据，但是数据怎么传递过来主线程呢？因为主线程这边还有runFetchLoop 处理数据呢（所以有handover.pollNext();），handover是2个线程传递数据的关键，发现new 新线程的时候，果然吧这个handover 传递到新线程去了 所以新线程负责拉取数据（while true 死循环不断拉），而task 线程负责序列化数据，而handover就是个数据的中转站（可以看他的类的注释）

发现那个新的线程循环调用handover的produce 方法生产数据，而task 主线程调用handover的pollNext 方法消费数据，而数据就是handover的 成员变量的数组 ：ConsumerRecords next; 但是生产消费方法都加了锁， 所以是生产一个，就消费一个（这里的一个其实是一个数组的数据，很多条的）

拉取kfk 数据的线程