flink1.14流批一体源码原理

flink流批一体的原理（flink1.14源码）

1. source

   1. taskmanager.Task#doRun的方法会调用taskmanager.Task#restoreAndInvoke
      1. 其会调用streamTask跑算子方法【map,filter等】（这一步会被阻塞，后面的代码暂不执行）
   2. 当sourceStreamTask的sourceFunction停止发送数据（数据已发完），则sourceStreamTask的线程（LegacySourceFunctionThread sourceThread）会结束，sourceStreamTask#processInput方法里会调用mailboxProcessor.suspend()，即将suspended设置为true，则MailboxProcessor#runMailboxLoop会跳出循环，所以streamTask会执行完invoke()方法
      1. sourceStreamTask的线程（LegacySourceFunctionThread sourceThread）会结束，即sourceThread .getCompletionFuture()不再阻塞
      2. MailboxProcessor#runMailboxLoop的循环条件是：isNextLoopPossible()【!suspended，即suspended为false】
      3. mailboxProcessor.suspend()方法会将suspended设置为true，即MailboxProcessor#runMailboxLoop跳出循环
   3. taskmanager.Task#restoreAndInvoke的阻塞结束，开始调用后面的代码
   4. 如果有下游输出算子，则循环调用partitionWriter.finish();（即BufferWritingResultPartition#finish）
      1. 循环调用subpartition.finish();（即PipelinedSubpartition#finish）
      2. PipelinedSubpartition#finish会发送EndOfPartitionEvent.INSTANCE的事件数据
   5. 到此此source准备完成task的finish

2. 下游算子

   1. 下游算子会收到EndOfPartitionEvent.INSTANCE的事件数据

   2. SingleInputGate#transformEvent

      1. 接收到EndOfPartitionEvent.INSTANCE的事件数据
      2. hasReceivedAllEndOfPartitionEvents设置为true

   3. SingleInputGate#getNextBufferOrEvent返回Optional.empty()

      1. if (hasReceivedAllEndOfPartitionEvents) {
         	return Optional.empty();
         }
         

   4. AbstractStreamTaskNetworkInput#emitNext方法里，checkpointedInputGate.pollNext()收到Optional.empty()

      1. SingleInputGate#isFinished返回true，则checkpointedInputGate.isFinished()返回true，AbstractStreamTaskNetworkInput#emitNext返回DataInputStatus.END_OF_INPUT;
         

   5. StreamOneInputProcessor#processInput返回DataInputStatus.END_OF_INPUT

   6. StreamTask#processInput收到DataInputStatus.END_OF_INPUT，则调用mailboxProcessor.suspend();

   7. 则MailboxProcessor#runMailboxLoop会跳出循环，所以streamTask会执行完invoke()方法，该下游算子也开始finish