基于 FFI 的 PyFlink 下一代 Python 运行时介绍

主要内容包括：

1. PyFlink 最新功能

2. PyFlink Runtime

3. 基于 FFI 的 PEMJA

4. PyFlink Runtime 2.0

5. Future Work

一、PyFlink 新功能  

PyFlink 1.14 新增了很多功能，主要分为功能、易用性和性能三个方面。

功能方面，新增了 State TTL config。在 1.14 以前已经实现了 Python Datastream API 以及一些操作 State 上的功能，但是并没有提供 State TTL config 的配置，这也意味着用户写 Python Datastream API 的自定义函数时无法自动把State的值清掉，而是需要手动的操作，对用户不够友好。

易用性方面，主要新增了以下几项功能：

• 在依赖管理部分支持了 tar.gz 格式。

• Profile 功能。用户写 PyFlink 会用到一些 Python 的自定义函数，但并不清楚这部分函数的性能瓶颈在哪里。而有了 profile 功能之后，Python 函数出现性能瓶颈时，便可以通过 profile 分析它的瓶颈具体是由原因什么引起，从而可以针对这部分进行一些优化。

• Print