说明

APIFunc的核心是处理，从数据存储来看，通过APIFunc处理已经可以不必把中间过程数据存下来，而仅仅要求存储规则表(元数据)。

但是在节点中，必然有前道流程和后道流程的数据IO，也就意味着这里需要数据的持久化存储。最早是希望使用Mongo来进行全程的存储，后来发现是不太能满足需求的。主要是当数据来自于实时请求，Mongo就很难应付大量的，零散的数据请求。

项目在运行中还发现了一些很基础的问题：理论上前表和后表的数据(主键)应当一致，但实际上存在数据差，目前就需要手动处理，这个一定要解决。

内容

1 目标

技术上：

• 1 足够快的IO吞吐
• 2 足够简洁的数据节点记录
• 3 能够记录每条数据处理细节的数据

应用上：

• 1 看到数据的流转
• 2 随时debug数据

2 结构

以下是基于APIFunc的数据处理流转图

静态数据点

把整个数据处理看成一个系统，中间会有若干的数据点。例如要处理一万条数据的变换，那么step1_data、step2_data都会是一万条。

关于step_data有几点是要注意的：

• 1 【数量】不建议超过5个。一方面从数据处理的复杂性上没有必要，另一方面每个数据点记录数都会和原