一、高可靠性高实时性系统的需求背景

• 用户在APP更新数据后，数据插入mysql数据库后，debezium采集数据到Kafka，下游flink消费kafka topic中的数据后，插入到ElasticSearch数据库或Starrocks数据库后，业务能够在系统界面立即查询到用户的更新数据，整个过程要能够实现秒级别的响应。
• 对系统的要求是24小时高可靠性高实时性实现数据处理的秒级别响应。

二、具体实现的技术方案

• Debezium基于Kafka Connect集群实现的数据采集会受到多种因素影响，例如kafka connect重平衡等，因此存在无法保证系统24小时实现数据处理的秒级别响应。

• 因此，需要考虑新的技术方案，这里有两种技术方案可以考虑：

  • 基于Debezium引擎技术