flink概述
Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规来执行计算。
Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架
flink应用场景
为什么选择flink
- 流数据更真实地反映了我们的生活方式
- 传统的数据架构是基于有限数据集的
- 我们的目标
Ø 低延迟
Ø 高吞吐
Ø 结果的准确性和良好的容错性
比如：发邮件
行业中处理流数据场景
- 电商和市场营销
Ø 数据报表、广告投放、业务流程需要,根据点击量，访问量等 - 物联网（IOT）
Ø 传感器实时数据采集和显示、实时报警，交通运输业 - 电信业
Ø 基站流量调配 - 银行和金融业
Ø 实时结算和通知推送，实时检测异常行为
传统大数据业务处理
传统架构缺点，延时性，数据必须经过数据库
有状态的流处理
核心问题事如何保持分布式中前后的数据一致性
流处理发展
重要特点
事件驱动型(Event-driven)
事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以 kafka 为代表的消息队列几乎都是事件驱动型应用。
与之不同的就是 SparkStreaming 微批次，如图
事件驱动
- 传统
- flink
流与批的世界观
批处理的特点是有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。
流处理的特点是无界、实时, 无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计
在 spark 的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的。
而在 flink 的世界观中，==一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，==这就是所谓的有界流和无界流
无界数据流：无界数据流有一个开始但是没有结束，它们不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理 event。对于无界数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序（例如事件发生的顺序）获取 event，以便能够推断结果完整性。
有界数据流：有界数据流有明确定义的开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处
这种以流为世界观的架构，获得的最大好处就是具有极低的延迟。
分层 api
Ø 越顶层越抽象，表达含义越简明，使用越方便
Ø 越底层越具体，表达能力越丰富，使用越灵活
最核心的API,DataStream API
其它特点
支持事件时间（event-time）和处理时间（processing-time）语义
• 精确一次（exactly-once）的状态一致性保证
• 低延迟，每秒处理数百万个事件，毫秒级延迟
• 与众多常用存储系统的连接
• 高可用，动态扩展，实现7*24小时全天候运行
对比sparkstreaming
- 数据模型
- spark 采用 RDD 模型，spark streaming 的 DStream 实际上也就是一组 组小批数据 RDD 的集合
- flink 基本数据模型是数据流，以及事件（Event）序列
- 运行时架构
- spark 是批计算，将 DAG 划分为不同的 stage，一个完成后才可以计算下个
- flink 是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节
点进行处理
SparkStreaming的特点是把批处理微分。实际上还是批处理