03 | 流处理技术概览
下面是一些流处理技术比较。可以看到所有方面都符合的,只有 flink
05 | Flink核心特性
- flink 提供了统一的组件栈
- 支持多种时间概念:event time, ingestion time, process time 等等
- 基于轻量级分布式快照(snapshot)实现的容错:结合 checkpoint 能够做到 exactly-once
- 支持有状态计算
- 支持高度灵活的窗口(window)操作
- 带反压(back-pressure)的连续流模型:下游反过来传递给上游算子来达到相应的状态控制
- 基于 JVM,实现了独立的内存管理:将对象进行二进制存储
06 | Flink集群架构
一个 TaskManager 只是一个 JVM 进程,而非一台机器。其中的 Task Scheduling,也就是 Slot 这些是线程池。