Flink 极客时间笔记

Posted by Haiming on April 8, 2021

03 | 流处理技术概览

下面是一些流处理技术比较。可以看到所有方面都符合的,只有 flink

image-20210408220843585

05 | Flink核心特性

  1. flink 提供了统一的组件栈
  2. 支持多种时间概念:event time, ingestion time, process time 等等
  3. 基于轻量级分布式快照(snapshot)实现的容错:结合 checkpoint 能够做到 exactly-once
  4. 支持有状态计算
  5. 支持高度灵活的窗口(window)操作
  6. 带反压(back-pressure)的连续流模型:下游反过来传递给上游算子来达到相应的状态控制
  7. 基于 JVM,实现了独立的内存管理:将对象进行二进制存储

06 | Flink集群架构

一个 TaskManager 只是一个 JVM 进程,而非一台机器。其中的 Task Scheduling,也就是 Slot 这些是线程池。