超过 1024G 的 IT 学习资料免费领取（大数据、Java、Python等），你值得拥有！

为了保证state的容错性，Flink需要对state进程checkPoint,Checkpoint是Flink实现容错机制最核心的功能。

Apache Flink®—Stateful Computations over Data Streams,flink是一个默认就有状态的分分析引擎，针对流失计算引擎中的数据往往是转瞬即逝，但在flink真实业务场景确不能这样，什么都不能留下，肯定是需要有数据留下的，针对这些数据留下来存储下来，在flink中叫做state，中文可以翻译成状态。

2020 高效Flink学习路线经验分享

Flink 如何自定义mysql source与sink，实现mysql的读取和写入

redis是一个内存数据库，所有数据都存储在内存当中，而内存中的数据极易丢失，所以redis的数据持久化就显得尤为重要，在redis当中，提供了两种数据持久化的方式，分别为RDB以及AOF，且redis默认开启的数据持久化方式为RDB方式。

RDD 持久化是 Spark 非常重要的特性之一。用户可显式将一个 RDD 持久化到内存或磁盘中，以便重用该RDD。RDD 持久化是一个分布式的过程，其内部的每个 Partition 各自缓存到所在的计算节点上。RDD 持久化存储能大大加快数据计算效率，尤其适合迭代式计算和交互式计算。

由于 RDD 是粗粒度的操作数据集，每个 Transformation 操作都会生成一个新的 RDD，所以 RDD 之间就会形成类似流水线的前后依赖关系；RDD 和它依赖的父 RDD（s）的关系有两种不同的类型，即窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。

Spark的算子Transformation和Action

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。