Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具。

HDFS是一个分布式文件系统，在HDFS上读写文件的过程与我们平时使用的单机文件系统非常不同。

为了保证state的容错性，Flink需要对state进程checkPoint,Checkpoint是Flink实现容错机制最核心的功能。

Apache Flink®—Stateful Computations over Data Streams,flink是一个默认就有状态的分分析引擎，针对流失计算引擎中的数据往往是转瞬即逝，但在flink真实业务场景确不能这样，什么都不能留下，肯定是需要有数据留下的，针对这些数据留下来存储下来，在flink中叫做state，中文可以翻译成状态。

2020 高效Flink学习路线经验分享

Flink 如何自定义mysql source与sink，实现mysql的读取和写入

RDD 持久化是 Spark 非常重要的特性之一。用户可显式将一个 RDD 持久化到内存或磁盘中，以便重用该RDD。RDD 持久化是一个分布式的过程，其内部的每个 Partition 各自缓存到所在的计算节点上。RDD 持久化存储能大大加快数据计算效率，尤其适合迭代式计算和交互式计算。

由于 RDD 是粗粒度的操作数据集，每个 Transformation 操作都会生成一个新的 RDD，所以 RDD 之间就会形成类似流水线的前后依赖关系；RDD 和它依赖的父 RDD（s）的关系有两种不同的类型，即窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。

Spark的算子Transformation和Action

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。