超过 1024G 的 IT 学习资料免费领取（大数据、Java、Python等），你值得拥有！

jetbrains 全家桶激活码，实测可用，每日都会更新，长期提供。再也不用怕突然激活码失效的尴尬了。

Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具。

大数据面试习题整理

HDFS是一个分布式文件系统，在HDFS上读写文件的过程与我们平时使用的单机文件系统非常不同。

Kafka起初由Linkedin公司开发的一个多分区、多副本、多订阅者，基于zookeeper协调的分布式消息系统，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。目前kafk已经定位于一个分布式流失处理平台。它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

kafka集群部署与安装.

Kafka 为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同的消息（当然在同一时刻，副本之间可能并非完全一样），副本之间是“一主多从”的关系，其中leader副本负责处理读写请求，follower副本只负责与leader副本的消息同步。

为了保证state的容错性，Flink需要对state进程checkPoint,Checkpoint是Flink实现容错机制最核心的功能。

Apache Flink®—Stateful Computations over Data Streams,flink是一个默认就有状态的分分析引擎，针对流失计算引擎中的数据往往是转瞬即逝，但在flink真实业务场景确不能这样，什么都不能留下，肯定是需要有数据留下的，针对这些数据留下来存储下来，在flink中叫做state，中文可以翻译成状态。