HDFS小文件是指文件远远小于HDFS配置的block文件大小的文件。在HDFS上中block的文件目录数、或增删改查操作等都是存储在内存中，以对象的方式存储，每个对象约占150byte。若大量的小文件存储占用一个block，则会占用大量NameNode内存。而集群存储文件的多少，由NameNode管理，

HDFS是现在最受欢迎和被人们说熟知的分布式文件系统。本文翻译了经典的 HDFS 原理讲解漫画，以一种通俗易懂的方式帮助 HDFS 初学者理解HDFS 的原理。

hdfs的shell命令操作,常用风格有两种分别为hadoop fs开头和hdfs dfs开头，两者都可以使用，效果相同，但建议使用hdfs dfs，因为hadoop fs为老版本用法，兼容保留。

hdfs是大数据系统的基础，它提供了基本的存储功能，由于底层数据的分布式存储，上层任务也可以利用数据的本地性进行分布式计算。hdfs思想上很简单，就是namenode负责数据存储位置的记录，datanode负责数据的存储。使用者client会先访问namenode询问数据存在哪，然后去datanode存储；写流程也基本类似，会先在namenode上询问写到哪，然后把数据存储到对应的datanode上。所以namenode作为整个系统的灵魂，一旦它挂掉了，整个系统也就无法使用了。在运维中，针对namenode的高可用变得十分关键。

HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

整理汇总hive使用过程中遇到的问题以及解决办法。

使用 Flume 实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注 Source、Channel、Sink 之间的消息传输是否正常。比如，SouceChannel 传输了多少消息，ChannelSink 又传输了多少，两处的消息量是否偏差过大等等。

Flume 框架对 Hadoop 和 Zookeeper 的依赖只是在 jar 包上，并不要求 Flume 启动时必须将 Hadoop 和 Zookeeper 服务也启动。

Flume的Source类型介绍。

除了 Source、channel、Sink外，Flume Agent 还允许用户设置其他组件更灵活地控制数据流，包括 Interceptor，Channel Selector 和 Sink Processor。