Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具。

HDFS是一个分布式文件系统，在HDFS上读写文件的过程与我们平时使用的单机文件系统非常不同。

Kafka起初由Linkedin公司开发的一个多分区、多副本、多订阅者，基于zookeeper协调的分布式消息系统，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。目前kafk已经定位于一个分布式流失处理平台。它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

kafka集群部署与安装.

Kafka 为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同的消息（当然在同一时刻，副本之间可能并非完全一样），副本之间是“一主多从”的关系，其中leader副本负责处理读写请求，follower副本只负责与leader副本的消息同步。

hive的内置函数满足不了所有的业务需求，hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。

本文将重点探讨数据采集层中的用户行为数据采集系统。这里的用户行为，指的是用户与产品UI的交互行为，主要表现在Android App、IOS App与Web页面上。

hadoop集群配置LZO压缩,在集群上运行jar包生成loz文件,以及支持Hive.

HBase表的合理设计，对HBase高性能的使用是至关重要。

HBase 采用了经典的 master/slave 架构，与 Hdfs 不同的是，他的 master 与 slave 不直接互联，而是引入 zookeeper 让两类服务解耦，这样使得 master 变得完全无状态，而避免了 master 宕机导致的整个集群不可用。