本文将为你深入浅出地讲解什么是Hive数据倾斜、数据倾斜产生的原因以及面对数据倾斜的解决方法，从而帮你快速完成工作！

作为数据仓库的Hive，存储着海量用户数据,在平常的Hive使用过程中，难免对遇到将外部数据导入到Hive或将Hive中的数据导出的情况。

在报表等数据分析场景中，你会发现窗口函数真的很强大，灵活运用串口函数可以解决很多复杂问题，比如去重、排名、同比及环比、连续登录等等。本文将对窗口函数进行一个全面的整理，讲一讲窗口函数是什么，有哪些分类，用法是什么，以及窗口函数的案例加深大家的理解。

Hive 提供了较完整的 SQL 功能，HQL 与 SQL 基本上一致，旨在让会 SQL 而不懂 MapReduce 编程的用户可以调取 Hadoop 中的数据，进行数据处理和分析。这里记录了个人日常数据分析过程中 Hive SQL 需要的查询函数，方便手头随时查询，定期更新补充。

Hive的内置函数虽然提供了很对常用的方法，但面对多样的需求，还是有无法满足的情况，针对这种情况，Hive提供了自定义函数的功能。正好这段时间，有AES加解密的需求，用到了Hive的UDF自定义函数，所以也回顾了下之前的自定义函数，这里做下整理和讲解，希望帮助到大家。

Hive底层数据是以HDFS文件的形式存储在Hadoop中的，选择一个合适的文件存储格式及压缩方式，也是 Hive 优化的一个重点。不同的文件存储格式及压缩格式，同时代表着不同的数据存储组织方式，对于性能优化表现会有很大不同。

当部署的 Metastore 宕机或 HiveServer2 服务宕机时，两个服务可能持续相当长的时间不可用，直到服务被重新拉起。为了避免这种服务中断情况，在真实生产环境中需要部署Hive Metastore 高可用及HiveServer2的高可用。

Hive 是基于 Hadoop 的数据仓库解决方案，所以默认代表已经安装 Hadoop，本文只要整理了伪分布式场景下的安装和简单实用案例。

Hive 是基于 Hadoop 的数据仓库解决方案。由于 Hadoop 本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用 Hive 构建的数据仓库也秉承了这些特性。

Dbeaver是一个图形化的界面工具，专门用于与各种数据库的集成，通过dbeaver我们可以与各种数据库进行集成。通过图形化界面的方式来操作我们的数据库与数据库表，类似于我们的sqlyog或者navicat。