深入浅出Hive数据倾斜,最全面的讲解(好文收藏) 原创 大数据 / hive 27 分钟 读完 (大约 4068 个字) 2021-08-28 本文将为你深入浅出地讲解什么是Hive数据倾斜、数据倾斜产生的原因以及面对数据倾斜的解决方法,从而帮你快速完成工作! 大数据hive 阅读更多>>
精心整理的Hive数据导入导出的几种方式 原创 大数据 / hive 13 分钟 读完 (大约 1923 个字) 2021-08-04 作为数据仓库的Hive,存储着海量用户数据,在平常的Hive使用过程中,难免对遇到将外部数据导入到Hive或将Hive中的数据导出的情况。 大数据hive 阅读更多>>
最全面的Hive开窗函数讲解和实战指南(必看) 原创 大数据 / hive 1 小时 读完 (大约 6913 个字) 2021-08-02 在报表等数据分析场景中,你会发现窗口函数真的很强大,灵活运用串口函数可以解决很多复杂问题,比如去重、排名、同比及环比、连续登录等等。本文将对窗口函数进行一个全面的整理,讲一讲窗口函数是什么,有哪些分类,用法是什么,以及窗口函数的案例加深大家的理解。 大数据hive 阅读更多>>
Hive系统函数一览 (建议收藏) 原创 大数据 / hive 37 分钟 读完 (大约 5585 个字) 2021-07-30 Hive 提供了较完整的 SQL 功能,HQL 与 SQL 基本上一致,旨在让会 SQL 而不懂 MapReduce 编程的用户可以调取 Hadoop 中的数据,进行数据处理和分析。这里记录了个人日常数据分析过程中 Hive SQL 需要的查询函数,方便手头随时查询,定期更新补充。 大数据hive 阅读更多>>
讲一讲Hive的自定义函数UDF, 顺便聊聊Hive中AES加解密的代码实现 原创 大数据 / hive 11 分钟 读完 (大约 1681 个字) 2021-07-29 Hive的内置函数虽然提供了很对常用的方法,但面对多样的需求,还是有无法满足的情况,针对这种情况,Hive提供了自定义函数的功能。正好这段时间,有AES加解密的需求,用到了Hive的UDF自定义函数,所以也回顾了下之前的自定义函数,这里做下整理和讲解,希望帮助到大家。 大数据hive 阅读更多>>
2021 高效Flink学习路线经验分享(持续更新) 原创 flink 5 分钟 读完 (大约 729 个字) 2021-07-24 2021 高效Flink学习路线经验分享 大数据flink 阅读更多>>
一文搞懂Hive存储格式及压缩格式,太清晰了! 原创 大数据 / hive 22 分钟 读完 (大约 3304 个字) 2021-07-18 Hive底层数据是以HDFS文件的形式存储在Hadoop中的,选择一个合适的文件存储格式及压缩方式,也是 Hive 优化的一个重点。不同的文件存储格式及压缩格式,同时代表着不同的数据存储组织方式,对于性能优化表现会有很大不同。 大数据hive 阅读更多>>
Hive 系列文章(三)Hive高可用部署 HiveServer2高可用及Metastore高可用 原创 大数据 / hive 9 分钟 读完 (大约 1417 个字) 2021-07-01 当部署的 Metastore 宕机或 HiveServer2 服务宕机时,两个服务可能持续相当长的时间不可用,直到服务被重新拉起。为了避免这种服务中断情况,在真实生产环境中需要部署Hive Metastore 高可用及HiveServer2的高可用。 大数据hive 阅读更多>>
Hive 系列文章(二)安装及部署说明 原创 大数据 / hive 10 分钟 读完 (大约 1449 个字) 2021-06-30 Hive 是基于 Hadoop 的数据仓库解决方案,所以默认代表已经安装 Hadoop,本文只要整理了伪分布式场景下的安装和简单实用案例。 大数据hive 阅读更多>>
Hive 系列文章(一)初识hive 原创 大数据 / hive 17 分钟 读完 (大约 2516 个字) 2021-06-29 Hive 是基于 Hadoop 的数据仓库解决方案。由于 Hadoop 本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用 Hive 构建的数据仓库也秉承了这些特性。 大数据hive 阅读更多>>