大家都在看
5000字长文解析:带你解读阿里大数据建设方法论OneData
在建设大数据数据仓库时,首先要进行充分的业务调研和需求分析,这是数据仓库建设的基石,业务调研和需求分析做得是否充分直接决定了数据仓库建设是否成功。其次进行数据总体架构设计,主要是根...
服务器常用技术点
延长SSH的连接超时时间 SSH登录连接服务器时,默认的连接超时时间很短,经常会断掉,为方便管理修改sshd的配置文件,然后重启sshd服务。 vim /etc/ssh/sshd_config; #查找并修改 #ClientAliveInte...
最全面的Hive开窗函数讲解和实战指南(必看)
在报表等数据分析场景中,你会发现窗口函数真的很强大,灵活运用串口函数可以解决很多复杂问题,比如去重、排名、同比及环比、连续登录等等。本文将对窗口函数进行一个全面的整理,讲一讲窗口函...
🏆 IntellJ IDEA 激活码2021 激活码2022 每日更新 长期提供【JetBrains全家桶】
jetbrains 全家桶激活码,实测可用,每日都会更新,长期提供。再也不用怕突然激活码失效的尴尬了。
pyspark 如何设置python的版本
PySpark 在工作程序中都需要使用的为默认环境的python版本,怎样把python的版本切换成3的版本,您可以通过 `PYSPARK_PYTHON` 指定要使用的Python版本。
Spark集群安装部署
安装基础 Java8安装成功 zookeeper安装成功 下载安装包 spark官网下载链接 作者百度网盘链接: https://pan.baidu.com/s/1ytjRn231Gx3RFDSncrj5qQ 密码: 77tm 上传安装包到服务器 cd /opt/softwa...
Spark RDD的依赖关系以及DAG划分stage
由于 RDD 是粗粒度的操作数据集,每个 Transformation 操作都会生成一个新的 RDD,所以 RDD 之间就会形成类似流水线的前后依赖关系;RDD 和它依赖的父 RDD(s)的关系有两种不同的类型,即窄依...
白老师 2个月前0
是的,dwd_order_info_di其实是全量表,ods_order_info_20200911代表的是每日新增的数据。 每日取dwd_order_info_di,t-2的分区数据,与ods_order_info_20200911,ods临时表的t-1日变更数据合并,产出到dwd_order_info_di,t-1的分区全量数据。白老师 2个月前0
已添加。。。。。白老师 2个月前0
zan