scala语言学习(二)、基本使用

scala是运行在 JVM 上的多范式编程语言,同时支持面向对象和面向函数编程。早期scala刚出现的时候,并没有怎么引起重视,随着Spark和Kafka这样基于scala的大数据框架的兴起,scala逐步进入大数据开发者的眼帘。scala的主要优势是它的表达性。

scala语言学习(一)、初识

scala是运行在 JVM 上的多范式编程语言,同时支持面向对象和面向函数编程。早期scala刚出现的时候,并没有怎么引起重视,随着Spark和Kafka这样基于scala的大数据框架的兴起,scala逐步进入大数据开发者的眼帘。scala的主要优势是它的表达性。
浅谈用户行为数据采集方案
hadoop集群配置LZO压缩以及支持Hive
hive 学习之路(六)、Hive可视化工具Dbeaver配置使用

HDFS 小文件治理方案

HDFS小文件是指文件远远小于HDFS配置的block文件大小的文件。在HDFS上中block的文件目录数、或增删改查操作等都是存储在内存中,以对象的方式存储,每个对象约占150byte。若大量的小文件存储占用一个block,则会占用大量NameNode内存。而集群存储文件的多少,由NameNode管理,

图解HDFS存储原理

HDFS是现在最受欢迎和被人们说熟知的分布式文件系统。本文翻译了经典的 HDFS 原理讲解漫画,以一种通俗易懂的方式帮助 HDFS 初学者理解HDFS 的原理。