Hadoop共5篇

hadoop集群配置LZO压缩以及支持Hive-白程序员的自习室

hadoop集群配置LZO压缩以及支持Hive

hadoop集群配置LZO压缩,在集群上运行jar包生成loz文件,以及支持Hive.
图解HDFS存储原理-白程序员的自习室

图解HDFS存储原理

HDFS是现在最受欢迎和被人们说熟知的分布式文件系统。本文翻译了经典的 HDFS 原理讲解漫画,以一种通俗易懂的方式帮助 HDFS 初学者理解HDFS 的原理。 HDFS写数据原理 HDFS读数据原理 HDFS故障类...
HDFS的shell常用命令操作-白程序员的自习室

HDFS的shell常用命令操作

HDFS的命令有两种风格: hadoop fs开头 hdfs dfs开头 两种命令都可以使用,效果相同,建议使用hdfs dfs,因为hadoop fs为老版本用法,兼容保留。 启动集群 start-dfs.sh start-yarn.sh 帮助命令...
Hadoop 基础-白程序员的自习室

Hadoop 基础

HDFS的概念 Hadoop Distributed File System ,Hadoop分布式文件系统,主要用来解决海量数据的存储问题 文件级别的分布式系统 块级别的分布式系统 设计思想 分散均匀存储 dfs.blocksize = 128M ...
Hadoop 发展背景和简介-白程序员的自习室

Hadoop 发展背景和简介

Hadoop产生的背景 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决...