大数据技术共46篇

大数据技术
介绍一款Hive数仓可视化神器、Dbeaver的配置和使用方法-白程序员的自习室

介绍一款Hive数仓可视化神器、Dbeaver的配置和使用方法

Dbeaver是一个图形化的界面工具,专门用于与各种数据库的集成,通过dbeaver我们可以与各种数据库进行集成。通过图形化界面的方式来操作我们的数据库与数据库表,类似于我们的sqlyog或者navicat...
2个月前
124260
Flink如何自定义 mysql source与sink,实现mysql的读取和写入-白程序员的自习室

Flink如何自定义 mysql source与sink,实现mysql的读取和写入

Flink 如何自定义mysql source与sink,实现mysql的读取和写入
3年前
017180
Flume 学习之路(一)Flume 概述和基本架构-白程序员的自习室

Flume 学习之路(一)Flume 概述和基本架构

Flume 是一个分布式、可靠且高可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据的简单灵活架构,良好的可靠性机制、故障转移和恢复机制,具有强大的容错性。它支持在系统...
3年前
01130
Hive 系列文章(三)Hive高可用部署 HiveServer2高可用及Metastore高可用-白程序员的自习室

Hive 系列文章(三)Hive高可用部署 HiveServer2高可用及Metastore高可用

当部署的 Metastore 宕机或 HiveServer2 服务宕机时,两个服务可能持续相当长的时间不可用,直到服务被重新拉起。为了避免这种服务中断情况,在真实生产环境中需要部署Hive Metastore 高可用及H...
1年前
05930
HBase数据存储机制-白程序员的自习室

HBase数据存储机制

HBase 采用了经典的 master/slave 架构,与 Hdfs 不同的是,他的 master 与 slave 不直接互联,而是引入 zookeeper 让两类服务解耦,这样使得 master 变得完全无状态,而避免了 master 宕机导致...
3年前
02410
精心整理的Hive数据导入导出的几种方式-白程序员的自习室

精心整理的Hive数据导入导出的几种方式

作为数据仓库的Hive,存储着海量用户数据,在平常的Hive使用过程中,难免对遇到将外部数据导入到Hive或将Hive中的数据导出的情况。
2个月前
08020
浅谈flink state状态管理机制-白程序员的自习室

浅谈flink state状态管理机制

Apache Flink®—Stateful Computations over Data Streams,flink是一个默认就有状态的分分析引擎,针对流失计算引擎中的数据往往是转瞬即逝,但在flink真实业务场景确不能这样,什么都不能留下...
3年前
04840
Flume 学习之路(二)Flume 高级组件(Interceptor,Channel Selector 和 Sink Processor)-白程序员的自习室

Flume 学习之路(二)Flume 高级组件(Interceptor,Channel Selector 和 Sink Processor)

除了 Source、channel、Sink外,Flume Agent 还允许用户设置其他组件更灵活地控制数据流,包括 Interceptor,Channel Selector 和 Sink Processor。
3年前
02620
hive 系列文章(四)HQL的基本语法-白程序员的自习室

hive 系列文章(四)HQL的基本语法

HQL 是建立在 Hive 上的类sql语言,虽然和mysql等sql语言有很多一致的地方,但还是有所不同的。本文整理汇总了 HQL的 相关 DDL 操作。
1年前
04410
HBase表的设计原则-白程序员的自习室

HBase表的设计原则

HBase表的合理设计,对HBase高性能的使用是至关重要。
3年前
01700