Flume 学习之路(六)Flume 的监控 原创 flume 3 分钟 读完 (大约 412 个字) 2020-05-09 使用 Flume 实时收集日志的过程中,尽管有事务机制保证数据不丢失,但仍然需要时刻关注 Source、Channel、Sink 之间的消息传输是否正常。比如,SouceChannel 传输了多少消息,ChannelSink 又传输了多少,两处的消息量是否偏差过大等等。 大数据flume 阅读更多>>
Flume 学习之路(五)Flume 的部署安装 原创 flume 1 分钟 读完 (大约 188 个字) 2020-05-09 Flume 框架对 Hadoop 和 Zookeeper 的依赖只是在 jar 包上,并不要求 Flume 启动时必须将 Hadoop 和 Zookeeper 服务也启动。 大数据flume 阅读更多>>
Flume 学习之路(三)Flume的Source类型 原创 flume 7 分钟 读完 (大约 1098 个字) 2020-05-09 Flume的Source类型介绍。 大数据flume 阅读更多>>
Flume 学习之路(二)Flume 高级组件(Interceptor,Channel Selector 和 Sink Processor) 原创 flume 9 分钟 读完 (大约 1404 个字) 2020-05-09 除了 Source、channel、Sink外,Flume Agent 还允许用户设置其他组件更灵活地控制数据流,包括 Interceptor,Channel Selector 和 Sink Processor。 大数据flume 阅读更多>>
Flume 学习之路(一)Flume 概述和基本架构 原创 flume 12 分钟 读完 (大约 1841 个字) 2020-05-09 Flume 是一个分布式、可靠且高可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据的简单灵活架构,良好的可靠性机制、故障转移和恢复机制,具有强大的容错性。它支持在系统中定制各类数据发送方,用于收集数据;同时Flume 提供对数据的简单处理,并具有写到各种数据接收方的能力。 大数据flume 阅读更多>>