栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

【精】简要了解HDFS网络慢节点和磁盘慢节点监控

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【精】简要了解HDFS网络慢节点和磁盘慢节点监控

HDFS是一个分布式文件存储系统,可以支持数千台以上规模的集群。单台节点发生故障的概率比较低,但是当集群中节点非常多的时候,集群中有节点发生故障的概率就很高了。因此需要有效的手段来及时检查出慢节点,指导我们进行故障排查、硬件维修、慢节点规避等等。

本文就来简要介绍一下HDFS中关于慢节点检测的相关功能。
介绍慢节点之前,我们得先回顾一下HDFS写pipeline的模型。如下图所示:

在写pipeline的过程中,如果出现了网络慢节点,步骤1的耗时会明显增加,如果出现的是磁盘慢节点,步骤2的耗时会明显增加,因此,HDFS的慢节点监控,主要是监控步骤1和步骤2的耗时。网络慢节点用Slow Peer指代,磁盘慢节点用Slow Disk指代。

一、Slow Peer(网络慢节点)

网络慢节点的汇总报告信息由SlowPeerReports类表示。

SlowPeerReports里面有个Map数据结构,映射关系是:
DataNode’s DataNodeUUID -> its aggregate latency as seen by the reporting node.

翻译过来是:Datanode的DataNodeUUID -> 此datanode被观察到的聚合后的延迟。

SlowPeerReports类的构造方法是私有的,因此不能直接new。不过它提供了一个static类型的create方法,用来在其他类中创建SlowPeerReports对象。如下图:

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/691015.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号