栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HDFS写数据流程

HDFS写数据流程

先上图

概要流程图,已按序号标记。

几个需要注意的点备注下:

1.block 128M:磁盘寻址10ms,磁盘传输速率100M/s。寻址时间占整个传输时间1%效率最高,所以128M大小block效率最高。block设置大小取决于磁盘传输速率。

2.机架感知:第一个副本在Client所在的节点上,如果Client在集群外,则随机选一个;第二个副本和第一个副本位于同一机架随机节点;第三副本位于不同机架随机节点。

3.向DataNode写数据策略:client -> dn1 -> dn2 -> dn3 内网传输速度快、Client只与一个DataNode建立连接。

4.磁盘写入:采用分段加锁和双缓冲机制,大大提高了性能。

5.契约:同一时间只能有一个HDFS客户端来获取NameNode上面的一个契约。然后才可以向获取契约的文件写入数据,未写完可以不断续约。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/743145.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号