栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop002-hdfs架构

Hadoop002-hdfs架构

1.名字节点(namenode)可以看做是分布式文件系统中的管理者,它1负责管理文件系统命名空间、集群和数据块复制等。
2.数据节点(datanode)是文件存储的基本单位,它以数据块的形式保存了HDFS中文件的内容和数据块的数据校验信息。
3.客户端和名字节点、数据节点通信,访问hdfs文件系统,操作文件。
在一个hdfs中,有一个名字节点和一个第二名字节点,典型的集群有几十到
几百个数据节点,甚至几千上万节点;而客户端一般情况下,比数据节点的个数还多。名字节点和第二名字节点、数据节点和客户端的关系如下图所示:

hdfs是针对大文件涉及的分布式系统,使用数据块带来的优点:

1)hdfs可以保存比存储节点单一磁盘大的文件。
2)简化了存储子系统。
3)方便容错,有利于数据复制。

将hdfs中的磁盘块设置这么大的优点:
1.可以减少名字节点上管理文件和数据块关系的开销。
2.对数据块进行读写时,可以有效地减少建立网络连接需要的成本。

Linux上磁盘块设置大一些的优点:
1.减少管理数据块需要的开销。
2.在对文件进行读写操作时,可以减少寻址开销,即磁盘定位数据块的次数。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/582450.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号