栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【Hadoop生态】-HDFS的理解

【Hadoop生态】-HDFS的理解

本博客用于本人自学记录
如果有错误欢迎指出

什么是HDFS?

灵魂之问,先把我的理解摆上来,HDFS是一种分布式文件系统,HDFS可以让用户的读写操作作用在分布式的存储设备,例如多台计算机、集群式服务器。在互联网,每天都产生N多的数据,甚至用于描述这些数据的单位我都不会念,可见数据量非常之大,单台计算机至少在目前是没有办法同时解决这么大体量数据的写入和读出可能性。而HDFS主要功能就是解决大数据的存储、访问、备份,属于Hadoop生态中的底层的应用。

HDFS的框架

HDFS CLIENT
就是客户端,客户端发起各种请求。

NameNode
是存储文件属性信息的节点,该节点存储有datanode的信息,像window系统里的文件夹,确保客户端能够读到正确的datanode.

DataNode
存储数据,HDFS把数据分布存储在不同的DataNode,同时DataNode会有冗余备份和接受NameNode发来的Heartbeat进行通讯。

Secondary NameNode
用于提高可靠性,通常不与Name Node放在一起。

HDFS读写流程

读的流程有6 步

写的过程是7步 HDFS的特点

根据HDFS 框架结构和工作原理,我们不难发现 HDFS可靠性很高,即使有数台服务器中断服务也不会影响到数据本身的存储与读写,对于数据就是能源的信息时代,安全可靠这点很重要。其次HDFS能够完成大规模数据的存储管理,这本身就是一个优点,但是却因此牺牲了读取的速度。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761914.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号