栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

复习Hadoop之HDFS

复习Hadoop之HDFS

HDFS是什么

hdfs是一个分布式文件系统

使用场景

一次写入多次读取,不支持文件的修改

优缺点
    优点

    高容错:副本存储策略适合处理大数据(数据量和文件量)成本低:可构建在廉价机器上 缺点

    不适合存储大量小文件不支持修改只能追加不适合低延迟数据访问

组成架构
    NameNode:相当于一本书的目录

    处理客户端读写请求管理数据块的映射信息管理HDFS的命名空间配置副本策略 DataNode:

    执行读写操作 SecondaryNameNode:

    辅助NameNode,定期合并镜像文件和日志文件可帮助恢复NameNode Client:

    文件切分和NameNode、DataNode交互提供命令管理、访问HDFS

文件块大小
    Hadoop2.x以后默认是128MHDFS的块大小不能太大也不能太小,如果太大磁盘的传输时间就会太大,如果太小寻址时间又会很多文件块大小主要取决于磁盘的传输速率
HDFS的Shell操作及常见命令

HDFS的Shell操作及常见命令

读写数据流以及机架感知(副本存储节点选择)

读写数据流以及机架感知(副本存储节点选择)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/742497.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号