hdfs是一个分布式文件系统
使用场景一次写入多次读取,不支持文件的修改
优缺点- 优点
高容错:副本存储策略适合处理大数据(数据量和文件量)成本低:可构建在廉价机器上 缺点
不适合存储大量小文件不支持修改只能追加不适合低延迟数据访问
- NameNode:相当于一本书的目录
处理客户端读写请求管理数据块的映射信息管理HDFS的命名空间配置副本策略 DataNode:
执行读写操作 SecondaryNameNode:
辅助NameNode,定期合并镜像文件和日志文件可帮助恢复NameNode Client:
文件切分和NameNode、DataNode交互提供命令管理、访问HDFS
- Hadoop2.x以后默认是128MHDFS的块大小不能太大也不能太小,如果太大磁盘的传输时间就会太大,如果太小寻址时间又会很多文件块大小主要取决于磁盘的传输速率
HDFS的Shell操作及常见命令
读写数据流以及机架感知(副本存储节点选择)读写数据流以及机架感知(副本存储节点选择)



