栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hdfs的切分策略

hdfs的切分策略

目录

一:分布式存储切分机制

二:怎么识别切分后哪几个block块是一起的

三:切分后存储位置

四:数据放到hdfs时会进行block切分 无论大小

五:切分块信息的存储


一:分布式存储切分机制

1:128M切分条件

2:溢出机制 10% (128+128*10%)

防止浪费资源 避免小文件过多

例如:132 大于128但是没有大于140所以不会切分

145 大于128 且大于140 所以切分 两个块 一个是128 一个是17

二:怎么识别切分后哪几个block块是一起的

id是block连接的标识(保存在namenode中)

三:切分后存储位置

切分后存储在哪个节点是不固定的。根据每个节点所存储的文件和资源来存储

存储位置随机,当节点资源足够时根据资源谁资源大存储在谁那里

四:数据放到hdfs时会进行block切分 无论大小

block切分过程是默认的

切分时会产生切分信息 切分块数

master是用来保存切分信息 node1和node2来存储数据

在元数据上修改不会影响数据不会改变 hdfs上的数据不能直接修改

五:切分块信息的存储

namenode是主节点 元数据信息

datanode是存储block块存储数据 数据节点

元数据:针对与hdfs的操作

hdfs的目录结构在内存中

管理hdfs的目录在内存中

hdfs的服务关了,内存中的数据会丢失,为了避免数据丢失会把内存中的数据保存在磁盘中

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663701.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号