栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Block与split的区别

Block与split的区别

数据block块:是HDFS数据块,一个大文件丢到HDFS上,会被HDFS切分成指定大小的数据块

数据切片(split):数据切片是逻辑概念只是程序在输入数据时对数据进行标记,不会实际切分数据

eg:假设文件大小为300M,切片大小为100M,block为128M,则第一个block会被切成100M+28M,100M给MapTask,剩余的28M需要网络传输给DataNode2,也就是Namenode2需要切分72M,加上28M才是Datanode2上Maptask上需要的数据,以此类推

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/354505.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号