栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

24 Spark新特性+核心回顾 Spark Shuffle

24 Spark新特性+核心回顾 Spark Shuffle

1 Spark Shuffle





总结
    SortShuffle对比HashShuffle可以减少很多的磁盘
    文件,以节省网络IO的开销SortShuffle主要是对磁盘文件进行合并来进行文件
    数量的减少, 同时两类Shuffle都需要经过内存缓冲区
    溢写磁盘的场景. 所以可以得知, 尽管Spark是内存迭
    代计算框架, 但是内存迭代主要在窄依赖中. 在宽依
    赖(Shuffle)中磁盘交互还是一个无可避免的情况. 所
    以, 我们要尽量减少Shuffle的出现, 不要进行无意义
    的Shuffle计算.
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/762066.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号