栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

广播变量和累加器——学习笔记

广播变量和累加器——学习笔记

广播变量 为什么会用广播变量?

本地list对象被发送到每个分区的处理线程上使用,也就是一个executor内,其实存放了两份一样的数据,executor是进程,进程内资源共享,这两份数据没有必要,造成内存资源浪费。如果将本地list对象标记为广播变量对象,那么当出现上述情况下,spark就会给每个executor来一份数据,而不是像原本那样,每个分区的处理线程都来一份,节省内存使用广播变量后,每个executor只会收到一份数据集,内部的各个线程(分区)共享这一份数据集 使用方法

# 1.将本地list标记为广播变量
broadcast = sc.broadcast(list)

# 2.使用广播变量,从broadcast对象中取出本地list即可
value = broadcast.value

# 先把list放进broadcast内部,然后从broadcast内部取出,中间传输的是broadcast这个对象
# 主要中间传输的是broadcast对象,spark就会检查每个executor中是否有broadcast对象,如果没有,则传输
累加器 为什么使用累加器?

当count来自driver对象,executor中的map算子需要count对象时,driver会将count对象复制发送给每个executor,所以不管executor中累加到多少,都和driver这个count无关,这时就需要使用累加器实现全局变量定义。 使用方法

sc.accumulator(初始值)
# 这个对象唯一和前面提到的count不同的是这个对象可以从各个executor中收集到他们的执行结果,作用回自己身上
注意事项

使用累加器的时候,要注意,因为rdd是过程数据,如果rdd被多次使用,可能会重新构建rdd。如果累加器代码在重新构建的步骤中,累加器累加代码就会被执行多次解决方法:将rdd加入缓存或者CheckPoint即可

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/773829.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号