栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Pyspark与Elasticsearch

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Pyspark与Elasticsearch

就像我在评论部分所说的那样,

Spark中的所有转换都是 惰性的
,因为它们不会立即计算出结果。相反,他们只记得应用于某些基本数据集(例如文件)的转换。仅当操作要求将结果返回给驱动程序时才计算转换。这种设计使Spark可以更高效地运行-
例如,我们可以认识到通过map创建的数据集将用于reduce中,并且仅将reduce的结果返回给驱动程序,而不是将较大的maped数据集返回给驱动程序。

没有其他办法了。

为什么懒呢?

函数式编程的惰性评估优点:

  • 通过避免不必要的计算以及评估复合表达式时出现的错误情况来提高性能
  • 构造潜在的无限数据结构的能力
  • 将控制结构定义为抽象而不是基元的能力

注意: 大多数新的函数式编程语言都是惰性的(例如Haskell,Scala)。即使以为您使用的是Python,Spark还是用Scala编写的。

但是,如果要在每次RDD定义后计算RDD,则可以

count
根据需要在缓存后执行操作,但这样做没有目的。您最终将在需要时获得RDD。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/373581.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号