栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Spark-我的Spark工作分配了多少执行者和核心

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark-我的Spark工作分配了多少执行者和核心

Scala(编程方式):

getExecutorStorageStatus
并且
getExecutorMemoryStatus
都返回执行者包括驱动程序的数量。如下例所示。

       def currentActiveExecutors(sc: SparkContext): Seq[String] = {         val allExecutors = sc.getExecutorMemoryStatus.map(_._1)         val driverHost: String = sc.getConf.get("spark.driver.host")         allExecutors.filter(! _.split(":")(0).equals(driverHost)).toList       }sc.getConf.getInt("spark.executor.instances", 1)

同样,获取所有属性并按如下所示打印,您可能还会获得核心信息。

sc.getConf.getAll.mkString("n")

要么

sc.getConf.toDebugString

通常

spark.executor.cores
对于执行者,
spark.driver.cores
驱动程序应具有此值。

Python:

上面的方法getExecutorStorageStatus和getExecutorMemoryStatus,在python
API中未实现

编辑但可以使用从SparkSession公开的Py4J绑定进行访问。

sc._jsc.sc().getExecutorMemoryStatus()



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/441164.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号