Scala(编程方式):
getExecutorStorageStatus并且
getExecutorMemoryStatus都返回执行者包括驱动程序的数量。如下例所示。
def currentActiveExecutors(sc: SparkContext): Seq[String] = { val allExecutors = sc.getExecutorMemoryStatus.map(_._1) val driverHost: String = sc.getConf.get("spark.driver.host") allExecutors.filter(! _.split(":")(0).equals(driverHost)).toList }sc.getConf.getInt("spark.executor.instances", 1)同样,获取所有属性并按如下所示打印,您可能还会获得核心信息。
sc.getConf.getAll.mkString("n")要么
sc.getConf.toDebugString
通常
spark.executor.cores对于执行者,
spark.driver.cores驱动程序应具有此值。
Python:
上面的方法getExecutorStorageStatus和getExecutorMemoryStatus,在python
API中未实现
编辑但可以使用从SparkSession公开的Py4J绑定进行访问。
sc._jsc.sc().getExecutorMemoryStatus()



