Spark 指定日志级别

方法1(n)方法2(n)方法3(n)方法4(n)方法5(y)

环境:spark2.4.8

按官方文档上来说只需要修改spark运行环境中log4j.property模板改log4j.propert文件,再修改其中级别即可用,实际上无效

import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.WARN)

import org.apache.spark.sql.SparkSession

  private[this] implicit val spark = SparkSession.builder().master("local[*]").getOrCreate()

spark.sparkContext.setLogLevel("WARN")

log4j.properties文件放到项目配置目录

提交时指定

spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/home/foobar/log4j.properties'