spark执行start-master.sh 报错java.lang.NoClassDefFoundError: org/apache/log4j/spi/Filter

错误原因：

没找到log4j相关类

导致没找到log4j的原因：

1、hadoop中含有log4j的JAR包

2、使用的是spark-3.1.3-bin-without-hadoop.tgz版本，需要手动指定hadoop的classpath。

解决方法：

打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置（如开始几行）添加如下变量（其中hadoop换成自己的路径）

export SPARK_DIST_CLASSPATH=$(/usr/soft/hadoop-3.2.3/bin/hadoop classpath)

参考资料Using Spark's "Hadoop Free" Build - Spark 3.2.1 Documentationhttps://spark.apache.org/docs/latest/hadoop-provided.html