一、关闭PySpark中的INFO日志记录
1、进入spark安装目录，进入conf目录
cd /usr/local/spark/conf cp log4j.properties.template log4j.properties
2、编辑log4j.properties：
# Set everything to be logged to the console
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
# Settings to quiet third party logs that are too verbose
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
3、修改参数
将第一行：
log4j.rootCategory=INFO, console
替换为：
log4j.rootCategory=WARN, console
4、结果（只显示warn）
关闭前：
关闭后：
二、查看并关闭被占用的端口
查看端口情况：netstat -nap
查看端口对应的PID:netstat -tunlp|grep 端口号
关闭被占用的端口：kill -9 PID
