一直在分享flink的基础核心概念、demo,却很少提到flink的配置文件,今天就来分享下配置文件。
一、日志框架
现在很多现代框架都是用门面模式进行日志输出,例如使用Slf4j中的接口输出日志,具体实现类需要由log4j,log4j2,logback等日志框架进行实现。
二、flink的日志实现
Flink 中的日志记录就是使用slf4j日志接口实现的。
Slf4j简要说明
slf4j全名Simple Logging Facade for Java,为java提供的简单日志Facade。Facade门面说白了就是接口。它允许用户以自己的喜好,在工程中通过slf4j接入不同的日志系统。slf4j入口就是众多接口的集合,它不负责具体的日志实现,只在编译时负责寻找合适的日志系统进行绑定。具体有哪些接口,全部都定义在slf4j-api中。查看slf4j-api源码就可以发现,里面除了public final class LoggerFactory类之外,都是接口定义。因此slf4j-api本质就是一个接口定义。要想使用slf4j日志门面,需要引入以下依赖:
org.slf4j slf4j-api 版本号
这个包只有日志的接口,并没有实现,所以如果要使用就得再给它提供一个实现了些接口的日志框架包,比如:log4j,log4j2,logback等日志框架包,但是这些日志实现又不能通过接口直接调用,实现上他们根本就和slf4j-api不一致,因此slf4j和日志框架之间又增加了一层桥接器来转换各日志实现包的使用,比如slf4j-log4j12,log4j-slf4j-impl等。
三、flink的日志配置 1.使用slf4j
依赖
org.slf4j slf4j-api 1.7.25
事实上,光有上述的代码,运行起来是打印不出来日志的。还需要我们导入对应的日志实现的依赖(log4j或log4j2),以及进行相关的配置。
log4j1依赖
org.slf4j slf4j-api 1.7.25 org.slf4j slf4j-log4j12 1.7.21 test log4j log4j 1.2.17
log4j.properties配置文件
log4j.rootLogger=info,console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.Threshold=INFO log4j.appender.console.ImmediateFlush=true log4j.appender.console.Target=System.out log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n2.使用log4j2
org.slf4j slf4j-api 1.7.25 org.apache.logging.log4j log4j-slf4j-impl 2.9.1 org.apache.logging.log4j log4j-api 2.9.1 org.apache.logging.log4j log4j-core 2.9.1
PS:log4j2配置文件支持xml和properties,但是中间有几个版本不支持properties的。
log4j2.xml
四、日志效果**log4j2.properties** ```xml status = error # 定义变量。指定日志文件的位置和文件名称,以便记录多份日志时,直接引用 property.LOG_HOME=/output/logs property.BACKUP_HOME=backup property.SERVER_NAME=jiangong-flink-Service property.EVERY_FILE_SIZE=10M property.OUTPUT_LOG_LEVEL=INFO property.FILE_MAX=10 # console # 指定输出源的类型与名称 appender.console.type = Console appender.console.name = STDOUT appender.console.layout.type = PatternLayout # 输出模板 appender.console.layout.pattern = %m%n # rolling file appender.rolling.type=RollingFile appender.rolling.name=RollingFileAll appender.rolling.filter.threshold.level = trace appender.rolling.filter.threshold.type = ThresholdFilter # 指定当发生Rolling时,文件的转移和重命名规则 appender.rolling.fileName=${LOG_HOME}/dev_${SERVER_NAME}_all.log appender.rolling.filePattern=${LOG_HOME}/dev_${BACKUP_HOME}/dev_${SERVER_NAME}_all.%d{yyyy-MM-dd-HH}.log appender.rolling.layout.type=PatternLayout appender.rolling.layout.pattern=%d %p %C{1.} [%t] %m%n # 指定记录文件的封存策略,该策略主要是完成周期性的日志文件封存工作 appender.rolling.policies.type=Policies # 基于时间的触发策略 appender.rolling.policies.time.type=TimeBasedTriggeringPolicy # 当前记录周期为每2h生成一个文件 appender.rolling.policies.time.interval=2 appender.rolling.policies.time.modulate=true # 基于日志文件体积的触发策略 appender.rolling.policies.size.type=SizeBasedTriggeringPolicy # 当日志文件体积大于size指定的值时,触发Rolling appender.rolling.policies.size.size=${EVERY_FILE_SIZE} # 文件封存的覆盖策略 appender.rolling.strategy.type=DefaultRolloverStrategy appender.error.type=RollingFile appender.error.name=RollingFileError appender.error.filter.threshold.level = error appender.error.filter.threshold.type = ThresholdFilter appender.error.fileName=${LOG_HOME}/dev_${SERVER_NAME}_error.log appender.error.filePattern=${LOG_HOME}/dev_${BACKUP_HOME}/dev_${SERVER_NAME}_error.%d{yyyy-MM-dd-HH}.log appender.error.layout.type=PatternLayout appender.error.layout.pattern=%d %p %C{1.} [%t] %m%n appender.error.policies.type=Policies appender.error.policies.time.type=TimeBasedTriggeringPolicy appender.error.policies.time.interval=2 appender.error.policies.time.modulate=true appender.error.policies.size.type=SizeBasedTriggeringPolicy appender.error.policies.size.size=${EVERY_FILE_SIZE} appender.error.strategy.type=DefaultRolloverStrategy appender.charge.type=RollingFile appender.charge.name=RollingFileCharge appender.charge.filter.threshold.level = trace appender.charge.filter.threshold.type = ThresholdFilter appender.charge.fileName=${LOG_HOME}/dev_${SERVER_NAME}_charge.log appender.charge.filePattern=${LOG_HOME}/dev_${BACKUP_HOME}/dev_${SERVER_NAME}_charge.%d{yyyy-MM-dd-HH}.log appender.charge.layout.type=PatternLayout appender.charge.layout.pattern=%d %p %C{1.} [%t] %m%n appender.charge.policies.type=Policies appender.charge.policies.time.type=TimeBasedTriggeringPolicy appender.charge.policies.time.interval=2 appender.charge.policies.time.modulate=true appender.charge.policies.size.type=SizeBasedTriggeringPolicy appender.charge.policies.size.size=${EVERY_FILE_SIZE} appender.charge.strategy.type=DefaultRolloverStrategy logger.activity.name = jiangongFlink.activity logger.activity.level = debug logger.activity.additivity = false logger.activity.appenderRef.all.ref = RollingFileAll logger.activity.appenderRef.error.ref = RollingFileError logger.activity.appenderRef.stdout.ref = STDOUT logger.login.name = jiangongFlink.login logger.login.level = debug logger.login.additivity = false logger.login.appenderRef.all.ref = RollingFileAll logger.login.appenderRef.error.ref = RollingFileError logger.login.appenderRef.stdout.ref = STDOUT logger.charge.name = jiangongFlink.charge logger.charge.level = trace logger.charge.additivity = false logger.charge.appenderRef.all.ref = RollingFileAll logger.charge.appenderRef.error.ref = RollingFileError logger.charge.appenderRef.charge.ref = RollingFileCharge logger.charge.appenderRef.stdout.ref = STDOUT # rootLogger, 根记录器,所有记录器的父辈 # 指定根日志的级别 rootLogger.level = info # 指定输出的appender引用 rootLogger.appenderRef.stdout.ref = STDOUT rootLogger.appenderRef.all.ref = RollingFileAll rootLogger.appenderRef.error.ref = RollingFileError
我用的是properties,下面是效果截图
- 在实际使用中,还是推荐使用log4j2。其他的不说,占位符就比log4j的自己拼字符串好很多了。
- 运行在不同环境,一定要注意log的实现是log4,还是log4j2,注意打包脚本排除
- flink有重启策略,但是有些异常哪怕你重启100遍也是枉然,其实flink的日志配置可以配置日志发送到邮件的,log4j.appender.MAIL配置相关的。



