栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Flink流处理引擎系统学习(十七)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Flink流处理引擎系统学习(十七)

前言

      一直在分享flink的基础核心概念、demo,却很少提到flink的配置文件,今天就来分享下配置文件。


一、日志框架

      现在很多现代框架都是用门面模式进行日志输出,例如使用Slf4j中的接口输出日志,具体实现类需要由log4j,log4j2,logback等日志框架进行实现。


二、flink的日志实现

      Flink 中的日志记录就是使用slf4j日志接口实现的。
Slf4j简要说明
      slf4j全名Simple Logging Facade for Java,为java提供的简单日志Facade。Facade门面说白了就是接口。它允许用户以自己的喜好,在工程中通过slf4j接入不同的日志系统。slf4j入口就是众多接口的集合,它不负责具体的日志实现,只在编译时负责寻找合适的日志系统进行绑定。具体有哪些接口,全部都定义在slf4j-api中。查看slf4j-api源码就可以发现,里面除了public final class LoggerFactory类之外,都是接口定义。因此slf4j-api本质就是一个接口定义。要想使用slf4j日志门面,需要引入以下依赖:

 
    org.slf4j
    slf4j-api
    版本号

      这个包只有日志的接口,并没有实现,所以如果要使用就得再给它提供一个实现了些接口的日志框架包,比如:log4j,log4j2,logback等日志框架包,但是这些日志实现又不能通过接口直接调用,实现上他们根本就和slf4j-api不一致,因此slf4j和日志框架之间又增加了一层桥接器来转换各日志实现包的使用,比如slf4j-log4j12,log4j-slf4j-impl等。


三、flink的日志配置 1.使用slf4j

依赖

 
    org.slf4j
    slf4j-api
    1.7.25

事实上,光有上述的代码,运行起来是打印不出来日志的。还需要我们导入对应的日志实现的依赖(log4j或log4j2),以及进行相关的配置。
log4j1依赖


    org.slf4j
    slf4j-api
    1.7.25


    
    org.slf4j
    slf4j-log4j12
    1.7.21
    test




    log4j
    log4j
    1.2.17

log4j.properties配置文件

log4j.rootLogger=info,console  

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Threshold=INFO
log4j.appender.console.ImmediateFlush=true
log4j.appender.console.Target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
2.使用log4j2

    org.slf4j
    slf4j-api
    1.7.25



    org.apache.logging.log4j
    log4j-slf4j-impl
    2.9.1



    org.apache.logging.log4j
    log4j-api
    2.9.1



    org.apache.logging.log4j
    log4j-core
    2.9.1


PS:log4j2配置文件支持xml和properties,但是中间有几个版本不支持properties的。
log4j2.xml



    
        
        
    

    
        
            
            
        
    

    
        
            
        
    


**log4j2.properties**

```xml
status = error
# 定义变量。指定日志文件的位置和文件名称,以便记录多份日志时,直接引用
property.LOG_HOME=/output/logs
property.BACKUP_HOME=backup
property.SERVER_NAME=jiangong-flink-Service
property.EVERY_FILE_SIZE=10M
property.OUTPUT_LOG_LEVEL=INFO
property.FILE_MAX=10

# console
# 指定输出源的类型与名称
appender.console.type = Console
appender.console.name = STDOUT
appender.console.layout.type = PatternLayout
# 输出模板
appender.console.layout.pattern = %m%n


# rolling file
appender.rolling.type=RollingFile
appender.rolling.name=RollingFileAll
appender.rolling.filter.threshold.level = trace
appender.rolling.filter.threshold.type = ThresholdFilter
# 指定当发生Rolling时,文件的转移和重命名规则
appender.rolling.fileName=${LOG_HOME}/dev_${SERVER_NAME}_all.log
appender.rolling.filePattern=${LOG_HOME}/dev_${BACKUP_HOME}/dev_${SERVER_NAME}_all.%d{yyyy-MM-dd-HH}.log
appender.rolling.layout.type=PatternLayout
appender.rolling.layout.pattern=%d %p %C{1.} [%t] %m%n
# 指定记录文件的封存策略,该策略主要是完成周期性的日志文件封存工作
appender.rolling.policies.type=Policies
# 基于时间的触发策略
appender.rolling.policies.time.type=TimeBasedTriggeringPolicy
# 当前记录周期为每2h生成一个文件
appender.rolling.policies.time.interval=2
appender.rolling.policies.time.modulate=true
# 基于日志文件体积的触发策略
appender.rolling.policies.size.type=SizeBasedTriggeringPolicy
# 当日志文件体积大于size指定的值时,触发Rolling
appender.rolling.policies.size.size=${EVERY_FILE_SIZE}
# 文件封存的覆盖策略
appender.rolling.strategy.type=DefaultRolloverStrategy

appender.error.type=RollingFile
appender.error.name=RollingFileError
appender.error.filter.threshold.level = error
appender.error.filter.threshold.type = ThresholdFilter
appender.error.fileName=${LOG_HOME}/dev_${SERVER_NAME}_error.log
appender.error.filePattern=${LOG_HOME}/dev_${BACKUP_HOME}/dev_${SERVER_NAME}_error.%d{yyyy-MM-dd-HH}.log
appender.error.layout.type=PatternLayout
appender.error.layout.pattern=%d %p %C{1.} [%t] %m%n
appender.error.policies.type=Policies
appender.error.policies.time.type=TimeBasedTriggeringPolicy
appender.error.policies.time.interval=2
appender.error.policies.time.modulate=true
appender.error.policies.size.type=SizeBasedTriggeringPolicy
appender.error.policies.size.size=${EVERY_FILE_SIZE}
appender.error.strategy.type=DefaultRolloverStrategy

appender.charge.type=RollingFile
appender.charge.name=RollingFileCharge
appender.charge.filter.threshold.level = trace
appender.charge.filter.threshold.type = ThresholdFilter
appender.charge.fileName=${LOG_HOME}/dev_${SERVER_NAME}_charge.log
appender.charge.filePattern=${LOG_HOME}/dev_${BACKUP_HOME}/dev_${SERVER_NAME}_charge.%d{yyyy-MM-dd-HH}.log
appender.charge.layout.type=PatternLayout
appender.charge.layout.pattern=%d %p %C{1.} [%t] %m%n
appender.charge.policies.type=Policies
appender.charge.policies.time.type=TimeBasedTriggeringPolicy
appender.charge.policies.time.interval=2
appender.charge.policies.time.modulate=true
appender.charge.policies.size.type=SizeBasedTriggeringPolicy
appender.charge.policies.size.size=${EVERY_FILE_SIZE}
appender.charge.strategy.type=DefaultRolloverStrategy

logger.activity.name = jiangongFlink.activity
logger.activity.level = debug
logger.activity.additivity = false
logger.activity.appenderRef.all.ref = RollingFileAll
logger.activity.appenderRef.error.ref = RollingFileError
logger.activity.appenderRef.stdout.ref = STDOUT

logger.login.name = jiangongFlink.login
logger.login.level = debug
logger.login.additivity = false
logger.login.appenderRef.all.ref = RollingFileAll
logger.login.appenderRef.error.ref = RollingFileError
logger.login.appenderRef.stdout.ref = STDOUT

logger.charge.name = jiangongFlink.charge
logger.charge.level = trace
logger.charge.additivity = false
logger.charge.appenderRef.all.ref = RollingFileAll
logger.charge.appenderRef.error.ref = RollingFileError
logger.charge.appenderRef.charge.ref = RollingFileCharge
logger.charge.appenderRef.stdout.ref = STDOUT

# rootLogger, 根记录器,所有记录器的父辈
# 指定根日志的级别
rootLogger.level = info
# 指定输出的appender引用
rootLogger.appenderRef.stdout.ref = STDOUT
rootLogger.appenderRef.all.ref = RollingFileAll
rootLogger.appenderRef.error.ref = RollingFileError
四、日志效果

我用的是properties,下面是效果截图

总结
  • 在实际使用中,还是推荐使用log4j2。其他的不说,占位符就比log4j的自己拼字符串好很多了。
  • 运行在不同环境,一定要注意log的实现是log4,还是log4j2,注意打包脚本排除
  • flink有重启策略,但是有些异常哪怕你重启100遍也是枉然,其实flink的日志配置可以配置日志发送到邮件的,log4j.appender.MAIL配置相关的。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/970681.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号