无入侵的分布式日志系统,基于log4j、log4j2、logback搜集日志,设置链路ID,方便查询关联日志。
基于elasticsearch作为查询引擎。
高吞吐,查询效率高。
全程不占应用程序本地磁盘空间,免维护;对于项目透明,不影响项目本身运行。
无需修改老项目,引入直接使用,支持dubbo,支持springcloud。
2、部署准备
本文消息队列采用Redis,其余支撑组件还有ES,在接下来的部署过程中,请大家将所需环境准备好,如有需要可以从下文快速部署环境:
Redis快速部署
elasticsearch快速部署
3、下载
大家可以去官网下载,下面我也提供了我测试使用的版本:
链接:https://pan.baidu.com/s/13xA55auHSSzV9KVBYJy7dw
提取码:9pxv
4、部署PlumeLog-3.5
解压安装包,得到目录结构:
4.1、修改 application.properties
1.1修改redis对应配置
plumelog.queue.redis.redisHost=localhost:6379
#如果使用redis有密码,启用下面配置
plumelog.queue.redis.redisPassWord=876543
plumelog.queue.redis.redisDb=0
1.2修改es对应配置
plumelog.es.esHosts=localhost:9200
plumelog.es.shards=5
plumelog.es.replicas=0
plumelog.es.refresh.interval=30s
#日志索引建立方式day表示按天、hour表示按照小时
plumelog.es.indexType.model=day
plumelog.es.maxShards=100000
1.3设置登录账号密码
#登录配置,配置后会有登录界面
login.username=admin
login.password=admin
完整配置文件:
spring.application.name=plumelog_server spring.profiles.active=test-confidential server.port=8891 spring.thymeleaf.mode=LEGACYHTML5 spring.mvc.view.prefix=classpath:/templates/ spring.mvc.view.suffix=.html spring.mvc.static-path-pattern=/plumelog/** spring.boot.admin.context-path=admin #值为4种 redis,kafka,rest,restServer #redis 表示用redis当队列 #kafka 表示用kafka当队列 #rest 表示从rest接口取日志 #restServer 表示作为rest接口服务器启动 #ui 表示单独作为ui启动 #lite 简易模式启动不需要配置redis等 plumelog.model=redis #plumelog.lite.log.path=/Users/chenlongfei/lucene #如果使用kafka,启用下面配置 #plumelog.kafka.kafkaHosts=172.16.247.143:9092,172.16.247.60:9092,172.16.247.64:9092 #plumelog.kafka.kafkaGroupName=logConsumer #队列redis地址,model配置redis集群模式,哨兵模式用逗号隔开,队列redis不支持集群模式 plumelog.queue.redis.redisHost=localhost:6379 #如果使用redis有密码,启用下面配置 plumelog.queue.redis.redisPassWord=876543 plumelog.queue.redis.redisDb=0 #哨兵模式需要配置的 #plumelog.queue.redis.sentinel.masterName=myMaster #管理端redis地址 ,集群用逗号隔开,不配置将和队列公用 #plumelog.redis.redisHost=127.0.0.1:6379 #如果使用redis有密码,启用下面配置 #plumelog.redis.redisPassWord=123456 #plumelog.redis.redisDb=0 #哨兵模式需要配置的 #plumelog.redis.sentinel.masterName=myMaster #如果使用rest,启用下面配置 #plumelog.rest.restUrl=http://127.0.0.1:8891/getlog #plumelog.rest.restUserName=plumelog #plumelog.rest.restPassWord=123456 #redis解压缩模式,开启后不消费非压缩的队列 #plumelog.redis.compressor=true #elasticsearch相关配置,Hosts支持携带协议,如:http、https plumelog.es.esHosts=localhost:9200 plumelog.es.shards=5 plumelog.es.replicas=0 plumelog.es.refresh.interval=30s #日志索引建立方式day表示按天、hour表示按照小时 plumelog.es.indexType.model=day plumelog.es.maxShards=100000 #ES设置密码,启用下面配置 #plumelog.es.userName=elastic #plumelog.es.passWord=elastic #是否信任自签证书 #plumelog.es.trustSelfSigned=true #是否hostname验证 #plumelog.es.hostnameVerification=false #单次拉取日志条数 plumelog.maxSendSize=100 #拉取时间间隔,kafka不生效 plumelog.interval=100 #plumelog-ui的地址 如果不配置,报警信息里不可以点连接 plumelog.ui.url=http://demo.plumelog.com #管理密码,手动删除日志的时候需要输入的密码 admin.password=123456 #日志保留天数,配置0或者不配置默认永久保留 admin.log.keepDays=30 #链路保留天数,配置0或者不配置默认永久保留 admin.log.trace.keepDays=30 #登录配置,配置后会有登录界面 login.username=admin login.password=admin4.2、关联项目
依赖的maven
com.plumelog
plumelog-logback
2.1.1
我的项目使用的是LogBack输出日志
我只列出了主要修改的部分,其他的日志输出配置大家可以去网上查询
4.3、链路跟踪集成%date{yyyy-MM-dd HH:mm:ss.SSS} %-5level[%thread]%logger{56}.%method:%L -%msg%n ERROR DENY ACCEPT %date{yyyy-MM-dd HH:mm:ss.SSS} %-5level[%thread]%logger{56}.%method:%L -%msg%n log/info.%d.log ERROR %date{yyyy-MM-dd HH:mm:ss.SSS} %-5level[%thread]%logger{56}.%method:%L -%msg%n rgom_log log/error.%d.log 1 localhost 876543 6379
目前尚未集成,后续将会更新
4.4、启动PlumeLogwindows启动使用startup.bat
Linux使用startup.sh
启动后将对接的项目启动,跑起来,这样才会有日志
访问 ip:8891,默认用户名和密码都是admin,部署启动成功效果



