栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

flume 采集 springboot log 直接 C V !!!

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

flume 采集 springboot log 直接 C V !!!

一直想着抽空整合下 flume 采集 springboot log的案例.现在有空开始干!

说明: springboot应用程序是一个利用 JdbcTemplate 简单查询的案例.

flume 是1.9 的版本,官网可以下载. 安装也简单.

上代码:

1.application.properties

spring.datasource.url=jdbc:mysql://hdp2:3306/bigdata?useUnicode=true&characterEncoding=UTF-8&useSSL=false
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.username=root
spring.datasource.password=root
server.port=9998

2.EventService.java

public interface EventService {
      List queryData();
}

3. EventServiceImpl.java

@Slf4j
@Service
public class EventServiceImpl implements EventService {
    @Autowired
    private JdbcTemplate template;
    @Override
    public List queryData() {

        List> list = template.queryForList("select * from  clicks");
        log.info("开始查询数据库,时间:{} " ,new Timestamp(System.currentTimeMillis()));
        return list;
    }
}

4.EventController.java

@Slf4j
@RestController
public class EventController {

    @Autowired
    private EventService service;

    @RequestMapping("/get")
    public String getData(){
        List events = service.queryData();
        log.info("远程访问了接口,时间:{}",new Timestamp(System.currentTimeMillis()));
        return events.toString();
    }
}

 5.pom.xml 文件


    org.apache.flume
    flume-ng-sdk
    1.9.0


    com.teambytes.logback
    
    logback-flume-appender_2.11
    0.0.9


    org.springframework
    spring-jdbc
    5.3.13


    org.springframework.boot
    spring-boot-starter-jdbc
    RELEASE
    compile


    mysql
    mysql-connector-java
    5.1.48

7.这里主要就是导入相对应的依赖和 logback.xml的配置,可以参考官网上的配置.





    
    

    
        
            %d{yyy MMM dd HH:mm:ss.SSS} [%thread] %-5level %logger{36}:%L- %msg%n
            
            UTF-8
        
    

    
    
        
        ${log-dir}/${log-name}.log
        
        
        
        
        
            
            
            
                log/logFile.%d{yyyy-MM-dd}.%i.log
            
            
            
            
            
                7
            
            

            
                5MB
            

        
        
        
            %d{yyy MMM dd HH:mm:ss.SSS} [%thread] %-5level %logger{36}:%L- %msg%n
            
            UTF-8
        

    

    
    
        
            hdp1:44444
        
        
            connect-timeout=4000;
            request-timeout=8000
        
        100
        1000
        
            myHeader = myValue
        
        JustryDeng's Application
        
            %d{HH:mm:ss.SSS} %-5level %logger{36} - (%file:%line) - %message%n%ex
        
    

    
        
    

    
        
    

8.以上编写的应用程序已经整好了,接下来是打成jar上传到服务运行.接着编写运行flume 采集springboot log的conf脚本,为了方便测试输出到 logger ,我这边输出端写成了 .简单的内容如下:

a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=avro
a1.sources.r1.bind=hdp1
a1.sources.r1.port=44444

a1.sinks.k1.type=logger

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

简单讲述下:

type 使用的是 avro 

bind(绑定的地址) hdp1 

port 这个就是采集的端口,通过都是44444,flume中有讲解.

9.当springboot应用程序已经启动.conf 脚本写好了,就可以执行脚本进行采集了.

./flume-ng agent -c /opt/soft/flume/conf   -f /opt/soft/flume/conf/example/springboot-flume-test.conf  --name a1  -Dflume.root.logger=INFO,console

解释参数:

-c conf 指的是flume自身的配置文件所在目录
-f /opt/soft/flume/conf/example/log-netcat.conf 配置方案
-n  a1 指定本次启动agent的名字,与采集方案配置文件中一致
 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/981368.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号