一直想着抽空整合下 flume 采集 springboot log的案例.现在有空开始干!
说明: springboot应用程序是一个利用 JdbcTemplate 简单查询的案例.
flume 是1.9 的版本,官网可以下载. 安装也简单.
上代码:
1.application.properties
spring.datasource.url=jdbc:mysql://hdp2:3306/bigdata?useUnicode=true&characterEncoding=UTF-8&useSSL=false spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource.username=root spring.datasource.password=root server.port=9998
2.EventService.java
public interface EventService {
List queryData();
}
3. EventServiceImpl.java
@Slf4j
@Service
public class EventServiceImpl implements EventService {
@Autowired
private JdbcTemplate template;
@Override
public List queryData() {
List
4.EventController.java
@Slf4j
@RestController
public class EventController {
@Autowired
private EventService service;
@RequestMapping("/get")
public String getData(){
List events = service.queryData();
log.info("远程访问了接口,时间:{}",new Timestamp(System.currentTimeMillis()));
return events.toString();
}
}
5.pom.xml 文件
org.apache.flume flume-ng-sdk1.9.0 com.teambytes.logback logback-flume-appender_2.110.0.9 org.springframework spring-jdbc5.3.13 org.springframework.boot spring-boot-starter-jdbcRELEASE compile mysql mysql-connector-java5.1.48
7.这里主要就是导入相对应的依赖和 logback.xml的配置,可以参考官网上的配置.
%d{yyy MMM dd HH:mm:ss.SSS} [%thread] %-5level %logger{36}:%L- %msg%n UTF-8 ${log-dir}/${log-name}.log log/logFile.%d{yyyy-MM-dd}.%i.log 7 5MB %d{yyy MMM dd HH:mm:ss.SSS} [%thread] %-5level %logger{36}:%L- %msg%n UTF-8 hdp1:44444 connect-timeout=4000; request-timeout=8000 100 1000 myHeader = myValue JustryDeng's Application%d{HH:mm:ss.SSS} %-5level %logger{36} - (%file:%line) - %message%n%ex
8.以上编写的应用程序已经整好了,接下来是打成jar上传到服务运行.接着编写运行flume 采集springboot log的conf脚本,为了方便测试输出到 logger ,我这边输出端写成了 .简单的内容如下:
a1.sources=r1 a1.sinks=k1 a1.channels=c1 a1.sources.r1.type=avro a1.sources.r1.bind=hdp1 a1.sources.r1.port=44444 a1.sinks.k1.type=logger a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 a1.sources.r1.channels=c1 a1.sinks.k1.channel=c1
简单讲述下:
type 使用的是 avro
bind(绑定的地址) hdp1
port 这个就是采集的端口,通过都是44444,flume中有讲解.
9.当springboot应用程序已经启动.conf 脚本写好了,就可以执行脚本进行采集了.
./flume-ng agent -c /opt/soft/flume/conf -f /opt/soft/flume/conf/example/springboot-flume-test.conf --name a1 -Dflume.root.logger=INFO,console
解释参数:
-c conf 指的是flume自身的配置文件所在目录
-f /opt/soft/flume/conf/example/log-netcat.conf 配置方案
-n a1 指定本次启动agent的名字,与采集方案配置文件中一致



