目录
一、logstash简介
二、Logstash安装与配置
软件下载
logstash安装
三、elasticsearch输出插件
四、file输入插件
五、Syslog输入插件
六、多行过滤插件
七、grok过滤插件
一、logstash简介
Logstash是一个开源的服务器端数据处理管道。
logstash拥有200多个插件,能够同时从多个来源采集数据,转换数据,然后将数据发送到“存储库” 中。(大多都是 Elasticsearch。)
Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器。
输入:采集各种样式、大小和来源的数据
- Logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件。
- 能够以连续的流式传输方式,轻松地从日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
过滤器:实时解析和转换数据
数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。
- 利用 Grok 从非结构化数据中派生出结构
- 从 IP 地址破译出地理坐标
- 将 PII 数据匿名化,完全排除敏感字段
- 简化整体处理,不受数据源、格式或架构的影响
输出:选择存储库,导出数据
- 尽管 Elasticsearch 是首选输出方向,能够为搜索和分析带来无限可能,但它并非唯一选择。
- Logstash 提供众多输出选择,可以将数据发送到要指定的地方,并且能够灵活地解锁众多下游用例
二、Logstash安装与配置
软件下载
下载中心 - Elastic 中文社区
logstash安装
[root@server4 ~]# rpm -ivh jdk-8u181-linux-x64.rpm
[root@server4 ~]# rpm -ivh logstash-7.6.1.rpm
[root@server4 bin]# ln -s /usr/share/logstash/bin/logstash /usr/bin
[root@server4 bin]# which logstash
三、elasticsearch输出插件
标准输入到es主机:
[root@server4 ~]# cd /etc/logstash/conf.d/
[root@server4 conf.d]# vim test.conf
input {
stdin {}
}
output {
stdout {}
elasticsearch {
hosts => ["172.25.6.1:9200"] #输出到的ES主机与端口
index => "logstash-%{+yyyy.MM.dd}"#定制索引名称
}
}
指定配置文件运行
[root@server4 conf.d]# logstash -f /etc/logstash/conf.d/test.conf
看到此信息为运行成功，输入
前端查看
四、file输入插件
[root@server4 conf.d]# vim test.conf
input {
#stdin {}
file{
path => "/var/log/messages"
start_position => "beginning"
}
output {
stdout {}
elasticsearch {
hosts => ["172.25.6.1:9200"]
index => "messages-%{+yyyy.MM.dd}"
}
}
[root@server4 conf.d]# logstash -f /etc/logstash/conf.d/test.conf
输出结果
前端查看
注意：因为避免冗余，所以输出进度保存，如果需要重新采集，要先删除之前的
[root@server4 ~]# cd /usr/share/logstash/data/plugins/inputs/file/ [root@server4 file]# l. . .. .sincedb_452905a167cf4509fd08acb964fdb20c [root@server4 file]# cat .sincedb_452905a167cf4509fd08acb964fdb20c 51171156 0 64768 1037 1640365354.183566 /var/log/messages [root@server4 file]# rm -f .sincedb_452905a167cf4509fd08acb964fdb20c
logstash会把进度保存到sincedb文件中
sincedb文件内容解释:
1. inode编号
2. 文件系统的主要设备号
3. 文件系统的次要设备号
4. 文件中的当前字节偏移量
5. 最后一个活动时间戳(浮点数)
6. 与此记录匹配的最后一个已知路径
五、Syslog输入插件
logstash可以伪装成日志服务器,直接接受远程日志
input {
#stdin {}
#file {
# path => "/var/log/messages"
# start_position => "beginning"
#}
syslog {
port =>514
}
}
output {
stdout {}
elasticsearch {
hosts => ["172.25.6.1:9200"]
index => "messages-%{+yyyy.MM.dd}"
}
}
配置客户端传入日志
vim /etc/rsyslog.conf
[root@server1 ~]# systemctl restart rsyslog.service
查看logstash上的标准输出
六、多行过滤插件
多行过滤可以把多行日志记录合并为一行事件
input {
#stdin {}
file {
path => "/var/log/my-es.log"
start_position => "beginning"
codec => multiline {
pattern => "^["
negate => true
what => previous
}
}
#syslog {
# port => 514
#}
}
output {
stdout {}
elasticsearch {
hosts => ["172.25.6.1:9200"]
index => "myes-%{+yyyy.MM.dd}"
}
}
input {
stdin {}
file {
path => "/var/log/my-es.log"
start_position => "beginning"
}
#syslog {
# port =>514
#}
}
output {
stdout {}
elasticsearch {
hosts => ["172.25.6.1:9200"]
index => "myes-%{+yyyy.MM.dd}"
}
}
七、grok过滤插件
apache服务日志过滤
[root@server4 ~]# vim /etc/logstash/conf.d/grok.conf
input {
file {
path => "/var/log/httpd/access_log"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{HTTPD_COMBINEDLOG}" }
}
}
output {
stdout {}
elasticsearch {
hosts => ["172.25.6.1:9200"]
index => "apachelog-%{+yyyy.MM.dd}"
}
}
[root@server4 conf.d]# yum install -y httpd [root@server4 conf.d]# echo server4 > /var/www/html/index.html [root@server4 conf.d]# systemctl start httpd [root@server4 conf.d]# curl localhost server4 [root@server4 conf.d]# ll /var/log/httpd/access_log -rw-r--r-- 1 root root 10378 Dec 25 02:07 /var/log/httpd/access_log [root@server4 conf.d]# chmod 755 /var/log/httpd [root@server4 conf.d]# logstash -f /etc/logstash/conf.d/test.conf
前端查看
