ELK日志分析系统搭建

目录

什么是ELK？

ELK日志系统数据流图：

ELK软件yum安装：

一、下载安装KEY：

 二、添加ELK的YUM源：

三、使用YUM安装ELK

  1、安装elasticsearch

2、安装kibana

3、安装 logstash

什么是ELK？

Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等存储库中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。

ELK日志系统数据流图：

ELK软件yum安装：

一、下载安装KEY：

这三个软件使用一个KEY。

Download and install the public signing key:

# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

 二、添加ELK的YUM源：

这里我统一将elasticsearch+kibana-8+logstash-8做添加：

# vi /etc/yum.repos.d/CentOS-base.repo

[elasticsearch]
name=Elasticsearch repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md

[kibana-8.x]
name=Kibana repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

[logstash-8.x]
name=Elastic repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

三、使用YUM安装ELK

  1、安装elasticsearch

 # yum install --enablerepo=elasticsearch elasticsearch

在启动前需要相关配置：

# mkdir -p /data/es/data && mkdir -p /data/es/logs

#  chown -R elasticsearch:elasticsearch /data/es/data

# chown -R elasticsearch:elasticsearch /data/es/logs

 修改elasticsearch.yml配置文件，这个是启动成功配置不做过多解释。

# vi /etc/elasticsearch/elasticsearch.yml

path.data: /data/es/data
path.logs: /data/es/logs
network.host: 0.0.0.0
http.port: 9200
xpack.security.enabled: true

xpack.security.enrollment.enabled: true

xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12

xpack.security.transport.ssl:
  enabled: true
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12
cluster.initial_master_nodes: ["localhost.localdomain"]

http.host: [_local_, _site_]

http.cors.enabled: true
http.cors.allow-origin: "*"

修改内存值：

# vi /etc/elasticsearch/jvm.options

打开以下两个配置，因为此系统是个高耗系统，配置如果好可以写更高的内存值，不然你在启动的时候会有报错，原因是因为这个地方的内存配置过小造成的。

-Xms8g
-Xmx8g

启动elasticsearch服务：

# systemctl start elasticsearch.service

2、安装kibana

# yum install kibana

 创建token

# bin/elasticsearch-create-enrollment-token -s kibana

 创建启动项，启动后监听5601端口

# systemctl daemon-reload
# systemctl enable kibana.service
# systemctl start kibana.service

3、安装 logstash

# yum install logstash

# systemctl enable kibana.service
# systemctl start kibana.service

 配置logstash：

启动

# bin/logstash -f logstash.conf