栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Elastic:运用 Docker 安装 Elastic Stack 并采集日志文件

Elastic:运用 Docker 安装 Elastic Stack 并采集日志文件

尽管在之前的文章中,我好些文章讲述如何使用 Docker 来安装 Elastic Stack。在今天的文章中,我想使用 Docker 来安装所有的需要用到的 Elastic Stack 元件:

FilebeatLogstashElasticsearchKibana

我们使用的架构是:

为了方便大家学习,你可以在 github 下载仓库:

git clone https://github.com/liu-xiao-guo/elasticstack-lab

整个项目的文件如下:

$ pwd
/Users/liuxg/data/elasticstack-lab
$ ls -al
total 48
drwxr-xr-x   11 liuxg  staff   352 Jan 18 16:53 .
drwxr-xr-x  149 liuxg  staff  4768 Jan 18 16:44 ..
-rw-r--r--@   1 liuxg  staff  6148 Jan 18 16:44 .DS_Store
-rw-r--r--    1 liuxg  staff    29 Jan 18 16:39 .env
drwxr-xr-x   14 liuxg  staff   448 Jan 18 17:11 .git
-rw-r--r--    1 liuxg  staff  1617 Jan 18 16:52 README.md
-rw-r--r--    1 liuxg  staff  1160 Jan 18 16:59 docker-compose.yml
drwxr-xr-x    3 liuxg  staff    96 Jan 18 16:26 filebeat
-rw-r--r--    1 liuxg  staff   232 Jan 18 17:03 filebeat.Dockerfile
drwxr-xr-x    3 liuxg  staff    96 Jan 18 17:26 logs
drwxr-xr-x    4 liuxg  staff   128 Jan 18 16:45 logstash
$ tree -L 3
.
├── README.md
├── docker-compose.yml
├── filebeat
│   └── filebeat.yml
├── filebeat.Dockerfile
├── logs
│   └── sample.log
└── logstash
    ├── logstash.conf
    └── logstash.yml

在上面:

docker-compose.yml 是启动各个 Elastic Stack 容器的filebeat.yml 是 Filebeat 的配置文件filebeat.Dockerfile 是用来编译 Filebeat 的镜像的sample.log 是我们需要采集的日志文件logstash.conf 及 logstash.yml 是 Logstash 的配置文件

我们可以参考 README.md 文件来进行操作。在默认的情况下,我们使用最新的 7.16.2 版本来进行练习。如果你想使用其它的版本,请修改 .env 里的版本,同时需要修改在 filebeat.Dockerfile 里的 Filebeat 的版本以保持一致。 

在下载完整个仓库后,我们可以使用如下的命令来启动 Elastic Stack:

docker-compose up

当然前提是我们必须启动 Docker。

启动过后,我们可以看到如上所示的画面。

我们在浏览器中,打开地址 http://localhost:5601/ 进入到 Kibana。我们在 DevTools 里打入如下的命令:

GET _cat/indices

我们可以看到一个叫做 sample-2022.01.18 的索引。而它里面文档的内容是:

GET sample-2022.01.18/_search

 

这个和我们之前的 sample.log 的内容进行比较:

 

通过这个练习,我们了解如何使用 Docker 来部署 Elastic Stack,并使用 Pipeline:Filebeat => Logstash => Elasticsearch。针对我们实际的使用,我们需要根据自己的情况修改 Logstash 及 Filebeat 的配置文件。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/712282.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号