Rancher 部署 logstash_大数据系统

Rancher 部署 logstash

Rancher On logstash

一、下载logstash镜像
二、创建挂载目录与映射配置文件
- 2.1 创建配置文件
- 2.2 配置启动命令
- 2.3 映射配置文件

概述：
logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。

首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的页面再进行搜索和图表可视化，它是调用Elasticsearch的接口返回的数据进行可视化。logstash和Elasticsearch是用Java写的，kibana使用node.js框架。

一、下载logstash镜像

下载命令：

docker pull logstash:7.5.1

docker tag logstash:7.5.1 192.168.8.33/public/logstash:v7.5.1

docker push 192.168.8.33/public/logstash:v7.5.1

二、创建挂载目录与映射配置文件 2.1 创建配置文件

logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.8.31:9200" ]

logstash-sample.conf

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.8.31:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "elastic"
  }
}

2.2 配置启动命令

端口 
5044
9600

2.3 映射配置文件

先拷贝配置文件出来（rancher无挂载启动）
docker cp 6cb4ee8b251c:/usr/share/logstash/config /data/logstash/

mkdir -p /data/logstash/config
mkdir -p /data/logstash/data

chmod -R 777 /data/logstash/config
chmod -R 777 /data/logstash/data

/data/logstash/config		/usr/share/logstash/config
/data/logstash/data			/usr/share/logstash/data

/usr/share/logstash/config/logstash-sample.conf 	logstash-sample.conf
/usr/share/logstash/config/logstash.yml				logstash.yml

Rancher 部署 logstash

大数据系统相关栏目本月热门文章