1.1 平台环境:注:由于Logstash的运行依赖于Java环境, 而Logstash 1.5以上版本不低于java 1.7,因此推荐使用最新版本的Java。因为我们只需要Java的运行环境,所以可以只安装JRE,不过这里我依然使用JDK
- OS: Amazon Linux 2
| 软件 | 节点名 | ip |
|---|---|---|
| es,logstash,elasticsearch-head,kibana | node-master01 | 172.28.254.221 |
| es | node-master02 | 172.28.254.27 |
| es | node-master03 | 172.28.253.227 |
| 软件 | 安装路径 | 配置文件 | 端口 | 访问地址 |
|---|---|---|---|---|
| elasticsearch-7.17.3 | /usr/share/elasticsearch | /etc/elasticsearch | 9200/tcp 9300/tcp | http://localhost:9200 |
| elasticsearch-head(可选) | /opt/elasticsearch-head | - | 9100/tcp | http://localhost:9100 |
| logstash-7.17.3 | /usr/share/logstash | /etc/logstash | 5044/tcp 5045/tcp | - |
| kibana-7.17.3 | /usr/share/kibana | /etc/kibana | 5601/tcp | http://localhost:5601 |
| filebeat-7.17.3(应用端) | /usr/share/filebeat | /etc/filebeat | ||
| metricbeat-7.17.3(应用端-可选) | /usr/share/metricbeat | /etc/metricbeat | ||
| kafka_2.12-3.1.0 | /usr/local/kafka01 |
#配置iptables,保证内网之间可以互通 [root@Elk_Server]# iptables -F;iptables -I INPUT -s 172.28.0.0/16 -j ACCEPT [root@Elk_Server]# service iptables save;service iptables restart #关闭selinux [root@Elk_Server]# setenforce 0 [root@Elk_Server]# vim /etc/sysconfig/selinux SELINUX=disabled1.4 时间同步
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime yum install ntpdate -y;ntpdate time.windows.com echo '01 00 * * * ntpdate time.windows.com' >>/etc/crontab1.5 安装JAVA
1.8.0_151, 请见 http://qiangsh.blog.51cto.com/3510397/1771748
1.6 配置yum源#导入公钥 [root@Elk_Server ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch [root@Elk_Server ~]# cat > /etc/yum.repos.d/elastic.repo <安装Elasticsearch 安装步骤,请参考:https://blog.51cto.com/qiangsh/5320167
安装Kafka集群安装步骤,请参考:https://blog.51cto.com/qiangsh/4738798
安装Filebeat(应用服务器上安装)
- 创建测试日志Topic
cd /usr/local/kafka01/bin ./kafka-topics.sh --create --bootstrap-server "172.28.254.221:9092,172.28.254.27:9092,172.28.253.227:9092" --replication-factor 1 --partitions 8 --topic test-log
- 在要监控的每个系统上安装 Filebeat
- 指定日志文件的位置
安装步骤,请参考:https://blog.51cto.com/qiangsh/5337463
安装Logstash:安装步骤,请参考:https://blog.51cto.com/qiangsh/5337475
安装Kibana安装步骤,请参考:https://blog.51cto.com/qiangsh/5348515



