【ELK+Kafka+filebeat分布式日志收集】前期架构分析与准备

ELK = Elasticsearch, Logstash, Kibana 是一套实时数据收集，存储，索引，检索，统计分析及可视化的解决方案。最新版本已经改名为Elastic Stack

• 一、背景
• 二、架构分析与选型
• 三、ELK+Kafka+filebeat流程
• • 1.整体的流程：
  • 2.架构图：
  • 3.搭建顺序
  • 4.具体搭建

    通常当系统或者应用发生故障时，运维或者开发需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具或vim打开文件的方式去日志里查找故障原因。

    在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。

    ELK应运而生。

一般的分布式日志收集分为如下几种：

1.EFK架构
        EFK是三个开源软件的缩写，分别表示：Elasticsearch , FileBeat, Kibana , 其中ELasticsearch负责日志保存和搜索&#