栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

ELK日志分析的概述:

ELK日志分析的概述:

1,环境概述:

 

         日志分析是运维工程师解决系统故障,发现问题的主要手段。Linux操作系统中日志主要包括系统日志、用户日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志来了解服务器的软硬件信息、靴查服务配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能和安全性,从而及时采取响应措施纠正错误。

         默认情况下,日志被分散的储存在各个相应的设备上。如果你管理了数十上百台服务器,而你还在使用传统方式依次登录每台机器查阅日志,即繁琐又效率低下。为此,我们可以使用集中化的日志管理工具。例如:开源的syslog可将所有服务器上的日志收集汇总,集中管理。

         集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep.awk、 sed、 sort、uniq、wc等 Linux 文本命令实现日志检索和统计,但是对于更高要求的查询、排序和统计等需求,再加上庞大的机器数量,使用这样的方法依然难免有点力不从心。

         开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK[Stack][由ElasticSearch、Logstash和 Kibana三个开源工具组成。官方网站: 开源搜索:Elasticsearch、ELK Stack 和 Kibana 的开发者 | Elastic[。

   Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。    Logstash 是一个完全开源的工具,它可以对日志进行收集、过滤,输出并将其存储,供以后使用(如ES搜索)。    Kibana 也是一个开源和免费的工具, Kibana可以为 Logstash 和 ElasticSearch提供友好的日志分析web 界面,可以帮助用户汇总、分析和搜索重要数据日志。

  ELK 工作原理展示图:

      Logstash收集AppServer,产生的Log,并存放到 ElasticSearch 集群中,而 Kibana则从ES集群中查询数据生成图表,再返回给Browser。简单来说,进行日志处理分析,一般需要经过以下几个步骤:I

《1》.采集应用程序产生的日志( filebeat)

《2》将日志格式化( logstash)e

《3》.对格式化后的数据进行索引和存储(elasticsearch)

《4》.前端数据的展示( kibana)c

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/707998.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号