LogStash

我觉得其实可以使用自定义Append的方式来收集日志.然后扔给JMS,在由后台进行消费入库.cuiyaonan2000@163.com

参考资料:

1. Logstash Reference [8.3] | Elastic

Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。

根据如上官网的介绍,我们至少知道LogStash采集数据分为3个步骤即(且LogStash更像是一个平台,她的3个步骤,每个都会有多种实现cuiyaonan2000@163.com):

1. 输入 对应 Input : 必要插件,负责产生事件（Inputs generate events）
2. 筛选 对应 Filter : 非必要插件,负责数据处理与转换（filters modify them）
3. 输出 对应 Output : 必要插件,负责数据输出（outputs ship them elsewhere）

对应的输入插件地址:Input plugins | Logstash Reference [8.3] | Elastic

 常用的如下所示(我们种类主要的是使用Beats)

对应的筛选插件地址:Filter plugins | Logstash Reference [8.3] | Elastic 

常用的插件地址:

对应的输出插件地址:Output plugins | Logstash Reference [8.3] | Elastic

常用的如下所示:

Logstash 旨在作为独立组件运行，以将数据加载到 Elasticsearch（以及其他目标系统）。 Logstash 是一个基于插件的组件，这意味着它可以高度扩展它支持的源/目标系统类型以及它可以进行的转换。Logstash 不是集群组件，无法感知其他 Logstash 实例(即不支持集群,无法进行横向扩展cuiyaonan2000@163.com)。 通过跨实例负载平衡数据，可以使用多个 Logstash 实例来满足高可用性和扩展需求。如果你想了解如何实现这个，你可以参阅文章 “Elastic：负载均衡在 Elastic Stack 中的应用”。

• Logstash 实例是一个正在运行的 Logstash 进程。建议在 Elasticsearch 的单独主机上运行 Logstash，以确保两个组件有足够的计算资源可用。
• 管道（pipeline）是配置为处理给定工作负载的插件集合。一个 Logstash 实例可以运行多个管道（彼此独立） 
•  输入插件（input plugins）用于从给定的源系统中提取或接收数据。 
• 过滤器插件（filter plugin）用于对传入事件应用转换和丰富。 
• 输出插件（output plugin）用于将数据加载或发送到给定的目标系统

从上面我们可以看出来，Beats 的数据可以有如下的三种方式导入到 Elasticsearch 中：

• Beats ==> Elasticsearch   :  直接跳过了Logstash 的数据转换和过滤的插件功能
• Beats ==> Logstash ==> Elasticsearch : 增加了Logstash的数据转换和过滤的插件功能
• Beats ==> Kafka ==> Logstash ==> Elasticsearch :  因为Logstash是单机的所以,需要JMS来缓冲下数据cuiyaonan2000@163.com

Logstash 通过运行一个或多个 Logstash 管道作为 Logstash 实例的一部分来处理 ETL 工作负载。

Logstash：Logstash 入门教程 （二）_Elastic 中国社区官方博客的博客-CSDN博客_logstash使用教程