6.Logstash插件—输出插件(Output)& 尚未进入官方库的常用插件

配置示例

output {
  stdout {
    codec => rubydebug
    workers => 2
  } 
}

和 LogStash::Inputs::File 不同, LogStash::Outputs::File 里可以使用 sprintf format 格式来自动定义输出到带日期命名的路径配置示例

使用 output/file 插件首先需要注意的就是 message_format 参数

插件默认是输出整个 event 的 JSON 形式数据的

output {
  file {
    path => "/path/to/%{+yyyy/MM/dd/HH}/%{host}.log.gz"
    message_format => "%{message}"
    gzip => true
  } 
}

另一个非常有用的参数是 gzip，其格式包括有：

10字节的头，包含行数、版本号以及时间戳可选的扩展头，如原文件名文件体，包括DEFLATE压缩的数据8字节的尾注，包括CRC-32校验和以及未压缩的原始数据长度 6.3 保存进 Elasticsearch

配置示例

output {
  elasticsearch {
    host => "192.168.0.2"
    protocol => "http"
    index => "logstash-%{type}-%{+YYYY.MM.dd}"
    index_type => "%{type}"
    workers => 5
    template_overwrite => true
  } 
}

协议

现在，新插件支持三种协议： node，http 和 transport。运行下面这行命令，就可以看到自己的 logstash 进程名，对应的 node.role 值是 c：

input {
  kafka {
    bootstrap_servers => "localhost:9092"
    group_id => "logstash"
    topics => "test"
    consumer_threads => 5
    decorate_events => “basic”
  }
}

Input重要配置

consumer_threads

消费者线程数，默认为1 decorate_events

是否添加元数据，取值：none，basic，extended receive_buffer_bytes

默认值为32768(32KB)，读取数据时使用的 TCP 接收缓冲区 (SO_RCVBUF) 的大小 fetch_max_bytesmax_poll_records 6.4.2 Output 配置

output {
  kafka {
    bootstrap_servers => "localhost:9092"
    topic_id => "test"
    compression_type => "snappy"
  } 
}

Output 生产的设置：

compression_type

消息的压缩模式，默认是 none，可以有 gzip 和 snappy acks

消息的确认模式:可以设置为 0、 1、 all buffer_memory

默认值为33554432(32MB) batch_size

每当多条记录被发送到同一个分区时，生产者将尝试将记录一起批处理到更少的请求中默认值为16384 Partitioner

以获取分区。当不存在消息键时，插件以循环方式选择一个分区Default，round_robin，uniform_sticky receive_buffer_bytes

读取数据时使用的 TCP 接收缓冲区的大小，默认值为32768(32KB) reconnect_backoff_ms

连接失败时尝试重新连接到给定主机之前等待的时间，默认50 reconnect_backoff_ms

配置控制客户端等待请求响应的最长时间，默认40秒

大数据视频推荐：
CSDN
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通