栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

logstash 8.1.0 读取sql server 2016的表数据到elasticsearch 8.1.0中

logstash 8.1.0 读取sql server 2016的表数据到elasticsearch 8.1.0中

背景

如标题所述

具体内容 1. es启动成功

细节不提

2. 配置logstash的读取sqlserver的配置文件

在/etc/logstash目录下创建 配置文件,比如命名为: sqlserver-logstash.conf
内容如下:

内如如下:

1 input {
  2         jdbc {
  3                 jdbc_driver_library => "/etc/logstash/mylib/mssql-jdbc-7.4.1.jre8.jar"
  4                 jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
  5                 jdbc_connection_string => "jdbc:sqlserver://1.2.3.4:1433;DatabaseName=mytest;"
  6                 jdbc_user => "aaaaa"
  7                 jdbc_password => "1234"
  8                 jdbc_paging_enabled => "true" #是否进行分页
  9                 # jdbc_page_size => "50000"
 10                 tracking_column => "id"
 11                 use_column_value => true
 12                 # statement_filepath => "sql文件路径,与下面的执行语句二选1"
 13                 statement => "SELECt * FROM table1 where id > 0 "
 14                 # 设置监听间隔  各字段含义(由左至右)秒、分、时、天、月、年,全部为*默认含义为每分钟都更新
 15                 # schedule => " 10 * * * * *"
 16                 schedule => "5 * * * * *"
 17         }
 18 }
 19 output {
 20         elasticsearch {
 21                 document_id => "%{id}"
 22                 # document_type => ""
 23                 index => "sqlserver-paymentorder"
 24                 hosts => ["https://127.0.0.1:9200"]
 25                 cacert => "/etc/logstash/ssl/http_ca.crt"
 26                 user => "zs"
 27                 password => "123456"
 28         }
 29         stdout{
 30                 codec => rubydebug
 31         }
 32 }

其中需要注意的是:

    需要的mssql-jdbc jar文件自己找,自己放到某个位置,并且配置访问权限本机并不用安装jdk,elk自带我本机的是SQLServer 2016,logstash 8.1.0,使用了好几个版本的mssql-jdbc jar文件都不行,最终在官网找到一个帖子,里面的那个 mssql-jdbc-7.4.1.jre8.jar 可以使用。

我用的始终不成功,报连接SQLServer失败的包是:


如上图,红线的几个jar包我都试过,都报错。
绿圈的这个最终成功了。

3. 启动

执行命令
sudo /usr/share/logstash/bin/logstash -f /etc/logstash/sqlserver-logstash.conf --path.settings=/etc/logstash
成功。

下面是成功后的截图:

后记

参考的这个帖子,最终找到了可用版本的jar包,然后就成功了。
https://ramanareddy-v.medium.com/steps-to-install-configure-sql-server-with-logstash-3a4e184eaf5

尤其注意,关键是找到合适版本的jar包,否则一直报错,很烦。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/773857.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号