栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

从PostgreSQL数据库到Elasticsearch snyc /导入表的正确方法是什么?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

从PostgreSQL数据库到Elasticsearch snyc /导入表的正确方法是什么?

这取决于您的用例。通常的做法是在应用程序层上进行处理。基本上,您要做的是将一个数据库的操作复制到另一个数据库。因此,例如,如果您在postgres中保存一个条目,则在elasticsearch中执行相同的操作。

但是,如果这样做,则必须有一个排队系统。队列都集成在您的应用程序层上,例如,如果elasticsearch中的保存失败,则可以重播该操作。此外,在您的排队系统上,您将实施限制机制,以免压倒elasticsearch。另一种方法是将事件发送到另一个应用程序(例如logstash等),因此限制和持久性将由该系统而不是您的应用程序处理。

另一种方法是https://www.elastic.co/blog/logstash-jdbc-input-
plugin
。您使用另一个系统来“轮询”数据库,并将更改发送到elasticsearch。在这种情况下,logstash是理想的选择,因为它是ELK堆栈的一部分,并且具有很好的集成性。还要检查一下https://www.elastic.co/guide/zh-
CN/logstash/current/plugins-inputs-
jdbc.html

另一种方法是使用postgres 的NOTIFY机制将事件发送到某个队列,该队列将处理保存Elasticsearch中的更改。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/394559.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号