栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

DataHub: 现代数据栈的元数据平台--如何将自定义的元数据事件发送到DataHub

DataHub: 现代数据栈的元数据平台--如何将自定义的元数据事件发送到DataHub

在某些情况下,业务上需要程序直接构造自定义的元数据事件【metadataEvent】,然后将该元数据发送到DataHub。

DataHub分别针对python和java提供了emitter 库,如下:

Python emitter libraries Java emitter libraries

本文基于上面的2个库,讲解如何构造元数据事件,然后将其发送到DataHub

Python emitter

基于Python的元数据摄取系统【acryl-datahub】提供了 REST 和 Kafka emitter API,很容易进行代码集成。
REST Emitter:基于requests 模块进行了一层薄包装,提供了一个通过HTTP发送元数据事件的阻塞接口,主要用于如下2种场景:

当将元数据持久化到DataHub的元数据存储的简单性和确认比元数据发送的吞吐量更重要时,请使用此方法 当存在write -after-write场景时使用此方法,例如写元数据然后立即将其读回来。

Kafka Emitter:基于confluent-kafka的SerializingProducer类之上的一个薄包装,提供了一个非阻塞接口,用于向DataHub发送元数据事件,主要用于如下场景:

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/728224.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号