栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

datahub lineage血缘展示

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

datahub lineage血缘展示

本文的datahub不是阿里的数据工具是元数据datahub
datahub官网
启动脚本可以按照官网来也可直接到源码中找到对应的docker路径下的yml文件进行启动
血缘的写法其实是python脚本最好(yml在测试中还问题,以后补充)
案例:源码路径metadata-ingestion/examples/library/lineage_emitter_rest.py

import datahub.emitter.mce_builder as builder
from datahub.emitter.rest_emitter import DatahubRestEmitter
lineage_mce = builder.make_lineage_mce(
    [
    #参数 1 类型kafka 2 对应的topic
        builder.make_dataset_urn("kafka", "kafkadev.ATLAS_ENTITIES"),
        builder.make_dataset_urn("kafka", "kafkadev.ATLAS_HOOK"),
    ],
    builder.make_dataset_urn("kafka", "kafkadev.ambari_kafka_service_check"),
)

# 对应gms端口地址 8081为什么不能用,还没测试
emitter = DatahubRestEmitter("http://192.168.3.11:8080")
emitter.emit_mce(lineage_mce)
#意义:将kafkadev.ATLAS_ENTITIES和kafkadev.ATLAS_HOOK 
#关联到kafkadev.ambari_kafka_service_check

最后执行直接使用
python 文件名

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1029589.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号