栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

DataHub: 现代数据栈的元数据平台--如何监控DataHub

DataHub: 现代数据栈的元数据平台--如何监控DataHub

1. 监控DataHub

监控DataHub的系统组件对于运行和改进DataHub至关重要。
DataHub中的组件较多,需要使用监控工具监控DataHub的组件,随时查看组件状态,确定系统的性能瓶颈。

DataHub使用OpenTelemetry java instrumentation library进行请求的跟踪,允许运维人员跨多个组件跟踪请求的生命周期
DataHub 使用Dropwizard Metrics将自定义指标导出到JMX,然后使用Prometheus-JMX exporter将所有JMX指标导出到Prometheus,最后使用grafana来监听prometheus并创建2个仪表盘:JVM指示板、DataHub指示板

本文讲解如何在DataHub中增加这些监控,让你通过监控系统及时了解DataHub的状态。

1.1. Tracing

跟踪【trace】允许DataHub运维人员跨多个组件跟踪请求的生命周期。每个跟踪都由多个跨度【spans】组成,这些跨度是工作单元,包含关于正在完成的工作的各种上下文以及完成工作所花费的时间。通过查看跟踪,可以更容易地确定性能瓶颈。

DataHub使用 OpenTelemetry java instrumentation library.进行请求的跟踪。

使用这个的原因如下:

根据用户的设置,即插即用不同的跟踪工具:Jaeger, Zipkin,或其他工具 获取Kafka, JDBC和Elasticsearch的跟踪,而不需要任何额外的代码 跟踪任何函数的跟踪与一个简单的&

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/736433.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号