监控DataHub的系统组件对于运行和改进DataHub至关重要。
DataHub中的组件较多,需要使用监控工具监控DataHub的组件,随时查看组件状态,确定系统的性能瓶颈。
DataHub使用OpenTelemetry java instrumentation library进行请求的跟踪,允许运维人员跨多个组件跟踪请求的生命周期
DataHub 使用Dropwizard Metrics将自定义指标导出到JMX,然后使用Prometheus-JMX exporter将所有JMX指标导出到Prometheus,最后使用grafana来监听prometheus并创建2个仪表盘:JVM指示板、DataHub指示板
本文讲解如何在DataHub中增加这些监控,让你通过监控系统及时了解DataHub的状态。
1.1. Tracing跟踪【trace】允许DataHub运维人员跨多个组件跟踪请求的生命周期。每个跟踪都由多个跨度【spans】组成,这些跨度是工作单元,包含关于正在完成的工作的各种上下文以及完成工作所花费的时间。通过查看跟踪,可以更容易地确定性能瓶颈。
DataHub使用 OpenTelemetry java instrumentation library.进行请求的跟踪。
使用这个的原因如下:
根据用户的设置,即插即用不同的跟踪工具:Jaeger, Zipkin,或其他工具 获取Kafka, JDBC和Elasticsearch的跟踪,而不需要任何额外的代码 跟踪任何函数的跟踪与一个简单的&



