栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

数据质量从0到1

数据质量从0到1

问题一:为啥不用普罗米修斯加graph
不可靠答案:部分指标需要运算啥的。数据仓库分层,没法看到流式处理

Griffin

spark是因为要用于计算
1解压缩 2设置环境变量,3修改env和defaults
livy为服务提供restful让spark.
ES 存储数据

 Griffin:

    Apache 顶级项目,是一个优秀并且完备的数据质量检查系统,

    具有独立的UI、调度和内置规则,依赖于 Apache Livy 来提交 Spark 作业

    一个独立的系统,较难无缝地接入到工作流当中来实现当出现严重数据质量问题时的阻断。

Qualitis:

    微众开源的数据质量系统,具备较丰富的内置规则,界面简洁容易使用

    依赖于 linkis 作为执行Spark作业的引擎

    如果想要实现无缝接入工作流需要依赖DataSphere Studio,不够轻量级
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/751964.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号