栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

apache griffin 功能介绍及安装使用

apache griffin 功能介绍及安装使用

官网地址:

Griffin - Quick Start (apache.org)

架构图:

 

支持数据监控形式: 

1. 两张表根据指定字段做数据比对:计算公式: (a.id=b.id)/a.id*100%

2.计算单张表的数据情况,空值,topN,去重计数等。

组件安装教程:

griffin/deploy-guide.md at master · apache/griffin (github.com)

需要组件:

依赖准备

JDK (1.8 or later versions)MySQL(version 5.6及以上)Hadoop (2.6.0 or later)Hive (version 2.x)Spark (version 2.2.1)Livy(livy-0.5.0-incubatingElasticSearch (5.0 or later versions) --测试使用建议单节点容器部署

注意:初始化脚本中缺少一张表的自动创建:

CREATE TABLE `DATACONNECTOR` (
  `ID` bigint(20) NOT NULL,
  `CONFIG` text,
  `CREATEDDATE` bigint(20) DEFAULT NULL,
  `DATAframeNAME` varchar(255) DEFAULT NULL,
  `DATATIMEZONE` varchar(20) DEFAULT NULL,
  `DATAUNIT` varchar(255) DEFAULT NULL,
  `MODIFIEDDATE` datetime DEFAULT NULL,
  `NAME` varchar(255) DEFAULT NULL,
  `TYPE` varchar(255) DEFAULT NULL,
  `VERSION` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
安装完成 UI界面配置教程

配置教程 griffin/user-guide.md at master · apache/griffin (github.com)

源表目标表比对监控图:

单表数据校验:

总结:

缺点:

1.整体功能比较单一,只有数据监控功能。

2.依赖组件太多,安装繁琐。

3.缺少预警功能。

优点:

1.配置简单,上手难度较低。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/700931.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号