栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据测试理论与方法

大数据测试理论与方法

1.大数据的特性

体量巨大: 一般数据集做10TB以上,往往世纪规模已经超过PB级别增长速度,价值密度:数据增长速度快,但是其价值密度低,需要通过挖掘分析技术从中提取出有价值的信息。数据准确性和可信度:大数据领域对数据准确度和可信度可以统称为数据度质量,对数据质量的要求一定是精准的。

 

2. 大数据基础架构

 

 

 

3. 数据收集层  3.1 采集技术

采集技术Sqoop(Sql On Hadoop)非关系型数据收集Flume分布式消息队列Kafka(拉货的车子排队问题)

 

3.2 采集内容 

老板进原材料(源数据)拉进厂子里(数据收集)安装规律放进仓库每天重复

4. 大数据测试的概念

大数据测试通常是采用大数据技术的系统或应用的测试,它可以分成两个维度,一个是数据的测试,一个是大数据系统或应用产品的测试。

5. 数据质量的测试

 

6.功能测试

 

7. 性能测试 

 性能测试中大数据应用中非常重要,不然随着数据的增长,应用会直接崩溃

 

8. 其他非功能性能测试

 

9. 大数据ETL测试

 

10 .实时数据ETL测试 

 

 

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/707790.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号