栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

96.hive-testbench与Hive

96.hive-testbench与Hive

96.1 演示环境介绍

root用户操作RedHat版本:7.3 96.2 操作演示

1.准备环境
clone hive-testbench源码下载:

https://github.com/hortonworks/hive-testbench.git

下载至本地目录

[root@ip-186-31-16-68 ~]# git clone https://github.com/hortonworks/hive-testbench.git

安装hive-testbench编译依赖环境

[root@ip-186-31-16-68 ~]# yum -y install gcc gcc-c++

2.编译hive-testbench并打包
进入hive-testbench目录

[root@ip-186-31-16-68 ~]# cd hive-testbench/
[root@ip-186-31-16-68 hive-testbench]# ll

在hive-testbench目录下执行如下脚本进行编译打包

[root@ip-186-31-16-68 hive-testbench]# ./tpcds-build.sh 

3.生成并加载数据

在hive-testbench目录下执行如下脚本生成并加载测试数据

10表示生成的数据量大小GB单位/extwarehouse/tpcds表数据数据生成的目录,目录不存在自动生成,如果不指定数据目录则默认生成到/tmp/tpcds目录下

[root@ip-186-31-16-68 hive-testbench]# ./tpcds-setup.sh 10 /extwarehouse/tpcds

等待脚本执行成功

如成功生成了测试数据并创建了tpcds_text_10和tpcds_bin_partitioned_orc_10两个数据库 在命令行查看HDFS上的数据是否与指定的量一致通过Hue验证生成的测试数据

4.总结
在编译hive-testbench项目时需要有外网环境,在编译的过程会下载Maven的安装包、下载Maven依赖以及TPC-DS的源码通过脚本的方式运行TPC-DS的99条SQL来做Hive、Impala、Presto等服务的基准测试

大数据视频推荐:
CSDN
大数据语音推荐:
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/723139.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号