栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop常用测试集HiBench配置

Hadoop常用测试集HiBench配置

软件依赖于Java环境和maven管理

前提条件:java环境已经搭建好和maven已经安装配置

1.解压HiBench-master安装包

unzip HiBench-master.zip

2.配置Hibench

主要配置conf/hadoop.conf及conf/hibench.conf两个文件

(1)配置hadoop.conf

cd /home/ZNL/HiBench-master/conf

vim hadoop.conf

(2)配置hibench.conf

vim hibench.conf

主要设置测试集运行时的数据量和并发度

(3)编辑/home/jeff/HiBench-master/conf/benchmark.lst保留要想测试的样例,不用的可以注释掉,方便运行所有在conf/benchmarks.lst 和 conf/frameworks.lst配置的测试实例.

vim benchmarks.lst

(4)我只要跑hadoop样例不用spark样例,所以还要删除frameworks.lst中的spark删掉

vim frameworks.lst

3.运行Hibench

安装完成后,可以运行其中的测试集。

首先要启动hadoop:

$HADOOP_HOME/sbin/start-dfs.sh

启动yarn

$HADOOP_HOME/sbin/start-yarn.sh

以运行Hadoop框架下micro集的sort为例:

cd /home/ZNL/HiBench-master/

单个测试实例运行:

bin/workloads/micro/sort/prepare/prepare.sh

bin/workloads/micro/sort/hadoop/run.sh

运行所有在conf/benchmarks.lst 和 conf/frameworks.lst配置的测试实例.

bin/run_all.sh

关闭集群

$HADOOP_HOME/sbin/stop-yarn.sh

$HADOOP_HOME/sbin/stop-dfs.sh

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/457649.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号