栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HDFS性能测试

HDFS性能测试

HDFS性能测试
  • 一、写数据性能测试
  • 二、读数据性能测试
  • 三、清除数据

Hadoop集群提供一套测试读写HDFS的jar包,jar包在$HADOOP_HOME/share/hadoop/mapreduce目录下,名字为:hadoop-mapreduce-client-jobclient-2.8.5-tests.jar,后面2.8.5为Hadoop的版本号,我们分别来测试其读写,然后再把数据清除

一、写数据性能测试
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

其中,TestDFSIO为写入的文件夹的名称,如果没有加路径,则会自动加上一个绝对路径,我们Hadoop集群上默认的是:/benchmarks/,所以最后写入的文件在/benchmarks/TestDFSIO文件夹下,nrFiles后面为写入的文件个数,fileSize为写入每个文件的大小,运行一遍后,发现该目录下以及写入文件了,然后再运行的控制台有打印运行的一些信息。如下图

Number of files:写入文件数

Throughput:吞吐率 这里为93.77MB/s

Average IO rate:平均吞吐率 这里速率98.36MB/s

二、读数据性能测试
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

运行结果为:

参数和读数据的一样

三、清除数据
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5-tests.jar TestDFSIO -clean
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/673717.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号