数据精度对推理性能的影响
初始化环境编译示例开始实验下载模型进行不同精度的模型性能测试挑战任务
数据精度对推理性能的影响 初始化环境#定义OV目录
export OV=/opt/intel/openvino_2021/
#定义工作目录
export WD=~/OV-300/04/
#初始化OpenVINO
source $OV/bin/setupvars.sh
编译示例#一键编译OpenVINO中的C++ sample
source $OV/inference_engine/samples/cpp/build_samples.sh
开始实验开始实验:
cd $WD
将刚才编译完成的benchmark_app 复制到当前文件夹:
cp /home/dc2-user/inference_engine_04_samples_build/intel64/Release/benchmark_app $WD
下载模型python3 $OV/deployment_tools/tools/model_downloader/downloader.py --name face-detection-adas-0001 -o $WD
进行不同精度的模型性能测试./benchmark_app -m intel/face-detection-adas-0001/FP32/face-detection-adas-0001.xml
./benchmark_app -m intel/face-detection-adas-0001/FP16/face-detection-adas-0001.xml
./benchmark_app -m intel/face-detection-adas-0001/FP16-INT8/face-detection-adas-0001.xml
比较不同精度的模型性能,以及模型的推理延迟或者是读取网络的时间…看看有什么不一样。
请输入:
./benchmark_app -help
以获得更多benchmark_app 的可评估参数。
请尝试设置不同的参数:
number of streams (-nstreams)
batch size (-b)
number of inderence request (-nireq)
number of threads (-nthreads)
例如:./benchmark_app -m intel/face-detection-adas-0001/FP32/face-detection-adas-0001.xml -b 2 -nireq 2 -nthreads 4
来获取当前设备的最佳性能



