栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > C/C++/C#

【TensorRT】onnx转成TensorRT开发注意点(Win10+cuda11.1+TensorRT7.2.2.3)

C/C++/C# 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【TensorRT】onnx转成TensorRT开发注意点(Win10+cuda11.1+TensorRT7.2.2.3)

onnx转成TensorRT开发注意点

本博客基于以下关于将onnx转成TensorRT的开源项目,在开发过程中记录出错或者一些需要注意的点。
onnx_tensorrt_project
此项目是基于Win10+cuda11+TensorRT7.2.2.3开发的。
注意点:
1.TensorRT将onnx模型转成engine模型时
(即执行mBuilder->buildEngineWithConfig(*mNetwork, *mConfig))
跟当前的显卡计算能力有关。
如果在一个低计算能力的显卡的机器上生成的engine模型直接放到另一台高计算能力的显卡的机器上时会报错,必须是相同计算能力显卡上生成的engine文件才可以直接使用。
所以建议在哪个机器上调用engine模型时就在哪个机器上对图像进行推理,重点在于显卡不能更换。
而显卡的计算能力可以参照英伟达的这张显卡计算能力表

参考资料:
Your GPU Compute Capability

2.TensorRT在计算能力为6.1的显卡上不支持FP16模式的加速,可以参照以下表格

而计算能力为6.1的有以下型号的显卡,比如10系列的GeForce GTX

实际测试下来,能跑得通,但是速度与显存和FP32的一样。
参考资料:
NVIDIA TENSORRT documentATION

3.基于C++开发时最后测速度时,记得要把Debug模式切换成Release模式,否则速度不如理想的快。

4.注意如果想要遍历所有图片来测试速度时,发现隔几张图片后速度就会突然变得很慢,然后又恢复正常,接着变慢,那么可以看下是否是内存溢出问题。

如果是内存溢出的话,看下是否使用了类似cv::imwrite()的函数,使得不断将数据写入硬盘中。如果有的话取消掉,问题应该就会解决。

后续会不断补充。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/664341.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号