tensorRT重要工具

1. 下载并安装 netron

   sudo apt update
   sudo apt install snapd
   sudo snap install netron
   

2. 查看网络结构，以 yolov5s.onnx 为例

   format: onNX v6
   producer: pytorch 1.7
   imports: ai.onnx v12
   
   INPUTS
   name: images
   type: float32[1,3,640,640]  # 输入的尺寸
   
   OUTPUTS
   name: output
   type: float32[1,25200,85]
   

3. 设置 input 设置

   network.get_input(0).shape = [1, 3, 640, 640]
   

tiny-tensorRT

tensorRT tool

1. Polygraphy

   各种小工具的集合，例如比较ONNX和trt模型的精度，观察trt模型每层的输出等等，主要用来debug一些模型的信息。
   

2. onnx-graphsurgeon

   修改我们导出的ONNX模型，增加或者剪掉某些节点，修改名字或者维度等。
   

3. pytorch-quantization

   可以在Pytorch训练或者推理的时候加入模拟量化操作，从而提升量化模型的精度和速度，并且支持量化训练后的模型导出ONNX和TRT。