Tensor是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。
如今现有的一些训练框架（例如TensorFlow）已经集成了TensorRT，因此可以将其用于加速框架中的推理。另外，TensorRT可以作为用户应用程序中的库，它包括用于从Caffe，ONNX或TensorFlow导入现有模型的解析器，以及用于以编程方式（C++或Python API）构建模型。
TensorRT不仅可以实现目标检测得部署如yolov3、yolov4、yolov5等检测算法，同时也可以部署图像分类算法。
1、AlexNet介绍接下来我们先基于AlexNet对花朵进行图像分类。
AlexNet网络结构：
该模型一共分为8层，如下图所示，包括5个卷积层和3个全连接层，每个卷积层都包含激活函数ReLU、池化和LRN处理。
