|
一个深度学习项目从研发到落地，需要经历两个阶段：
1、模型的生成（包括模型训练、验证、测试等步骤，主要在线下进行）
2、模型的部署（主要在线上进行，可以部署到各种芯片上，许多场景对速度要求很高，比如自动驾驶场景）
TensorRT就是为此而生（线上部署）。
TensorRT是英伟达针对GPU所做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。
（1） TensorRT支持INT8和FP16的计算，模型在训练时通常使用FP32数据类型，而TensorRT在推理阶段不需要如此高的精度，就可以达到加速推断的目的。
（2）TensorRT会对网络模型结构进行重构，简单来讲：英伟达公司对自家生产的GPU产品的特性做了优化，将网络结构中重复的结构合并起来，达到加速的效果。 | 
转播
