NVIDIA TensorRT:可编程推理加速器 一.概述 NVIDIA TensorRT是一个用于高性能深度学习推理的SDK.它包括一个深度学习推理优化器和运行时间,为深度学习推理应用程序提供低延迟和高吞吐量. 在推理过程中,基于TensorRT的应用程序执行速度比仅限CPU的平台快40倍.使用TensorRT,可以优化在所有主要框架中训练的神经网络模型,以高精度校准较低精度,最后部署到高规模数据中心.嵌入式或汽车产品平台. TensorRT建立在NVIDIA的并行编程模型CUDA的基础上,使…