NVIDIA TensorRT 让您的人工智能更快!

英伟达TensorRT™是一种高性能深度学习推理优化器和运行时提供低延迟和高通量的深度学习推理的应用程序。使用TensorRT,您可以优化神经网络模型,精确地校准低精度,并最终将模型部署到超大规模的数据中心、嵌入式或汽车产品平台。在对所有主要框架进行培训的模型的推理过程中,基于TensorRT的gpu应用程序的执行速度比CPU快100倍。

TensorRT提供INT8和FP16的优化,用于深度学习推理应用程序的生产部署,如视频流、语音识别、推送和自然语言处理。减少推断精度可以大大降低了应用程序的延迟,这是许多实时服务以及自动和嵌入式应用程序的需求。

您可以从每一个深度学习框架中导入经过训练的模型到TensorRT。在应用优化后,TensorRT选择了平台特定的内核,并在数据中心、Jetson嵌入式平台和NVIDIA驱动自动驾驶平台上实现Tesla GPU的性能最大化。

使用TensorRT开发人员可以专注于创建新的基于ai的应用程序,而不是用于推理部署的性能调优。

TensorRT下载地址:https://www.boshenyl.cn.nvidia.com/nvidia-tensorrt-download 
TesnsoRT的介绍文档:https://www.365soke.cn .nvidia.com/tensorrt-3-faster-tensorflow-inference/ 
TensorRT的开发者指南:http://www.wanmeiyuele.cn /deeplearning/sdk/tensorrt-developer-guide/index.html 
TensorRT的样例代码:http://www.taohuayuan178.com/  /deeplearning/sdk/tensorrt-developer-guide/index.html#samples

TensorRT的优化: 

• 权重和激活精度校准 
将模型量化到INT8,同时保持准确性,从而最大化吞吐量 
• 层和张量的融合 
通过在内核中融合节点来优化GPU内存和带宽的使用 
• 内核自动调整 
基于目标GPU平台选择最佳数据层和算法 
• 动态张量内存 
最大限度地减少内存占用并有效地重新使用内存来提高张量使用效率 
• Multi-Stream执行 
可扩展的设计可并行处理多个输入流

框架集成: 

NVIDIA与深度学习框架的开发人员紧密合作,通过TensorRT实现对AI平台的优化性能。如果您的训练模型是ONNX格式或其他流行的框架,如TensorFlow和MATLAB,那么您可以通过简单的方法将模型导入到TensorRT中进行推理。下面是关于如何开始的信息的集成。

TensorRT和TensorFlow是紧密集成的,因此您可以通过TensorRT强大的优化获得TensorFlow的灵活性。您可以在这里了解更多的TensorRT与TensorFlow博客文章。 

TensorRT 4提供了一个ONNX解析器,因此您可以轻松地从诸如Caffe 2、Chainer、Microsoft Cognitive Toolkit、MxNet和PyTorch等框架中导入ONNX模型到TensorRT。您可以在这里了解更多关于tensort4的可用性。 

MATLAB与TensorRT通过GPU编码器集成,使工程师和科学家使用MATLAB可以自动为Jetson、DRIVE和Tesla平台生成高性能的推理机。在这里了解更多。

如果您正在使用专有或自定义框架进行深度学习培训,请使用TensorRT c++ API来导入和加速您的模型。在TensorRT文档中可以阅读更多内容。

TensorRT 4 :What’s New

TensoRT 4现在提供了加速语音识别、神经机器翻译和推荐系统的功能。TensorRT 4中的本地ONNX解析器提供了一种简单的方法,可以从诸如PyTorch、Caffe、MxNet、CNTK和Chainer等框架导入模型: 

• 与多层感知器(MLP)和递归神经网络(RNN)的新层相比,CPU的吞吐量提高了45倍 
• V100上的推理性能提高50倍。而在TensorRT中使用ONNX解析器导入的ONNX模型可以支持CPU了 
• 支持NVIDIA DRIVE™Xavier - 用于自动驾驶汽车的AI计算机 
• 利用运行在Volta Tensor Cores上的API,FPX自定义图层可以3倍加速推理

NVIDIA开发者计划的成员可以很快从这里下载TensorRT 4 Release Candidate。

NVIDIA TensorRT 让您的人工智能更快!的更多相关文章

  1. TensorRT 3:更快的TensorFlow推理和Volta支持

    TensorRT 3:更快的TensorFlow推理和Volta支持 TensorRT 3: Faster TensorFlow Inference and Volta Support 英伟达Tens ...

  2. Nvidia发布更快、功耗更低的新一代图形加速卡

    导读 不出意外的,Nvidia在其举行的Supercomputing 19大会上公布了很多新闻,这些我们将稍后提到.但被忽略的一条或许是其中最有趣的:一张更快.功耗更低的新一代图形加速卡. 多名与会者 ...

  3. NVIDIA TensorRT:可编程推理加速器

    NVIDIA TensorRT:可编程推理加速器 一.概述 NVIDIA TensorRT是一个用于高性能深度学习推理的SDK.它包括一个深度学习推理优化器和运行时间,为深度学习推理应用程序提供低延迟 ...

  4. NVIDIA® TensorRT™ supports different data formats

    NVIDIA TensorRT supports different data formats NVIDIATensorRT公司 支持不同的数据格式.需要考虑两个方面:数据类型和布局.         ...

  5. NVIDIA TensorRT高性能深度学习推理

    NVIDIA TensorRT高性能深度学习推理 NVIDIA TensorRT 是用于高性能深度学习推理的 SDK.此 SDK 包含深度学习推理优化器和运行时环境,可为深度学习推理应用提供低延迟和高 ...

  6. 精通Web Analytics 2.0 (9) 第七章:失败更快:爆发测试与实验的能量

    精通Web Analytics 2.0 : 用户中心科学与在线统计艺术 第七章:失败更快:爆发测试与实验的能量 欢迎来到实验和测试这个棒极了的世界! 如果Web拥有一个超越所有其他渠道的巨大优势,它就 ...

  7. 利用更快的r-cnn深度学习进行目标检测

    此示例演示如何使用名为“更快r-cnn(具有卷积神经网络的区域)”的深度学习技术来训练对象探测器. 概述 此示例演示如何训练用于检测车辆的更快r-cnn对象探测器.更快的r-nnn [1]是r-cnn ...

  8. [译] 优化 WEBPACK 以更快地构建 REACT

    原文地址:OPTIMIZING WEBPACK FOR FASTER REACT BUILDS 原文作者:Jonathan Rowny 译文出自:掘金翻译计划 本文永久链接:https://githu ...

  9. 利用共享内存实现比NCCL更快的集合通信

    作者:曹彬 | 旷视 MegEngine 架构师 简介 从 2080Ti 这一代显卡开始,所有的民用游戏卡都取消了 P2P copy,导致训练速度显著的变慢.针对这种情况下的单机多卡训练,MegEng ...

随机推荐

  1. NB-IOT修改KV值的方法

    1. 安装UEConfigurationEditor-3.22.0.14.msi,之后打开一个fwpkg文件,如下图 2. 找到需要修改的KV值,修改之后,点击Apply changes,应用修改,然 ...

  2. sqlserver 循环赋值变量

    sql server 是可以用 @变量 +=值的: 第一:必须在循环里面, 第二: 必须在循环外面初始化变量的值 如:  @变量=''; 这样才能循环给值

  3. javaweb(九)—— 通过Servlet生成验证码图片

    一.BufferedImage类介绍 生成验证码图片主要用到了一个BufferedImage类,如下:

  4. Selenium(Python)PageObject页面对象

    使用PageObject页面对象的好处是, 当页面元素的位置发生改变时, 只需要去修改Xpath或者ID, 而不用去修改测试用例本身: 本次的思路是: 1.常用方法类 2.页面对象类 3.测试用例类 ...

  5. Selenium安装(二)

    安装python 安装Selenium之前首先来说一下Python,python是一门动态性语言,python的编写比较灵活,简洁,开发效率高.因此以python结合selenium来进行自动化测试. ...

  6. bash脚本练习

    练习一: 1.添加5个用户,user1,...,user5: 2.每个用户的密码同用户名,添加密码完成后,不显示命令的执行结果: 3.每个用户添加完成后,都要显示用户某某已添加成功. useradd ...

  7. jenkins配置git+maven+Publish over SSH

    一.配置git 1.新建项目,源码管理选择git 2.Repository URL输入git目录 3.Credentials中选择新增凭据,凭据类型选择SSH,usename输入git,passphr ...

  8. 数据库Mysql的学习(五)-运算符与函数

    ,store,store,store,store FROM bookinfo;//加减乘除取余 //余额大于200 //余额不等于200 SELECT * FROM readerinfo WHERE ...

  9. [Clr via C#读书笔记]Cp5基元类型引用类型值类型

    Cp5基元类型引用类型值类型 基元类型 编译器直接支持的类型,基元类型直接映射到FCL中存在的类型. 作者希望使用FCL类型名称而避免使用关键字.他的理由是为了更加的清晰的知道自己写的类型是哪种.但是 ...

  10. 【shell 练习3】用户管理脚本(一)

    一.创建十个用户,密码为八位 [root@localhost ~]# cat UserManger02.sh #!/bin/bash . /etc/init.d/functions [ $UID -n ...