TensorRT安装及使用--通用模型

fancyLuo 发布于2021-09-22 10:02 / 3723人阅读

摘要：的安装官网下载安装包首先，我们可以到官网的专区进行安装包的下载，网址是，因为我使用的版本是，版本是，版本是，我选择了这一版。但我们会发现和这两个文件夹是不存在的，我们可以去这个网址进行下载，然后使用命令解压在对应的文件夹中。

TensorRT是Nvidia为了加速基于自家GPU训练模型的推理而设计的，当我们将模型训练好后，TensorRT可以直接对模型进行网络层的一一对应，从而加速比较大模型的推理部署。最近使用TensorRT加速了一些模型，我将用两篇文章对使用过程和其中遇到的坑进行记录说明。本篇文章将对通用模型的TensorRT转换进行一个记录，对transformer类模型的转换我们将在下一篇文章进行记录。本文记录的安装基于TensorRT6.0。

1、 TensorRT的安装

1.1 官网下载安装包

首先，我们可以到nvidia官网的tensorrt专区进行安装包的下载，网址是https://developer.nvidia.com/nvidia-tensorrt-download，因为我使用的ubuntu版本是18.04，python版本是3.6，cuda版本是10.1，我选择了TensorRT 6.0.1.5 GA for Ubuntu 18.04 and CUDA 10.1 tar package这一版。在官网中有对系统版本和python版本的对照关系进行说明，可自行对照。

1.2 安装TensorRT和pycuda

在安装TensorRT之前，我们首先使用pip安装pycuda

pip install pycuda

然后我们进行TensorRT的安装。

## 解压安装包tar zxvf TensorRT-6.0.1.5.Ubuntu-18.04.x86_64-gnu.cuda-10.1.cudnn7.6.tar## 将TensorRT的库安装到系统库中sudo cp -r ~/TensorRT-6.0.1.5/lib/* /usr/libsudo cp -r ~/TensorRT-6.0.1.5/include/* /usr/include# 安装TensorRTpip install ~/TensorRT-6.0.1.5/python/tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl # 安装UFF,这是转换模型的工具pip install ~/TensorRT-6.0.1.5/uff/uff-0.6.5-py2.py3-none-any.whl # 安装graphsurgeonpip install  ~/TensorRT-6.0.1.5/graphsurgenon/graphsurgeon-0.4.1-py2.py3-none-any.whl#最后，我们将TensorRT的lib绝对路径添加到环境变量中export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/TensorRT-6.0.1.5/lib

到此为止我们就安装好了TensorRT，没有遇到任何坑。使用下述语句可以测试我们是否安装成功。

import tensorrtimport uff

2、 TensorRT的使用

我们使用TensorRT给的例子end_to_end_tensorflow_mnist进行简单的使用说明。

## 首先，我们进入例子代码cd ~/TensorRT-6.0.1.5/samples/python/end_to_end_tensorflow_mnist## 然后，我们建一个models的文件夹mkdir models## 运行model.py文件，我们可以在models文件夹中获得lenet5.pbpython models.py## 进行模型转换convert-to-uff ./models/lenet5.pb

此时我们会得到模型生成的pb文件，然后我们使用convert-to-uff进行模型转换，但会遇到下面的错误

bash: convert-to-uff: command not found

我们使用https://forums.developer.nvidia.com/t/convert-to-uff-command-not-found/116782中给出的解决方法进行处理。

UFF_PATH="$(python -c "import uff; print(uff.__path__[0])")"chmod +x ${UFF_PATH}/bin/convert_to_uff.pyln -sf ${UFF_PATH}/bin/convert_to_uff.py /usr/local/bin/convert-to-uff

此时重新运行转换语句便可以对模型进行转化，我们会在models文件夹下得到lenet5.uff文件。

## 测试转化的模型python sample.py

遇到问题Could not find 8.pgm. Searched in data paths: ["~/Tensorrt-6.0.1.5/data/mnist"]，参照https://github.com/NVIDIA/TensorRT/issues/256#issuecomment-568382745进行问题解答。

python /opt/tensorrt/data/mnist/generate_pgms.py -d /opt/tensorrt/data/mnist/train-images-idx3-ubyte -l /opt/tensorrt/data/mnist/train-labels-idx1-ubyte -o /opt/tensorrt/data/mnist

但我们会发现train-images-idx1-ubyte和train-labels-idx1-ubyte这两个文件夹是不存在的，我们可以去https://github.com/Manuel4131/GoMNIST/tree/master/data这个网址进行下载，然后使用gzip -d命令解压在对应的文件夹中。

当我们上述步骤都运行完后，我们就可以重新运行python sample.py。此时我们便可以得到运行结果了。

3、总结

在本篇文章中，我们对tensorrt的安装和简单使用进行了说明。但笔者主要是从事NLP方向，希望加速的模型是bert类模型。直接使用convert-to-uff只能对简单的网络层进行转换，并不能对transformer进行转换。因此在下一篇文章中，笔者将记录使用TensorRT转换bert类模型的步骤和在其中遇到的坑。

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/119997.html

使用TensorRT集成加速TensorFlow推理

摘要：摘要本文讲述了集成如何加速推理，以及实例演示帮助入门宣布完成了推理优化工具与将集成在一起工作。使用新函数将优化应用于冻结图。动态范围的减少使得神经网络的表示权重和激活变得更加有挑战性。我们建议在首次使用校准模板是检查推理期间的错误积累。摘要：本文讲述了TensorRT集成如何加速TensorFlow推理，以及实例演示帮助入门 NVIDIA宣布完成了推理优化工具TensorRT与Te...

h9911 2019-06-26 19:40 评论0 收藏0
使用TensorRT集成加速TensorFlow推理

摘要：摘要本文讲述了集成如何加速推理，以及实例演示帮助入门宣布完成了推理优化工具与将集成在一起工作。使用新函数将优化应用于冻结图。动态范围的减少使得神经网络的表示权重和激活变得更加有挑战性。我们建议在首次使用校准模板是检查推理期间的错误积累。摘要：本文讲述了TensorRT集成如何加速TensorFlow推理，以及实例演示帮助入门 NVIDIA宣布完成了推理优化工具TensorRT与Te...

anquan 2019-06-26 19:40 评论0 收藏0
从人工智能鉴黄模型，尝试TensorRT优化

摘要：没有显卡也没有关系，可以看看我前面发布的两篇文章谷歌云计算平台，免费又好用上安装本文采用的深度学习模型是雅虎开源的深度学习色情图片检测模型，这里的代表，该项目基于框架。你还可以读利用人工智能检测色情图片谷歌云计算平台，免费又好用上安装随着互联网的快速发展，越来越多的图片和视频出现在网络，特别是UCG产品，激发人们上传图片和视频的热情，比如微信每天上传的图片就高达10亿多张。每个人都可以上传，...

LinkedME2016 2019-05-23 17:29 评论0 收藏0
GPU服务器上的tensorrt环境搭建

摘要：服务器上的环境搭建文章目录服务器上的环境搭建拉取服务器上的支持的镜像文件设置环境变量并下载相关依赖安装和和安装编译安装安装安装添加系统环境变量在生产实际中，我们通常通过在服务器上镜像环境搭建用于加速深度学习图像识别推理的的环境。 ...

tanglijun 2021-09-08 09:36 评论0 收藏0
人脸相关应用的优化手段

摘要：最近优化的是一个人脸伪造检测的项目，一些人脸检测的技术其实也都用得到，想总结一下有过的一些思路。这里主要指的是项目所用到的神经网络模型比如人脸检测常用的优化方向主要是优化了这么一些东西。最近优化的是一个人脸伪造检测的项目，一些人脸检测的技术其实也都用得到，想总结一下有过的一...

Godtoy 2021-11-12 10:35 评论0 收藏0