下載tensorrt8.4.1.5

https://developer.nvidia.com/nvidia-tensorrt-8x-download
`

tar -zxvf TensorRT-8.4.1.5.Linux.x86_64-gnu.cuda-10.2.cudnn8.4.tar.gz
`
放在主目錄下面

添加環境變量

sudo gedit ~/.bashrc
export LD_LIBRARY_PATH=/home/xuanxi/TensorRT-8.4.1.5/lib:$LD_LIBRARY_PATH
export LIBRARY_PATH=/home/xuanxi/TensorRT-8.4.1.5/lib::$LIBRARY_PATH
source ~/.bashrc

安裝tensorrt的python包。進入tensorrt壓縮之后的文件夾，然后進入里面的python文件夾

cd ./TensorRT-8.4.1.5/python

python文件夾里面有很多版本，使用pip安裝自己對應的python版本
進入虛擬環境(!!!)

source activate torch1.7
pip install tensorrt-8.4.1.5-cp37-none-linux_x86_64.whl

(torch1.7) xuanxi@xuanxi-MS-7C02:~/TensorRT-8.4.1.5/python$ python
Python 3.7.9 (default, Aug 31 2020, 12:42:55) 
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorrt
>>> tensorrt.__version__

這就安裝成功了！！！

可以順便安裝其他兩個包
1）安裝 uff 包

cd ../uff    # 切換到 uff 文件夾
pip install uff-0.6.9-py2.py3-none-any.whl 

測試是否安裝成功：

which convert-to-uff  # 會輸出安裝路徑

2）安裝 graphsurgen 包

cd ../graphsurgeon     # 切換到 graphsurgeon 文件夾
pip install graphsurgeon-0.3.2-py2.py3-none-any.whl

安裝 Polygraphy，或者通過 TensorRT/tools/Polygraphy 源碼安裝

python -m pip install colored polygraphy --extra-index-url https://pypi.ngc.nvidia.com

運行 ONNX 模型，保存輸入輸出

polygraphy run model_4.onnx --onnxrt --val-range [0,1] --save-inputs onnx_inputs.json --save-outputs onnx_outputs.json

運行 TRT 模型，載入 ONNX 輸入輸出，對比輸出的相對誤差與絕對誤差

polygraphy run rvm_mobilenetv3_fp32_sim_modified.engine --model-type engine --trt --load-inputs onnx_inputs.json --load-outputs onnx_outputs.json --rtol 1e-3 --atol 1e-3

使用上面生成的 model.onnx 構建 TensorRT 引擎，使用 FP32 精度同時在 TensorRT 和 onnxruntime 中運行

輸出所有層的計算結果作對比

polygraphy run model_4.onnx
–onnxrt --trt
–workspace 100000000
–save-engine=model_FP32_MarkAll.plan
–atol 1e-3 --rtol 1e-3
–verbose
–onnx-outputs mark all
–trt-outputs mark all
–trt-min-shapes ‘x:0:[1,1,28,28]’
–trt-opt-shapes ‘x:0:[4,1,28,28]’
–trt-max-shapes ‘x:0:[1,28,28]’
–input-shapes ‘x:0:[1,80,300]’
> result-run-FP32-MarkAll.txt