Ubuntu安裝TensorRT

一、下載安裝包

首先從NVIDIA官網下載所需的TensorRT版本，並將其安裝包保存到Ubuntu系統中的特定文件夾中。我們以TensorRT 7.2.1為例，打開Terminal，輸入以下命令下載壓縮包：

wget https://developer.download.nvidia.cn/compute/redist/tensorrt/tensorrt-7.2.1.6.linuxo-x86_64-gnu.cuda-11.0.cudnn8.0.tar.gz

下載完成後，解壓縮文件：

tar -xzvf tensorrt-7.2.1.6.linuxo-x86_64-gnu.cuda-11.0.cudnn8.0.tar.gz

將解壓縮的文件夾複製到/usr/src目錄下：

sudo mv tensorrt-7.2.1.6 /usr/src/

二、安裝依賴庫

在安裝TensorRT之前，需要確保系統已安裝必需的依賴庫，包括CUDA和cudnn等。請使用以下命令來安裝：

sudo apt-get update
sudo apt-get install build-essential cmake git python3-dev python3-numpy python3-py python3 python-pytest python-pytest-xdist python-setuptools python-wheel libcudnn8 libcudnn8-dev libcurl4-openssl-dev libssl-dev wget

三、為TensorFlow安裝TensorRT插件

要在TensorFlow中使用TensorRT，需先為TensorFlow安裝對應的TensorRT插件。以下是具體步驟：

1、使用Git獲取TensorRT代碼：

git clone https://github.com/tensorflow/tensorrt

2、將TensorRT插件的源碼文件夾「tensorflow」複製到TensorFlow根目錄中的「tensorflow/contrib」目錄下：

cp -r tensorflow /path/to/tensorflow/contrib/

3、回到TensorFlow根目錄，運行bazel build進行編譯：

cd /path/to/tensorflow
bazel build --config=cuda //tensorflow/contrib/tensorrt:trt_engine_op

4、使用以下命令在用戶主目錄下創建TensorRT的符號鏈接：

sudo ldconfig /usr/src/tensorrt-7.2.1.6/lib/

四、設置環境變數

為避免每次使用TensorRT都需要手動設置環境變數，我們可以設置它們以自動載入。將以下命令添加到您的Bashrc文件中：

echo 'export LD_LIBRARY_PATH=/usr/src/tensorrt-7.2.1.6/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
echo 'export PATH=/usr/src/tensorrt-7.2.1.6/bin:$PATH' >> ~/.bashrc

完成後，運行以下命令以使其生效：

source ~/.bashrc

五、測試TensorRT

為確保TensorRT已正確安裝並在Ubuntu上運行，請打開Terminal，輸入以下命令：

python3
>>> import tensorrt as trt
>>> print(trt.__version__)

如果命令行顯示TensorRT的版本號，則表明TensorRT已安裝並可供使用。