Python TensorRT 指南

一、TensorRT 簡介

TensorRT 是由英偉達公司開發的一個高度優化的深度學習推理引擎，它支持多種深度學習框架，包括 TensorFlow、PyTorch、Caffe 等。TensorRT 能夠針對深度學習模型進行優化，從而提高模型的推理速度和準確度。

TensorRT 的主要優勢包括：

• 高效率：基於 CUDA 架構的 TensorRT 支持多種網路結構，其推理速度比原生框架快數倍。
• 高精度：TensorRT 對模型進行了各種優化策略，從而使得模型的精度更高。
• 易於使用：TensorRT 提供了 Python 的 API 介面，使得深度學習工程師們可以很容易地將其集成到現有的代碼中。

二、TensorRT 的安裝

在安裝 TensorRT 之前，需要先安裝 CUDA 和 cuDNN，以及 Python 和 pip。

# 安裝 CUDA 和 cuDNN
# 這裡假設 CUDA 和 cuDNN 版本為 10.0 和 7 
$ sudo apt-get install cuda-10-0 libcudnn7

# 安裝 Python 和 pip
$ sudo apt-get install python3.7 python3-pip

# 安裝 TensorRT 的 Python 包
# 這裡假設 TensorRT 版本為 5.1.5.0
$ pip3 install tensorrt-5.1.5.0-cp37-none-linux_x86_64.whl

三、TensorRT 應用

1. 轉換 Tensorflow 模型

TensorRT 可以直接針對 Tensorflow 模型進行優化。以下是一個簡單的例子：

import tensorflow as tf
import tensorrt as trt

# 載入 Tensorflow 模型
tf_graph = tf.GraphDef()
with open("model.pb", "rb") as f:
    tf_graph.ParseFromString(f.read())

# 將 Tensorflow 模型轉換為 TensorRT 模型
with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.UffParser() as parser:
    builder.max_batch_size = 1
    builder.max_workspace_size = 1 << 30
    parser.register_input("input", (3, 224, 224))
    parser.register_output("output")
    parser.parse(tf_graph)
    engine = builder.build_cuda_engine(network)

# 運行 TensorRT 模型
with engine.create_execution_context() as context:
    input = np.random.randn(1, 3, 224, 224).astype(np.float32)
    output = np.empty(1000, dtype=np.float32)
    context.execute(1, [input, output])

2. 轉換 PyTorch 模型

與 Tensorflow 模型類似，TensorRT 也可以直接優化 PyTorch 模型。以下是一個簡單的例子：

import torch
import tensorrt as trt

# 載入 PyTorch 模型
model = torch.load("model.pt")

# 將 PyTorch 模型轉換為 TensorRT 模型
with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.OnnxParser(network, TRT_LOGGER) as parser:
    builder.max_batch_size = 1
    builder.max_workspace_size = 1 << 30
    model_str = torch.onnx.export(model, torch.randn(1, 3, 224, 224), "temp.onnx", verbose=False)
    with open("temp.onnx", "rb") as f:
        parser.parse(f.read())
        engine = builder.build_cuda_engine(network)

# 運行 TensorRT 模型
with engine.create_execution_context() as context:
    input = np.random.randn(1, 3, 224, 224).astype(np.float32)
    output = np.empty(1000, dtype=np.float32)
    context.execute(1, [input, output])

3. 在 TensorRT 上應用插件

TensorRT 還支持使用插件來優化模型。以下是一個簡單的例子，使用 LeakyReLU 插件來優化模型：

import tensorflow as tf
import tensorrt as trt

# 載入 Tensorflow 模型
tf_graph = tf.GraphDef()
with open("model.pb", "rb") as f:
    tf_graph.ParseFromString(f.read())

# 定義 LeakyReLU 插件
class LeakyReLUPlugin(trt.IPluginV2DynamicExt):
    def __init__(self, alpha):
        self.alpha = alpha

    def get_output_shape(self, index, inputs, output_shapes):
        return output_shapes[0]

    def enqueue(self, batch_size, inputs, outputs, bindings, stream, metadata):
        x = inputs[0].reshape(-1)
        y = outputs[0].reshape(-1)
        y[:] = [max(val, val*self.alpha) for val in x]

    def configure_plugin(self, inputs, outputs, plugin_data):
        pass

    def clone(self):
        return LeakyReLUPlugin(self.alpha)

    def destroy(self):
        pass

# 將 Tensorflow 模型轉換為 TensorRT 模型，並應用 LeakyReLU 插件
with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.UffParser() as parser:
    builder.max_batch_size = 1
    builder.max_workspace_size = 1 << 30
    parser.register_input("input", (3, 224, 224))
    parser.register_output("output")
    parser.parse(tf_graph)
    network.mark_output(network.get_layer(network.num_layers - 1).get_output(0))
    plugin_creator = trt.get_plugin_registry().get_plugin_creator("LeakyReLU_TRT", "1", "")
    plugin = plugin_creator.create_plugin("leaky_relu", None, None)
    network.get_layer(network.num_layers - 2).get_output(0).output_buffer.host = input
    network.get_layer(network.num_layers - 2).get_output(0).output_buffer.device = bindings[0]
    network.get_layer(network.num_layers - 2).get_output(0).output_buffer.values = input.nbytes
    layer = network.add_plugin_v2([network.get_layer(network.num_layers - 2).get_output(0)], plugin)
    layer.name = "leaky_relu"
    layer.get_output(0).name = "leaky_relu_output"
    engine = builder.build_cuda_engine(network)

# 運行 TensorRT 模型
with engine.create_execution_context() as context:
    input = np.random.randn(1, 3, 224, 224).astype(np.float32)
    output = np.empty(1000, dtype=np.float32)
    context.execute(1, [input, output])

四、TensorRT 總結

TensorRT 是一個高效、高精度、易於使用的深度學習推理引擎，支持多種深度學習框架，並可以使用插件來優化模型。可以說，TensorRT 對深度學習工程師來說非常實用。希望今後 TensorRT 能夠不斷優化，更好地支持更多的深度學習框架。