PD Runner下载-全方位分析

LVAT • 2024-11-07 09:50 • 编程

一、PD Runner下载介绍

PD Runner作为一款优秀的Paddle Serving启动器，能够为使用Paddle Serving部署的模型提供批量查询服务。PD Runner下载的方式有多种，包括GitHub、Docker Hub、PaddlePaddle官网等途径。但是，其中最为便捷和流程标准的是通过GitHub下载最新版本的源码，自主编译的方法获取PD Runner。

二、通过GitHub下载PD Runner源码

GitHub相信大家都非常熟悉了，这里说一下PD Runner在GitHub上获取的步骤。如下：

git clone https://github.com/PaddlePaddle/Serving.git
cd Serving/
git checkout develop
cd paddle/fluid/inference/api/demo_ci/pdrunner

其中git clone是克隆一份Serving代码，cd Serving/进入Serving目录，git checkout develop是将Serving代码切换到对应版本，进入pdrunner目录。

三、PD Runner编译

PD Runner下载完成后需要进入pdrunner目录进行编译。官网提供的编译命令如下：

./compile.sh -d x86_cuda10.0

其中-d代表构建平台的选项，不同的选项可能需要用到不同的编译环境，目前可供选择的选项有：

x86_cpu
x86_cuda10.0
x86_cuda10.1
x86_cuda10.2
armeabi-v7a
arm64-v8a

更多编译选项可通过./compile.sh –help命令查询。

四、PD Runner使用

PD Runner编译完成后，我们就可以使用它进行模型部署。以下是使用PD Runner进行模型部署的基本步骤：

准备模型文件
准备配置文件
运行PD Runner命令进行服务开启

PD Runner支持多种模型的导入，如PaddlePaddlefluid模型、ONNX格式模型，以及其他常见的深度学习框架模型。我们在样例中使用PaddlePaddle提供的”GPT2 EN small”模型。

1.准备模型文件

将模型文件以及相关文件夹放置于任意文件夹下，如下图：

2.准备配置文件

PD Runner服务的配置文件是一个JSON格式文件，常用的几个键值对配置如下：

{
    "conf": "./conf/pdrunner/pdrunner_conf.prototxt",
    "mode": "gpu",
    "devices": "0",
    "log_dir": "/tmp/log_dir",
    "web_service": true,
    "port": 9292,
    "max_concurrency": 4
}

其他可选的配置信息包括序列号化方式、模型文件路径、预测API路径、保存模型路径以及预测超时时间等，详情请参考官网文档。

配置完成后，将JSON格式的配置文件放置于任意目录下，更改目录和JSON文件名，如下图：

3.运行PD Runner命令进行服务开启

使用以下命令启动PD Runner服务：

./pdrunner http --model  --port  --config

其中参数–model指明模型文件夹的位置，为配置的模型文件夹路径；–port指明服务开放的端口号，为配置的服务端口号；–config指明配置文件的位置，为配置文件的路径。

命令执行完成后，在本地主机上访问127.0.0.1:9292/ping可以确认是否服务成功开启。

五、小结

PD Runner下载、编译与使用相对比较简单，通过上述步骤即可完成基于Paddle Serving的模型部署。需要注意的是，不同的模型具有不同的模型导入方式，需要根据实际情况进行调整。如有需要，可通过官网提供的文档进行进一步学习。

原创文章，作者：LVAT，如若转载，请注明出处：https://www.506064.com/n/150304.html