PaddleOCR/deploy/pdserving

English | 简体中文

PaddleOCR提供2种服务部署方式：

• 基于PaddleHub Serving的部署：代码路径为"./deploy/hubserving"，使用方法参考文档。
• 基于PaddleServing的部署：代码路径为"./deploy/pdserving"，按照本教程使用。

Paddle Serving 服务部署

本教程将介绍基于Paddle Serving部署PaddleOCR在线预测服务的详细步骤。

• 快速启动服务
  • 1. 准备环境
  • 2. 转换模型
  • 3. 启动服务
• 发送预测请求

pdserving服务部署目录下包括检测、方向分类器、识别、串联四种服务部署工具，请根据需求选择相应的服务。目录结构如下：

deploy/pdserving/
  └─  det_local_server.py     快速版 检测 服务端
  └─  det_rpc_server.py       标准版 检测 服务端
  └─  clas_local_server.py    快速版 方向分类器 服务端
  └─  clas_rpc_server.py      标准版 方向分类器 服务端
  └─  rec_local_server.py     快速版 识别 服务端
  └─  rec_rpc_server.py       标准版 识别 服务端
  └─  ocr_local_server.py     快速版 串联 服务端
  └─  ocr_rpc_server.py       标准版 串联 服务端
  └─  pdserving_client.py     客户端
  └─  params.py               配置文件

快速启动服务

1. 准备环境

环境版本要求：

• CUDA版本：9.X/10.X
• CUDNN版本：7.X
• 操作系统版本：Linux/Windows
• Python版本： 2.7/3.5/3.6/3.7

Python操作指南：

目前Serving用于OCR的部分功能还在测试当中，因此在这里我们给出Servnig latest package 大家根据自己的环境选择需要安装的whl包即可，例如以Python 3.5为例，执行下列命令：

# 安装服务端，CPU/GPU版本选择一个
# GPU版本服务端
# CUDA 9
python -m pip install -U https://paddle-serving.bj.bcebos.com/whl/paddle_serving_server_gpu-0.0.0.post9-py3-none-any.whl 
# CUDA 10
python -m pip install -U https://paddle-serving.bj.bcebos.com/whl/paddle_serving_server_gpu-0.0.0.post10-py3-none-any.whl
# CPU版本服务端
python -m pip install -U https://paddle-serving.bj.bcebos.com/whl/paddle_serving_server-0.0.0-py3-none-any.whl

# 安装客户端和App包，CPU、GPU通用
python -m pip install -U https://paddle-serving.bj.bcebos.com/whl/paddle_serving_client-0.0.0-cp35-none-any.whl https://paddle-serving.bj.bcebos.com/whl/paddle_serving_app-0.0.0-py3-none-any.whl

# 安装其他依赖
pip3.5 install func-timeout

2. 转换模型

Paddle Serving无法直接用训练模型（checkpoints 模型）或推理模型（inference 模型）进行部署。Serving模型由两个文件夹构成，用于存放客户端和服务端的配置。本节介绍如何将推理模型转换为Paddle Serving可部署的模型。

以文本检测模型ch_ppocr_mobile_v1.1_det_infer为例，文本识别模型和方向分类器的转换同理。

首先下载推理模型：

wget -P ./inference/ https://paddleocr.bj.bcebos.com/20-09-22/mobile/det/ch_ppocr_mobile_v1.1_det_infer.tar && tar xf ./inference/ch_ppocr_mobile_v1.1_det_infer.tar -C ./inference/

然后运行如下python脚本进行转换，其中，使用参数model_dir指定待转换的推理模型路径：

python deploy/pdserving/inference_to_serving.py --model_dir ./inference/ch_ppocr_mobile_v1.1_det_infer

最终会在ch_ppocr_mobile_v1.1_det_infer目录下生成客户端和服务端的模型配置，结构如下：

/ch_ppocr_mobile_v1.1_det_infer/
├── serving_client_dir # 客户端配置文件夹
└── serving_server_dir # 服务端配置文件夹

3. 启动服务

启动服务可以根据实际需求选择启动标准版或者快速版，两种方式的对比如下表：

版本	特点	适用场景
标准版	稳定性高，分布式部署	适用于吞吐量大，需要跨机房部署的情况，只能用于Linux平台
快速版	部署方便，预测速度快	适用于对预测速度要求高，迭代速度快的场景，可以支持Linux/Windows

step 1. 配置环境变量

# 以下两步的顺序不能反
export PYTHONPATH=$PWD:$PYTHONPATH
cd deploy/pdserving

step 2. 修改配置参数

配置参数在params.py中，具体内容如下所示，可根据需要修改相关参数，如修改模型路径、修改后处理参数等。

def read_params():
    cfg = Config()
    #use gpu
    cfg.use_gpu = False #是否使用GPU，False代表使用CPU
    cfg.use_pdserving = True  #使用paddle serving部署时必须为True

    #params for text detector
    cfg.det_algorithm = "DB"
    cfg.det_server_dir = "../../inference/ch_ppocr_mobile_v1.1_det_infer/serving_server_dir"
    cfg.det_client_dir = "../../inference/ch_ppocr_mobile_v1.1_det_infer/serving_client_dir"
    cfg.det_max_side_len = 960

    #DB parmas
    cfg.det_db_thresh =0.3
    cfg.det_db_box_thresh =0.5
    cfg.det_db_unclip_ratio =2.0

    #EAST parmas
    cfg.det_east_score_thresh = 0.8
    cfg.det_east_cover_thresh = 0.1
    cfg.det_east_nms_thresh = 0.2

    #params for text recognizer
    cfg.rec_algorithm = "CRNN"
    cfg.rec_server_dir = "../../inference/ch_ppocr_mobile_v1.1_rec_infer/serving_server_dir"
    cfg.rec_client_dir = "../../inference/ch_ppocr_mobile_v1.1_rec_infer/serving_client_dir"

    cfg.rec_image_shape = "3, 32, 320"
    cfg.rec_char_type = 'ch'
    cfg.rec_batch_num = 30
    cfg.max_text_length = 25

    cfg.rec_char_dict_path = "../../ppocr/utils/ppocr_keys_v1.txt"
    cfg.use_space_char = True

    #params for text classifier
    cfg.use_angle_cls = True
    cfg.cls_server_dir = "../../inference/ch_ppocr_mobile_v1.1_cls_infer/serving_server_dir"
    cfg.cls_client_dir = "../../inference/ch_ppocr_mobile_v1.1_cls_infer/serving_client_dir"
    cfg.cls_image_shape = "3, 48, 192"
    cfg.label_list = ['0', '180']
    cfg.cls_batch_num = 30
    cfg.cls_thresh = 0.9

    return cfg

step 3_1. 启动独立的检测服务或识别服务

如果只需要搭建检测服务或识别服务，一行命令即可，检测服务的启动方式如下，识别同理。检测+识别的串联服务请直接跳至step 3_2。

# 启动文本检测服务，标准版/快速版 二选一
python det_rpc_server.py #标准版，Linux用户
python det_local_server.py #快速版，Windows/Linux用户

step 3_2. 启动文本检测、识别串联的服务

如果需要搭建检测+识别的串联服务，快速版与step 3_1中的独立服务启动方式相同，但标准版略有不同，具体步骤如下：

# 标准版，Linux用户
# GPU用户
# 启动检测服务
python -m paddle_serving_server_gpu.serve --model ../../inference/ch_ppocr_mobile_v1.1_det_infer/serving_server_dir/ --port 9293 --gpu_id 0
# 启动方向分类器服务
python -m paddle_serving_server_gpu.serve --model ../../inference/ch_ppocr_mobile_v1.1_cls_infer/serving_server_dir/ --port 9294 --gpu_id 0
# 启动串联服务
python ocr_rpc_server.py 

# CPU用户
# 启动检测服务
python -m paddle_serving_server.serve --model ../../inference/ch_ppocr_mobile_v1.1_det_infer/serving_server_dir/ --port 9293
# 启动方向分类器服务
python -m paddle_serving_server.serve --model ../../inference/ch_ppocr_mobile_v1.1_cls_infer/serving_server_dir/ --port 9294
# 启动串联服务
python ocr_rpc_server.py

# 快速版，Windows/Linux用户
python ocr_local_server.py 

发送预测请求

以上所有单独或串联的服务均可使用如下客户端进行访问：

python pdserving_client.py image_path