PaddleOCR/doc/doc_ch/benchmark.md

39 lines
1.6 KiB
Markdown
Raw Normal View History

2020-07-13 22:19:42 +08:00
# Benchmark
2020-10-13 17:49:16 +08:00
本文给出了中英文OCR系列模型精度指标和在各平台预测耗时的benchmark。
2020-07-13 22:19:42 +08:00
## 测试数据
2020-10-13 17:49:16 +08:00
针对OCR实际应用场景包括合同车牌铭牌火车票化验单表格证书街景文字名片数码显示屏等收集的300张图像每张图平均有17个文本框下图给出了一些图像示例。
2020-07-13 22:19:42 +08:00
2020-10-13 17:49:16 +08:00
<div align="center">
<img src="../datasets/doc.jpg" width = "1000" height = "500" />
</div>
2020-07-13 22:19:42 +08:00
2020-10-13 17:49:16 +08:00
## 评估指标
2020-07-13 22:19:42 +08:00
2020-10-13 17:49:16 +08:00
说明:
2021-09-08 11:33:06 +08:00
2020-10-13 17:49:16 +08:00
- 检测输入图像的的长边尺寸是960。
2021-09-08 11:33:06 +08:00
- 评估耗时阶段为图像预测耗时,不包括图像的预处理和后处理。
2020-10-13 17:49:16 +08:00
- `Intel至强6148`为服务器端CPU型号测试中使用Intel MKL-DNN 加速。
2020-07-14 14:24:57 +08:00
- `骁龙855`为移动端处理平台型号。
2020-10-13 17:49:16 +08:00
2021-09-08 11:33:06 +08:00
预测模型大小和整体识别精度对比
2020-10-13 17:49:16 +08:00
| 模型名称 | 整体模型<br>大小\(M\) | 检测模型<br>大小\(M\) | 方向分类器<br>模型大小\(M\) | 识别模型<br>大小\(M\) | 整体识别<br>F\-score |
|:-:|:-:|:-:|:-:|:-:|:-:|
2021-09-08 11:33:06 +08:00
| PP-OCRv2 | 11\.6 | 3\.0 | 0\.9 | 8\.6 | 0\.5224 |
| PP-OCR mobile | 8\.1 | 2\.6 | 0\.9 | 4\.6 | 0\.503 |
| PP-OCR server | 155\.1 | 47\.2 | 0\.9 | 107 | 0\.570 |
2020-10-13 17:49:16 +08:00
2021-09-08 11:33:06 +08:00
预测模型在CPU和GPU上的速度对比单位ms
2020-10-13 17:49:16 +08:00
2021-09-08 11:33:06 +08:00
| 模型名称 | CPU | T4 GPU |
|:-:|:-:|:-:|
| PP-OCRv2 | 330 | 111 |
| PP-OCR mobile | 356 | 11 6|
| PP-OCR server | 1056 | 200 |
2020-10-13 17:49:16 +08:00
2021-09-14 19:38:00 +08:00
更多 PP-OCR 系列模型的预测指标可以参考[PP-OCR Benchmark](https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/doc/doc_ch/benchmark.md)