PaddleOCR/README_ch.md at fa60cafe74c542ebf95d145c3cf237a52afac504

6.2 KiB

Raw Blame History

Style Text

一、工具简介

Style-Text数据合成工具是基于百度自研的文本编辑算法《Editing Text in the Wild》https://arxiv.org/abs/1908.03047

不同于常用的基于GAN的数据合成工具，Style-Text主要框架包括：1.文本前景风格迁移模块 2.背景抽取模块 3.融合模块。经过这样三步，就可以迅速实现图像文本风格迁移。下图是一些该数据合成工具效果图。

二、环境配置

参考快速安装，安装PaddleOCR。
进入StyleText目录，下载模型，并解压：

cd StyleText
wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/style_text/style_text_models.zip
unzip style_text_models.zip

如果您将模型保存再其他位置，请在configs/config.yml中修改模型文件的地址，修改时需要同时修改这三个配置：

bg_generator:
  pretrain: style_text_models/bg_generator
...
text_generator:
  pretrain: style_text_models/text_generator
...
fusion_generator:
  pretrain: style_text_models/fusion_generator

三、快速上手

合成单张图

输入一张风格图和一段文字语料，运行tools/synth_image，合成单张图片，结果图像保存在当前目录下：

python3 -m tools.synth_image -c configs/config.yml --style_image examples/style_images/2.jpg --text_corpus PaddleOCR --language en

注意：语言选项和语料相对应，目前该工具只支持英文、简体中文和韩语。例如，输入如下图片和语料"PaddleOCR":

生成合成数据fake_fusion.jpg：

除此之外，程序还会生成并保存中间结果fake_bg.jpg：为风格参考图去掉文字后的背景；

fake_text.jpg：是用提供的字符串，仿照风格参考图中文字的风格，生成在灰色背景上的文字图片。

批量合成

在实际应用场景中，经常需要批量合成图片，补充到训练集中。StyleText可以使用一批风格图片和语料，批量合成数据。合成过程如下：首先，需要风格图片作为合成图片的参考依据，这些数据可以是用作训练OCR识别模型的数据集。本例中使用带有标注文件的数据集作为风格图片.

在configs/dataset_config.yml中配置输入数据路径。
- StyleSampler：
  - method：使用的风格图片采样方法；
  - image_home：风格图片目录；
  - label_file：风格图片路径列表文件，如果所用数据集有label，则label_file为label文件路径；
  - with_label：标志label_file是否为label文件。
- CorpusGenerator：
  - method：语料生成方法，目前有FileCorpus和EnNumCorpus可选。如果使用EnNumCorpus，则不需要填写其他配置，否则需要修改corpus_file和language；
  - language：语料的语种；
  - corpus_file: 语料文件路径。
我们提供了一批中英韩5w通用数据供您试用（下载地址），下面给出了一些示例：

2. 运行`tools/synth_dataset`合成数据：

python -m tools.synth_dataset -c configs/dataset_config.yml

如果您想使用并行方式来快速合成数据，可以通过启动多个进程，在启动时需要指定不同的tag（-t），如下所示:
```
python3 -m tools.synth_dataset -t 0 -c configs/dataset_config.yml
python3 -m tools.synth_dataset -t 1 -c configs/dataset_config.yml
```

四、应用案例

下面以金属表面英文数字识别和通用韩语识别两个场景为例，说明使用StyleText合成数据，来提升文本识别效果的实际案例。下图给出了一些真实场景图像和合成图像的示例：

在添加上述合成数据进行训练后，识别模型的效果提升，如下表所示：

场景	字符	原始数据	测试数据	只使用原始数据识别准确率	新增合成数据	同时使用合成数据识别准确率	指标提升
金属表面	英文和数字	2203	650	0.5938	20000	0.7546	16%
随机背景	韩语	5631	1230	0.3012	100000	0.5057	20%

五、代码结构

style_text_rec
|-- arch
|   |-- base_module.py
|   |-- decoder.py
|   |-- encoder.py
|   |-- spectral_norm.py
|   `-- style_text_rec.py
|-- configs
|   |-- config.yml
|   `-- dataset_config.yml
|-- engine
|   |-- corpus_generators.py
|   |-- predictors.py
|   |-- style_samplers.py
|   |-- synthesisers.py
|   |-- text_drawers.py
|   `-- writers.py
|-- examples
|   |-- corpus
|   |   `-- example.txt
|   |-- image_list.txt
|   `-- style_images
|       |-- 1.jpg
|       `-- 2.jpg
|-- fonts
|   |-- ch_standard.ttf
|   |-- en_standard.ttf
|   `-- ko_standard.ttf
|-- tools
|   |-- __init__.py
|   |-- synth_dataset.py
|   `-- synth_image.py
`-- utils
    |-- config.py
    |-- load_params.py
    |-- logging.py
    |-- math_functions.py
    `-- sys_funcs.py

6.2 KiB Raw Blame History Unescape Escape