Merge pull request #21 from tink2123/change_path
Change path for download
This commit is contained in:
dyning
GitHub
commit
8ec1f7718f
|
|
@ -12,18 +12,18 @@
|
|||
|
||||
| 字段 | 用途 | 默认值 | 备注 |
|
||||
| :----------------------: | :---------------------: | :--------------: | :--------------------: |
|
||||
| algorithm | 设置算法 | CRNN | 选择模型，支持模型请参考[简介]() |
|
||||
| algorithm | 设置算法 | CRNN | 选择模型，支持模型请参考[简介](../../README.md) |
|
||||
| use_gpu | 设置代码运行场所 | true | \ |
|
||||
| epoch_num | 最大训练epoch数 | 3000 | \ |
|
||||
| log_smooth_window | 滑动窗口大小 | 20 | \ |
|
||||
| print_batch_step | 设置打印log间隔 | 10 | \ |
|
||||
| save_model_dir | 设置模型保存路径 | output/rec_CRNN | \ |
|
||||
| save_epoch_step | 设置模型保存间隔 | 3 | \ |
|
||||
| eval_batch_step | 设置模型评估间隔 | 2000 | \ |
|
||||
|train_batch_size_per_card | 设置训练时单卡batch size | 256 | \ |
|
||||
| test_batch_size_per_card | 设置评估时单卡batch size | 256 | \ |
|
||||
| image_shape | 设置输入图片尺寸 | [3, 32, 100] | \ |
|
||||
| max_text_length | 设置文本最大长度 | 25 | \ |
|
||||
| epoch_num | 最大训练epoch数 | 3000 | \ |
|
||||
| log_smooth_window | 滑动窗口大小 | 20 | \ |
|
||||
| print_batch_step | 设置打印log间隔 | 10 | \ |
|
||||
| save_model_dir | 设置模型保存路径 | output/rec_CRNN | \ |
|
||||
| save_epoch_step | 设置模型保存间隔 | 3 | \ |
|
||||
| eval_batch_step | 设置模型评估间隔 | 2000 | \ |
|
||||
|train_batch_size_per_card | 设置训练时单卡batch size | 256 | \ |
|
||||
| test_batch_size_per_card | 设置评估时单卡batch size | 256 | \ |
|
||||
| image_shape | 设置输入图片尺寸 | [3, 32, 100] | \ |
|
||||
| max_text_length | 设置文本最大长度 | 25 | \ |
|
||||
| character_type | 设置字符类型 | ch | en/ch, en时将使用默认dict，ch时使用自定义dict|
|
||||
| character_dict_path | 设置字典路径 | ./ppocr/utils/ic15_dict.txt | \ |
|
||||
| loss_type | 设置 loss 类型 | ctc | 支持两种loss： ctc / attention |
|
||||
|
|
|
|||
|
|
@ -5,14 +5,16 @@
|
|||
## 数据准备
|
||||
icdar2015数据集可以从[官网](https://rrc.cvc.uab.es/?ch=4&com=downloads)下载到，首次下载需注册。
|
||||
|
||||
将下载到的数据集解压到工作目录下，假设解压在/PaddleOCR/train_data/ 下。另外，PaddleOCR将零散的标注文件整理成单独的标注文件
|
||||
将下载到的数据集解压到工作目录下，假设解压在 PaddleOCR/train_data/ 下。另外，PaddleOCR将零散的标注文件整理成单独的标注文件
|
||||
，您可以通过wget的方式进行下载。
|
||||
```
|
||||
wget -P /PaddleOCR/train_data/ https://paddleocr.bj.bcebos.com/dataset%2Ftrain_icdar2015_label.txt
|
||||
wget -P /PaddleOCR/train_data/ https://paddleocr.bj.bcebos.com/dataset%2Ftest_icdar2015_label.txt
|
||||
# 在PaddleOCR路径下
|
||||
cd PaddleOCR/
|
||||
wget -P ./train_data/ https://paddleocr.bj.bcebos.com/dataset/train_icdar2015_label.txt
|
||||
wget -P ./train_data/ https://paddleocr.bj.bcebos.com/dataset/test_icdar2015_label.txt
|
||||
```
|
||||
|
||||
解压数据集和下载标注文件后，/PaddleOCR/train_data/ 有两个文件夹和两个文件，分别是：
|
||||
解压数据集和下载标注文件后，PaddleOCR/train_data/ 有两个文件夹和两个文件，分别是：
|
||||
```
|
||||
/PaddleOCR/train_data/
|
||||
└─ icdar_c4_train_imgs/ icdar数据集的训练数据
|
||||
|
|
@ -26,8 +28,8 @@ wget -P /PaddleOCR/train_data/ https://paddleocr.bj.bcebos.com/dataset%2Ftest_i
|
|||
" 图像文件名 json.dumps编码的图像标注信息"
|
||||
ch4_test_images/img_61.jpg [{"transcription": "MASA", "points": [[310, 104], [416, 141], [418, 216], [312, 179]], ...}]
|
||||
```
|
||||
json.dumps编码前的图像标注信息是包含多个字典的list，字典中的$points$表示文本框的四个点的坐标(x, y)，从左上角的点开始顺时针排列。
|
||||
$transcription$表示当前文本框的文字，在文本检测任务中并不需要这个信息。
|
||||
json.dumps编码前的图像标注信息是包含多个字典的list，字典中的 `points` 表示文本框的四个点的坐标(x, y)，从左上角的点开始顺时针排列。
|
||||
`transcription` 表示当前文本框的文字，在文本检测任务中并不需要这个信息。
|
||||
如果您想在其他数据集上训练PaddleOCR，可以按照上述形式构建标注文件。
|
||||
|
||||
|
||||
|
|
@ -38,9 +40,9 @@ $transcription$表示当前文本框的文字，在文本检测任务中并不
|
|||
```
|
||||
cd PaddleOCR/
|
||||
# 下载MobileNetV3的预训练模型
|
||||
wget -P /PaddleOCR/pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV3_large_x0_5_pretrained.tar
|
||||
wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV3_large_x0_5_pretrained.tar
|
||||
# 下载ResNet50的预训练模型
|
||||
wget -P /PaddleOCR/pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_vd_ssld_pretrained.tar
|
||||
wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_vd_ssld_pretrained.tar
|
||||
```
|
||||
|
||||
**启动训练**
|
||||
|
|
|
|||
|
|
@ -34,6 +34,14 @@ ln -sf <path/to/dataset> <path/to/paddle_detection>/train_data/dataset
|
|||
train_data/train_0001.jpg 简单可依赖
|
||||
train_data/train_0002.jpg 用科技让复杂的世界更简单
|
||||
```
|
||||
PaddleOCR 提供了一份用于训练 icdar2015 数据集的标签文件，通过以下方式下载：
|
||||
|
||||
```
|
||||
# 训练集标签
|
||||
wget -P ./train_data/ic15_data https://paddleocr.bj.bcebos.com/dataset/rec_gt_train.txt
|
||||
# 测试集标签
|
||||
wget -P ./train_data/ic15_data https://paddleocr.bj.bcebos.com/dataset/rec_gt_test.txt
|
||||
```
|
||||
|
||||
最终训练集应有如下文件结构：
|
||||
|
||||
|
|
@ -41,25 +49,25 @@ train_data/train_0002.jpg 用科技让复杂的世界更简单
|
|||
|-train_data
|
||||
|-ic15_data
|
||||
|- rec_gt_train.txt
|
||||
|- train_imags
|
||||
|- train_001.jpg
|
||||
|- train_002.jpg
|
||||
|- train_003.jpg
|
||||
|- train
|
||||
|- word_001.png
|
||||
|- word_002.jpg
|
||||
|- word_003.jpg
|
||||
| ...
|
||||
```
|
||||
|
||||
- 评估集
|
||||
- 测试集
|
||||
|
||||
同训练集类似，评估集也需要提供一个包含所有图片的文件夹（eval_images）和一个rec_gt_eval.txt，评估集的结构如下所示：
|
||||
同训练集类似，测试集也需要提供一个包含所有图片的文件夹（test）和一个rec_gt_test.txt，测试集的结构如下所示：
|
||||
|
||||
```
|
||||
|-train_data
|
||||
|-ic15_data
|
||||
|- rec_gt_eval.txt
|
||||
|- eval_imags
|
||||
|- eval_001.jpg
|
||||
|- eval_002.jpg
|
||||
|- eval_003.jpg
|
||||
|- rec_gt_test.txt
|
||||
|- test
|
||||
|- word_001.jpg
|
||||
|- word_002.jpg
|
||||
|- word_003.jpg
|
||||
| ...
|
||||
```
|
||||
|
||||
|
|
@ -82,22 +90,35 @@ word_dict.txt 每行有一个单字，将字符与数字索引映射在一起，
|
|||
|
||||
`ppocr/utils/ppocr_keys_v1.txt` 是一个包含6623个字符的中文字典，
|
||||
`ppocr/utils/ic15_dict.txt` 是一个包含36个字符的英文字典，
|
||||
您可以按需使用。如需自定义dic文件，请修改 `configs/rec/rec_icdar15_train.yml` 中的 `character_dict_path` 字段。
|
||||
您可以按需使用。
|
||||
|
||||
如需自定义dic文件，请修改 `configs/rec/rec_icdar15_train.yml` 中的 `character_dict_path` 字段, 并将 `character_type` 设置为 `ch`。
|
||||
|
||||
### 启动训练
|
||||
|
||||
PaddleOCR提供了训练脚本、评估脚本和预测脚本，本节将以 CRNN 识别模型为例：
|
||||
|
||||
首先下载pretrain model，您可以下载训练好的模型在 icdar2015 数据上进行finetune
|
||||
``
|
||||
cd PaddleOCR/
|
||||
# 下载MobileNetV3的预训练模型
|
||||
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/rec_mv3_none_bilstm_ctc.tar
|
||||
# 解压模型参数
|
||||
cd pretrain_models
|
||||
tar -xf rec_mv3_none_bilstm_ctc.tar && rm -rf rec_mv3_none_bilstm_ctc.tar
|
||||
```
|
||||
|
||||
开始训练:
|
||||
|
||||
```
|
||||
# 设置PYTHONPATH路径
|
||||
export PYTHONPATH=$PYTHONPATH:.
|
||||
# GPU训练 支持单卡，多卡训练，通过CUDA_VISIBLE_DEVICES指定卡号
|
||||
export CUDA_VISIBLE_DEVICES=0,1,2,3
|
||||
python tools/train.py -c configs/rec/rec_icdar15_train.yml
|
||||
python3 tools/train.py -c configs/rec/rec_icdar15_train.yml
|
||||
```
|
||||
|
||||
PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率，默认每2000个iter评估一次。评估过程中默认将最佳acc模型，保存为 `output/rec_CRNN/best_accuracy` 。
|
||||
PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率，默认每500个iter评估一次。评估过程中默认将最佳acc模型，保存为 `output/rec_CRNN/best_accuracy` 。
|
||||
|
||||
如果验证集很大，测试将会比较耗时，建议减少评估次数，或训练完再进行评估。
|
||||
|
||||
|
|
@ -110,7 +131,7 @@ PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_t
|
|||
```
|
||||
export CUDA_VISIBLE_DEVICES=0
|
||||
# GPU 评估， Global.checkpoints 为待测权重
|
||||
python tools/eval.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy
|
||||
python3 tools/eval.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy
|
||||
```
|
||||
|
||||
### 预测
|
||||
|
|
@ -122,7 +143,7 @@ PaddleOCR 提供了训练好的中文模型，可以[下载](todo: add)进行快
|
|||
默认预测图片存储在 `infer_img` 里，通过 `-o Global.checkpoints` 指定权重：
|
||||
|
||||
```
|
||||
python tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy TestReader.infer_img=doc/imgs_word/word_1.jpg
|
||||
python3 tools/infer_rec.py -c configs/rec/rec_chinese_lite_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy TestReader.infer_img=doc/imgs_word/word_1.jpg
|
||||
```
|
||||
预测图片：
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue