请按如下步骤设置数据集:

    训练数据的默认存储路径是 PaddleOCR/train_data,如果您的磁盘上已有数据集,只需创建软链接至数据集目录:

    • 数据下载

    若您本地没有数据集,可以在官网下载 数据,用于快速验证。也可以参考DTRB,下载 benchmark 所需的lmdb格式数据集。

    如果希望复现SRN的论文指标,需要下载离线,提取码: y3ry。增广数据是由MJSynth和SynthText做旋转和扰动得到的。数据下载完成后请解压到 {your_path}/PaddleOCR/train_data/data_lmdb_release/training/ 路径下。

    • 使用自己数据集:

    若您希望使用自己的数据进行训练,请参考下文组织您的数据。

    • 训练集

    首先请将训练图片放入同一个文件夹(train_images),并用一个txt文件(rec_gt_train.txt)记录图片路径和标签。

    注意: 默认请将图片路径和图片标签用 \t 分割,如用其他方式分割将造成训练报错

    1. " 图像文件名 图像标注信息 "
    2. train_data/train_0001.jpg 简单可依赖
    3. train_data/train_0002.jpg 用科技让复杂的世界更简单

    PaddleOCR 提供了一份用于训练 icdar2015 数据集的标签文件,通过以下方式下载:

    1. # 训练集标签
    2. wget -P ./train_data/ic15_data https://paddleocr.bj.bcebos.com/dataset/rec_gt_train.txt
    3. # 测试集标签
    4. wget -P ./train_data/ic15_data https://paddleocr.bj.bcebos.com/dataset/rec_gt_test.txt

    最终训练集应有如下文件结构:

    1. |-train_data
    2. |-ic15_data
    3. |- rec_gt_train.txt
    4. |- train
    5. |- word_002.jpg
    6. |- word_003.jpg
    7. | ...
    • 测试集

    同训练集类似,测试集也需要提供一个包含所有图片的文件夹(test)和一个rec_gt_test.txt,测试集的结构如下所示:

    • 字典

    最后需要提供一个字典({word_dict_name}.txt),使模型在训练时,可以将所有出现的字符映射为字典的索引。

    因此字典需要包含所有希望被正确识别的字符,{word_dict_name}.txt需要写成如下格式,并以 utf-8 编码格式保存:

    1. l
    2. d
    3. a
    4. d
    5. n

    word_dict.txt 每行有一个单字,将字符与数字索引映射在一起,“and” 将被映射成 [2 5 1]

    • 自定义字典

    如需自定义dic文件,请在 configs/rec/rec_icdar15_train.yml 中添加 character_dict_path 字段, 指向您的字典路径。 并将 character_type 设置为 ch

    • 添加空格类别

    如果希望支持识别”空格”类别, 请将yml文件中的 use_space_char 字段设置为 true

    注意:use_space_char 仅在 character_type=ch 时生效

    PaddleOCR提供了训练脚本、评估脚本和预测脚本,本节将以 CRNN 识别模型为例:

    首先下载pretrain model,您可以下载训练好的模型在 icdar2015 数据上进行finetune

    1. cd PaddleOCR/
    2. # 下载MobileNetV3的预训练模型
    3. wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/rec_mv3_none_bilstm_ctc.tar
    4. # 解压模型参数
    5. cd pretrain_models
    6. tar -xf rec_mv3_none_bilstm_ctc.tar && rm -rf rec_mv3_none_bilstm_ctc.tar

    开始训练:

    如果您安装的是cpu版本,请将配置文件中的 use_gpu 字段修改为false

    1. export PYTHONPATH=$PYTHONPATH:.
    2. # GPU训练 支持单卡,多卡训练,通过CUDA_VISIBLE_DEVICES指定卡号
    3. export CUDA_VISIBLE_DEVICES=0,1,2,3
    4. # 训练icdar15英文数据
    • 数据增强

    PaddleOCR提供了多种数据增强方式,如果您希望在训练时加入扰动,请在配置文件中设置 distort: true

    默认的扰动方式有:颜色空间转换(cvtColor)、模糊(blur)、抖动(jitter)、噪声(Gasuss noise)、随机切割(random crop)、透视(perspective)、颜色反转(reverse)。

    训练过程中每种扰动方式以50%的概率被选择,具体代码实现请参考:img_tools.py

    由于OpenCV的兼容性问题,扰动操作暂时只支持GPU

    • 训练

    PaddleOCR支持训练和评估交替进行, 可以在 configs/rec/rec_icdar15_train.yml 中修改 eval_batch_step 设置评估频率,默认每500个iter评估一次。评估过程中默认将最佳acc模型,保存为 output/rec_CRNN/best_accuracy

    如果验证集很大,测试将会比较耗时,建议减少评估次数,或训练完再进行评估。

    训练中文数据,推荐使用rec_chinese_lite_train.yml,如您希望尝试其他算法在中文数据集上的效果,请参考下列说明修改配置文件:

    rec_mv3_none_none_ctc.yml 为例:

    注意,预测/评估时的配置文件请务必与训练一致。

    评估数据集可以通过 configs/rec/rec_icdar15_reader.yml 修改EvalReader中的 label_file_path 设置。

    注意 评估时必须确保配置文件中 infer_img 字段为空

    1. export CUDA_VISIBLE_DEVICES=0
    2. # GPU 评估, Global.checkpoints 为待测权重
    3. python3 tools/eval.py -c configs/rec/rec_icdar15_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy
    • 训练引擎的预测

    使用 PaddleOCR 训练好的模型,可以通过以下脚本进行快速预测。

    默认预测图片存储在 infer_img 里,通过 -o Global.checkpoints 指定权重:

    1. # 预测英文结果
    2. python3 tools/infer_rec.py -c configs/rec/rec_icdar15_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy Global.infer_img=doc/imgs_words/en/word_1.png

    预测图片:

    得到输入图像的预测结果:

    1. infer_img: doc/imgs_words/en/word_1.png
    2. index: [19 24 18 23 29]
    3. word : joint

    预测使用的配置文件必须与训练一致,如您通过 python3 tools/train.py -c configs/rec/rec_chinese_lite_train.yml 完成了中文模型的训练, 您可以使用如下命令进行中文模型预测。

    预测图片:

    文本识别 - 图2

    1. infer_img: doc/imgs_words/ch/word_1.jpg
    2. index: [2092 177 312 2503]
    3. word : 韩国小馆