使用序列到序列模型完成数字加法

    日期: 2021.01

    摘要: 本示例教程介绍如何使用飞桨完成一个数字加法任务，我们将会使用飞桨提供的LSTM的API，组建一个序列到序列模型，并在随机生成的数据集上完成数字加法任务的模型训练与预测。

    本教程基于Paddle 2.0 编写，如果您的环境不是本版本，请先参考官网 Paddle 2.0 。

    二、构建数据集

    • 随机生成数据，并使用生成的数据构造数据集

    • 通过继承 paddle.io.Dataset 来完成数据集的构造

    1. generating datas..
    2. making the dataset...
    3. finish

    • 本次介绍的模型是一个简单的基于 LSTM 的 Seq2Seq 模型

    • 一共有如下四个主要的网络层：

      1. 嵌入层(Embedding)：将输入的文本序列转为嵌入向量

      2. 编码层(LSTM)：将嵌入向量进行编码

      3. 解码层(LSTM)：将编码向量进行解码

    • 损失函数为交叉熵损失函数

    四、模型训练与评估

    • 使用 Adam 作为优化器进行模型训练

    • 以模型准确率作为评价指标

    • 使用 VisualDL 对训练数据进行可视化

    • 训练过程中会同时进行模型评估和最佳模型的保存

    1. # 初始化log写入器
    2. log_writer = LogWriter(logdir="./log")
    4. # 模型参数设置
    5. embedding_size = 128
    6. hidden_size=128
    7. num_layers=1
    9. # 训练参数设置
    10. epoch_num = 50
    11. learning_rate = 0.001
    12. log_iter = 2000
    13. eval_iter = 500
    15. # 定义一些所需变量
    16. global_step = 0
    17. log_step = 0
    18. max_acc = 0
    20. # 实例化模型
    21. model = Addition_Model(
    22.     char_len=len(label_dict),
    23.     embedding_size=embedding_size,
    24.     num_layers=num_layers,
    25.     DIGITS=DIGITS)
    27. # 将模型设置为训练模式
    28. model.train()
    31. opt = paddle.optimizer.Adam(
    32.     learning_rate=learning_rate,
    33.     parameters=model.parameters()
    34. )
    36. # 启动训练，循环epoch_num个轮次
    37. for epoch in range(epoch_num):
    38.     # 遍历数据集读取数据
    39.     for batch_id, data in enumerate(train_reader()):
    40.         # 读取数据
    41.         inputs, labels = data
    43.         # 模型前向计算
    44.         loss, acc = model(inputs, labels=labels)
    46.         # 打印训练数据
    47.         if global_step%log_iter==0:
    48.             print('train epoch:%d step: %d loss:%f acc:%f' % (epoch, global_step, loss.numpy(), acc.numpy()))
    49.             log_writer.add_scalar(tag="train/loss", step=log_step, value=loss.numpy())
    50.             log_writer.add_scalar(tag="train/acc", step=log_step, value=acc.numpy())
    51.             log_step+=1
    53.         # 模型验证
    54.         if global_step%eval_iter==0:
    55.             model.eval()
    56.             losses = []
    57.             accs = []
    58.             for data in dev_reader():
    59.                 loss, acc = model(inputs, labels=labels)
    60.                 losses.append(loss.numpy())
    61.                 accs.append(acc.numpy())
    62.             avg_loss = np.concatenate(losses).mean()
    63.             avg_acc = np.concatenate(accs).mean()
    64.             print('eval epoch:%d step: %d loss:%f acc:%f' % (epoch, global_step, avg_loss, avg_acc))
    65.             log_writer.add_scalar(tag="dev/loss", step=log_step, value=avg_loss)
    66.             log_writer.add_scalar(tag="dev/acc", step=log_step, value=avg_acc)
    68.             # 保存最佳模型
    69.             if avg_acc>max_acc:
    70.                 max_acc = avg_acc
    71.                 paddle.save(model.state_dict(), 'best_model')
    72.             model.train()
    74.         # 反向传播
    75.         loss.backward()
    77.         # 使用优化器进行参数优化
    78.         opt.step()
    80.         # 清除梯度
    81.         opt.clear_grad()
    83.         # 全局步数加一
    84.         global_step += 1
    86. # 保存最终模型
    87. paddle.save(model.state_dict(),'final_model')
    • 使用保存的最佳模型进行测试
    1. # 反转字符表
    2. label_dict_adv = {v: k for k, v in label_dict.items()}
    4. # 输入计算题目
    5. input_text = '12+40'
    7. # 编码输入为ID
    8. inputs = encoder(input_text, MAXLEN, label_dict)
    10. # 转换输入为向量形式
    11. inputs = np.array(inputs).reshape(-1, MAXLEN)
    12. inputs = paddle.to_tensor(inputs)
    14. # 加载模型
    15. params_dict= paddle.load('best_model')
    16. model.set_dict(params_dict)
    18. # 设置为评估模式
    19. model.eval()
    21. # 模型推理
    22. out = model(inputs)
    24. # 结果转换
    25. result = ''.join([label_dict_adv[_] for _ in np.argmax(out.numpy(), -1).reshape(-1)])
    27. # 打印结果
    28. print('the model answer: %s=%s' % (input_text, result))
    29. print('the true answer: %s=%s' % (input_text, eval(input_text)))

    六、总结

    • 同时，也可以尝试在其他的类似的任务中用飞桨来完成实际的实践