noam_decay

Noam衰减方法

noam衰减的numpy实现如下：

参数：

• d_model (Variable|int) - 模型的输入、输出向量特征维度。类型可设置为标量Tensor，或int值。

返回：衰减的学习率

代码示例：

import paddle.fluid as fluid
               1/(warmup_steps *(learning_rate ** 2)),
               learning_rate)