NoamDecay

• class NoamDecay(d_model, warmup_steps, begin=1, step=1, dtype='float32')[源代码]

该接口提供Noam衰减学习率的功能。

Noam衰减的计算方式如下。

关于Noam衰减的更多细节请参考

式中，

• 参数：
• • warmup_steps (Variable|int) - 预热步数，为超参数。如果设置为Variable类型，则数据类型为int32或int64的标量Tensor，也可以设置为为Python int。
  • begin (int，可选) – 起始步。即以上运算式子中global_steps的初始值。默认值为0。
  • dtype (str，可选) – 学习率值的数据类型，可以为"float32", "float64"。默认值为"float32"。

返回： 无

代码示例