学习率调度器

• : 诺姆衰减，相关算法请参考 《Attention Is All You Need》 。相关API Reference请参考
• : 自然指数衰减，即每次将当前学习率乘以给定的衰减率的自然指数得到下一个学习率。相关API Reference请参考 natural_exp_decay
• : 多项式衰减，即得到的学习率为初始学习率和给定最终学习之间由多项式计算权重定比分点的插值。相关API Reference请参考
• : 通过Layer-wise Adaptive Rate Scaling算法获得学习率，相关算法请参考 《Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation》 。相关API Reference请参考