InverseTimeDecay

    • class InverseTimeDecay(learning_rate, decay_steps, decay_rate, staircase=False, begin=0, step=1, dtype='float32')[源代码]

    反时限学习率衰减计算方式如下。

    当staircase为False时,计算公式为:

    当staircase为True时,计算公式为:

    • InverseTimeDecay - 图3 : 衰减后的学习率。

    式子中各参数详细介绍请看参数说明。

      • learning_rate (Variable|float) - 初始学习率值。如果类型为Variable,则为shape为[1]的Tensor,数据类型为float32或float64;也可以是python的float类型。
      • decay_steps (int) - 衰减步数,见以上衰减运算式子。
      • staircase (bool,可选) - 指定是否按阶梯状衰减。若为True, 学习率变化曲线呈阶梯状。若为False,学习率变化值曲线为平滑的曲线。默认值为False。
      • begin (int,可选) - 起始步,即以上运算式子中global_step的初始化值。默认值为0。
      • step (int,可选) - 步大小,即以上运算式子中global_step的每次的增量值,使得global_step随着训练的次数递增。默认值为1。

    返回: 无