PolynomialDecay

    该接口提供学习率按多项式衰减的策略。通过多项式衰减函数,使得学习率值逐步从初始的 learning_rate,衰减到 。

    若cycle为True,则计算公式为:

    若cycle为False,则计算公式为:

    PolynomialDecay - 图1

    参数:

    • decay_steps (int) - 进行衰减的步长,这个决定了衰减周期。

    • power (float,可选) - 多项式的幂。默认值为1.0。

    • cycle (bool,可选) - 学习率下降后是否重新上升。若为True,则学习率衰减到最低学习率值时,会重新上升。若为False,则学习率单调递减。默认值为False。

    • verbose (bool,可选) - 如果是 True ,则在每一轮更新时在标准输出 stdout 输出一条信息。默认值为 False

    代码示例

    step ( epoch=None )

    step函数需要在优化器的 optimizer.step() 函数之后调用,调用之后将会根据epoch数来更新学习率,更新之后的学习率将会在优化器下一轮更新参数时使用。

    参数:

    • epoch (int,可选) - 指定具体的epoch数。默认值None,此时将会从-1自动累加 数。

    返回:

    无。