PolynomialDecay
该接口提供学习率按多项式衰减的策略。通过多项式衰减函数,使得学习率值逐步从初始的 learning_rate
,衰减到 。
若cycle为True,则计算公式为:
若cycle为False,则计算公式为:
参数:
decay_steps (int) - 进行衰减的步长,这个决定了衰减周期。
power (float,可选) - 多项式的幂。默认值为1.0。
cycle (bool,可选) - 学习率下降后是否重新上升。若为True,则学习率衰减到最低学习率值时,会重新上升。若为False,则学习率单调递减。默认值为False。
verbose (bool,可选) - 如果是 True ,则在每一轮更新时在标准输出 stdout 输出一条信息。默认值为
False
。
代码示例
step
( epoch=None )
step函数需要在优化器的 optimizer.step() 函数之后调用,调用之后将会根据epoch数来更新学习率,更新之后的学习率将会在优化器下一轮更新参数时使用。
参数:
- epoch (int,可选) - 指定具体的epoch数。默认值None,此时将会从-1自动累加 数。
返回:
无。