CosineAnnealingDecay

    该接口使用 cosine annealing 的策略来动态调整学习率。

    CosineAnnealingDecay - 图2

    的初始值为 learning_rate，

    是SGDR（重启训练SGD）训练过程中的当前训练轮数。SGDR的训练方法可以参考文档 SGDR: Stochastic Gradient Descent with Warm Restarts. 这里只是实现了 动态学习率，热启训练部分没有实现。

    • learning_rate (float) - 初始学习率，也就是公式中的 ηmaxηmax ，数据类型为Python float。

    • eta_min (float|int, 可选) - 学习率的最小值，即公式中的 ηminηmin 。默认值为0。

    • verbose (bool，可选) - 如果是 True ，则在每一轮更新时在标准输出 stdout 输出一条信息。默认值为 False 。

    返回：用于调整学习率的 实例对象。

    step ( epoch\=None )

    step函数需要在优化器的 optimizer.step() 函数之后调用，调用之后将会根据epoch数来更新学习率，更新之后的学习率将会在优化器下一轮更新参数时使用。

    参数：

    返回：

    无。

    代码示例 ：