MomentumOptimizer

    该接口实现含有速度状态的Simple Momentum 优化器

    该优化器含有牛顿动量标志,公式更新如下:

    为网络添加反向计算过程,并根据反向计算所得的梯度,更新parameter_list中的Parameters,最小化网络损失值loss。

    参数

    返回

    返回类型

    tuple

    代码示例

    注意:

    清除需要优化的参数的梯度。

    注意:

    获取当前步骤的学习率。当不使用LearningRateDecay时,每次调用的返回值都相同,否则返回当前步骤的学习率。

    返回 当前步骤的学习率。

    返回类型 float

    代码示例