MomentumOptimizer
该接口实现含有速度状态的Simple Momentum 优化器
该优化器含有牛顿动量标志,公式更新如下:
为网络添加反向计算过程,并根据反向计算所得的梯度,更新parameter_list中的Parameters,最小化网络损失值loss。
参数
返回
返回类型
tuple
代码示例
注意:
清除需要优化的参数的梯度。
注意:
获取当前步骤的学习率。当不使用LearningRateDecay时,每次调用的返回值都相同,否则返回当前步骤的学习率。
返回 当前步骤的学习率。
返回类型 float
代码示例