SGD
该接口实现随机梯度下降算法的优化器
为网络添加反向计算过程,并根据反向计算所得的梯度,更新parameters中的Parameters,最小化网络损失值loss。
参数:
learning_rate (float|_LRScheduler, 可选) - 学习率,用于参数更新的计算。可以是一个浮点型值或者一个_LRScheduler类,默认值为0.001
parameters (list, 可选) - 指定优化器需要优化的参数。在动态图模式下必须提供该参数;在静态图模式下默认值为None,这时所有的参数都将被优化。
grad_clip (GradientClipBase, 可选) – 梯度裁剪的策略,支持三种裁剪策略: cn_api_fluid_clip_GradientClipByGlobalNorm 、 cn_api_fluid_clip_GradientClipByNorm 、 cn_api_fluid_clip_GradientClipByValue 。 默认值为None,此时将不进行梯度裁剪。
name (str, 可选)- 该参数供开发人员打印调试信息时使用,具体用法请参见 ,默认值为None
代码示例
注意:
执行一次优化器并进行参数更新。
返回:None。
代码示例
minimize
( loss, startup_program=None, parameters=None, no_grad_set=None )
为网络添加反向计算过程,并根据反向计算所得的梯度,更新parameters中的Parameters,最小化网络损失值loss。
参数:
startup_program (Program, 可选) – 用于初始化parameters中参数的 Program , 默认值为None,此时将使用
返回: tuple(optimize_ops, params_grads),其中optimize_ops为参数优化OP列表;param_grads为由(param, param_grad)组成的列表,其中param和param_grad分别为参数和参数的梯度。在静态图模式下,该返回值可以加入到 接口的 fetch_list
参数中,若加入,则会重写 use_prune
参数为True,并根据 和 fetch_list
进行剪枝,详见 Executor
的文档。
代码示例
( )
注意:
清除需要优化的参数的梯度。
代码示例
set_lr
( value )
注意: