ClipGradByNorm
将输入的多维Tensor
的L2范数限制在 clip_norm
范围之内。
输入的 Tensor 不是从该类里传入, 而是默认选择优化器中输入的所有参数的梯度。如果某个参数 ParamAttr
中的 need_clip
值被设置为 ,则该参数的梯度不会被裁剪。
该类需要在初始化 optimizer
时进行设置后才能生效,可参看 optimizer
文档(例如: )。
裁剪公式如下:
代表 XX 的L2范数
norm(X)\=(∑i\=1n|xi|2)12norm(X)\=(∑i\=1n|xi|2)12
参数: