ClipGradByNorm

    将输入的多维Tensor

    的L2范数限制在 clip_norm 范围之内。

    输入的 Tensor 不是从该类里传入, 而是默认选择优化器中输入的所有参数的梯度。如果某个参数 ParamAttr 中的 need_clip 值被设置为 ,则该参数的梯度不会被裁剪。

    该类需要在初始化 optimizer 时进行设置后才能生效,可参看 optimizer 文档(例如: )。

    裁剪公式如下:

    ClipGradByNorm - 图1

    代表 XX 的L2范数

    norm(X)\=(∑i\=1n|xi|2)12norm(X)\=(∑i\=1n|xi|2)12

    参数: