WeightNormParamAttr

    api_attr

    声明式编程模式（静态图)

    注解

    动态图模式下请使用 paddle.nn.utils.weight_norm 。

    注解

    该类中的 属性在2.0版本会废弃，推荐在初始化 optimizer 时设置梯度裁剪。共有三种裁剪策略： cn_api_paddle_nn_ClipGradByGlobalNorm 、 cn_api_paddle_nn_ClipGradByNorm 、 cn_api_paddle_nn_ClipGradByValue 。

    参数:

    • dim (int，可选) - 进行归一化操作(norm)的切片所在维度，是小于权重Tensor rank的非负数。比如卷积的权重shape是

      , rank是4，则dim可以选0,1,2,3；fc的权重shape是

      WeightNormParamAttr - 图1

      ，rank是2，dim可以选0，1。 dim 默认为None，如果为None就对所有元素做归一化(norm)。

    • learning_rate (float32，可选) - 学习率，优化过程 global_lr∗parameter_lr∗scheduler_factorglobal_lr∗parameter_lr∗scheduler_factor 的学习速率，默认为1.0。

    • regularizer (WeightDecayRegularizer，可选) - 正则化方法。支持两种正则化策略: 、 L2Decay ，如果在 optimizer (例如 ) 中也 设置了正则化， 中的正则化将被忽略。默认值为None，表示没有正则化。

    • do_model_average (bool) - 可选，指明参数是否需要模型平均化操作(Model Average)，默认为False。

    • need_clip (bool) - 可选，指明参数梯度是否需要在优化器中进行clip，默认为True。