layer_norm

    该OP实现了层归一化层（Layer Normalization Layer），其可以应用于小批量输入数据。更多详情请参考：

    计算公式如下

    • layer_norm - 图1

      : 该层神经元的向量表示

    • : 层中隐藏神经元个数

    • : 添加较小的值到方差中以防止除零

    • layer_norm - 图2

      : 可训练的比例参数

    参数：

    • input (Tensor) - 维度为任意维度的多维 Tensor ，数据类型为float32或float64。

    • shift (bool, 可选) - 指明是否在归一化后学习自适应偏差 。默认值：True。

    • begin_norm_axis (int, 可选) - 指明归一化将沿着 begin_norm_axis 到 rank（input） 的维度执行。默认值：1。

    • param_attr (ParamAttr, 可选) - 指定权重参数属性的对象。默认值为None，表示使用默认的权重参数属性。具体用法请参见 ParamAttr 。

    • bias_attr (ParamAttr, 可选) - 指定偏置参数属性的对象。默认值为None，表示使用默认的偏置参数属性。具体用法请参见 。

    • act (str, 可选) - 应用于输出上的激活函数，如tanh、softmax、sigmoid，relu等，支持列表请参考 激活函数 ，默认值为None。

    • name (str, 可选) - 具体用法请参见 ，一般无需设置，默认值为None。。

    代码示例