LayerNorm

    该接口用于构建 类的一个可调用对象，具体用法参照 。其中实现了层归一化层（Layer Normalization Layer）的功能，其可以应用于小批量输入数据。更多详情请参考：Layer Normalization

    计算公式如下

    • LayerNorm - 图2

      : 该层神经元的向量表示

    • : 层中隐藏神经元个数

    • : 添加较小的值到方差中以防止除零

    • LayerNorm - 图6

      : 可训练的偏差参数

    参数：

    • normalized_shape (int 或 list 或 tuple) – 需规范化的shape，期望的输入shape为 。如果是单个整数，则此模块将在最后一个维度上规范化（此时最后一维的维度需与该参数相同）。

    • bias_attr (ParamAttr, 可选) - 指定偏置参数属性的对象。如果为False固定为0，不进行学习。默认值为None，表示使用默认的偏置参数属性。具体用法请参见 。

    • name (string, 可选) – LayerNorm的名称, 默认值为None。更多信息请参见 Name 。

    返回：无

    形状：

    • input: 2-D, 3-D, 4-D或5D 的Tensor。