BatchNorm

    该接口用于构建 BatchNorm 类的一个可调用对象，具体用法参照 代码示例 。其中实现了批归一化层（Batch Normalization Layer）的功能，可用作卷积和全连接操作的批归一化函数，根据当前批次数据按通道计算的均值和方差进行归一化。更多详情请参考 : Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 当use_global_stats = False时，

    和

    BatchNorm - 图2

    是minibatch的统计数据。计算公式如下：

    • BatchNorm - 图4

    • : 当前批次数据的大小

    当use_global_stats = True时，

    BatchNorm - 图6

    和

    是全局（或运行）统计数据（moving_mean和moving_variance），通常来自预先训练好的模型。计算公式如下：

    归一化函数公式如下：

    BatchNorm - 图9

    • : 添加较小的值到方差中以防止除零

    • BatchNorm - 图11

      : 可训练的比例参数

    无