label_smooth

    该OP实现了标签平滑的功能。标签平滑是一种对分类器层进行正则化的机制,称为标签平滑正则化(LSR)。由于直接优化正确标签的对数似然可能会导致过拟合,降低模型的适应能力,因此提出了标签平滑的方法来降低模型置信度。

    标签平滑使用标签

    和一些固定模式随机分布变量

    label_smooth - 图1

    。对

    标签,标签平滑的计算方式如下。

    其中

    label_smooth - 图2

    和 ϵϵ 分别是权重, yk~yk~ 是平滑后的标签,通常 μμ 使用均匀分布。

    关于更多标签平滑的细节, 。

    返回:为平滑后标签的 Tensor

    代码示例