BCEWithLogitsLoss

    该OP可创建一个BCEWithLogitsLoss的可调用类,计算输入 logit 和标签 label 间的 binary cross entropy with logits loss 损失。

    该OP结合了 sigmoid 操作和 api_nn_loss_BCELoss 操作。同时,我们也可以认为该OP是 sigmoid_cross_entrop_with_logits 和一些 reduce 操作的组合。

    在每个类别独立的分类任务中,该OP可以计算按元素的概率误差。可以将其视为预测数据点的标签,其中标签不是互斥的。例如,一篇新闻文章可以同时关于政治,科技,体育或者同时不包含这些内容。

    首先,该OP可通过下式计算损失函数:

    其中

    BCEWithLogitsLoss - 图1

    , 代入上方计算公式中:

    为了计算稳定性,防止当

    时,

    BCEWithLogitsLoss - 图2

    溢出,loss将采用以下公式计算:

    然后,当 weight or pos_weight 不为None的时候,该算子会在输出Out上乘以相应的权重。张量 weight 给Batch中的每一条数据赋予不同权重,张量 pos_weight 给每一类的正例添加相应的权重。

    最后,该算子会添加 reduce 操作到前面的输出Out上。当 reduction 为 none 时,直接返回最原始的 Out 结果。当 reduction 为 mean 时,返回输出的均值 Out\=MEAN(Out)Out\=MEAN(Out) 。当 reduction 为 sum 时,返回输出的求和 Out\=SUM(Out)Out\=SUM(Out) 。