Softmax

    Softmax激活层,OP的计算过程如下:

    步骤1:输入 xaxis 维会被置换到最后一维;

    步骤2:将输入 在逻辑上变换为二维矩阵。二维矩阵第一维(列长度)是输入除最后一维之外的其他维度值的乘积,第二维(行长度)和输入 axis 维的长度相同;对于矩阵的每一行,softmax操作对其进行重新缩放,使得该行的每个元素在 [0,1] 范围内,并且总和为1;

    上述步骤2中softmax操作计算过程如下:

    • 示例1(矩阵一共有三维。axis = -1,表示沿着最后一维(即第三维)做softmax操作)
    • 示例2(矩阵一共有三维。axis = 1,表示沿着第二维做softmax操作)