spectral_norm

    Spectral Normalization Layer

    该OP用于计算了fc、conv1d、conv2d、conv3d层的权重参数的谱正则值,输入权重参数应分别为2-D, 3-D, 4-D, 5-D张量,输出张量与输入张量shape相同。谱特征值计算方式如下。

    步骤1:生成形状为[H]的向量U,以及形状为[W]的向量V,其中H是输入权重张量的第 dim 个维度,W是剩余维度的乘积。

    步骤2: 应该是一个正整数,用U和V迭代计算 power_iters 轮,迭代步骤如下。

    步骤3:计算

    并特征值值归一化。

    σ(W)W\=uTWv\=Wσ(W)σ(W)\=uTWvW\=Wσ(W)

    Tensor, 谱正则化后权重张量,维度和数据类型与输入 weight 一致。