权重噪声注入：将噪音作用于权重。这项技术主要用于循环神经网络。

权重噪声注入可以解释为：将权重视作不确定的随机变量（拥有某个概率分布），向权重注入噪声是对该随机变量采样得到的一个随机值。

在某些假设下，权重噪声注入等价于传统的参数正则化形式。

假设有一个 层的标准的深度前馈神经网络，我们将噪声注入到该网络的权重。

假设 ，则有：

常数项包含了高斯分布的方差（与 无关）。

于是目标函数重写为： 。

假设每个权重添加一个随机扰动 ， 它是一个均值为0、方差为 的标准正态分布。

假设有 ，即：模型对于增加扰动之后的期望等于原来的模型。

于是：

根据：

于是有：

如果是简单的线性回归，即 ，则权重噪声注入等价的参数正则化项退化为 。

该正则化项与模型的参数无关，因此对 关于 的梯度没有贡献，因此目标函数可以重写为： 。

有些数据集存在少量的 标签是错误的，此时通过最大似然准则来最大化 是不正确的。

输出噪声注入显式地对标签上的噪音进行建模：假设某个很小的常数 ， 标签 是正确的概率为 、是错误的概率为 。

基于 个输出的单元的标签平滑正则化：将真实的标签从 替换为 。

原始的标签： 个为 ， 一个为 。注入噪声之后的标签： 个为 ，一个为 。