4.最优化基础 - 九、参数初始化策略 - 《AI算法工程师手册》

深度学习不具有这两类性质，通常是迭代的，且与初始值相关。
深度学习中，大多数算法都受到初始值的影响。初始值能够决定：算法最终是否收敛、以及收敛时的收敛速度有多快、以及收敛到一个代价函数较高还是较低的值。
深度学习中，初始值也会影响泛化误差，而不仅仅是目标函数的最优化。

因为如果选择一个不好的初始值，则最优化的结果会落在参数空间的一个较差的区域。此时会导致模型一个较差的泛化能力。
目前深度学习中，选择初始化策略是启发式的。
- 大多数初始化策略使得神经网络初始化时实现一些良好的性质。但是这些性质能否在学习过程中保持，难以保证。
- 有些初始化点从最优化的观点是有利的，但是从泛化误差的观点来看是不利的。
- 设定一个好的初始化策略是困难的，因为神经网络最优化任务至今都未被很好理解。
- 对于初始点如何影响泛化误差的理论是空白的，几乎没有任何指导。
度学习中，初始值的选择目前唯一确定的特性是：需要在不同单元之间破坏对称性。
- 如果具有相同激励函数的两个隐单元连接到相同的输入，则这些单元必须具有不同的初始化参数。
  
  如果它们具有相同的初始化参数，则非随机的学习算法将一直以同样的方式更新这两个单元。
通常的参数初始化策略为：随机初始化权重，偏置通过启发式挑选常数，额外的参数也通过启发式挑选常数。
在同样的数据集上，即使是用监督学习来训练一个不相关的任务，有时也能够得到一个比随机初始化更好的初始值。原因是：监督学习编码了模型初始参数分布的某些信息。

通常权重的初始化是从高斯分布或者均匀分布中挑选出来的值。
- 从高斯分布还是均匀分布中挑选，看起来似乎没有很大差别，实际上也没有被仔细研究。
- 该分布的范围（如均匀分布的上、下限）对优化结果和泛化能力有很大的影响。
初始权重的大小很重要，下面的因素决定了权重的初始值的大小：
- 更大的初始权重具有更强的破坏对称性的作用，有助于避免冗余的单元。
- 更大的初始权重也有助于避免梯度消失。
- 更大的初始权重也容易产生梯度爆炸。
- 循环神经网络中，更大的初始权重可能导致混沌现象：对于输入中的很小的扰动非常敏感，从而导致确定性算法给出了随机性结果。
关于如何初始化网络，正则化和最优化有两种不同的角度：
- 从最优化角度，建议权重应该足够大，从而能够成功传播信息。
有些启发式方法可用于选择权重的初始化大小。

假设有个输入，个输出的全连接层。
- 常见的做法是建议使用均匀分布的随机初始化：。
- 建议使用均匀分布的随机初始化：。
  
  这种方法使网络在相同激励方差和相同的梯度方差之间折中。
不幸的是上述启发式初始化权重的策略往往效果不佳。有三个可能的原因：
- 可能使用了错误的标准：约束网络中信号（如梯度、权重）的范数可能并不会带来什么好处。
- 初始化时强加给参数的性质可能在学习开始之后无法保持。
- 可能提高了优化速度，但意外地增大了泛化误差。
提出了一种称作稀疏初始化的替代方案：每个单元初始化为恰好具有个非零的权重。

这个方案有助于单元之间在初始化时就具有更大的多样性。
实践中，通常需要将初始权重范围视作超参数。

如果计算资源允许，可以将每层权重的初始数值范围设置为一个超参数，然后使用超参数搜索算法来挑选这些超参数。

9.2 偏置初始化

偏置的初始化通常更容易。大多数情况下，可以设置偏置初始化为零。
有时可以设置偏置初始化为非零，这发生在下面的三种情况：
- 如果偏置是作为输出单元，则初始化偏置为非零值。
  
  假设初始权重足够小，输出单元的输出仅由初始化偏置决定，则非零的偏置有助于获取正确的输出边缘统计。