反向传播算法 输入 提供初始信息,然后信息传播到每一层的隐单元,最终产生输出 。 反向传播算法允许来自代价函数的信息通过网络反向流动以便计算梯度。 反向传播不仅仅适用于神经网络,原则上它适用于计算任何函数的导数。 为一个或者多个变量的简单函数。 多个操作组合在一起可以描述一个更复杂的函数。 如果变量 是变量 通过一个操作计算得到,则在图中绘制一条从 到 的有向边。