近年来神经网络性能的大部分改变可归因于两个因素：更大的数据集、更大的网络（由于硬件的强大和软件设施的发展）。

算法上的部分改变也显著改善了神经网络的性能：

• 均方误差在20世纪80年代和90年代流行，后来逐渐被交叉熵代替。交叉熵大大提高了输出单元和输出单元的模型的性能。

• 对于某些输入，生物神经元是完全不活跃的。
• 大多数时间，生物神经元位于不活跃的状态。

2006-2012年，人们普遍认为：前馈神经网络如果没有其他模型的辅助，则表现不佳。现在已经知道：当具备合适的资源和工程实践，前馈网络表现的非常好。