通过前面几个经典模型学习，我们可以发现随着深度学习的不断发展，模型的层数越来越多，网络结构也越来越复杂。那么是否加深网络结构，就一定会得到更好的效果呢？从理论上来说，假设新增加的层都是恒等映射，只要原有的层学出跟原模型一样的参数，那么深模型结构就能达到原模型结构的效果。换句话说，原模型的解只是新模型的解的子空间，在新模型解的空间里应该能找到比原模型解对应的子空间更好的结果。但是实践表明，增加网络的层数之后，训练误差往往不降反升。

    Kaiming He等人提出了残差网络ResNet来解决上述问题，其基本思想如 图6所示。

    • 图6(a)：表示增加网络的时候，将x映射成 输出。
    • 图6(b)：对图6(a)作了改进，输出 ResNet - 图2 。这时不是直接学习输出特征y的表示，而是学习 。
      • ResNet - 图5 也叫做残差项，如果 的映射接近恒等映射，图6(b)中通过学习残差项也比图6(a)学习完整映射形式更加容易。

    ResNet - 图7

    图6(b)的结构是残差网络的基础，这种结构也叫做残差块（residual block）。输入x通过跨层连接，能更快的向前传播数据，或者向后传播梯度。残差块的具体设计方案如 图7 所示，这种设计方案也成称作瓶颈结构（BottleNeck）。

    图7：残差块结构示意图

    ResNet - 图9

    图8：ResNet-50模型网络结构示意图

    ResNet-50的具体实现如下代码所示：