扩展PyTorch

添加操作autograd需要Function为每个操作实现一个新的子类。回想一下，Function使用autograd来计算结果和梯度，并对操作历史进行编码。每个新功能都需要您实现两种方法：

forward() - 执行操作的代码。如果您指定了默认值，则可以根据需求使用任意参数，其中一些参数可选。这里支持各种Python对象。Variable参数在调用之前会被转换Tensor，并且它们的使用情况将在graph中注册。请注意，此逻辑不会遍历lists/dicts/和其他任何数据的结构，并且只考虑被直接调用的Variables参数。如果有多个输出你可以返回单个Tensor或格式的元组。另外，请参阅Function文档查找只能被forward()调用的有用方法的说明。
backward() - 计算梯度的公式. 它将被赋予与输出一样多的Variable参数, 其中的每一个表示对应梯度的输出. 它应该返回与输入一样多的Variable, 其中的每一个表示都包含其相应输入的梯度. 如果输入不需要计算梯度 (请参阅needs_input_grad属性),或者是非Variable对象,则可返回None类.此外,如果你在forward()方法中有可选的参数,则可以返回比输入更多的梯度,只要它们都是None类型即可.

现在，为了更方便使用这些自定义操作，推荐使用apply方法：

我们下面给出一个由非变量参数进行参数化的函数的例子:

你可能想检测你刚刚实现的backward方法是否正确的计算了梯度。你可以使用小的有限差分法(Finite Difference)进行数值估计。

添加操作的功能版本已经在上面的章节中已经介绍了。

由于nn大量使用autograd。所以，添加一个新的Module类需要实现一个Function类, 它会执行对应的操作并且计算梯度。我们只需要很少的代码就可以实现上面Linear模块的功能。现在，我们需要实现两个函数：

下面是实现Linear模块的方式：