3.9. 多层感知机的从零开始实现

    1. %matplotlib inline
    2. import d2lzh as d2l
    3. from mxnet import nd
    4. from mxnet.gluon import loss as gloss

    这里继续使用Fashion-MNIST数据集。我们将使用多层感知机对图像进行分类。

      1. batch_size = 256
      2. train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

      3.9.2. 定义模型参数

      ，类别数为10。本节中我们依然使用长度为 3.9. 多层感知机的从零开始实现 - 图2 的向量表示每一张图像。因此，输入个数为784，输出个数为10。实验中，我们设超参数隐藏单元个数为256。

      1. In [3]:
      1. In [4]:
      1. def relu(X):
      2.     return nd.maximum(X, 0)

      3.9.4. 定义模型

      同softmax回归一样，我们通过函数将每张原始图像改成长度为num_inputs的向量。然后我们实现上一节中多层感知机的计算表达式。

      1. In [5]:
      1. def net(X):
      2.     X = X.reshape((-1, num_inputs))
      3.     H = relu(nd.dot(X, W1) + b1)
      4.     return nd.dot(H, W2) + b2
      1. loss = gloss.SoftmaxCrossEntropyLoss()

      3.9.6. 训练模型

      训练多层感知机的步骤和一节中训练softmax回归的步骤没什么区别。我们直接调用包中的train_ch3函数，它的实现已经在“softmax回归的从零开始实现”一节里介绍过。我们在这里设超参数迭代周期数为5，学习率为0.5。

        1. num_epochs, lr = 5, 0.5
        2. d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size,
        3.               params, lr)
        1. epoch 1, loss 0.7785, train acc 0.713, test acc 0.823
        2. epoch 2, loss 0.4897, train acc 0.819, test acc 0.851
        3. epoch 3, loss 0.4237, train acc 0.843, test acc 0.868
        4. epoch 4, loss 0.3973, train acc 0.852, test acc 0.859
        5. epoch 5, loss 0.3688, train acc 0.863, test acc 0.874
        • 可以通过手动定义模型及其参数来实现简单的多层感知机。
        • 当多层感知机的层数较多时，本节的实现方法会显得较烦琐，例如在定义模型参数的时候。

        3.9.8. 练习

        • 改变超参数的值，看看对实验结果有什么影响。
        • 试着加入一个新的隐藏层，看看对实验结果有什么影响。