在上一节中我们已经知道Dropout的核心思想是在训练时随机丢弃一部分神经元防止模型过度依赖某些局部特征从而缓解过拟合。这一节的重点就是把 Dropout 真正写出来看看它在代码里到底怎么实现。1. 从零实现 Dropout 的思路Dropout 的本质其实很简单假设某一层输出是X我们做三件事生成一个随机掩码mask按概率把一部分位置变成 0对保留下来的值做缩放对应公式是其中(X)输入(M)随机掩码(p)丢弃概率(\odot)按元素相乘也就是说被丢弃的位置直接清零保留下来的位置除以1-p保持整体期望不变2. 从零开始实现 Dropout 函数先手动写一个dropout_layer。import torch from torch import nn from d2l import torch as d2l导入需要的库。然后定义 Dropout 层def dropout_layer(X, dropout): assert 0 dropout 1 if dropout 1: return torch.zeros_like(X) if dropout 0: return X mask (torch.rand(X.shape) dropout).float() return mask * X / (1.0 - dropout)3. 这段代码怎么理解第 1 行assert 0 dropout 1确保丢弃概率合法必须在 0 到 1 之间。第 2~3 行if dropout 1: return torch.zeros_like(X)如果丢弃率是 1说明全部丢掉直接返回全 0 张量。第 4~5 行if dropout 0: return X如果丢弃率是 0说明一个都不丢直接返回原输入。第 6 行mask (torch.rand(X.shape) dropout).float()这一步生成随机掩码。torch.rand(X.shape)会生成和X同形状的随机数每个位置都是 0 到 1 之间的均匀分布如果某个位置大于dropout就保留记为 1否则丢弃记为 0例如dropout0.5时大约一半位置会变成 0。第 7 行return mask * X / (1.0 - dropout)这一步才是真正的 Dropout。mask * X被丢掉的位置直接归零/ (1.0 - dropout)对保留下来的值做缩放这样做是为了让训练时输出的期望值和测试时尽量一致。4. 简单测试一下可以随便构造一个输入看看效果X torch.arange(16, dtypetorch.float32).reshape((2, 8)) print(X) print(dropout_layer(X, 0)) print(dropout_layer(X, 0.5)) print(dropout_layer(X, 1))你会发现dropout0输出不变dropout0.5随机一半元素变成 0其余放大dropout1全部变成 05. 在多层感知机中使用 Dropout接下来把 Dropout 加到 MLP 中。这里仍然用 Fashion-MNIST 数据集做分类任务。num_inputs, num_outputs, num_hiddens1, num_hiddens2 784, 10, 256, 256 dropout1, dropout2 0.2, 0.5这里表示输入维度 784输出类别 10两个隐藏层每层 256 个神经元第一层后丢弃率 0.2第二层后丢弃率 0.56. 定义模型参数W1 nn.Parameter(torch.randn(num_inputs, num_hiddens1) * 0.01) b1 nn.Parameter(torch.zeros(num_hiddens1)) W2 nn.Parameter(torch.randn(num_hiddens1, num_hiddens2) * 0.01) b2 nn.Parameter(torch.zeros(num_hiddens2)) W3 nn.Parameter(torch.randn(num_hiddens2, num_outputs) * 0.01) b3 nn.Parameter(torch.zeros(num_outputs)) params [W1, b1, W2, b2, W3, b3]这和前面从零实现 MLP 的思路一样W1, b1输入层到第一隐藏层W2, b2第一隐藏层到第二隐藏层W3, b3第二隐藏层到输出层7. 定义 ReLU 激活函数def relu(X): a torch.zeros_like(X) return torch.max(X, a)这里还是使用最常见的 ReLU。8. 定义前向传播这一步最关键。def net(X, is_trainingTrue): X X.reshape((-1, num_inputs)) H1 relu(X W1 b1) if is_training: H1 dropout_layer(H1, dropout1) H2 relu(H1 W2 b2) if is_training: H2 dropout_layer(H2, dropout2) return H2 W3 b39. 这一段前向传播怎么理解第 1 行X X.reshape((-1, num_inputs))把输入图片展平成 784 维向量。第 2 行H1 relu(X W1 b1)输入层经过第一层线性变换再经过 ReLU得到第一隐藏层输出。第 3~4 行if is_training: H1 dropout_layer(H1, dropout1)如果当前处于训练模式就对第一隐藏层做 Dropout。如果是测试模式就不做 Dropout。第 5 行H2 relu(H1 W2 b2)第一隐藏层再经过第二层线性变换和 ReLU得到第二隐藏层输出。第 6~7 行if is_training: H2 dropout_layer(H2, dropout2)第二隐藏层也做 Dropout。第 8 行return H2 W3 b3最后送入输出层得到 10 个类别分数。10. 训练模型下面就和前面一样定义损失函数和优化器。num_epochs, lr, batch_size 10, 0.5, 256 loss nn.CrossEntropyLoss(reductionnone) train_iter, test_iter d2l.load_data_fashion_mnist(batch_size) updater torch.optim.SGD(params, lrlr)然后训练d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)11. 完整代码下面给你一份适合直接放博客的完整版本。import torch from torch import nn from d2l import torch as d2l def dropout_layer(X, dropout): assert 0 dropout 1 if dropout 1: return torch.zeros_like(X) if dropout 0: return X mask (torch.rand(X.shape) dropout).float() return mask * X / (1.0 - dropout) num_inputs, num_outputs 784, 10 num_hiddens1, num_hiddens2 256, 256 dropout1, dropout2 0.2, 0.5 W1 nn.Parameter(torch.randn(num_inputs, num_hiddens1) * 0.01) b1 nn.Parameter(torch.zeros(num_hiddens1)) W2 nn.Parameter(torch.randn(num_hiddens1, num_hiddens2) * 0.01) b2 nn.Parameter(torch.zeros(num_hiddens2)) W3 nn.Parameter(torch.randn(num_hiddens2, num_outputs) * 0.01) b3 nn.Parameter(torch.zeros(num_outputs)) params [W1, b1, W2, b2, W3, b3] def relu(X): a torch.zeros_like(X) return torch.max(X, a) def net(X, is_trainingTrue): X X.reshape((-1, num_inputs)) H1 relu(X W1 b1) if is_training: H1 dropout_layer(H1, dropout1) H2 relu(H1 W2 b2) if is_training: H2 dropout_layer(H2, dropout2) return H2 W3 b3 num_epochs, lr, batch_size 10, 0.5, 256 loss nn.CrossEntropyLoss(reductionnone) train_iter, test_iter d2l.load_data_fashion_mnist(batch_size) updater torch.optim.SGD(params, lrlr) d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)12. 简洁实现如果不用从零写PyTorch 已经内置了 Dropout写法更简单。net nn.Sequential( nn.Flatten(), nn.Linear(784, 256), nn.ReLU(), nn.Dropout(0.2), nn.Linear(256, 256), nn.ReLU(), nn.Dropout(0.5), nn.Linear(256, 10) )然后正常训练num_epochs, lr, batch_size 10, 0.5, 256 loss nn.CrossEntropyLoss() trainer torch.optim.SGD(net.parameters(), lrlr) train_iter, test_iter d2l.load_data_fashion_mnist(batch_size) d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)13. 从零实现和简洁实现的区别从零实现你自己手动写了随机掩码保留与丢弃逻辑缩放操作训练和测试模式控制优点是能真正理解 Dropout 的本质。简洁实现直接调用nn.Dropout(p)优点是代码短、开发方便实际工程中更常用。14. 总结丢弃法的代码实现本质上就是三步随机生成掩码把一部分神经元输出置 0对保留下来的部分做缩放在训练时启用 Dropout在测试时关闭 Dropout。这样做可以有效打破神经元之间的过强依赖从而缓解过拟合。所以这一节最关键的代码其实就是mask (torch.rand(X.shape) dropout).float() return mask * X / (1.0 - dropout)它几乎就把 Dropout 的核心思想完整体现出来了。你下一条最适合接的是《丢弃法每一行代码详细注释版》。