1 理论部分

首先说明一点，dropout是用来解决overfitting的，如果在训练集上实验效果就不理想，那么加了dropout也救不了。

1.1 training时的dropout

使用了Dropout之后，训练的时候，每个神经元都有p的概率不向后传递自己的信息。

把上图画×的申请元擦掉（因为这些神经元不传递自己的信息，在本轮training中是没有作用的），可以得到一个更“细”的神经网路

但这并不代表其他的神经元没有作用了。对每个mini-batch，我们重新计算那些神经元参与传递哪些没有。所以最后所有的参数都会被更新的。

1.2 testing时的dropout

测试模型的时候，神经元就都是相连的了，只不过权重值得乘以(1-p%)

从另一个视角看dropput，它相当于把一堆共享参数的model整合起来

2  pytorch实现Dropout

Dropout训练的时候，需要声明model.train()（不声明也行，因为默认是train状态）

Dropout测试的时候，则是需要声明model.eval()（如果不希望开启dropout进行训练，所有的神经元都参与前向传播和反向传播的话，在训练阶段开启前声明model.eval()即可）

#导入库 import torch#神经网络结构声明 net=torch.nn.Sequential(torch.nn.Linear(1,16),torch.nn.Dropout(p=0.5),torch.nn.ReLU(),torch.nn.Linear(16,2))net.train() net.eval() net ''' Sequential((0): Linear(in_features=1, out_features=16, bias=True)(1): Dropout(p=0.5, inplace=False)(2): ReLU()(3): Linear(in_features=16, out_features=2, bias=True) ) '''

 

总结

以上是生活随笔为你收集整理的pytorch 笔记 ：实现Dropout的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。