欢迎访问 如意编程网!

如意编程网

当前位置: 首页 > 编程资源 > 编程问答 >内容正文

编程问答

Improving neural networks by preventing co-adaptation of feature detectors

发布时间:2024/5/15 编程问答 4 豆豆
如意编程网 收集整理的这篇文章主要介绍了 Improving neural networks by preventing co-adaptation of feature detectors 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

一.文献名字和作者

    Improving neural networks by preventing co-adaptation of feature detectors, G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov    

二.阅读时间

    2014年11月7日


三.文献的贡献点

     这篇文章主要提出了Dropout技术,用于神经网络出现过拟合的情况。

3.1主要过程

     Dropout的主要过程如下:      1.在训练过程中,对于每一个训练样本,隐藏层的每一个神经元能够保持激活的概率为0.5,;      2.在测试过程中,每一个隐藏层的神经元都能保持激活,但是,必须将输出值乘以0.5,这是因为在测试的过程中,相比于训练过程,增加了一倍的神经元数目,因此,需要将神经元的输出乘以0.5。

3.2 Dropout的好处

     1.Dropout的过程可以看做是一个在不同训练样本时网络结构不同的神经网络,但是这些网络都是用相同的权值;     2.Dropout使得能够在一个合适的时间能训练大量的结构不同的神经网络,虽然权值都是相同的;     3.使用L2模的权值梯度上限而不是使用L2模的权值惩罚项,使得神经网络能够从一个大的学习速率开始学习,同时也允许神经网络在一个大的权值空间进行搜索;     4.使用Dropout能够获得一个“平均网络”,使用“平均网络”能够获得比使用多个单个的dropout神经网络进行平均能够获得更好的效果。

3.3 与预训练相结合

    在和预训练进行结合的时候,需要将学习速率设置得比较小,同时,要将权值梯度的最大值设置取消,这样可以避免破坏了预训练过程中学习到的特征提取器。

3.4 与CNN结合

    对于CNN来说,dropout主要用于全连接层,在所有的全连接层都是用Dropout能够获得更好的效果。在输入层是用dropout也能获得比较好的效果,但是,必须保证输入的激活概率要在50%以上。

3.5 其他

    对于那些需要大量不同的“制度”来获得输入和输出关系的系统,其性能可以通过一个课学习的dropout概率来获得提升。

总结

以上是如意编程网为你收集整理的Improving neural networks by preventing co-adaptation of feature detectors的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得如意编程网网站内容还不错,欢迎将如意编程网推荐给好友。