欢迎访问 如意编程网!

如意编程网

当前位置: 首页 > 编程资源 > 编程问答 >内容正文

编程问答

论文阅读(Improving neural networks by preventing co-adaptation of feature detectors )

发布时间:2024/5/15 编程问答 2 豆豆
如意编程网 收集整理的这篇文章主要介绍了 论文阅读(Improving neural networks by preventing co-adaptation of feature detectors ) 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

显然看不懂英文然后出于各种原因最终被迫搜索了翻译版本,如有错误欢迎指出

介绍主体:

DropOut

目的:

对战过拟合的基础上提升速度和学习能力(力速双A✔)

思路:

通过在每个训练案例上随机省略一般的特征检测器而减小过拟合率。每一个神经元去学习如何检测特征更有助于得出正确答案。

具体实现:

  • 每个训练案例的每个呈现上,每个隐藏单元被随机地从网络中以0.5的概率省略。
  • 在测试过程中,每一个隐藏层的神经元都能保持激活,但是,必须将输出值乘以0.5,这是因为在测试的过程中,相比于训练过程,增加了一倍的神经元数目,因此,需要将神经元的输出乘以0.5作为补偿。
  • 神奇的地方:

    让一个非常大的,且在学习过程中会衰减的学习率作为训练的开始成为可能


    短小的原因当然是因为一时看不明白。。

    总结

    以上是如意编程网为你收集整理的论文阅读(Improving neural networks by preventing co-adaptation of feature detectors )的全部内容,希望文章能够帮你解决所遇到的问题。

    如果觉得如意编程网网站内容还不错,欢迎将如意编程网推荐给好友。