Batch Normalization 与Dropout 的冲突

 

　　BN或Dropout单独使用能加速训练速度并且避免过拟合

　　但是倘若一起使用，会产生负面效果。

　　BN在某些情况下会削弱Dropout的效果

　　

　　对此，BN与Dropout最好不要一起用，若一定要一起用，有2中方法：

　　　　1 在所有BN层后使用Dropout

　　　　2 修改Dropout公式（如使用高斯Dropout）使得它对方差不是那么敏感

　　　　总体思路是降低方差偏移

 

reference

　　https://zhuanlan.zhihu.com/p/33101420

转载于:https://www.cnblogs.com/cbattle/p/9475361.html

总结

以上是生活随笔为你收集整理的Batch Normalization 与Dropout 的冲突的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。