降噪自动编码器:DAEs
生活随笔
收集整理的这篇文章主要介绍了
降噪自动编码器:DAEs
小编觉得挺不错的,现在分享给大家,帮大家做个参考.
什么是自动降噪编码器?
就是我们使用无监督的方式:完成自动降低数据中的无关紧要信息的方法:
理解一下这个东西
- 1.这里的dropout到底是做什么的?
我们想这样的一个问题,如果我们不使用dropout,那么训练出来的东西,很有可能只是将原来的内容直接拷贝一份,显然和我们的初衷不一样,所以我们需要丢到一部分,让模型学会从其他剩下的信息当中恢复这个。而不是直接得到这个。 - 2.这里其实我们不难证明这个东西的结果(a1,a2。。。an)当中的aj是一定不来自aj(或者描述为很少来自aj)的,
因为如果输出当中的aj很大程度来自原来的ak的时候,这时候aj在dropout随机丢弃这个和随机不丢弃这个的时候,输出结果将会有很大差异。所以说这个dropout还是十分有用的。 - 3.我们注意这里其实不难发现这里的的其实就是从a到a的一个过程,最后的损失函数就是判断两个像不像。
总结
以上是生活随笔为你收集整理的降噪自动编码器:DAEs的全部内容,希望文章能够帮你解决所遇到的问题。
- 上一篇: 对比学习系列论文MoCo v1(二):M
- 下一篇: 对比学习系列论文SDCLR(一)-Sel