唐宇迪深度学习笔记

【b站视频—唐宇迪深度学习网址】
https://www.bilibili.com/video/BV1CE411Q7dn?from=search&seid=4714546485764005493

多层感知机（MLP）

• 多个神经元以全连接层次相连
• 被称为前馈神经网络
• 万能逼近原理：非线性函数的有限次复合能逼近任何函数。
• MLP的困境：

目标函数通常为非凸函数；

极容易陷入局部最优值；

网络层数增加后，存在梯度消失或梯度爆炸问题。

典型网络结构

• 卷积神经网络

适合处理网格型数据：如物体识别、图片分类；

全连接网络并不适用于图像，会出现参数爆炸的问题；

卷积操作：稀疏链接、参数共享、等边表示；

• 循环神经网络

适合处理自然语言：如机器翻译、词性标注、词向量、语音识别、图像描述生成；

变体有LSTM、GRU；

• 自编码器

无监督特征学习；

输出尽量逼近输入；

隐层节点通常比输入小；

非线性：表达能力比PCA更好；

总结

以上是生活随笔为你收集整理的唐宇迪深度学习笔记的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。