神经网络的损失函数讲解

在应用python进行神经网络训练时，我们需要提供神经网络。如Keras中，

定义：在深度学习中。损失函数是用来衡量一组参数好坏的函数，其衡量方式是比较网络输出和真实输出的差异。
损失函数有很多别名：价值函数，目标函数，误差函数
损失函数并不使用测试数据来衡量网络的性能，损失函数用来指导训练过程，使得网络的参数向损失降低的方向改变。
训练过程：
人工智能的本质：最优化 （神经网络优化算法python手写实现）

损失函数特性

最小值，当网络的输出值和真实值一致时，损失为0，真实输出和网络输出越不一致时值越大。

损失函数要求是凸函数，容易可导。需要根据输出的变化而平滑的变化，如果不容易求导会导致训练过程缓慢。

损失函数的前提：

不同的任务类型需要不同的损失函数
回归型：绝对值误差，平方误差
分类型：hinge loss ,cross-entropy loss

回归评价函数

绝对值误差
outliers:异常值

平方误差
对异常值敏感原因：x偏移一点点，平方后会更大

分类评价函数

softmax

softmax公式如下

独热编码

cross-entropy loss
yk为真实输出，lk为网络输出，s(lk）表示对网络输出进行softmax,
k表示k个类别


为什么分类不用均方误差做损失函数

二分类
二分类可以不用softmax，使用sigmoid,也不用one-hot

二分类损失函数和多分类损失函数对比，其中σ为sigmoid函数

正则化

正则化可以和损失函数结合起来，防止过拟合
图中L为损失函数

作者：电气工程的计算机萌新-余登武

与50位技术专家面对面20年技术见证，附赠技术全景图

总结

以上是生活随笔为你收集整理的神经网络的损失函数讲解的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。