经验风险与结构风险

偏差与方差(bias and variance)

 

在回归问题中,我们用一个简单的线性模型来拟合样本,称为线性回归,如图1;或者用更复杂,高维的函数来拟合,比如二次函数得到图2,六次函数得到图3.

 

我们可以看出来, 六次函数完美地拟合了六个点,误差为0.但是,当我们用这样的拟合模型来进行预测的时候,效果反而不好.

通过观察我们发现,二次的模型也许能够更好地拟合这些样本分布.

虽然1,3图都不能很好地拟合真实分布,但是他们的问题是很不一样的.

我们暂且称图1的问题为偏差(bias),图3的问题为方差(variance).

 

一般误差与经验误差

 

我们来定义如下几个概念:

1.      一般误差:

指的是,我们使用拟合的模型,在任意样本下,得到的误差.也就是模型的真实误差,也称一般误差.

2.      经验误差:

指的是训练样本的误差,也就是上图中拟合函数对于这

总结

以上是生活随笔为你收集整理的经验风险与结构风险的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。