最小二乘法(一元)推导

1 声明

本文的数据来自网络，部分代码也有所参照，这里做了注释和延伸，旨在技术交流，如有冒犯之处请联系博主及时处理。

2 最小二乘法简介

最小二乘法是一种优化的方法，它主要是通过最小化误差的平方和来做函数拟合的方法。

Excel版演示过程见 Excel一元线性回归示例

3 最小二乘法一元推导

有如下回归模型

其中a，b，μ2  都是不依赖于x的未知参数，记ε=Y-（a+bx）。

这里令残差平方和的表达式为：

则取Q分别对a，b取偏导数，并令它们为零。

则得(重复的加换成乘，相同的加提取公因子)正规方程组

这里因为xi不全相同，（借助克拉姆法则）则正规方程组的系数行列式为

即方程组有唯一解。

则得到 a和b的值

成为Y对x的经验回归方程。

带入^a后，回归方程又可写成如下形式：

Qe称之为残差平方和，它是回归函数在xi处的值与xi处的yi偏差的平方和。

总结

以上是生活随笔为你收集整理的最小二乘法(一元)推导的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。