假设有如下数据

 

这些数据符合以下图关系（以一维数据为例），这里的函数f(w)忽略了偏置b

 1 最小二乘估计

         我们的目标是要求w，使得Xw和实际值y最近。所以我们对w求导，让结果等于0。就可以解得参数w   

     

         以上未考虑偏置b，如果考虑的话则可以为w添加一个维度，同时也为x添加一个维度并使得添加的维度的值为1，然后使用同样的求解方法即可。.

        使用最小二乘法可以看成损失函数是每个样本的误差的平方的总和

 1.1 最小二乘估计的几何解释

        一组向量的生成子空间（span）是原始向量线性组合后所能抵达的点的集合。

        确定方程Ax=b是否有解，相当于确定列向量向量b是否在A列向量的生成子空间中。（x此时是线性组合的系数）

        这个特殊的生成子空间被称为A的列空间（column space）或者A的值域（range）。

 

 

 1.2 最小二乘法与极大似然估计

 

 

 可以看到最小二乘法与噪声为高斯噪声时的极大似然估计法是等价的。

1.3 一定是极小值吗？ 

见NTU课程 CE7454 线性回归_UQI-LIUWJ的博客-CSDN博客 2.1

1.4 一定可逆吗？

见 NTU课程 CE7454 线性回归_UQI-LIUWJ的博客-CSDN博客 2.2

2 线性回归基础步骤

1，设计一个模型

以李宏毅机器学习中计算宝可梦cp值为例，我们先假设一组线性模型

 2，将预测结果与实际值进行比较

也就是设计一个损失函数loss function

 3 找到最好的模型

          我们评判模型的时候，不能光看在训练集上的loss，我们要看的是在测试集上的loss，也就是它的泛化能力

4 加权线性回归

损失函数变成：

（这里α是权重的对角矩阵）

 同样地进行展开推导

 然后对w求偏导：

于是有：

 

 

总结

以上是生活随笔为你收集整理的机器学习笔记：线性回归的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。