梯度算法求步长的公式_LM（Levenberg-Marquarelt）算法

LM算法是一种迭代求函数极值的算法，理解该算法首先要明白牛顿法求极值与梯度法求极值，LM算法综合了这两种算法的特点。

前面已经介绍了牛顿法求极值，最后高斯牛顿法求极值的递推公式为：

其中

是多维向量的 矩阵， 是多维向量的一阶梯度。

梯度法求极值递推公式为：

其中

是梯度下降的步长， 是多维向量的一阶梯度。

算法公式为：

可以看出该公式在高斯牛顿公式

上加一个调节因子 ，其中 是步长， 是单位矩阵（因为 是矩阵，所以这里要用矩阵形式表示步长）。

算法的特点：

当下降太快时使用较小的

，使整个公式接近高斯牛顿法；

当下降太慢时使用较大的

，使整个公式接近梯度法。

总结

以上是生活随笔为你收集整理的梯度算法求步长的公式_LM（Levenberg-Marquarelt）算法的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。