梯度下降法与牛顿法的比较

参考知乎：https://www.zhihu.com/question/19723347

这篇博文讲牛顿法讲的非常好：http://blog.csdn.net/itplus/article/details/21896453

                              梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向，只考虑目标函数

                       在迭代点的局部性质；牛顿法同时考虑了目标函数的一、二阶偏导数，考虑了梯度变化

                      趋势，因而能更合适的确定搜索方向加快收敛，但牛顿法也存在以下缺点：

                             1、对目标函数有严格要求，必须有连续的一、二阶偏导数，海森矩阵必须正定；

                             2、计算量大，除梯度外，还需计算二阶偏导矩阵及其逆矩阵。

拟牛顿法：http://blog.csdn.net/itplus/article/details/21896619

                       

转载于:https://www.cnblogs.com/573177885qq/p/5950917.html

总结

以上是生活随笔为你收集整理的梯度下降法与牛顿法的比较的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。