gbdt降低学习率可以实现正则化效果呢

问题：为什么降低学习率可以会有正则化效果呢？

因为一般根据在神经网络的经验而言，降低学习率，可以实现更高的训练效果，即进一步拟合；

在gbdt中，这个学习率与神经网络中的学习率担任的角色不一样；

gbdt中的学习率主要是调节每棵树的对预测结果的贡献；如果学习率下降，就降低了每棵树的贡献；模型训练的预测效果就会下降；为了达到和高学习率相同的效果，就需要生成更多的树；

当时的疑惑是如果下降学习率，那么就会生成更多的树，就会更加拟合；怎么会有正则化效果呢？

因为下降学习率，并没有增加更多的树，前提假设其他的超参是不变的；

在学习率等超参数固定的情况下，树的数量越多，就模型训练精度越高； 

在树的数量等超参数固定的情况下， 学习率越高，模型训练精度越高；

总结

以上是生活随笔为你收集整理的gbdt降低学习率可以实现正则化效果呢的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。