GBDT调参优化 | 您所在的位置:网站首页 › tlsg1016dt参数 › GBDT调参优化 |
1、scikit-learn GBDT类库概述
在sacikit-learn中,GradientBoostingClassifier为GBDT的分类类, 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同,当然有些参数比如损失函数loss的可选择项并不相同。这些参数中,类似于Adaboost,我们把重要参数分为两类,第一类是Boosting框架的重要参数,第二类是弱学习器即CART回归树的重要参数。 2、boosting框架参数GradientBoostingClassifier和GradientBoostingRegressor的参数绝大部分相同 n_estimators: 也就是弱学习器的最大迭代次数,或者说最大的弱学习器的个数。一般来说n_estimators太小,容易欠拟合,n_estimators太大,又容易过拟合,一般选择一个适中的数值。默认是100。在实际调参的过程中,我们常常将n_estimators和下面介绍的参数learning_rate一起考虑。 learning_rate: 即每个弱学习器的权重缩减系数𝜈,也称作步长,我们的强学习器的迭代公式为𝑓𝑘(𝑥)=𝑓𝑘−1(𝑥)+𝜈ℎ𝑘(𝑥)。𝜈的取值范围为0 |
CopyRight 2018-2019 实验室设备网 版权所有 |