| 参数 | 您所在的位置：网站首页 › g5925cpu参数 › 参数 |
|
参数
这个页面包含了 LightGBM 的所有参数. 一些有用的链接列表 Python API Parameters Tuning外部链接 Laurae++ Interactive Documentation更新于 08/04/2017 以下参数的default已经修改: min_data_in_leaf = 100 => 20 min_sum_hessian_in_leaf = 10 => 1e-3 num_leaves = 127 => 31 num_iterations = 10 => 100 参数格式参数的格式为 key1=value1 key2=value2 .... 并且, 在配置文件和命令行中均可以设置参数. 使用命令行设置参数时, 在 = 前后都不应该有空格. 使用配置文件设置参数时, 一行只能包含一个参数. 你可以使用 # 进行注释. 如果一个参数在命令行和配置文件中均出现了, LightGBM 将会使用命令行中的该参数. 核心参数 config, default="", type=string, alias=config_file 配置文件的路径 task, default=train, type=enum, options=train, predict, convert_model train, alias=training, for training predict, alias=prediction, test, for prediction. convert_model, 要将模型文件转换成 if-else 格式, 可以查看这个链接获取更多信息 Convert model parameters objective, default=regression, type=enum, options=regression, regression_l1, huber, fair, poisson, quantile, quantile_l2, binary, multiclass, multiclassova, xentropy, xentlambda, lambdarank, alias=objective, app , application regression application regression_l2, L2 loss, alias=regression, mean_squared_error, mse regression_l1, L1 loss, alias=mean_absolute_error, mae huber, Huber loss fair, Fair loss poisson, Poisson regression quantile, Quantile regression quantile_l2, 类似于 quantile, 但是使用了 L2 loss binary, binary log loss classification application multi-class classification application multiclass, softmax 目标函数, 应该设置好 num_class multiclassova, One-vs-All 二分类目标函数, 应该设置好 num_class cross-entropy application xentropy, 目标函数为 cross-entropy (同时有可选择的线性权重), alias=cross_entropy xentlambda, 替代参数化的 cross-entropy, alias=cross_entropy_lambda 标签是 [0, 1] 间隔内的任意值 lambdarank, lambdarank application 在 lambdarank 任务中标签应该为 int type, 数值越大代表相关性越高 (e.g. 0:bad, 1:fair, 2:good, 3:perfect) label_gain 可以被用来设置 int 标签的增益 (权重) boosting, default=gbdt, type=enum, options=gbdt, rf, dart, goss, alias=boost, boosting_type gbdt, 传统的梯度提升决策树 rf, Random Forest (随机森林) dart, Dropouts meet Multiple Additive Regression Trees goss, Gradient-based One-Side Sampling (基于梯度的单侧采样) data, default="", type=string, alias=train, train_data 训练数据, LightGBM 将会使用这个数据进行训练 valid, default="", type=multi-string, alias=test, valid_data, test_data 验证/测试 数据, LightGBM 将输出这些数据的度量 支持多验证数据集, 以 , 分割 num_iterations, default=100, type=int, alias=num_iteration, num_tree, num_trees, num_round, num_rounds, num_boost_round boosting 的迭代次数 Note: 对于 Python/R 包, 这个参数是被忽略的, 使用 train and cv 的输入参数 num_boost_round (Python) or nrounds (R) 来代替 Note: 在内部, LightGBM 对于 multiclass 问题设置 num_class * num_iterations 棵树 learning_rate, default=0.1, type=double, alias=shrinkage_rate shrinkage rate (收缩率) 在 dart 中, 它还影响了 dropped trees 的归一化权重 num_leaves, default=31, type=int, alias=num_leaf 一棵树上的叶子数 tree_learner, default=serial, type=enum, options=serial, feature, data, voting, alias=tree serial, 单台机器的 tree learner feature, alias=feature_parallel, 特征并行的 tree learner data, alias=data_parallel, 数据并行的 tree learner voting, alias=voting_parallel, 投票并行的 tree learner 请阅读 并行学习指南 来了解更多细节 num_threads, default=OpenMP_default, type=int, alias=num_thread, nthread LightGBM 的线程数 为了更快的速度, 将此设置为真正的 CPU 内核数, 而不是线程的数量 (大多数 CPU 使用超线程来使每个 CPU 内核生成 2 个线程) 当你的数据集小的时候不要将它设置的过大 (比如, 当数据集有 10,000 行时不要使用 64 线程) 请注意, 任务管理器或任何类似的 CPU 监视工具可能会报告未被充分利用的内核. 这是正常的 对于并行学习, 不应该使用全部的 CPU 内核, 因为这会导致网络性能不佳 device, default=cpu, options=cpu, gpu 为树学习选择设备, 你可以使用 GPU 来获得更快的学习速度 Note: 建议使用较小的 max_bin (e.g. 63) 来获得更快的速度 Note: 为了加快学习速度, GPU 默认使用32位浮点数来求和. 你可以设置 gpu_use_dp=true 来启用64位浮点数, 但是它会使训练速度降低 Note: 请参考 安装指南 来构建 GPU 版本 用于控制模型学习过程的参数 max_depth, default=-1, type=int 限制树模型的最大深度. 这可以在 #data 小的情况下防止过拟合. 树仍然可以通过 leaf-wise 生长. ; 0 意味着没有限制. min_data_in_leaf, default=20, type=int, alias=min_data_per_leaf , min_data, min_child_samples 一个叶子上数据的最小数量. 可以用来处理过拟合. min_sum_hessian_in_leaf, default=1e-3, type=double, alias=min_sum_hessian_per_leaf, min_sum_hessian, min_hessian, min_child_weight 一个叶子上的最小 hessian 和. 类似于 min_data_in_leaf, 可以用来处理过拟合. feature_fraction, default=1.0, type=double, 0.0 ; feature_fraction ; 1.0, alias=sub_feature, colsample_bytree 如果 feature_fraction 小于 1.0, LightGBM 将会在每次迭代中随机选择部分特征. 例如, 如果设置为 0.8, 将会在每棵树训练之前选择 80% 的特征 可以用来加速训练 可以用来处理过拟合 feature_fraction_seed, default=2, type=int feature_fraction 的随机数种子 bagging_fraction, default=1.0, type=double, 0.0 ; bagging_fraction ; 1.0, alias=sub_row, subsample 类似于 feature_fraction, 但是它将在不进行重采样的情况下随机选择部分数据 可以用来加速训练 可以用来处理过拟合 Note: 为了启用 bagging, bagging_freq 应该设置为非零值 bagging_freq, default=0, type=int, alias=subsample_freq bagging 的频率, 0 意味着禁用 bagging. k 意味着每 k 次迭代执行bagging Note: 为了启用 bagging, bagging_fraction 设置适当 bagging_seed , default=3, type=int, alias=bagging_fraction_seed bagging 随机数种子 early_stopping_round, default=0, type=int, alias=early_stopping_rounds, early_stopping 如果一个验证集的度量在 early_stopping_round 循环中没有提升, 将停止训练 lambda_l1, default=0, type=double, alias=reg_alpha L1 正则 lambda_l2, default=0, type=double, alias=reg_lambda L2 正则 min_split_gain, default=0, type=double, alias=min_gain_to_split 执行切分的最小增益 drop_rate, default=0.1, type=double 仅仅在 dart 时使用 skip_drop, default=0.5, type=double 仅仅在 dart 时使用, 跳过 drop 的概率 max_drop, default=50, type=int 仅仅在 dart 时使用, 一次迭代中删除树的最大数量 ;=0 意味着没有限制 uniform_drop, default=false, type=bool 仅仅在 dart 时使用, 如果想要均匀的删除, 将它设置为 true xgboost_dart_mode, default=false, type=bool 仅仅在 dart 时使用, 如果想要使用 xgboost dart 模式, 将它设置为 true drop_seed, default=4, type=int 仅仅在 dart 时使用, 选择 dropping models 的随机数种子 top_rate, default=0.2, type=double 仅仅在 goss 时使用, 大梯度数据的保留比例 other_rate, default=0.1, type=int 仅仅在 goss 时使用, 小梯度数据的保留比例 min_data_per_group, default=100, type=int 每个分类组的最小数据量 max_cat_threshold, default=32, type=int 用于分类特征 限制分类特征的最大阈值 cat_smooth, default=10, type=double 用于分类特征 这可以降低噪声在分类特征中的影响, 尤其是对数据很少的类别 cat_l2, default=10, type=double 分类切分中的 L2 正则 max_cat_to_onehot, default=4, type=int 当一个特征的类别数小于或等于 max_cat_to_onehot 时, one-vs-other 切分算法将会被使用 top_k, default=20, type=int, alias=topk 被使用在 Voting parallel 中 将它设置为更大的值可以获得更精确的结果, 但会减慢训练速度 IO 参数 max_bin, default=255, type=int 工具箱的最大数特征值决定了容量 工具箱的最小数特征值可能会降低训练的准确性, 但是可能会增加一些一般的影响（处理过度学习） LightGBM 将根据 max_bin 自动压缩内存。 例如, 如果 maxbin=255, 那么 LightGBM 将使用 uint8t 的特性值 max_bin, default=255, type=int min_data_in_bin, default=3, type=int - 单个数据箱的最小数, 使用此方法避免 one-data-one-bin（可能会过度学习） data_r和om_seed, default=1, type=int 并行学习数据分隔中的随机种子 (不包括并行功能) output_model, default=LightGBM_model.txt, type=string, alias=model_output, model_out 培训中输出的模型文件名 input_model, default="", type=string, alias=model_input, model_in 输入模型的文件名 对于 prediction 任务, 该模型将用于预测数据 对于 train 任务, 培训将从该模型继续 output_result, default=LightGBM_predict_result.txt, type=string, alias=predict_result, prediction_result prediction 任务的预测结果文件名 model_format, default=text, type=multi-enum, 可选项=text, proto 保存和加载模型的格式 text, 使用文本字符串 proto, 使用协议缓冲二进制格式 您可以通过使用逗号来进行多种格式的保存, 例如 text,proto. 在这种情况下, model_format 将作为后缀添加 output_model Note: 不支持多种格式的加载 Note: 要使用这个参数, 您需要使用 build 版本 `__ pre_partition, default=false, type=bool, alias=is_pre_partition 用于并行学习(不包括功能并行) true 如果训练数据 pre-partitioned, 不同的机器使用不同的分区 is_sparse, default=true, type=bool, alias=is_enable_sparse, enable_sparse 用于 enable/disable 稀疏优化. 设置 false 就禁用稀疏优化 two_round, default=false, type=bool, alias=two_round_loading, use_two_round_loading 默认情况下, LightGBM 将把数据文件映射到内存, 并从内存加载特性。 这将提供更快的数据加载速度。但当数据文件很大时, 内存可能会耗尽 如果数据文件太大, 不能放在内存中, 就把它设置为 true save_binary, default=false, type=bool, alias=is_save_binary, is_save_binary_file 如果设置为 true LightGBM 则将数据集(包括验证数据)保存到二进制文件中。 可以加快数据加载速度。 verbosity, default=1, type=int, alias=verbose ;0 = 致命的, =0 = 错误 (警告), ;0 = 信息 header, default=false, type=bool, alias=has_header 如果输入数据有标识头, 则在此处设置 true label, default="", type=string, alias=label_column 指定标签列 用于索引的数字, e.g. label=0 意味着 column_0 是标签列 为列名添加前缀 name: , e.g. label=name:is_click weight, default="", type=string, alias=weight_column 列的指定 用于索引的数字, e.g. weight=0 表示 column_0 是权重点 为列名添加前缀 name:, e.g. weight=name:weight Note: 索引从 0 开始. 当传递 type 为索引时, 它不计算标签列, 例如当标签为 0 时, 权重为列 1, 正确的参数是权重值为 0 query, default="", type=string, alias=query_column, group, group_column 指定 query/group ID 列 用数字做索引, e.g. query=0 意味着 column_0 是这个查询的 Id 为列名添加前缀 name: , e.g. query=name:query_id Note: 数据应按照 query_id. 索引从 0 开始. 当传递 type 为索引时, 它不计算标签列, 例如当标签为列 0, 查询 id 为列 1 时, 正确的参数是查询 =0 ignore_column, default="", type=string, alias=ignore_feature, blacklist 在培训中指定一些忽略的列 用数字做索引, e.g. ignore_column=0,1,2 意味着 column_0, column_1 和 column_2 将被忽略 为列名添加前缀 name: , e.g. ignore_column=name:c1,c2,c3 意味着 c1, c2 和 c3 将被忽略 Note: 只在从文件直接加载数据的情况下工作 Note: 索引从 0 开始. 它不包括标签栏 categorical_feature, default="", type=string, alias=categorical_column, cat_feature, cat_column 指定分类特征 用数字做索引, e.g. categorical_feature=0,1,2 意味着 column_0, column_1 和 column_2 是分类特征 为列名添加前缀 name:, e.g. categorical_feature=name:c1,c2,c3 意味着 c1, c2 和 c3 是分类特征 Note: 只支持分类与 int type. 索引从 0 开始. 同时它不包括标签栏 Note: 负值的值将被视为 missing values predict_raw_score, default=false, type=bool, alias=raw_score, is_predict_raw_score 只用于 prediction 任务 设置为 true 只预测原始分数 设置为 false 只预测分数 predict_leaf_index, default=false, type=bool, alias=leaf_index, is_predict_leaf_index 只用于 prediction 任务 设置为 true to predict with leaf index of all trees predict_contrib, default=false, type=bool, alias=contrib, is_predict_contrib 只用于 prediction 任务 设置为 true 预估 SHAP values, 这代表了每个特征对每个预测的贡献. 生成的特征+1的值, 其中最后一个值是模型输出的预期值, 而不是训练数据 bin_construct_sample_cnt, default=200000, type=int, alias=subsample_for_bin 用来构建直方图的数据的数量 在设置更大的数据时, 会提供更好的培训效果, 但会增加数据加载时间 如果数据非常稀疏, 则将其设置为更大的值 num_iteration_predict, default=-1, type=int 只用于 prediction 任务 用于指定在预测中使用多少经过培训的迭代 ;= 0 意味着没有限制 pred_early_stop, default=false, type=bool 如果 true 将使用提前停止来加速预测。可能影响精度 pred_early_stop_freq, default=10, type=int 检查早期early-stopping的频率 pred_early_stop_margin, default=10.0, type=double t提前early-stopping的边际阈值 use_missing, default=true, type=bool 设置为 false 禁用丢失值的特殊句柄 zero_as_missing, default=false, type=bool 设置为 true 将所有的0都视为缺失的值 (包括 libsvm/sparse 矩阵中未显示的值) 设置为 false 使用 na 代表缺失值 init_score_file, default="", type=string 训练初始分数文件的路径, "" 将使用 train_data_file + .init (如果存在) valid_init_score_file, default="", type=multi-string 验证初始分数文件的路径, "" 将使用 valid_data_file + .init (如果存在) 通过 , 对multi-validation进行分离 目标参数 sigmoid, default=1.0, type=double sigmoid 函数的参数. 将用于 binary 分类 和 lambdarank alpha, default=0.9, type=double Huber loss 和 Quantile regression 的参数. 将用于 regression 任务 fair_c, default=1.0, type=double Fair loss 的参数. 将用于 regression 任务 gaussian_eta, default=1.0, type=double 控制高斯函数的宽度的参数. 将用于 regression_l1 和 huber losses poisson_max_delta_step, default=0.7, type=double Poisson regression 的参数用于维护优化 scale_pos_weight, default=1.0, type=double 正值的权重 binary 分类 任务 boost_from_average, default=true, type=bool 只用于 regression 任务 将初始分数调整为更快收敛速度的平均值 is_unbalance, default=false, type=bool, alias=unbalanced_sets 用于 binary 分类 如果培训数据不平衡 设置为 true max_position, default=20, type=int 用于 lambdarank 将在这个 NDCG 位置优化 label_gain, default=0,1,3,7,15,31,63,..., type=multi-double 用于 lambdarank 有关获得标签. 列如, 如果使用默认标签增益 这个 2 的标签则是 3 使用 , 分隔 num_class, default=1, type=int, alias=num_classes 只用于 multiclass 分类 reg_sqrt, default=false, type=bool 只用于 regression 适合sqrt(label) 相反, 预测结果也会自动转换成 pow2(prediction) 度量参数 metric, default={l2 for regression}, {binary_logloss for binary classification}, {ndcg for lambdarank}, type=multi-enum, options=l1, l2, ndcg, auc, binary_logloss, binary_error … l1, absolute loss, alias=mean_absolute_error, mae l2, square loss, alias=mean_squared_error, mse l2_root, root square loss, alias=root_mean_squared_error, rmse quantile, Quantile regression huber, Huber loss fair, Fair loss poisson, Poisson regression ndcg, NDCG map, MAP auc, AUC binary_logloss, log loss binary_error, 样本: 0 的正确分类, 1 错误分类 multi_logloss, mulit-class 损失日志分类 multi_error, error rate for mulit-class 出错率分类 xentropy, cross-entropy (与可选的线性权重), alias=cross_entropy xentlambda, “intensity-weighted” 交叉熵, alias=cross_entropy_lambda kldiv, Kullback-Leibler divergence, alias=kullback_leibler 支持多指标, 使用 , 分隔 metric_freq, default=1, type=int 频率指标输出 train_metric, default=false, type=bool, alias=training_metric, is_training_metric 如果你需要输出训练的度量结果则设置 true ndcg_at, default=1,2,3,4,5, type=multi-int, alias=ndcg_eval_at, eval_at NDCG 职位评估, 使用 , 分隔 网络参数以下参数用于并行学习, 只用于基本(socket)版本。 num_machines, default=1, type=int, alias=num_machine 用于并行学习的并行学习应用程序的数量 需要在socket和mpi版本中设置这个 local_listen_port, default=12400, type=int, alias=local_port 监听本地机器的TCP端口 在培训之前, 您应该再防火墙设置中放开该端口 time_out, default=120, type=int 允许socket几分钟内超时 machine_list_file, default="", type=string, alias=mlist 为这个并行学习应用程序列出机器的文件 每一行包含一个IP和一个端口为一台机器。格式是ip port, 由空格分隔 GPU 参数 gpu_platform_id, default=-1, type=int OpenCL 平台 ID. 通常每个GPU供应商都会公开一个OpenCL平台。 default为 -1, 意味着整个系统平台 gpu_device_id, default=-1, type=int OpenCL设备ID在指定的平台上。 在选定的平台上的每一个GPU都有一个唯一的设备ID default为-1, 这个default意味着选定平台上的设备 gpu_use_dp, default=false, type=bool 设置为 true 在GPU上使用双精度GPU (默认使用单精度) 模型参数该特性仅在命令行版本中得到支持。 convert_model_language, default="", type=string 只支持cpp 如果 convert_model_language 设置为 task``时 该模型也将转换为 ``train, convert_model, default="gbdt_prediction.cpp", type=string 转换模型的输出文件名 其他 持续训练输入分数LightGBM支持对初始得分进行持续的培训。它使用一个附加的文件来存储这些初始值, 如下: 0.5 -0.1 0.9 ...它意味着最初的得分第一个数据行是 0.5,第二个是 -0.1` 等等。 初始得分文件与数据文件逐行对应, 每一行有一个分数。 如果数据文件的名称是 `train.txt`, 最初的分数文件应该被命名为train.txt.init` 与作为数据文件在同一文件夹。 在这种情况下, LightGBM 将自动加载初始得分文件, 如果它存在的话。 权重数据LightGBM 加权训练。它使用一个附加文件来存储权重数据, 如下: 1.0 0.5 0.8 ...它意味的重压着第一个数据行是 1.0, 第二个是 0.5, 等等. 权重文件按行与数据文件行相对应, 每行的权重为. 如果数据文件的名称是 train.txt, 应该将重量文件命名为 train.txt.weight 与数据文件相同的文件夹. 在这种情况下, LightGBM 将自动加载权重文件, 如果它存在的话. update: 现在可以在数据文件中指定 weight 列。请参阅以上参数的参数. 查询数据对于 LambdaRank 的学习, 它需要查询信息来训练数据. LightGBM 使用一个附加文件来存储查询数据, 如下: 27 18 67 ...它意味着第一个 27 行样本属于一个查询和下一个 18 行属于另一个, 等等. Note: 数据应该由查询来排序. 如果数据文件的名称是train.txt`,这个查询文件应该被命名为train.txt.query``查询在相同的培训数据文件夹中。 在这种情况下, LightGBM将自动加载查询文件, 如果它存在的话。 update: 现在可以在数据文件中指定特定的 query/group id。请参阅上面的参数组。 |
| CopyRight 2018-2019 实验室设备网 版权所有 |