lgb参数及调参

1 参数含义

max_depth: 设置树的最大深度,默认为-1,即不限制最大深度,它用于限制过拟合

num_leave: 单颗树的叶子数目,默认为31

eval_metric: 评价指标,可以用lgb自带的,也可以自定义评价函数,

# 如下,评价函数为l1,程序会自动将预测值和标签传入eval_metric中,并返回score
gbm = lgb.LGBMRegressor(num_leaves=31,
                        learning_rate=0.05,
                        n_estimators=20)
gbm.fit(X_train, y_train,
        eval_set=[(X_test, y_test)],
        eval_metric='l1',
        early_stopping_rounds=5)
# 如下为自定义的评价指标
def rmsle(y_true, y_pred):
    return 'RMSLE', np.sqrt(np.mean(np.power(np.log1p(y_pred) - np.log1p(y_true), 2))), False
gbm.fit(X_train, y_train,
        eval_set=[(X_test, y_test)],
        eval_metric=rmsle,
        early_stopping_rounds=5)
# 如下可以同时用两个评价指标,输出的时候也是输出两个分数
def rae(y_true, y_pred):
    return 'RAE', np.sum(np.abs(y_pred - y_true)) / np.sum(np.abs(np.mean(y_true) - y_true)), False
gbm.fit(X_train, y_train,
        eval_set=[(X_test, y_test)],
        eval_metric=lambda y_true, y_pred: [rmsle(y_true, y_pred), rae(y_true, y_pred)],
        early_stopping_rounds=5)

imbalanced: 设置is_unbalance参数为True时会把负样本的权重设为：正样本数/负样本数。这个参数只能用于二分类。