中文官方文档：http://lightgbm.apachecn.org/cn/latest/Installation-Guide.html

英文官方文档：https://lightgbm.readthedocs.io/en/latest/

1.lightGBM安装

在anaconda中输入：pip install lightGBM即可

输入import lightgbm as lgb做测试

2.lightGBM改进

1.直方图差加速:直方图算法的基本思想是先把连续的浮点特征值离散化成k个整数，同时构造一个宽度为k的直方图。在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。内存消耗降低，计算上的代价也大幅降低
2.leaf-wise:每次从当前所有叶子中，找到分裂增益最大的一个叶子，然后分裂，如此循环。因此同Level-wise相比，在分裂次数相同的情况下，Leaf-wise可以降低更多的误差，得到更好的精度。可能会长出比较深的决策树，产生过拟合。因此LightGBM在Leaf-wise之上增加了一个最大深度限制，在保证高效率的同时防止过拟合。
3.特征并行和数据并行：特征并行的主要思想是在不同机器在不同的特征集合上分别寻找最优的分割点，然后在机器间同步最优的分割点。数据并行则是让不同的机器先在本地构造直方图，然后进行全局的合并，最后在合并的直方图上面寻找最优分割点。
4.直接支持类别特征：可以直接输入类别特征，不需要额外的0/1 展开,LightGBM 是第一个直接支持类别特征的 GBDT 工具。

3.常用参数解释

4.lightGBM使用

#读模型数据
import pandas as pd
df=pd.read_csv('all_data.csv')#剔除模型无关变量和完全线性相关的变量"""采样"""
df_1 = df[df['LABEL'] == 1]
df_0 = df[df['LABEL'] == 0]
df3 = df_0.sample(10000)df_con= pd.concat([df_1, df3], ignore_index=True)#剔除模型无关变量和完全线性相关的变量
select_var = ~df.columns.isin(["PERSONID","LABEL","CREATETIME_time"])X = df.ix[:, select_var]
Y = df.LABEL.values
#X=(X-X.mean(axis=0))/X.std(axis=0)
X=X.fillna(0)from sklearn.cross_validation import train_test_split
train_X, test_X, train_y, test_y = train_test_split(X, Y, train_size = 0.8, random_state = 123)import lightgbm as lgb
lgb_train = lgb.Dataset(train_X, train_y, free_raw_data=False)
lgb_eval = lgb.Dataset(test_X, test_y, reference=lgb_train,free_raw_data=False)param = {
'task': 'train',
'boosting_type': 'gbdt',
'objective': 'binary',
'metric': {'l2', 'auc'},
'num_leaves': 40,
'learning_rate': 0.01,
'feature_fraction': 0.8,
'bagging_fraction': 0.8,
'bagging_freq': 5,
'verbose': 0
}
param['is_unbalance']='true'
param['metric'] = 'auc'bst=lgb.cv(param,lgb_train, num_boost_round=1000, nfold=6, early_stopping_rounds=100)estimators = lgb.train(param,lgb_train,num_boost_round=len(bst['auc-mean']))print('Start training...')y_pred = estimators.predict(test_X, num_iteration=estimators.best_iteration)from sklearn import metrics
print('The roc of prediction is:', metrics.roc_auc_score(test_y, y_pred) )print('Feature names:', estimators.feature_name())
print('Feature importances:', list(estimators.feature_importance()))