相关模型优缺点
逻辑回归 ：

1. 优点a. 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；b. 简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；c. 适合二分类问题，不需要缩放输入特征；d. 内存资源占用小，只需要存储各个维度的特征值；
2. 缺点a. 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】；b. 不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；c. 对多重共线性数据较为敏感，且很难处理数据不平衡的问题；d. 准确率并不是很高，因为形式非常简单，很难去拟合数据的真实分布；

决策树模型
优点a. 简单直观，生成的决策树可以可视化展示b. 数据不需要预处理，不需要归一化，不需要处理缺失数据c. 既可以处理离散值，也可以处理连续值
缺点a. 决策树算法非常容易过拟合，导致泛化能力不强（可进行适当的剪枝）b. 采用的是贪心算法，容易得到局部最优解
4.4.1 集成模型集成方法（ensemble method） 通过组合多个学习器来完成学习任务，通过集成方法，可以将多个弱学习器组合成一个强分类器，因此集成学习 的泛化能力一般比单一分类器要好。 集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来， 形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最 终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有： Adaboost、GBDT、XgBoost、LightGBM等。

Baggin和Boosting：

1. 样本选择上： Bagging方法的训练集是从原始集中有放回的选取，所以从原始集中选出的各轮训练集之间是独立的；而Boosting方法需要每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值 是根据上一轮的分类结果进行调整
2. 样例权重上： Bagging方法使用均匀取样，所以每个样本的权重相等；而Boosting方法根据错误率不断调整样本的权值，错误率越大则权重越大
3. 预测函数上： Bagging方法中所有预测函数的权重相等；而Boosting方法中每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重4. 并行计算上： Bagging方法中各个预测函数可以并行生成；而Boosting方法各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。
   模型评估方法
   对于模型来说，其在训练集上面的误差我们称之为训练误差或者经验误差，而在测试集上的误差称之为测试误 差。 对于我们来说，我们更关心的是模型对于新样本的学习能力，即我们希望通过对已有样本的学习，尽可能的将所 有潜在样本的普遍规律学到手，而如果模型对训练样本学的太好，则有可能把训练样本自身所具有的一些特点当 做所有潜在样本的普遍特点，这时候我们就会出现过拟合的问题。 因此我们通常将已有的数据集划分为训练集和测试集两部分，其中训练集用来训练模型，而测试集则是用来评估 模型对于新样本的判别能力。 对于数据集的划分，我们通常要保证满足以下两个条件：
4. 训练集和测试集的分布要与样本真实分布一致，即训练集和测试集都要保证是从样本真实分布中独立同分布 采样而得；
5. 训练集和测试集要互斥 对于数据集的划分有三种方法：留出法，交叉验证法和自助法，下面挨个介绍： 1. ①留出法留出法是直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。需要注意 的是在划分的时候要尽可能保证数据分布的一致性，即避免因数据划分过程引入额外的偏差而对最终结果产 生影响。为了保证数据分布的一致性，通常我们采用分层采样的方式来对数据进行采样。Tips： 通常，会将数据集D中大约2/3~4/5的样本作为训练集，其余的作为测试集。2. ②交叉验证法

k折交叉验证通常将数据集D分为k份，其中k-1份作为训练集，剩余的一份作为测试集，这样就可以获得k组训 练/测试集，可以进行k次训练与测试，最终返回的是k个测试结果的均值。交叉验证中数据集的划分依然是依 据分层采样的方式来进行。对于交叉验证法，其k值的选取往往决定了评估结果的稳定性和保真性，通常k值选取10。 当k=1的时候，我们称之为留一法3. ③自助法我们每次从数据集D中取一个样本作为训练集中的元素，然后把该样本放回，重复该行为m次，这样我们就可 以得到大小为m的训练集，在这里面有的样本重复出现，有的样本则没有出现过，我们把那些没有出现过的样 本作为测试集。进行这样采样的原因是因为在D中约有36.8%的数据没有在训练集中出现过。留出法与交叉验证法都是使用分 层采样的方式进行数据采样与划分，而自助法则是使用有放回重复采样的方式进行数据采样 数据集划分总结 1. 对于数据量充足的时候，通常采用留出法或者k折交叉验证法来进行训练/测试集的划分；2. 对于数据集小且难以有效划分训练/测试集时使用自助法；3. 对于数据集小且可有效划分的时候最好使用留一法来进行划分，因为这种方法最为准确

竞赛利器XGBoost
1.1 XGBoost的三大板块XGBoost本身的核心是基于梯度提升树实现的集成算法，整体来说可以有三个核心部分：集成算法本身，用于集成的 弱评估器，以及应用中的其他过程
1.1 提升集成算法：重要参数n_estimatorsXGBoost的基础是梯度提升算法，因此我们必须先从了解梯度提升算法开始。梯度提升（Gradient boosting）是构建预测模型的最强大技术之一，它是集成算法中提升法（Boosting）的代表算法。集成算法通过在数据上构建多个弱 评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类表现。弱评估器被定义为是表现至少比 随机猜测更好的模型，即预测准确率不低于50%的任意模型。集成不同弱评估器的方法有很多种。有像我们曾经在随机森林的课中介绍的，一次性建立多个平行独立的弱评估器的 装袋法。也有像我们今天要介绍的提升法这样，逐一构建弱评估器，经过多次迭代逐渐累积多个弱评估器的方法。提 升法的中最著名的算法包括Adaboost和梯度提升树，XGBoost就是由梯度提升树发展而来的。梯度提升树中可以有回归树也可以有分类树，两者都以CART树算法作为主流，XGBoost背后也是CART树，这意味着XGBoost中所有的树都是二叉的。接下来，我们就以梯度提升回归树为例子，来了解一下Boosting算法是怎样工作的。

首先，梯度提升回归树是专注于回归的树模型的提升集成模型，其建模过程大致如下：最开始先建立一棵树，然后逐 渐迭代，每次迭代过程中都增加一棵树，逐渐形成众多树模型集成的强评估器。

简单建模测试
XGBoost在波士顿房价数据上的表现

from xgboost import XGBRegressor as XGBR
from sklearn.ensemble import RandomForestRegressor as RFR 
from sklearn.linear_model import LinearRegression as LinearR 
from sklearn.datasets import load_bostonfrom sklearn.model_selection import KFold, cross_val_score as CVS, train_test_split as TTS 
from sklearn.metrics import mean_squared_error as MSEimport pandas as pd import numpy as npimport matplotlib.pyplot as plt 
from time import timeimport
datetime  data = load_boston()
#波士顿数据集非常简单，但它所涉及到的问题却很多 
X = data.datay = data.target#2建模查看其它接口和属性
Xtrain,Xtest,Ytrain,Ytest = TTS(X,y,test_size=0.3,random_state=420)  
reg = XGBR(n_estimators=100).fit(Xtrain,Ytrain) reg.predict(Xtest) 
#传统接口
predictreg.score(Xtest,Ytest) 
#你能想出这里应该返回什么模型评估指标么？ 
MSE(Ytest,reg.predict(Xtest))  reg.feature_importances_
#树模型的优势之一：能够查看模型的重要性分数，可以使用嵌入法进行特征选择#交叉验证，与线性回归&随机森林回归进行对比
reg = XGBR(n_estimators=100) 
CVS(reg,Xtrain,Ytrain,cv=5).mean()
#这里应该返回什么模型评估指标，还记得么？
#严谨的交叉验证与不严谨的交叉验证之间的讨论：训练集or全数据？
CVS(reg,Xtrain,Ytrain,cv=5,scoring='neg_mean_squared_error').mean()  
#来查看一下sklearn中所有的模型评估指标
import sklearn sorted(sklearn.metrics.SCORERS.keys()) 
#使用随机森林和线性回归进行一个对比
rfr = RFR(n_estimators=100)CVS(rfr,Xtrain,Ytrain,cv=5).mean()  CVS(rfr,Xtrain,Ytrain,cv=5,scoring='neg_mean_squared_error').mean()  lr = LinearR() CVS(lr,Xtrain,Ytrain,cv=5).mean() CVS(lr,Xtrain,Ytrain,cv=5,scoring='neg_mean_squared_error').mean() 
#开启参数slient：在数据巨大，预料到算法运行会非常缓慢的时候可以使用这个参数来监控模型的训练进度
reg = XGBR(n_estimators=10,silent=False) CVS(reg,Xtrain,Ytrain,cv=5,scoring='neg_mean_squared_error').mean()
#1. 定义绘制以训练样本数为横坐标的学习曲线的函数
def plot_learning_curve(estimator,title, X, y,ax=None, 
#选择子图ylim=None, #设置纵坐标的取值范围cv=None,#交叉验证n_jobs=None #设定索要使用的线程):  from sklearn.model_selection import learning_curve import matplotlib.pyplot as pltimport numpy as np  train_sizes, train_scores, test_scores = learning_curve(estimator, X, y,shuffle=True,cv=cv,random_state=420,n_jobs=n_jobs)if ax == None:ax = plt.gca() else:ax = plt.figure() ax.set_title(title) if ylim is not None:ax.set_ylim(*ylim) ax.set_xlabel("Training examples")ax.set_ylabel("Score") ax.grid() #绘制网格，不是必须ax.plot(train_sizes, np.mean(train_scores, axis=1), 'o-', color="r",label="Training score") ax.plot(train_sizes, np.mean(test_scores, axis=1), 'o-', color="g",label="Test score") ax.legend(loc="best")return ax#1. 使用学习曲线观察XGB在波士顿数据集上的潜力cv = KFold(n_splits=5, shuffle = True, random_state=42) plot_learning_curve(XGBR(n_estimators=100,random_state=420),"XGB",Xtrain,Ytrain,ax=None,cv=cv)plt.show() #多次运行，观察结果，这是怎么造成的？#在现在的状况下，如何看数据的潜力？还能调上去么？