树模型笔记

Adaboost原理

学习资料

1、https://www.youtube.com/watch?v=LsK-xG1cLYA

2、https://blog.csdn.net/v_JULY_v/article/details/40718799

算法流程简记

1、初始化/更新样本权重（学习资料1在11:32秒开始解释）

2、根据所选择的不纯度指标计算每个特征的最优划分点，比较得到最优特征，得到一个树桩（stump）

3、计算误差率（分错的样本的权重和）和这一轮得到的学习器在最终多个学习器中的加权系数（权重）

4、如果达到指定轮次或错误率为0，结束；否则回到步骤1

GBDT原理

学习资料

1、https://www.youtube.com/watch?v=3CC4N4z3GJc （GBDT回归树通俗理解）

2、https://www.youtube.com/watch?v=2xudPOBz-vs （GBDT回归树数学原理）

3、https://www.cnblogs.com/pinard/p/6140514.html （GBDT回归树使用中文术语解释）

4、https://www.youtube.com/watch?v=jxuNLH5dXCs （GBDT分类树通俗理解）

5、https://www.youtube.com/watch?v=StWY5QWMXCw （GBDT分类树数学原理）

6、https://jepsonwong.github.io/2018/05/18/GBDT/ （StatQuest解释有误，GBDT分类树并没用到泰勒展开）

算法流程简记

1、设第一棵CART树仅由一个节点组成，即将所有样本预测为固定的常数，求出使得所有样本损失的和最小的该常数，即得到第一个学习器（利用求导求最值的方法）

2、依次进行M轮，每一轮得到一颗CART树，并得到新的强学习器，每一轮子步骤：

A、计算损失函数关于上一轮得到的强学习器的负梯度（伪残差）

B、将样本的负梯度作为要预测的值，来拟合一颗CART回归树

C、求每个叶子节点的最佳输出值（对于落在该叶子的样本的负梯度的最佳估计），使得落在这个叶子的样本的损失的和最小，一般利用求导的方法来求该最佳预测值

D、得到该轮的强学习器

PS1：资料2解释说：资料3步骤d的公式中，求和号是考虑到有的样本可能落在多个叶子节点

PS2：资料3后面介绍正则化时才讲到学习率，所以步骤d没使用学习率，或者说学习率当做1了

3、得到最终的强学习器

GBDT用于分类时，每一轮得到的强学习器，都是相当于是把logit（对数几率）当做回归任务要预测的值（CART树的叶子节点的输出值），所以实际上得到的也是一堆CART回归树（所以也要注意，用于分类任务时，在步骤2的B阶段，也同样是使用平方损失来找到最佳划分点），其中每一棵回归树都是在拟合负梯度（除了初始化那棵，它拟合的就是能使得所有样本的损失和最小的logit）。最后使用sigmoid对强学习器的输出值进行激活即可得到概率值。对数几率的理解可以看 https://www.youtube.com/watch?v=ARfXDSkQf1Y

在回归问题中，平方误差损失关于预测值的导数是 $\hat y -y$，预测值-真实值，而负梯度就是 $y-\hat y$，即残差；而在二分类问题中，CART树的预测值实际上是logit（对数几率），如果用交叉熵损失对logit求导，结果也可以记为 $\hat y -y$，不过 $\hat y$ 在这里指的是概率，即 KaTeX parse error: Undefined control sequence: \sigmoid at position 1: \̲s̲i̲g̲m̲o̲i̲d̲ ̲(logit)，所以，分类树在每一轮计算负梯度时，可以先得到预测概率 $p$，然后也同样计算“残差”，就得到了负梯度。