一、决策树

• 如何高效的进行决策？特征的先后顺序

二、信息熵

• 香农：信息是消除随机不定性的东西

• 定义：H的专业术语称之为信息熵，单位为比特
  

三、决策树的划分依据之一 ——信息增益

• 定义与公式：
  • 特征A对训练数据集D的信息增益g(D,A)定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为
    
• 当然决策树的原理不止信息增益这一种，还有其他方法，但是原理都类似
  • ID3：信息增益最大的准则
  • C4.5：信息增益比最大的准则
  • CART：
    • 分类树：基尼系数最小的准则，在sklearn中可以选择划分的默认原则
    • 优势：划分更加细致

四、决策树API

• sklearn.tree.DecisionTreeClassifier(criterion = ‘gini’,max_depth = None,random_state = None)
  • 决策树分类器
  • criterion：决策树划分依据，默认是’gini’系数，也可以选择信息增益的熵’entropy’
  • max_depth：树的深度大小
  • random_state：随机数种子

五、案例

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifierdef decision_iris():'''用决策树对鸢尾花进行分类:return:'''# 1、获取数据集iris = load_iris()# 2、划分数据集x_train, x_test, y_train, y_test = train_test_split(iris.data,iris.target,random_state=22)# 训练集的特征值x_train 测试集的特征值 x_test 训练集的目标值y_train 测试集的目标值y_test# 3、决策树预估器estimator = DecisionTreeClassifier(criterion='entropy')estimator.fit(x_train,y_train)# 4、模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print('y_predict:\n',y_predict)print('直接比对真实值和预测值:\n',y_test==y_predict)#方法2：计算准确率score = estimator.score(x_test,y_test)print('准确率为:\n',score)return Noneif __name__=='__main__':decision_iris()运行结果：
y_predict:[0 2 1 2 1 1 1 1 1 0 2 1 2 2 0 2 1 1 1 1 0 2 0 1 2 0 2 2 2 1 0 0 1 1 1 0 00]
直接比对真实值和预测值:[ True  True  True  True  True  True  True False  True  True  True  TrueTrue  True  True  True  True  True False  True  True  True  True  TrueTrue  True  True  True  True False  True  True  True  True  True  TrueTrue  True]
准确率为:0.9210526315789473

六、决策树可视化

1、保存树的结构到dot文件

• sklearn.tree.export_graphviz() 该函数能够导出DOT格式
  • tree.export_graphviz(estimator,out_file=‘tree.dot’,feature_names=[’ ‘,’ '])

from sklearn.tree import export_graphviz   #可视化决策树
export_graphviz(estimator,out_file='iris_tree.dot',feature_names=iris.feature_names)

2、网站显示结构

• webgraphviz.com
• 复制生成的dot文本中的内容进去即可

七、决策树总结

• 优点：简单的理解和解释，树木可视化
• 缺点：决策树学习者可以创建不能很好地推广数据的过于复杂的树木，这被称为过拟合
• 改进：
  • 减枝cart算法（决策树API当中已经实现，随机森林参数调优有相关介绍）
  • 随机森林