理解CART决策树

CART算法

原理

CART全称为Classification and Regression Tree。

回归树

相比ID3，CART遍历所有的特征和特征值，然后使用二元切分法划分数据子集，也就是每个节点都只会分裂2个分支。接着计算数据子集的总方差来度量数据子集的混乱程度，总方差越小数据子集越纯，最后选择总方差最小的划分方式对应的特征和特征值，而二元切分的依据就是将小于等于这个特征值和大于这个特征值的数据划分为两块。这里说的总方差一般就是通过数据子集的样本输出值的均方差 * 数据子集的样本个数来计算。最后的输出结果是取各叶子节点数据的中位数或均值。

分类树

相比ID3，CART一般选择基尼不纯度来代替信息增益的方式度量数据子集的不纯度。基尼不纯度越小，数据纯度越高。相比回归树，分类树对于离散或者连续特征的处理都是采用二元切分的方式，但是在数据子集的混乱程度的计算上，是用基尼不纯度替代总方差的方式。

基尼不纯度的定义：从一个数据集中随机选取子项，度量其被错误的划分到其他组里的概率。

先不着急理解这句话，先看下面对基尼不纯度的表达式的解释。

• 假设一个数据集中有K个类别，第k个类别的概率为p_k, 则基尼系数的表达式为：
  
  上面的公式中，p_k表示第k个类别出现的概率，那么1-p_k显然就是当前数据集中，除了第k个类别以外的其他所有类别出现的概率，所以两者相乘就是当前数据集中，第k个类别和其他所有类别都出现的概率，这个概率越高，数据集越不纯。
  现在再看上面的定义，应该就好理解了吧。
• 对于个给定的样本D,假设有K个类别, 第k个类别的数量为CkCk,则样本D的基尼系数表达式为：
  
• 对于样本D,如果根据特征A的某个值a,把D分成D1和D2两部分，则在特征A的条件下，D的基尼系数表达式为：
  

算法库调用

在scikit-learn库中的决策树算法是使用了调优过的CART算法，既可以做分类，又可以做回归。

代码

分类树对应DecisionTreeClassifier，回归树对应DecisionTreeRegressor。代码示例和参数说明如下：

from sklearn.tree import DecisionTreeClassifier
clf_dt = DecisionTreeClassifier()
clf_dt.fit(train_X, train_y)
predictions_dt = clf_dt.predict(test_X)[:,None]

参数

决策树可视化

安装graphviz

可视化需要先安装graphviz，这是一个开源的图形可视化软件，官网：https://graphviz.gitlab.io，下载适合自己操作系统的文件即可。

如果是windows操作系统，可以点此下载安装包。安装完成记得设置一下环境变量将 xxx/Graphviz2.38/bin/加入PATH

安装python插件：

pip install graphviz
pip install?pydotplus

代码示例

from sklearn.datasets import load_iris
from sklearn import tree
import pydotplus
import os
# 如果执行程序总是找不到Graphviz命令，可以加入下面这行代码，注意修改路径为你的正确的Graphviz/bin目录的路径
os.environ["PATH"] += os.pathsep + 'H:/program_files/Graphviz2.38/bin'
# 训练模型
iris = load_iris()
clf = tree.DecisionTreeClassifier()
clf = clf.fit(iris.data, iris.target)
# 用pydotplus生成iris.pdf
dot_data = tree.export_graphviz(clf, out_file=None,
                                feature_names=iris.feature_names,
                                class_names=iris.target_names,
                                filled=True, rounded=True,
                                special_characters=True)
graph = pydotplus.graph_from_dot_data(dot_data)
graph.write_pdf("iris.pdf")

查看pdf文件

参考资料

https://www.cnblogs.com/pinard/p/6056319.html

https://blog.csdn.net/JJBOOM425/article/details/79997440

https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/tree/_tree.pyx

ok,本篇就这么多内容啦~，感谢阅读O(∩_∩)O。

原文地址：https://www.cnblogs.com/anai/p/12160820.html