3，基于信息论的三种决策树算法

划分数据集的最大原则是：使无序的数据变的有序。如果一个训练数据中有20个特征，那么选取哪个做划分依据？这就必须采用量化的方法来判断，量化划分方法有多重，其中一项就是“信息论度量信息分类”。基于信息论的决策树算法有ID3、CART和C4.5等算法，其中C4.5和CART两种算法从ID3算法中衍生而来。

ID3算法由Ross Quinlan发明，建立在“奥卡姆剃刀”的基础上：越是小型的决策树越优于大的决策树（be simple简单理论）。ID3算法中根据信息论的信息增益评估和选择特征，每次选择信息增益最大的特征做判断模块。ID3算法可用于划分标称型数据集，没有剪枝的过程，为了去除过度数据匹配的问题，可通过裁剪合并相邻的无法产生大量信息增益的叶子节点（例如设置信息增益阀值）。使用信息增益的话其实是有一个缺点，那就是它偏向于具有大量值的属性--就是说在训练集中，某个属性所取的不同值的个数越多，那么越有可能拿它来作为分裂属性，而这样做有时候是没有意义的，另外ID3不能处理连续分布的数据特征，于是就有了C4.5算法。

C4.5是ID3的一个改进算法，继承了ID3算法的优点。C4.5算法用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足在树构造过程中进行剪枝；能够完成对连续属性的离散化处理；能够对不完整数据进行处理。C4.5算法产生的分类规则易于理解、准确率较高；但效率低，因树构造过程中，需要对数据集进行多次的顺序扫描和排序。也是因为必须多次数据集扫描，C4.5只适合于能够驻留于内存的数据集。

CART算法的全称是Classification And Regression Tree，采用的是Gini指数（选Gini指数最小的特征s）作为分裂标准,同时它也是包含后剪枝操作。ID3算法和C4.5算法虽然在对训练样本集的学习中可以尽可能多地挖掘信息，但其生成的决策树分支较大，规模较大。为了简化决策树的规模，提高生成决策树的效率，就出现了根据GINI系数来选择测试属性的决策树算法CART。

4，决策树优缺点

决策树适用于数值型和标称型（离散型数据，变量的结果只在有限目标集中取值），能够读取数据集合，提取一些列数据中蕴含的规则。在分类问题中使用决策树模型有很多的优点，决策树计算复杂度不高、便于使用、而且高效，决策树可处理具有不相关特征的数据、可很容易地构造出易于理解的规则，而规则通常易于解释和理解。决策树模型也有一些缺点，比如处理缺失数据时的困难、过度拟合以及忽略数据集中属性之间的相关性等。

（二）ID3算法的数学原理

前面已经提到C4.5和CART都是由ID3演化而来，这里就先详细阐述ID3算法，奠下基础。

1，ID3算法的信息论基础

关于决策树的信息论基础可以参考“决策树1-建模过程”

（1）信息熵

信息熵：在概率论中，信息熵给了我们一种度量不确定性的方式，是用来衡量随机变量不确定性的，熵就是信息的期望值。若待分类的事物可能划分在N类中，分别是x₁，x₂，……，x_n，每一种取到的概率分别是P₁，P₂，……，P_n，那么X的熵就定义为：

，从定义中可知:0≤H(X)≤log(n)

当随机变量只取两个值时，即X的分布为 P(X=1)=p,X(X=0)=1?p,0≤p≤1则熵为:H(X)=?plog₂(p)?(1?p)log₂(1?p)。

熵值越高，则数据混合的种类越高，其蕴含的含义是一个变量可能的变化越多（反而跟变量具体的取值没有任何关系，只和值的种类多少以及发生概率有关），它携带的信息量就越大。熵在信息论中是一个非常重要的概念，很多机器学习的算法都会利用到这个概念。

(2)条件熵

假设有随机变量(X,Y)，其联合概率分布为:P(X=xi,Y=yi)=pij,i=1,2,?,n;j=1,2,?,m

则条件熵(H(Y∣X))表示在已知随机变量X的条件下随机变量Y的不确定性，其定义为X在给定条件下Y的条件概率分布的熵对X的数学期望:

（3）信息增益

信息增益(information gain)表示得知特征X的信息后，而使得Y的不确定性减少的程度。定义为:

2，ID3算法推导

(1)分类系统信息熵

假设一个分类系统的样本空间（D,Y），D表示样本（有m个特征），Y表示n个类别，可能的取值是C₁，C_2，...，C_n。每一个类别出现的概率是P(C₁)，P(C₂)，...，P(C_n)。该分类系统的熵为：

离散分布中，类别C_i出现的概率P(C_i)，通过该类别出现的次数除去样本总数即可得到。对于连续分布，常需要分块做离散化处理获得。

(2)条件熵

根据条件熵的定义,分类系统中的条件熵指的是当样本的某一特征X固定时的信息熵。由于该特征X可能的取值会有（x₁，x₂，……，x_n），当计算条件熵而需要把它固定的时候，每一种可能都要固定一下，然后求统计期望。

因此样本特征X取值为x_i的概率是P_i，该特征被固定为值x_i时的条件信息熵就是H(C|X=xi)，那么

H(C|X)就是分类系统中特征X被固定时的条件熵（X=（x₁，x₂，……，x_n））：

若是样本的该特征只有两个值（x₁ = 0,x₂=1）对应(出现，不出现)，如文本分类中某一个单词的出现与否。那么对于特征二值的情况，我们用T代表特征，用t代表T出现，表示该特征出现。那么：

与前面条件熵的公式对比一下，P(t)就是T出现的概率，就是T不出现的概率。结合信息熵的计算公式，可得：

特征T出现的概率P(t)，只要用出现过T的样本数除以总样本数就可以了；P(C_i|t)表示出现T的时候，类别C_i出现的概率，只要用出现了T并且属于类别C_i的样本数除以出现了T的样本数就得到了。

（3）信息增益

根据信息增益的公式，分类系统中特征X的信息增益就是：Gain(D, X) = H(C)-H(C|X)

信息增益是针对一个一个的特征而言的，就是看一个特征X，系统有它和没它的时候信息量各是多少，两者的差值就是这个特征给系统带来的信息增益。每次选取特征的过程都是通过计算每个特征值划分数据集后的信息增益，然后选取信息增益最高的特征。

对于特征取值为二值的情况，特征T给系统带来的信息增益就可以写成系统原本的熵与固定特征T后的条件熵之差：

(4)经过上述一轮信息增益计算后会得到一个特征作为决策树的根节点，该特征有几个取值，根节点就会有几个分支，每一个分支都会产生一个新的数据子集D_k，余下的递归过程就是对每个D_k再重复上述过程，直至子数据集都属于同一类。

在决策树构造过程中可能会出现这种情况：所有特征都作为分裂特征用光了，但子集还不是纯净集（集合内的元素不属于同一类别）。在这种情况下，由于没有更多信息可以使用了，一般对这些子集进行“多数表决”，即使用此子集中出现次数最多的类别作为此节点类别，然后将此节点作为叶子节点。

（三）C4.5算法

1，信息增益比选择最佳特征

以信息增益进行分类决策时，存在偏向于取值较多的特征的问题。于是为了解决这个问题人们有开发了基于信息增益比的分类决策方法，也就是C4.5。C4.5与ID3都是利用贪心算法进行求解，不同的是分类决策的依据不同。

因此，C4.5算法在结构与递归上与ID3完全相同，区别就在于选取决断特征时选择信息增益比最大的。

信息增益比率度量是用ID3算法中的的增益度量Gain(D，X)和分裂信息度量SplitInformation(D，X)来共同定义的。分裂信息度量SplitInformation(D，X）就相当于特征X（取值为x₁，x₂，……，x_n，各自的概率为P₁，P₂，...，P_n，P_k就是样本空间中特征X取值为x_k的数量除上该样本空间总数）的熵。

SplitInformation(D，X） = -P₁ log₂(P₁)-P₂ log₂(P)-,...,-P_n log₂(P_n)

GainRatio(D,X) = Gain(D,X)/SplitInformation(D,X)

在ID3中用信息增益选择属性时偏向于选择分枝比较多的属性值，即取值多的属性，在C4.5中由于除以SplitInformation(D,X)=H(X)，可以削弱这种作用。

2，处理连续数值型特征

C4.5既可以处理离散型描述属性，也可以处理连续性描述属性。在选择某节点上的分枝属性时，对于离散型描述属性，C4.5的处理方法与ID3相同。对于连续分布的特征，其处理方法是：

先把连续属性转换为离散属性再进行处理。虽然本质上属性的取值是连续的，但对于有限的采样数据它是离散的，如果有N条样本，那么我们有N-1种离散化的方法：<=v_j的分到左子树，>v_j的分到右子树。计算这N-1种情况下最大的信息增益率。另外，对于连续属性先进行排序，只有在决策属性（即分类发生了变化）发生改变的地方才需要切开，这可以显著减少运算量。经证明，在决定连续特征的分界点时采用增益这个指标，而选择属性的时候才使用增益率这个指标既能够很好得抑制连续值属性的倾向，也能选择出最佳分类特征。

在C4.5中，对连续属性的处理如下：

1.      对特征的取值进行排序

2.      两个特征取值之间的中点作为可能的分裂点，将数据集分成两部分，计算每个可能的分裂点的信息增益（InforGain）。优化算法就是只计算分类属性发生改变的那些特征取值。

3.      对每个分裂点的信息增益(InforGain)就行修正：减去log2(N-1)/|D|

4.      选择修正后信息增益(InforGain)最大的，分裂点作为该特征的最佳分裂点

5.      计算最佳分裂点的信息增益率（Gain Ratio）作为特征的Gain Ratio

6.      选择Gain Ratio最大的特征作为分裂属性

TBD

3，叶子裁剪

http://blog.sina.com.cn/s/blog_7399ad1f010153ap.html

避免树的高度无节制的增长，避免过度拟合数据。有两种常用的决策树剪枝处理方法，即预剪枝（pre-pruning）和后剪枝（post-pruning）。

（1）预剪枝--在预剪枝方法中，最直接的方法是通过提前设置决策树生长的最大深度，使决策树不能充分生长，进而达到预剪枝目的。预剪枝的核心问题是如何事先指定树的最大深度，如果设置的最大深度不恰当，那么将会导致过于限制树的生长，使决策树的表达式规则趋于一般，不能更好地对新数据集进行分类和预测。除了事先限定决策树的最大深度之外，还有另外一个方法来实现预剪枝操作，那就是采用检验技术对当前结点对应的样本集合进行检验，如果该样本集合的样本数量已小于事先指定的最小允许值，那么停止该结点的继续生长，并将该结点变为叶子结点，否则可以继续扩展该结点。

（2）后剪枝--后剪枝技术是指在完全生长而成的决策树的基础上，根据一定的规则标准，剪掉树中不具备一般代表性的子树，取而代之的是叶子结点，进而形成一棵规模较小的新树。决策树方法中的 CART、ID3、C4.5算法主要采用后剪枝技术。后剪枝操作是一个边修剪边检验的过程，一般规则标准是：在决策树的不断剪枝操作过程中，将原样本集合或新数据集合作为测试数据，检验决策树对测试数据的预测精度，并计算出相应的错误率，如果剪掉某个子树后的决策树对测试数据的预测精度或其他测度不降低，那么剪掉该子树。

C4.5算法采用的是后剪枝，后剪枝剪纸条件TBD。

（三）Python实现ID3、C4.5算法决策树

Python中不需要构造新的数据类型来存储决策树，使用字典dict即可方便的存储节点信息，永久存储则可以通过pickle或者JSON将决策树字典写入文件中，本包采用JSON。包中trees模块定义了一个decisionTree对象，同时支持ID3和C4.5两种算法（C4.5算法连续特征的处理和后剪枝没有实现），该对象中的属性如函数__init__中所示：

Source Code:▼Copy

1. class decisionTree(object):
2. def __init__(self,dsDict_ID3 = None,dsDict_C45 = None, features = None, **args):
3. ‘‘‘currently support ID3 and C4.5, the default type is C4.5, CART TBD
4. ‘‘‘
5. obj_list = inspect.stack()[1][-2]
6. self.__name__ = obj_list[0].split(‘=‘)[0].strip()
7. self.dsDict_ID3 = dsDict_ID3
8. self.dsDict_C45 = dsDict_C45
9. #self.classLabel = classLabel
10. self.features = features

decisionTree对象的train函数的输入数据为样本列表和样本特征列表，其中样本列表每个元素的最后一项表示该元素的分类，格式如下所示：

1. dataSet = [[1,1,‘yes‘],
2. [1,1,‘yes‘],
3. [1,0,‘no‘],
4. [0,1,‘no‘],
5. [0,1,‘no‘]
6. ]
7. labels = [‘no surfacing‘, ‘flippers‘]

另外，通过Python的Matplotlib的注解功能则可以绘制树形图，方便展示。decisionTree对象提供了treePlot方法，通过模块treePlotter中的函数实现。

testDS模块则采用决策树决定患者是否能够佩戴隐形眼镜，需要考虑的特征因素包括四个--‘age‘, ‘prescript‘, ‘astigmatic‘, ‘tearRate‘。下图就是利用decisionTree对象生成的决策树。

决策树算法学习包下载地址：

（四）决策树应用

决策树技术在数据化运营中的主要用途体现在：作为分类、预测问题的典型支持技术，它在用户划分、行为预测、规则梳理等方面具有广泛的应用前景。

参考

C4.5处理连续属性

C4.5决策树

从决策树学习谈到贝叶斯分类算法、EM、HMM

决策树2-ID3,C4.5,CART