数据挖掘算法之c4.5

c4.5算法是机器学习算法中的一种分类决策树算法，其核心算法是ID3 。c4.5对ID3算法做了相对的改进。如下

1 采用信息增益率代替信息增益。因为使用信息增益时会偏向选取取值更多的属性。

2 在树的构造过程中进行剪枝

3 能够完成对连续属性的离散化处理

4 对不完整数据进行处理

c4.5算法有如下优点：产生的分类规则易于理解，准确率高。

缺点：在构造树的过程中，需要对数据集进行多次的顺序和排序，因而导致算法的低效

熵：

变量的不确定性越大，熵也就越大。熵是对信息的量化，不确定性越大，熵也就越大。因此在分类决策树中，可以选择熵最小的属性来作为分类特征。

信息增益：

按名称来理解的话，就是前后信息的差值，在决策树分类问题中，即就是决策树在进行属性选择划分前和划分后的信息差值，即可以写成：

gain()=infobeforeSplit()–infoafterSplit() 即 分割前的熵减去分割后的熵

举例如下

上面的训练集有4个属性，即属性集合A={OUTLOOK, TEMPERATURE, HUMIDITY, WINDY}；而类标签有2个，即类标签集合C={Yes, No}，分别表示适合户外运动和不适合户外运动，其实是一个二分类问题。
我们已经计算过信息增益，这里直接列出来，如下所示：
数据集D包含14个训练样本，其中属于类别“Yes”的有9个，属于类别“No”的有5个，则计算其信息熵：

下面对属性集中每个属性分别计算信息熵，如下所示：

根据上面的数据，我们可以计算选择第一个根结点所依赖的信息增益值，计算如下所示：

接下来，我们计算分裂信息度量H(V)：

• OUTLOOK属性

属性OUTLOOK有3个取值，其中Sunny有5个样本、Rainy有5个样本、Overcast有4个样本，则

• TEMPERATURE属性

属性TEMPERATURE有3个取值，其中Hot有4个样本、Mild有6个样本、Cool有4个样本，则

• HUMIDITY属性

属性HUMIDITY有2个取值，其中Normal有7个样本、High有7个样本，则

• WINDY属性

属性WINDY有2个取值，其中True有6个样本、False有8个样本，则

根据上面计算结果，我们可以计算信息增益率，如下所示：