决策树公式

[[1, 1, ‘yes‘], [1, 1, ‘yes‘], [1, 0, ‘no‘], [0, 1, ‘no‘], [0, 1, ‘no‘]]

经验熵 - 经验条件熵

“yes”有两个，no 有3个，经验熵 = - 2/5  * log(2/5) - 3/5 * log(3/5)，这个公式设为def|

划分数据集，从特征1划分就是分为两个数据集[[ 1, ‘yes‘], [ 1, ‘yes‘], [ 0, ‘no‘]]  和[ [ 1, ‘no‘], [ 1, ‘no‘]]

经验条件熵就是 3/5* def(第一个数据集) + 2/5 * def(第二个数据集)

计算信息增益的公式就是

经验熵-经验条件熵