摘自《统计学习方法》 李航 第五章
决策树学习通常包括3个步骤:特征选择、决策树的生成、决策树的剪枝
决策树学习本质上是从训练集中归纳出一组分类规则。
决策树学习的损失函数通常是正则化的极大似然函数。
决策树的学习算法通常是采用启发式的方法,近似求解最优化问题
特征选择问题
特征选择在于选取对训练数据具有分类能力的特征。如果一个特征具有更好的分类能力,或者说,按照这一特征将训练数据集分割成子集,
使得各个子集在当前条件下有最好的分类,那么就更应该选择这个特征。
决策树的生成
ID3算法
ID3算法的核心是在决策树的各个节点上应用信息增益准则选择特征,递归的构建决策树。
缺点:ID3算法只有树的生成,所以该算法生成的树容易产生过拟合。
原文地址:https://www.cnblogs.com/zhibei/p/9074380.html
时间: 2024-10-20 21:43:11