一、集成方法:
1、什么是集成方法?
集成方法,又称元算法,是对算法的一种集成。集成方法可以有多种形式,可以使对不同算法的集成,也可以是同一算法在不同设置下的集成
2、为什么采用集成方法?
最通俗的理解,“三个臭皮匠,顶个诸葛亮”,对于分类,综合多个分类器的分类意见进行分类
3、弱分类器与强分类器
二、boosting
1、boosting是元算法中的一种
2、有何特点?
(1)所使用的多个分类器的类型是一致的
(2)每个分类器的权重不相等,权重代表的是其对应分类器在上一轮迭代中的成功度
(3)集中关注被已有分类器错分的那些数据来获得新的分类器
3、AdaBoost-Boosting的一种
AdaBoost:adaptive boosting,自适应boosting
三、AdaBoost
1、AdaBoost算法流程?
(1)训练数据集中的每个样本赋予同等权重
(2)弱分类器进行训练
(3)调整每个训练样本的权重:分类错误的样本权重增大,分类正确的样本权重减小
调整每个分类器的权重:错误率大则权重小
(4)重复(2)-(3),直到错误率降为0或者弱分类器的数目达到用户的指定值
2、弱分类器
任何一个分类算法都可以作为弱分类器,但是简单分类器的效果更好,本文采用单层决策树
单层决策树:仅仅基于单个特征进行决策,只有一次分裂过程
四、实现
时间: 2024-11-10 16:36:02