讲授集成学习的概念,Bootstrap抽样,Bagging算法,随机森林的原理,训练算法,包外误差,计算变量的重要性,实际应用
大纲:
集成学习简介
Boostrap抽样
Bagging算法
随机森林的基本原理
训练算法
包外误差
计算变量的重要性
实验环节
实际应用
随机森林是一种集成学习的算法,构建在bootstrap采样基础之上的,bagging算法基于boostrap采样,与之对应的是boosting算法。随机森林是多颗决策树的集成,由于采用了bootstrip采样,在训练时有一部分样本是没有被选中的,这些样本称为包外样本,训练完一个决策树之后可以测试这个样本集的误差,称为包外误差。
集成学习简介:
集成学习(ensemble learning)是机器学习中的一种哲学思想,它通过多个模型的组合形成一个精度更高的模型,参与组合的模型称为弱学习器(weaker learner),组合之后的模型称为强学习器。
在预测时使用这些弱学习器模型联合进行预测。
训练时需要用训练样本依次训练出这些弱学习器,如将训练集D分为D1、D2、...,分别用于训练弱学习器1、弱学习器2、...。
基于Bagging
原文地址:https://www.cnblogs.com/wisir/p/12043533.html
时间: 2024-11-09 17:05:56