基于单决策树的AdaBoost

①起源：Boosting算法

Boosting算法的目的是每次基于全部数据集，通过使用同一种分类器不同的抽取参数方法（如决策树，每次都可以抽取不同的特征维度来剖分数据集）

训练一些不同弱分类器（单次分类错误率>0.5），然后将其组合起来，综合评估（默认认为每个分类器权重等价）进行分类。

AdaBoost算法进行了对其进行了改进。

一、每次训练分类器时，给予每条数据用于计算误差的不同权重D。

二、每个分类器，给予用于分类的不同权重alpha。

两种权的使用，使得AdaBoost在组合分类器时，能够根据当前的训练情况做一些调整。

②弱分类器：单决策树

单决策树应该是AdaBoost中使用最多的弱分类器。硬伤是单决策树是个0/1二类分类器。（实际是-1/+1二类）

一般决策树是通过DFS，连续选择不同维度多深度划分数据集。

单决策树就是一般决策树的1维版本，只搜dep=1就结束。

单决策树有两个好处：

一、单次分类效果很差（满足弱分类器定义）

二、只要选择维度不同，即便重复使用单决策树，也可以诞生出分类效果不同的分类器。

单决策树对于连续型数据，采用阀值（threshold）分类法。

首先确定所有数据中某个特征维度里的min/max范围。

然后采用步进的方法（每次阀值=min+当前步数*步长）来确定阀值。

基于同一个阀值，又可以把小于/大于阀值的分到不同类（2种分法）。

所以单决策树最多有【D*步数*2】种变形分类器。

②双权问题

一、分类器权alpha