声明:这篇博文是我基于一篇网络文章翻译的,并结合了自己应用中的一些心得,如果有侵权,请联系本人删除。
最近做推荐的时候,开始接触到Stacking方法,在周志华老师的西瓜书中,Stacking方法是在Bagging,Bosting方法后的模型集成方法,和投票法,简单平均法,加权平均法等方法在同一个讨论框架中。在网上查资料,也有学者认为Stacking方法是和Bagging,Bosting方法在同一个讨论框架中,我个人更加赞成周志华老师的论断,因为Stacking必须在模型差异较大,最好是不同模型,各有侧重的情况下,可能能够得到更好的集成效果,而Bagging和Bosting通常都是用的同一类模型,只是在训练样本上有所不同。
关于Stacking的学习资料有很多,下面罗列我找到的一些资料:
1. 首先要看的是Breiman的stacked regression,这是Stacking方法的提出论文;
2. Alexander K. Seewald等对stacked regression进行了改进,《How to Make Stacking Better and Faster While Also Taking Care of an Unknown Weakness》;
3. 如果对weka比较熟悉,Weka中实现了Stacking和StackingC,但是Weka默认的metaClassifier是ZeroR,不修改的话肯定试不出效果,要改成Linear Regression模型,而且要用Ridge regression选项,将Ridge的参数保持默认的值(1.0e-8)就可以了。
下面是我根据一篇博文翻译而来,这篇文章对Stacking方法的具体实现进行了详细阐述,还有代码实现,感谢原作者提供的很好的学习资料,原文地址:
http://blog.kaggle.com/2016/12/27/a-kagglers-guide-to-model-stacking-in-practice/
Introduction
Stacking(又叫做meta ensembling) 是利用多个模型的输出集成起来产生新模型的一种模型集成技术。由于集成后模型的平滑特性,通常集成后的模型能够在性能上优于任何一个用于集成的Base模型。并且集成的模型侧重表现好的模型,不信任(discredit)表现不好的模型。因此,stacking方法对于差别很大的基础模型,集成的有效性更佳。作者在这里提供一个简单的例子,演示stacking在具体实现时的方法。这篇文章的代码和数据可以参考网址:
https://github.com/ben519/MLPB
Motivation
假设四个人扔187个飞镖。其中150个飞镖观察是谁扔的,扔到了哪里(训练数据)。剩下的作为测试数据,知道飞镖的位置。我们的学习任务是根据飞镖的位置,猜测是谁扔的。
K-近邻(基础模型1)
首先我们用K-近邻模型尝试解决这个分类问题。为了选出最好的K值,我们用了5-折交叉验证和网格搜索方法检验K=(1,2,。。。。30).伪代码如下:
1.将训练数据等分为5份。这些就是测试数据集(test folds).
2.For K=1,2,...,10
1) 对每一个测试集(test fold)
a. 合并另外四个fold生成训练集合;
b.用当前的K值,在当前的训练集合上训练一个K-近邻模型;
c.对测试集进行预测,并评估预测结果的正确率。
2)计算上述5个不同测试集合的平均正确率。
3.将交叉验证得到的最好平均正确率的K值保存起来。
在我们的数据集上发现K=1能够获得最好的交叉验证准确率(平均正确率67%)。用K=1,我们在所有的训练数据上训练一个模型然后对测试数据进行预测。
最终我们得到了分类准确率70%的结果。
支撑向量机(基础模型2)
现在我们尝试用支撑向量机来解决预测问题。此外,我们加入了一维新的特征——DistFromCenter——用于衡量点到飞盘中心的距离,从而帮助数据能够线性可分。
用R语言的LiblinearR包,我们有两个超参数需要调试:
type
- L2-正则化L2-损失支撑向量机分类(对偶问题)
- L2-正则化L2-损失支撑向量机分类(原始问题)
- L2-正则化L1-损失支撑向量机分类(对偶问题)
- support vector classification by Crammer and Singer
- L1-正则化L2-损失支撑向量机分类
Cost
正则化常数的倒数。
参数组合的网格我们将尝试笛卡尔乘积,也就是用5个svm的类型(types)和Cost值取(0.01,0.1, 1, 10, 100, 1000, 2000).也就是:
同样地,用交叉验证和网格搜索方法,我们找到了最好的超参数是type=4以及cost=100.又一次,我们用这些参数在所有训练数据上训练模型,并在
测试数据上做测试。交叉验证的准确率为61%,测试数据集上78%的准确率。
模型叠加(Meta Ensembling, 元集成)
让我们来看一下每个模型对问题给出的分类边界,这个分类问题中一共有四个类别:Bob, Sue, Mark和Kate。
正如我们所料,SVM将Bob和Sue之间的投掷点分得不错,但是把Kate和Mark之间的投掷点分得很差。当然考察KNN能够得到类似的结论,KNN将Kate和Mark分得很好,但是将Bob和Sue的投掷点分得很差。也就是说,模型叠加有可能取得更好的效果。这里的启示:我们做Stacking之前也应该评估一下模型之间的差异性,如果是差异很大的模型(不同的模型各有所长),Stacking就能够取得很大的效果。
否则,效果提升可能就会很小。
(具体做法是画一个图:横轴是列表的位置,从1......n,表示样本根据得分排序后,列表总共的序。纵轴是docID,且只画label大于0的样本。一个用火柴棍,一个用点。
如果两个模型的结果上,棍的顶点和点重合的很多,就说明模型的差异不大,A模型排得好的,B模型也排得好,只是整体性能有差异,那么就选最好的模型就可以了。
如果不是,那么Stacking就值得做。)
以上述分类问题为例,Stacking的具体步骤是:
- 将训练数据分为5份,叫做test fold
- 定义一个数据集叫做train_meta,和训练数据集有相同的原始Id和fold id,加上两个空的列M1和M2.同样地,生成一个测试集叫做test_meta,和测试集合有相同的原始Id,加上两列,M1和M2.
- 对于每一个交叉验证集
{Fold1, Fold2, ..., Fold5}
3.1 将另外的4个CV集合合并用作训练CV集合;
3.2 对于每一个Base模型
M1: K近邻模型(K=1)
M2:SVM(type=4, cost=1000)
3.2.1 用training fold训练Base模型,并对test fold进行预测。将这些预测值保存在train_meta中用作stacking model的feature。
- 用所有的训练数据训练Base模型,并对测试数据进行预测。将这些预测值保存在test_meta中。
- 训练一个新的模型,S(也就是stacking 模型),用M1和M2当作特征,当然,也可以原来数据中的其他特征也用上。
S:Logistic Regression
- 用stacked model S对test_meta做预测。
这里我们用了Base模型的预测值作为stacked模型的特征,因此stacked模型能够知道每一个Base模型在哪些样本上表现得好,哪些样本上表现不好。此外,还有一点要注意,train_meta中每一个样本的预测值都不依赖自身产生(否则就会过拟合,理论上,这里用留一法的效果会最好。)
对于test_meta的stacked特征,我们有另外一种生成方式。用交叉验证得到的5个Base模型分别对test_meta数据打分,最后5个得分平均得到最后的M1和M2,这样做的好处是节省时间,因为我们不需要用所有的训练数据训练Base模型,但是这样做的弊端是基础模型在测试数据上预测的准确度要差一些。
Stacked模型的超参数调整
我们应该如何调整stacked模型的超参数呢?对于base模型,我们能够用交叉验证+网格搜索确定超参数。对于stacked模型,如果我们也用相同的数据切分方法进行超参数的调整,就会有问题。当然,换成别的数据切分方法也同样有问题。那么是什么问题呢?
假设我们用之前的数据划分,用{fold2, fold3, fold4, fold5}训练staked模型S,然后在fold1上评估效果,那么问题就来了,fold2,fold3,fold4,fold5的stacked特征都是fold1参与产生的。我们用fold1参与生成特征又在fold1上验证,就产生了过拟合。最终可能导致stacked模型的超参数,在测试集上的效果可能很不好。
实际应用中,这个问题其实无法避免,但是我们应该知道这个问题的存在。
Stacking Model的模型选择和特征选择
我们如何知道用什么模型作为stacker,除了stacked特征,应该选择哪些原始特征用到stacked模型的训练中呢?在作者的眼中,stacked模型和stacked特征的选择都更像是艺术而不是科学。
Stacking实践
原作者通常会在Kaggle机器学习竞赛中用到stacking方法。在实际的Business中,stacking方法要增加许多复杂性来换取一点点性能提升。不过还好,stacking方法通常能够获得比单独的模型更好的性能,而且不用考虑模型的选择。就是计算量大了点儿。