写一个个人认为比较详细的adaboost算法

最近在看机器学习中adaboost（adaptive boostint）算法部分的内容，在csdn上面查找一番发现，好像没有讲的特别的详尽的，当然可能是我人品不佳，所以没有找到，为了防止同样的事情发生在其他人的身上，所以就写了这篇博文，尽量多的解释算法的推演过程更方便的大家去理解这个算法。

介绍adaboost算法之前，首先介绍一下学习算法的强弱，这个是PAC定义的：弱学习算法---识别错误率小于1/2(即准确率仅比随机猜测略高的学习算法)，强学习算法---识别准确率很高并能在多项式时间内完成的学习算法。

接着我就用我所理解的例子来介绍一下adaboost算法，相信看过这个计算过程大家对这个算法肯定有更深刻的理解，由于csdn插入公式比较困难，所以下面的步骤我就用word截图来表示了，对了先叙述一下adaboost算法的迭代过程吧，这样对后面的计算会理解的更深刻一些。

adaboost算法迭代过程：

有了adaboost算法的迭代过程，那么我们就可以利用已知的公式对上面的式子进行简化了，下面的公式应用的会更多一些

推导部分就到这里好了，接下来就是用例子来帮助大家理解adaboost算法的过程了，恩，见证奇迹的时刻到来了

好了到了这里对adaboost算法的过程肯定是理解了吧，那么我接着来放一个code来实现一下这个过程，必定会加深大家对这个算法的理解，OK，开始。

01.# coding: UTF-8
02.from __future__ import division
03.import numpy as np
04.import scipy as sp
05.from weakclassify import WEAKC
06.from dml.tool import sign
07.class ADABC:
08.    def __init__(self,X,y,Weaker=WEAKC):
09.        '''''
10.            Weaker is a class of weak classifier
11.            It should have a    train(self.W) method pass the weight parameter to train
12.                                pred(test_set) method which return y formed by 1 or -1
13.            see detail in <统计学习方法>
14.        '''
15.        self.X=np.array(X)
16.        self.y=np.array(y)
17.        self.Weaker=Weaker
18.        self.sums=np.zeros(self.y.shape)
19.        self.W=np.ones((self.X.shape[1],1)).flatten(1)/self.X.shape[1]
20.        self.Q=0
21.        #print self.W
22.    def train(self,M=4):
23.        '''''
24.            M is the maximal Weaker classification
25.        '''
26.        self.G={}
27.        self.alpha={}
28.        for i in range(M):
29.            self.G.setdefault(i)
30.            self.alpha.setdefault(i)
31.        for i in range(M):
32.            self.G[i]=self.Weaker(self.X,self.y)
33.            e=self.G[i].train(self.W)
34.            #print self.G[i].t_val,self.G[i].t_b,e
35.            self.alpha[i]=1/2*np.log((1-e)/e)
36.            #print self.alpha[i]
37.            sg=self.G[i].pred(self.X)
38.            Z=self.W*np.exp(-self.alpha[i]*self.y*sg.transpose())
39.            self.W=(Z/Z.sum()).flatten(1)
40.            self.Q=i
41.            #print self.finalclassifer(i),'==========='
42.            if self.finalclassifer(i)==0:
43.
44.                print i+1," weak classifier is enough to  make the error to 0"
45.                break
46.    def finalclassifer(self,t):
47.        '''''
48.            the 1 to t weak classifer come together
49.        '''
50.        self.sums=self.sums+self.G[t].pred(self.X).flatten(1)*self.alpha[t]
51.        #print self.sums
52.        pre_y=sign(self.sums)
53.        #sums=np.zeros(self.y.shape)
54.        #for i in range(t+1):
55.        #   sums=sums+self.G[i].pred(self.X).flatten(1)*self.alpha[i]
56.        #   print sums
57.        #pre_y=sign(sums)
58.        t=(pre_y!=self.y).sum()
59.        return t
60.    def pred(self,test_set):
61.        sums=np.zeros(self.y.shape)
62.        for i in range(self.Q+1):
63.            sums=sums+self.G[i].pred(self.X).flatten(1)*self.alpha[i]
64.            #print sums
65.        pre_y=sign(sums)
66.        return pre_y

先试验下《统计学习方法》里面那个最简单的例子：