算法理论——PLA

全称

perceptron learning algrithm

用武之地

二值分类问题，资料线性可分

算法核心（以二维平面为例）

找到一条直线w^Tx=0，一边全为+1，另一边全为-1。找到了这条线（即，向量w）就得到了分类器。

如何找到这条线？

每次选取分类出错的样本点，迭代执行：w_t+1^T=w_t^T+y_n(t)x_{n(t)  （t代表第t次迭代）}

直观理解：改变分界线的方向，尽量在下一次预测的时候将当前预测出错的这个点出现在线的另一边。

我的问题

这里是不是默认原点就在分界线上，因为都是围绕原点进行旋转的

怎么证明PLA一定线性可分？

假设w_f就是我们要的目标分界线的向量（下面简称为目标向量吧），有：

但现在，我们还没有达到迭代到目标向量，对于此时，我们的x_n(t)和y_n(t)有：

先记住上面这个结论，下面也要用到

现在想要知道，我们刚得到的w_t+1^T与w_f接近程度，可以用两者的内积来表示。内积的值越大，从某种角度来说，越接近。

但是这不能排除长度对内积的影响。

因此，下面来看看是不是能够排除长度的影响

易知：

又有：