引言
SVM做二分类问题很简单明了,但是如何用二分类构建多分类问题,自己查找了部分资料,发现普遍分为两种,一种是直接法,直接求解多目标函数优化问题,但这种方法计算量很大,不实用,另外一种是间接法,通过多个二分类来实现多分类,常见的有一对多和一对一两种
最后针对一对一要构建n平方个二分类器,如果n过大,那么分类器个数过多的情况,提出一种有向无环图的方法,这种方法只需要构建n个分类器,但存在误差累计的问题
直接法求多目标优化问题(不实用)
一次性考虑所有样本,并求解一个多目标函数的优化问题,一串心得到多个分类的面
每个区域对应一个类别
但这种一次性求解的方法计算量太大,大到无法实用的地步
一对多
将类别1看作正类,其余2,3,4,5看作负类(一对多),这样拿一个样本来,可以告诉你是不是属于类别1的,如果不属于,再在2,3,4,5中继续寻找
存在两个问题:
一个是一个样本可能同时属于几个类
那么看一下这个样本到各个超平面的距离,哪个远判给哪个
另一个是一个样本可能不属于任何一个
这样这个样本属于第6类,这个类的数目远大于5类之和,所以会造成数据偏斜问题
一对一
将类别1看作正类,不降2,3,4,5都看作负类,而是从1-5中任意选取2种类别来分类,得到5*4/2=10中分类器,每一个分类器只告诉你是第一类还是第二类,或者是第一类还是第三类,统计所有分类器的票数,根据票数得到分类结果
这种问题不会有样本不属于任何一类的情形出现
但如果类别数比较大,比如1000,那么分类器的数目要上升到类别数的平方级别
复杂度较大
有向无环图
不会走回头路 >>> 减少分类器的数目
先问是第一类还是第五类
如果是第五类,再问是第二类还是第五类
如果是第五类,然后再问是第三类还是第五类
这样的话得到最后的结果不管怎样都只调用N个分类器,N是类别的数目,比起上面要调用N平方个分类器要减少很多
但问题在于存在误差累计,一旦犯错,后面都错的情况