OpenCV中的SVM參数优化

SVM（支持向量机）是机器学习算法里用得最多的一种算法。SVM最经常使用的是用于分类，只是SVM也能够用于回归，我的实验中就是用SVM来实现SVR（支持向量回归）。

对于功能这么强的算法，opencv中自然也是有集成好了，我们能够直接调用。OpenCV中的SVM算法是基于LibSVM软件包开发的，LibSVM是台湾大学林智仁(Lin Chih-Jen)等开发设计的一个简单、易于使用和高速有效的SVM模式识别与回归的软件包。

网上讲opencv中SVM使用的文章有非常多，但讲SVM參数优化的文章却非常少。所以在这里不重点讲怎么使用SVM，而是谈谈如何通过opencv中自带的库优化SVM中的各參数。

相信用SVM做过实验的人都知道，SVM的各參数对实验结果有非常大的影响，比方C，gama，P，coef等等。以下就是CvSVMParams类的原型。

C++: CvSVMParams::CvSVMParams()

C++: CvSVMParams::CvSVMParams(int svm_type,

int kernel_type,

double degree,

double gamma,

double coef0,

double Cvalue,

double nu,

double p,

CvMat* class_weights,

CvTermCriteria term_crit

　　　　　　　　)

<1>svm_type:指定SVM的类型(5种)：

  • CvSVM::C_SVC : C类支持向量分类机。 n类分组  (n≥2)，同意用异常值惩处因子C进行不全然分类。
  • CvSVM::NU_SVC : 类支持向量分类机。n类似然不全然分类的分类器。參数为代替C（其值在区间【0，1】中，nu越大，决策边界越平滑）。
  • CvSVM::ONE_CLASS : 单分类器，全部的训练数据提取自同一个类里，然后SVM建立了一个分界线以切割该类在特征空间中所占区域和其他类在特征空间中所占区域。
  • CvSVM::EPS_SVR : 类支持向量回归机。训练集中的特征向量和拟合出来的超平面的距离须要小于p。异常值惩处因子C被採用。
  • CvSVM::NU_SVR : 类支持向量回归机。 代替了 p。


<2>kernel_type:SVM的内核类型(4种)：


    

  • CvSVM::LINEAR : 线性内核，没有不论什么向映射至高维空间，线性区分（或回归）在原始特征空间中被完毕，这是最快的选择。
    • 



.


    

  • CvSVM::POLY : 多项式内核：
    • 



.


    

  • CvSVM::RBF : 基于径向的函数，对于大多数情况都是一个较好的选择：
    • 



.


    

  • CvSVM::SIGMOID : Sigmoid函数内核：
    • 



.


<3>degree:内核函数（POLY）的參数degree。


<4>gamma:内核函数（POLY/ RBF/ SIGMOID）的參数。


<5>coef0:内核函数（POLY/ SIGMOID）的參数coef0。


<6>Cvalue:SVM类型（C_SVC/ EPS_SVR/ NU_SVR）的參数C。


<7>nu:SVM类型（NU_SVC/ ONE_CLASS/ NU_SVR）的參数 。


<8>p:SVM类型（EPS_SVR）的參数。


<9>class_weights:C_SVC中的可选权重，赋给指定的类，乘以C以后变成 。所以这些权重影响不同类别的错误分类惩处项。权重越大，某一类别的误分类数据的惩处项就越大。


<10>term_crit:SVM的迭代训练过程的中止条件，解决部分受约束二次最优问题。您能够指定的公差和/或最大迭代次数。


当然对于一个特定的SVM训练器，里面的全部參数不一定全用。比方我用的svm_type为EPS_SVR，那么我要用到的參数主要就是p,c,gama这三个參数。以下是设置參数的代码


	CvSVMParams param;
	param.svm_type = CvSVM::EPS_SVR;  //我的实验是用SVR作回归分析，可能大部分人的实验是用SVM来分类，方法都一样
	param.kernel_type = CvSVM::RBF;
	param.C = 1;
	param.p = 5e-3;
	param.gamma = 0.01;
	param.term_crit = cvTermCriteria(CV_TERMCRIT_EPS, 100, 5e-3); 


设置參数后就能够用CvSVM.train()进行训练了，以下是train的原型


C++: bool CvSVM::train(const Mat& trainData,


　　　　　　const Mat& responses,


const Mat& varIdx=Mat(),


const Mat& sampleIdx=Mat(),


CvSVMParams params=CvSVMParams()


)


我在用train完毕训练预測时出现了过拟合的情况，即对于训练集的数据有非常好的预測结果，但对不在训练集的測试集预測值都一样（我在网上看到非常多网友也遇到这个问题）。于是我開始调整參数，调了半天也没个好结果。


后面我发现事实上opencv中SVM类是提供了优化參数值功能的，瞬间感觉世界美好了。以下讲讲详细的做法。


要让svm自己主动优化參数，那么训练时就不能再用train函数了，而应该用train_auto函数。以下是train_auto的函数原型


C++: bool CvSVM::train_auto(const Mat& trainData,


const Mat& responses,


const Mat& varIdx,


const Mat& sampleIdx,


CvSVMParams params,


int k_fold=10,


CvParamGrid Cgrid=CvSVM::get_default_grid(CvSVM::C), CvParamGrid gammaGrid=CvSVM::get_default_grid(CvSVM::GAMMA), CvParamGrid pGrid=CvSVM::get_default_grid(CvSVM::P),

 CvParamGrid nuGrid=CvSVM::get_default_grid(CvSVM::NU), CvParamGrid coeffGrid=CvSVM::get_default_grid(CvSVM::COEF), CvParamGrid degreeGrid=CvSVM::get_default_grid(CvSVM::DEGREE),


bool balanced=false


)


自己主动训练函数的參数凝视(13个)


    

  • 前5个參数參考构造函数的參数凝视。
    • 

  • k_fold: 交叉验证參数。训练集被分成k_fold的自子集。当中一个子集是用来測试模型，其它子集则成为训练集。所以，SVM算法复杂度是运行k_fold的次数。
    • 

  • *Grid: (6个)相应的SVM迭代网格參数。
    • 

  • balanced: 假设是true则这是一个2类分类问题。这将会创建很多其它的平衡交叉验证子集。
    • 



    自己主动训练函数的使用说明


    

  • 这种方法依据CvSVMParams中的最佳參数C, gamma, p, nu, coef0, degree自己主动训练SVM模型。
    • 

  • 參数被觉得是最佳的交叉验证，其測试集预估错误最小。
    • 

  • 假设没有须要优化的參数，对应的网格步骤应该被设置为小于或等于1的值。比如，为了避免gamma的优化，设置gamma_grid.step = 0，gamma_grid.min_val， gamma_grid.max_val 为随意数值。所以params.gamma 由gamma得出。
    • 

  • 最后，假设參数优化是必需的，可是对应的网格却不确定，你可能须要调用函数CvSVM::get_default_grid()，创建一个网格。比如，对于gamma，调用CvSVM::get_default_grid(CvSVM::GAMMA)。
    • 

  • 该函数为分类执行 (params.svm_type=CvSVM::C_SVC 或者 params.svm_type=CvSVM::NU_SVC) 和为回归执行 (params.svm_type=CvSVM::EPS_SVR 或者 params.svm_type=CvSVM::NU_SVR)效果一样好。假设params.svm_type=CvSVM::ONE_CLASS，没有优化，并指定执行一般的SVM。
    • 



这里须要注意的是，对于须要的优化的參数尽管train_auto能够自己主动选择最优值，但在代码中也要先赋初始值，要不然编译能通过，但执行时会报错。以下是演示样例代码


	CvSVMParams param;
	param.svm_type = CvSVM::EPS_SVR;
	param.kernel_type = CvSVM::RBF;
	param.C = 1;  //给參数赋初始值
	param.p = 5e-3;  //给參数赋初始值
	param.gamma = 0.01;  //给參数赋初始值
	param.term_crit = cvTermCriteria(CV_TERMCRIT_EPS, 100, 5e-3);
	//对不用的參数step设为0
	CvParamGrid nuGrid = CvParamGrid(1,1,0.0);
	CvParamGrid coeffGrid = CvParamGrid(1,1,0.0);
	CvParamGrid degreeGrid = CvParamGrid(1,1,0.0);

	CvSVM regressor;
	regressor.train_auto(PCA_training,tr_label,NULL,NULL,param,
		10,
		regressor.get_default_grid(CvSVM::C),
		regressor.get_default_grid(CvSVM::GAMMA),
		regressor.get_default_grid(CvSVM::P),
		nuGrid,
		coeffGrid,
		degreeGrid);



用上面的代码的就能够自己主动训练并优化參数。最后，若想查看优化后的參数值，能够使用CvSVM::get_params()函数来获得优化后的CvSVMParams。以下是演示样例代码：


CvSVMParams params_re = regressor.get_params();
	regressor.save("training_srv.xml");
	float C = params_re.C;
	float P = params_re.p;
	float gamma = params_re.gamma;
	printf("\nParms: C = %f, P = %f,gamma = %f \n",C,P,gamma);



本文系原创，转载请注明转载自 http://blog.csdn.net/computerme/article/details/38677599


				


				
时间： 2024-10-16 01:08:12 

		


		


	

	
	

		


		
OpenCV中的SVM參数优化的相关文章


								

		

			

                OpenCV中的SVM参数优化
			

		

		

									

				OpenCV中的SVM参数优化 标签: svm参数优化opencv SVMSVR参数优化CvSVMopencv CvSVM 2014-08-19 10:31 2995人阅读 评论(8) 收藏 举报  分类: 机器学习(11)  opencv(18)  版权声明:本文为博主原创文章,未经博主允许不得转载. SVM(支持向量机)是机器学习算法里用得最多的一种算法.SVM最常用的是用于分类,不过SVM也可以用于回归,我的实验中就是用SVM来实现SVR(支持向量回归). 对于功能这么强的算法,OpenC			

		

	

				

		

			

                opencv中的SVM图像分类（二）
			

		

		

									

				opencv中的SVM图像分类(二) 标签: svm图像 2015-07-30 08:45 8296人阅读 评论(35) 收藏 举报  分类: [opencv应用](5)  版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[+] 原创作品 转载请注明出http://blog.csdn.net/always2015/article/details/47107129 上一篇博文对图像分类理论部分做了比较详细的讲解,这一篇主要是对图像分类代码的实现进行分析.理论部分我们谈到了使用BOW			

		

	

				

		

			

                iOS 处理方法中的可变參数
			

		

		

									

				## iOS 处理方法中的可变參数 近期写了一个自己定义的对话框的demo,想模仿系统的UIAlertView的实现方式.对处理可变參数的时候,遇到了小问题,于是谷歌了一下.写下了处理问题的方法.记录下来,以备后需. 代码实现 - (instancetype)initWithTitle:(NSString *)title message:(NSString *)message delegate:(id)delegate cancelButtonTitle:(NSString *)cancelBu			

		

	

				

		

			

                Extjs4.2 ajax请求url中传中文參数乱码问题
			

		

		

									

				今天有个需求须要在url中传入中文參数.结果在后台取得时出现乱码,怀疑可能是编码问题.上网查询了资料,试了几种办法.发现有一种可行,记录在此,以便查阅. url中用encodeURI 进行2次编码: Ext.Ajax.request({ url:"updateadminuser.do?"+userid+"&uname="+encodeURI(encodeURI(uname)), success:function (response) { store.load			

		

	

				

		

			

                OpenCV 中使用SVM
			

		

		

									

				分类器 分类器是一种计算机程序. 他的设计目标是在通过学习后,可自动将数据分到已知类别. 平面线性分类器 一个简单的分类问题,如图有一些圆圈和一些正方形,如何找一条最优的直线将他们分开? 我们可以找到很多种方法画出这条直线,但怎样的直线才是最优的呢? 距离样本太近的直线不是最优的,因为这样的直线对噪声敏感度高,泛化性较差. 因此我们的目标是找到一条直线,离最近的点距离最远. 怎么寻找距离最远的直线?枚举所有直线,然后计算其样本最小距离?这样显然不是一个好办法,这将产生大量的计算开销. 我们利用另			

		

	

				

		

			

                OpenCV中的SVM
			

		

		

									

				#include "stdafx.h" #include <opencv2/opencv.hpp> #include <iostream> #include <fstream> #include <sstream> #include <math.h> #include <vector> #include <windows.h> #include <io.h> #include <tim			

		

	

				

		

			

                copy_from_user/copy_to_user函数中的buf參数释疑
			

		

		

									

				从開始了解内核開始就一直在疑惑 unsigned long copy_to_user(void __user *to, const void *from, unsigned long n); 这里面的from指针是什么?从用户空间的read到内核空间fops中的read函数过来后,这个值是否经过了转换?是物理地址还是直接是用户进程地址空间中的虚拟地址? 今天特地做了个实验,最后得出答案是后者,from的值就是用户进程地址空间中的虚拟地址. kernel要想得到详细的物理地址还须要进行一系列的权限			

		

	

				

		

			

                利用opencv中的级联分类器进行人脸检測-opencv学习（1）
			

		

		

									

				OpenCV支持的目标检測的方法是利用样本的Haar特征进行的分类器训练,得到的级联boosted分类器(Cascade Classification).注意,新版本号的C++接口除了Haar特征以外也能够使用LBP特征. 先介绍一下相关的结构,级联分类器的计算特征值的基础类FeatureEvaluator,功能包含读操作read.复制clone.获得特征类型getFeatureType,分配图片分配窗体的操作setImage.setWindow,计算有序特征calcOrd,计算绝对特征calc			

		

	

				

		

			

                springmvc 处理lsit类型的请求參数映射成实体属性
			

		

		

									

				<table align="center" cellspacing="10"> <tr> <td> 母码数目:<input type="text" name="uidCodeGenNumParamList[0].superCodeGenNum" style="width:180px;" class="textbox" maxlength=&quo