libsvm代码阅读：关于svm_train函数分析（转）

在svm中，训练是一个十分重要的步骤，下面我们来看看svm的train部分。

在libsvm中的svm_train中分别有回归和分类两部分，我只对其中分类做介绍。

分类的步骤如下：

• 统计类别总数，同时记录类别的标号，统计每个类的样本数目
• 将属于相同类的样本分组，连续存放
• 计算权重C
• 训练n(n-1)/2 个模型
  • 初始化nozero数组，便于统计SV
  • //初始化概率数组
  • 训练过程中，需要重建子数据集，样本的特征不变，但样本的类别要改为+1/-1
  • //如有必要，先调用svm_binary_svc_probability
  • 训练子数据集svm_train_one
  • 统计一下nozero，如果nozero已经是真，就不变，否则改为真
• 输出模型
  • 主要是填充svm_model
• 清除内存

函数中调用过程如下：

svm_train-->svm_train_one-->solve_c_svc(for example)-->s.Solve

[cpp]   view plain copy  

<EMBED id=ZeroClipboardMovie_1 height=18 name=ZeroClipboardMovie_1 type=application/x-shockwave-flash align=middle pluginspage=http://www.macromedia.com/go/getflashplayer width=18 src=http://static.blog.csdn.net/scripts/ZeroClipboard/ZeroClipboard.swf wmode="transparent" flashvars="id=1&width=18&height=18" allowfullscreen="false" allowscriptaccess="always" bgcolor="#ffffff" quality="best" menu="false" loop="false">

1. //
2. // Interface functions
3. //重点函数：svm训练函数
4. //根据选择的算法，来组织参加训练的分样本，以及进行训练结果的保存。其中会对样本进行初步的统计。
5. svm_model *svm_train(const svm_problem *prob, const svm_parameter *param)
6. {
7. svm_model *model = Malloc(svm_model,1);//#define Malloc(type,n) (type *)malloc((n)*sizeof(type))
8. model->param = *param;
9. model->free_sv = 0;  // XXX
10. if(param->svm_type == ONE_CLASS ||
11. param->svm_type == EPSILON_SVR ||
12. param->svm_type == NU_SVR)
13. {
14. // regression or one-class-svm
15. model->nr_class = 2;
16. model->label = NULL;
17. model->nSV = NULL;
18. model->probA = NULL; model->probB = NULL;
19. model->sv_coef = Malloc(double *,1);
20. if(param->probability &&
21. (param->svm_type == EPSILON_SVR ||
22. param->svm_type == NU_SVR))
23. {
24. model->probA = Malloc(double,1);
25. model->probA[0] = svm_svr_probability(prob,param);
26. }
27. decision_function f = svm_train_one(prob,param,0,0);
28. model->rho = Malloc(double,1);
29. model->rho[0] = f.rho;
30. int nSV = 0;
31. int i;
32. for(i=0;i<prob->l;i++)
33. if(fabs(f.alpha[i]) > 0) ++nSV;
34. model->l = nSV;
35. model->SV = Malloc(svm_node *,nSV);
36. model->sv_coef[0] = Malloc(double,nSV);
37. model->sv_indices = Malloc(int,nSV);
38. int j = 0;
39. for(i=0;i<prob->l;i++)
40. if(fabs(f.alpha[i]) > 0)
41. {
42. model->SV[j] = prob->x[i];
43. model->sv_coef[0][j] = f.alpha[i];
44. model->sv_indices[j] = i+1;
45. ++j;
46. }
47. free(f.alpha);
48. }
49. else
50. {
51. // classification
52. int l = prob->l;
53. int nr_class;
54. int *label = NULL;
55. int *start = NULL;
56. int *count = NULL;
57. int *perm = Malloc(int,l);
58. // group training data of the same class对训练样本进行处理,同类整合到一起
59. svm_group_classes(prob,&nr_class,&label,&start,&count,perm);
60. if(nr_class == 1)
61. info("WARNING: training data in only one class. See README for details.\n");
62. svm_node **x = Malloc(svm_node *,l);
63. int i;
64. for(i=0;i<l;i++)
65. x[i] = prob->x[perm[i]];
66. // calculate weighted C
67. double *weighted_C = Malloc(double, nr_class);
68. for(i=0;i<nr_class;i++)
69. weighted_C[i] = param->C;
70. for(i=0;i<param->nr_weight;i++)
71. {
72. int j;
73. for(j=0;j<nr_class;j++)
74. if(param->weight_label[i] == label[j])
75. break;
76. if(j == nr_class)
77. fprintf(stderr,"WARNING: class label %d specified in weight is not found\n", param->weight_label[i]);
78. else
79. weighted_C[j] *= param->weight[i];
80. }
81. // train k*(k-1)/2 models
82. bool *nonzero = Malloc(bool,l);
83. for(i=0;i<l;i++)
84. nonzero[i] = false;
85. decision_function *f = Malloc(decision_function,nr_class*(nr_class-1)/2);
86. double *probA=NULL,*probB=NULL;
87. if (param->probability)
88. {
89. probA=Malloc(double,nr_class*(nr_class-1)/2);
90. probB=Malloc(double,nr_class*(nr_class-1)/2);
91. }
92. int p = 0;
93. for(i=0;i<nr_class;i++)
94. for(int j=i+1;j<nr_class;j++)
95. {
96. svm_problem sub_prob;
97. int si = start[i], sj = start[j];
98. int ci = count[i], cj = count[j];
99. sub_prob.l = ci+cj;
100. sub_prob.x = Malloc(svm_node *,sub_prob.l);
101. sub_prob.y = Malloc(double,sub_prob.l);
102. int k;
103. for(k=0;k<ci;k++)
104. {
105. sub_prob.x[k] = x[si+k];
106. sub_prob.y[k] = +1;
107. }
108. for(k=0;k<cj;k++)
109. {
110. sub_prob.x[ci+k] = x[sj+k];
111. sub_prob.y[ci+k] = -1;
112. }
113. if(param->probability)
114. svm_binary_svc_probability(&sub_prob,param,weighted_C[i],weighted_C[j],probA[p],probB[p]);
115. f[p] = svm_train_one(&sub_prob,param,weighted_C[i],weighted_C[j]);
116. for(k=0;k<ci;k++)
117. if(!nonzero[si+k] && fabs(f[p].alpha[k]) > 0)
118. nonzero[si+k] = true;
119. for(k=0;k<cj;k++)
120. if(!nonzero[sj+k] && fabs(f[p].alpha[ci+k]) > 0)
121. nonzero[sj+k] = true;
122. free(sub_prob.x);
123. free(sub_prob.y);
124. ++p;
125. }
126. // build output
127. model->nr_class = nr_class;
128. model->label = Malloc(int,nr_class);
129. for(i=0;i<nr_class;i++)
130. model->label[i] = label[i];
131. model->rho = Malloc(double,nr_class*(nr_class-1)/2);
132. for(i=0;i<nr_class*(nr_class-1)/2;i++)
133. model->rho[i] = f[i].rho;
134. if(param->probability)
135. {
136. model->probA = Malloc(double,nr_class*(nr_class-1)/2);
137. model->probB = Malloc(double,nr_class*(nr_class-1)/2);
138. for(i=0;i<nr_class*(nr_class-1)/2;i++)
139. {
140. model->probA[i] = probA[i];
141. model->probB[i] = probB[i];
142. }
143. }
144. else
145. {
146. model->probA=NULL;
147. model->probB=NULL;
148. }
149. int total_sv = 0;
150. int *nz_count = Malloc(int,nr_class);
151. model->nSV = Malloc(int,nr_class);
152. for(i=0;i<nr_class;i++)
153. {
154. int nSV = 0;
155. for(int j=0;j<count[i];j++)
156. if(nonzero[start[i]+j])
157. {
158. ++nSV;
159. ++total_sv;
160. }
161. model->nSV[i] = nSV;
162. nz_count[i] = nSV;
163. }
164. info("Total nSV = %d\n",total_sv);
165. model->l = total_sv;
166. model->SV = Malloc(svm_node *,total_sv);
167. model->sv_indices = Malloc(int,total_sv);
168. p = 0;
169. for(i=0;i<l;i++)
170. if(nonzero[i])
171. {
172. model->SV[p] = x[i];
173. model->sv_indices[p++] = perm[i] + 1;
174. }
175. int *nz_start = Malloc(int,nr_class);
176. nz_start[0] = 0;
177. for(i=1;i<nr_class;i++)
178. nz_start[i] = nz_start[i-1]+nz_count[i-1];
179. model->sv_coef = Malloc(double *,nr_class-1);
180. for(i=0;i<nr_class-1;i++)
181. model->sv_coef[i] = Malloc(double,total_sv);
182. p = 0;
183. for(i=0;i<nr_class;i++)
184. for(int j=i+1;j<nr_class;j++)
185. {
186. // classifier (i,j): coefficients with
187. // i are in sv_coef[j-1][nz_start[i]...],
188. // j are in sv_coef[i][nz_start[j]...]
189. int si = start[i];
190. int sj = start[j];
191. int ci = count[i];
192. int cj = count[j];
193. int q = nz_start[i];
194. int k;
195. for(k=0;k<ci;k++)
196. if(nonzero[si+k])
197. model->sv_coef[j-1][q++] = f[p].alpha[k];
198. q = nz_start[j];
199. for(k=0;k<cj;k++)
200. if(nonzero[sj+k])
201. model->sv_coef[i][q++] = f[p].alpha[ci+k];
202. ++p;
203. }
204. free(label);
205. free(probA);
206. free(probB);
207. free(count);
208. free(perm);
209. free(start);
210. free(x);
211. free(weighted_C);
212. free(nonzero);
213. for(i=0;i<nr_class*(nr_class-1)/2;i++)
214. free(f[i].alpha);
215. free(f);
216. free(nz_count);
217. free(nz_start);
218. }
219. return model;
220. }