学习OpenCV——hand tracking手势跟踪

这几日，岛上风云突变，我这个倒霉孩子终究木有躲过感冒的魔掌，中枪鸟~~~

这几天只写了个简单的手势跟踪的代码。

原理是：背景差分+肤色检测。

背景差分：取前30帧图像取平均值，计算前30帧之差的和，再求均值。在背景平均值上下浮动的阈值之外的被检测出来。

肤色检测：利用YCrCb空间。

两个结果相与操作。

这种方式的优点：1.有效解决了肤色检测结果中总是检测到人脸的情况；

2.解决背景差分检测结果杂乱的情况；

缺点：背景要求相对稳定，反差越大越好，鲁棒性差。

注意事项：差分法由于涉及到累加图像，编码时需注意保证归一化！！！NORMALIZE

[cpp] view plain copy

print?

1. #include "stdafx.h"
2. #include <cv.h>
3. #include <highgui.h>
4. #include <iostream>
5. using namespace cv;
6. using namespace std;
7. void intial(Mat src);
8. void accbackgound(Mat src,Mat pre);
9. void backgound(int count);
10. void foregound(Mat src,Mat pre);
11. void skin(Mat src);
12. Mat bg,Th,mask0;
13. Mat bglow0,bglow1,bglow2;
14. Mat bghigh0,bghigh1,bghigh2;
15. Mat mask;
16. int high=10,low=10;
17. int main()
18. {
19. int count=0;
20. VideoCapture capture;
21. capture.open(0);
22. Mat fram,prefram,result,fg;
23. int framNum=0;
24. while(capture.isOpened())
25. {
26. capture>>fram;
27. fram.convertTo(fram,CV_32FC3);
28. normalize(fram,fram,1,0,CV_MINMAX);
29. imshow("src",fram);
30. if(framNum==0)
31. {
32. intial(fram);
33. }
34. else if(framNum<30)
35. {
36. ++count;
37. accbackgound(fram,prefram);
38. }
39. else if(framNum==30)
40. backgound(count);
41. else
42. {
43. foregound(fram,prefram);
44. skin(fram);
45. }
46. fram.copyTo(prefram);
47. framNum++;
48. char key=(char)waitKey(2);
49. switch(key)
50. {
51. case 27:
52. return 0;
53. break;
54. }
55. }
56. }
57. void intial(Mat src)
58. {
59. src.copyTo(bg);
60. }
61. void accbackgound(Mat src,Mat pre)
62. {
63. Mat temp;
64. accumulate(src,bg);
65. absdiff(src,pre,temp);
66. if (Th.data==NULL)
67. {
68. temp.copyTo(Th);
69. }
70. else
71. accumulate(temp,Th);
72. }
73. void backgound(int count)
74. {
75. bg=bg/count;
76. Th=Th/count;
77. normalize(bg,bg,1,0,CV_MINMAX);
78. imshow("backgound",bg);
79. Mat t[3];
80. Mat b[3];
81. split(Th,t);
82. split(bg,b);
83. bglow0=b[0]-t[0]*low;
84. bglow1=b[1]-t[1]*low;
85. bglow2=b[2]-t[2]*low;
86. bghigh0=b[0]+t[0]*high;
87. bghigh1=b[1]+t[1]*high;
88. bghigh2=b[2]+t[2]*high;
89. cout<<"Start Traclking"<<endl;
90. }
91. void foregound(Mat src,Mat pre)
92. {
93. Mat temp0,temp1,temp2;
94. Mat framNow[3];
95. Mat frampre[3];
96. framNow[0].setTo(Scalar(0,0,0));
97. framNow[1].setTo(Scalar(0,0,0));
98. framNow[2].setTo(Scalar(0,0,0));
99. temp0.setTo(Scalar(0,0,0));
100. temp1.setTo(Scalar(0,0,0));
101. temp2.setTo(Scalar(0,0,0));
102. /*
103. split(pre,frampre);
104. accumulateWeighted(frampre[0],bglow0,0.1);
105. accumulateWeighted(frampre[0],bghigh0,0.1);
106. accumulateWeighted(frampre[1],bglow1,0.1);
107. accumulateWeighted(frampre[1],bghigh1,0.1);
108. accumulateWeighted(frampre[2],bglow2,0.1);
109. accumulateWeighted(frampre[2],bglow2,0.1);
110. */
111. split(src,framNow);
112. inRange(framNow[0],bglow0,bghigh0,temp0);
113. inRange(framNow[1],bglow1,bghigh1,temp1);
114. inRange(framNow[2],bglow2,bghigh2,temp2);
115. bitwise_or(temp0,temp1,temp0);
116. bitwise_or(temp0,temp2,temp0);
117. bitwise_not(temp0,temp0);
118. imshow("Show",temp0);
119. temp0.copyTo(mask0);
120. }
121. void skin(Mat src)
122. {
123. src.convertTo(src,CV_8UC3,255);
124. Mat yuv,dst;
125. cvtColor(src,yuv,CV_BGR2YCrCb);
126. Mat dstTemp1(src.rows, src.cols, CV_8UC1);
127. Mat dstTemp2(src.rows, src.cols, CV_8UC1);
128. // 对YUV空间进行量化，得到2值图像，亮的部分为手的形状
129. inRange(yuv, Scalar(0,133,0), Scalar(256,173,256), dstTemp1);
130. inRange(yuv, Scalar(0,0,77), Scalar(256,256,127), dstTemp2);
131. bitwise_and(dstTemp1, dstTemp2, mask);
132. dst.setTo(Scalar::all(0));
133. bitwise_and(mask,mask0,mask);
134. src.copyTo(dst,mask);
135. vector< vector<Point> > contours;   // 轮廓
136. vector< vector<Point> > filterContours; // 筛选后的轮廓
137. vector< Vec4i > hierarchy;    // 轮廓的结构信息
138. vector< Point > hull; // 凸包络的点集
139. contours.clear();
140. hierarchy.clear();
141. filterContours.clear();
142. // 得到手的轮廓
143. findContours(mask, contours, hierarchy, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE);
144. // 去除伪轮廓
145. for (size_t i = 0; i < contours.size(); i++)
146. {
147. //approxPolyDP(Mat(contours[i]), Mat(approxContours[i]), arcLength(Mat(contours[i]), true)*0.02, true);
148. if (fabs(contourArea(Mat(contours[i]))) > 1000&&fabs(arcLength(Mat(contours[i]),true))<2000)  //判断手进入区域的阈值
149. {
150. filterContours.push_back(contours[i]);
151. }
152. }
153. // 画轮廓
154. drawContours(src, filterContours, -1, Scalar(0,0,255), 2); //8, hierarchy);
155. imshow("traclking",src);
156. }

from: http://blog.csdn.net/yangtrees/article/details/7566284