OpenCV入门教程之九 特征点检测与图像匹配

特征点又称兴趣点、关键点,它是在图像中突出且具有代表意义的一些点,通过这些点我们可以用来识别图像、进行图像配准、进行3D重建等。本文主要介绍OpenCV中几种定位与表示关键点的函数。

一、Harris角点

角点是图像中最基本的一种关键点,它是由图像中一些几何结构的关节点构成,很多都是线条之间产生的交点。Harris角点是一类比较经典的角点类型,它的基本原理是计算图像中每点与周围点变化率的平均值。

 (1)

 (2)

其中I(x+u,y+u)代表了点(x,y)邻域点的灰度值。通过变换可以将上式变化为一个协方差矩阵求特征值的问题(2),具体数学原理本文不过多描述。

OpenCV的Hairrs角点检测的函数为cornerHairrs(),但是它的输出是一幅浮点值图像,浮点值越高,表明越可能是特征角点,我们需要对图像进行阈值化。我们使用一张建筑图像来显示:

 1 int main()
 2 {
 3     Mat image=imread("../buliding.png");
 4     Mat gray;
 5     cvtColor(image,gray,CV_BGR2GRAY);
 6     Mat cornerStrength;
 7     cornerHarris(gray,cornerStrength,3,3,0.01);
 8     threshold(cornerStrength,cornerStrength,0.001,255,THRESH_BINARY);
 9     return 0;
10 }

首先我们来说明一下cornerHairrs()这个函数参数的意思:

前2参数是输入与输出,输入是一个灰度图像,输出是一个浮点图像,第三个参数指定角点分析的邻域,第4个参数实际上在角点求取过程中计算梯度图像的核窗口大小,第5个参数是它原理公式(2)中的一个系数。

从上面的例子的结果我们可以看到,有很多角点都是粘连在一起的,我们下面通过加入非极大值抑制来进一步去除一些粘在一起的角点。

非极大值抑制原理是,在一个窗口内,如果有多个角点则用值最大的那个角点,其他的角点都删除,窗口大小这里我们用3*3,程序中通过图像的膨胀运算来达到检测极大值的目的,因为默认参数的膨胀运算就是用窗口内的最大值替代当前的灰度值。程序的最后使用了一个画角点的函数将角点显示在图像中,这个函数与本系列第5篇中画角点的函数是一致的。

 1 int main()
 2 {
 3     Mat image=imread("../buliding.png");
 4     Mat gray;
 5     cvtColor(image,gray,CV_BGR2GRAY);
 6     Mat cornerStrength;
 7     cornerHarris(gray,cornerStrength,3,3,0.01);
 8     double maxStrength;
 9     double minStrength;
10     // 找到图像中的最大、最小值
11     minMaxLoc(cornerStrength,&minStrength,&maxStrength);
12     Mat dilated;
13     Mat locaMax;
14     // 膨胀图像,最找出图像中全部的局部最大值点
15     dilate(cornerStrength,dilated,Mat());
16     // compare是一个逻辑比较函数,返回两幅图像中对应点相同的二值图像
17     compare(cornerStrength,dilated,locaMax,CMP_EQ);
18     Mat cornerMap;
19     double qualityLevel=0.01;
20     double th=qualityLevel*maxStrength; // 阈值计算
21     threshold(cornerStrength,cornerMap,th,255,THRESH_BINARY);
22     cornerMap.convertTo(cornerMap,CV_8U);
23     // 逐点的位运算
24     bitwise_and(cornerMap,locaMax,cornerMap);
25     drawCornerOnImage(image,cornerMap);
26     namedWindow("result");
27     imshow("result",image);
28     waitKey();
29
30     return 0;
31 }
32 void drawCornerOnImage(Mat& image,const Mat&binary)
33 {
34     Mat_<uchar>::const_iterator it=binary.begin<uchar>();
35     Mat_<uchar>::const_iterator itd=binary.end<uchar>();
36     for(int i=0;it!=itd;it++,i++)
37     {
38         if(*it)
39             circle(image,Point(i%image.cols,i/image.cols),3,Scalar(0,255,0),1);
40     }
41 }

现在我们得到的效果就比默认的函数得到的结果有相当的改善。

由于cornerHarris的一些缺点,OpenCV提供了另一个相似的函数GoodFeaturesToTrack()它用角点间的距离限制来防止角点粘连在一起。

1 goodFeaturesToTrack(image,corner,
2                   500,    // 最多检测到的角点数
3                   0.01,    // 阈值系数
4                   10);    // 角点间的最小距离

它可以得到与上面基本一致的结果。

二、FAST特征点

harris特征在算法复杂性上比较高,在大的复杂的目标识别或匹配应用上效率不能满足要求,OpenCV提供了一个快速检测角点的类FastFeatureDetector,而实际上FAST并不是快的意思,而是Features from Accelerated Segment Test,但这个算法效率确实比较高,下面我们来看看这个类的用法。

OpenCV里为角点检测提供了统一的接口,通过类下面的detect方法来检测对应的角点,而输出格式都是vector<KeyPoint>。

1 vector<KeyPoint> keypoints;
2 FastFeatureDetector fast( // 定义检测类
3 40); //40是检测的阈值
4 fast.detect(image,keypoints);
5 drawKeypoints(image,keypoints,image,Scalar(255,0,0),
6 DrawMatchesFlags::DRAW_OVER_OUTIMG);

其中drawKeypoints是OpenCV提供的在图像上画角点的函数。它的参数可以让我们选择用不同的方式标记出特征点。

三、尺度不变的SURF特征

surf特征是类似于SIFT特征的一种尺度不变的特征点,它的优点在于比SIFT效率要高,在实际运算中可以达到实时性的要求,关于SURF的原理这里就不过多的介绍,网络上这类的文章很多。

类似于FAST特征点的求法,SURF也可以使用通用接口求得,而SURF特征的类为SurfFeatureDetector,类似的SIFT特征点的检测类为SiftFeatureDetector。

 1 #include <opencv2/core/core.hpp>
 2 #include <opencv2/highgui/highgui.hpp>
 3 #include <opencv2/nonfree/features2d.hpp>
 4 using namespace cv;
 5 int main()
 6 {
 7 Mat image=imread("../buliding.png");
 8 vector<KeyPoint> keypoints;
 9
10 SurfFeatureDetector surf(2500.);
11 surf.detect(image,keypoints);
12 drawKeypoints(image,keypoints,image,Scalar(255,0,0),
13 DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
14 namedWindow("result");
15 imshow("result",image);
16 waitKey();
17
18 return 0;
19 }

这里有一个值得说明的问题是:OpenCV2.4版本后好像把SurfFeatureDetector这个类的定义移到了头文件nonfree/features2d.hpp

中,所以头文件中要加入该文件,并且要把opencv_nonfree24xd.lib加入属性表的链接器熟悉的输入中,其中x换成你当前opencv的版本号。

最终的显示效果如下:

四、SURF特征的描述

在图像配准中,特征点的描述往往不是位置这么简单,而是使用了一个N维向量来描述一个特征点,这些描述子之间可以通过定义距离公式来比较相近程度。

SurfDescriptorExtractor 是一个提取SURF特征点以及其描述的类。

下面是一个宽景图像的拼接配准的例子:

 1 #include <opencv2/core/core.hpp>
 2 #include <opencv2/highgui/highgui.hpp>
 3 #include <opencv2/nonfree/features2d.hpp>
 4 #include <opencv2/legacy/legacy.hpp>
 5 using namespace cv;
 6 int main()
 7 {
 8 Mat image1=imread("../b1.png");
 9 Mat image2=imread("../b2.png");
10 // 检测surf特征点
11 vector<KeyPoint> keypoints1,keypoints2;
12 SurfFeatureDetector detector(400);
13 detector.detect(image1, keypoints1);
14 detector.detect(image2, keypoints2);
15 // 描述surf特征点
16 SurfDescriptorExtractor surfDesc;
17 Mat descriptros1,descriptros2;
18 surfDesc.compute(image1,keypoints1,descriptros1);
19 surfDesc.compute(image2,keypoints2,descriptros2);
20 // 计算匹配点数
21 BruteForceMatcher<L2<float>>matcher;
22 vector<DMatch> matches;
23 matcher.match(descriptros1,descriptros2,matches);
24 std::nth_element(matches.begin(),matches.begin()+24,matches.end());
25 matches.erase(matches.begin()+25,matches.end());
26 // 画出匹配图
27 Mat imageMatches;
28 drawMatches(image1,keypoints1,image2,keypoints2,matches,
29 imageMatches,Scalar(255,0,0));
30 namedWindow("image2");
31 imshow("image2",image2);
32 waitKey();
33
34 return 0;
35 }

程序中我们选择了25个配准点,得到最后的匹配如下:

时间: 2024-12-29 12:00:01

OpenCV入门教程之九 特征点检测与图像匹配的相关文章

系列文章 -- OpenCV入门教程

<OpenCV3编程入门>内容简介&勘误&配套源代码下载 [OpenCV入门教程之十八]OpenCV仿射变换 & SURF特征点描述合辑 [OpenCV入门教程之十七]OpenCV重映射 & SURF特征点检测合辑 [OpenCV入门教程之十六]OpenCV角点检测之Harris角点检测 [OpenCV入门教程之十五]水漫金山:OpenCV漫水填充算法(Floodfill) [OpenCV入门教程之十四]OpenCV霍夫变换:霍夫线变换,霍夫圆变换合辑 [Ope

【OpenCV入门教程之十七】OpenCV重映射 &amp; SURF特征点检测合辑

本系列文章由@浅墨_毛星云 出品,转载请注明出处. 文章链接:http://blog.csdn.net/poem_qianmo/article/details/30974513 作者:毛星云(浅墨)    微博:http://weibo.com/u/1723155442 知乎:http://www.zhihu.com/people/mao-xing-yun 邮箱: [email protected] 写作当前博文时配套使用的OpenCV版本: 2.4.9 本篇文章中,我们一起探讨了OpenCV中

【OpenCV入门教程之十八】OpenCV仿射变换 &amp; SURF特征点描述合辑

本系列文章由@浅墨_毛星云 出品,转载请注明出处. 文章链接:http://blog.csdn.net/poem_qianmo/article/details/33320997 作者:毛星云(浅墨)    微博:http://weibo.com/u/1723155442 知乎:http://www.zhihu.com/people/mao-xing-yun 邮箱: [email protected] 写作当前博文时配套使用的OpenCV版本: 2.4.9 本篇文章中,我们一起探讨了OpenCV中

【OpenCV入门教程之六】 创建Trackbar &amp; 图像对比度、亮度值调整(转)

本系列文章由@浅墨_毛星云 出品,转载请注明出处. 文章链接:http://blog.csdn.net/poem_qianmo/article/details/21479533 作者:毛星云(浅墨)    邮箱: [email protected] 写作当前博文时配套使用的OpenCV版本: 2.4.8 这篇文章中我们一起学习了如何在OpenCV中用createTrackbar函数创建和使用轨迹条,以及图像对比度.亮度值的动态调整. 文章首先详细讲解了OpenCV2.0中的新版创建轨迹条的函数c

【OpenCV入门教程之十二】OpenCV边缘检测:Canny算子,Sobel算子,Laplace算子,Scharr滤波器合辑

本系列文章由@浅墨_毛星云 出品,转载请注明出处. 文章链接:http://blog.csdn.net/poem_qianmo/article/details/25560901 作者:毛星云(浅墨)    微博:http://weibo.com/u/1723155442 知乎:http://www.zhihu.com/people/mao-xing-yun 邮箱: [email protected] 写作当前博文时配套使用的OpenCV版本: 2.4.9 本篇文章中,我们将一起学习OpenCV中

opencv ,亮度调整【【OpenCV入门教程之六】 创建Trackbar &amp; 图像对比度、亮度值调整

http://blog.csdn.net/poem_qianmo/article/details/21479533 [OpenCV入门教程之六] 创建Trackbar & 图像对比度.亮度值调整 标签: opencvvs2010c++图像处理 2014-03-18 21:43 43189人阅读 评论(99) 收藏 举报  分类: [OpenCV](18)  目录(?)[+] 本系列文章由@浅墨_毛星云 出品,转载请注明出处. 文章链接:http://blog.csdn.net/poem_qian

【OpenCV入门教程之十三】OpenCV图像金字塔:高斯金字塔、拉普拉斯金字塔与图片尺寸缩放

本系列文章由@浅墨_毛星云 出品,转载请注明出处. 文章链接:http://blog.csdn.net/poem_qianmo/article/details/26157633 作者:毛星云(浅墨)    微博:http://weibo.com/u/1723155442 知乎:http://www.zhihu.com/people/mao-xing-yun 邮箱: [email protected] 写作当前博文时配套使用的OpenCV版本: 2.4.9 这篇文章里,我们将一起探讨图像金字塔的一

【OpenCV入门教程之五】 分离颜色通道&amp;多通道图像混合

上篇文章中我们讲到了使用addWeighted函数进行图像混合操作,以及将ROI和addWeighted函数结合起来使用,对指定区域进行图像混合操作. 而为了更好的观察一些图像材料的特征,有时需要对RGB三个颜色通道的分量进行分别显示和调整.通过OpenCV的split和merge方法可以很方便的达到目的. 一.分离颜色通道 就让我们来详细介绍一下这两个互为冤家的函数.首先是进行通道分离的split函数. <1>split函数详解 将一个多通道数组分离成几个单通道数组.ps:这里的array按

【OpenCV入门教程之三】 图像的载入,显示和输出 一站式完全解析

了解过之前老版本OpenCV的童鞋们都应该清楚,对于OpenCV1.0时代的基于 C 语言接口而建的图像存储格式IplImage*,如果在退出前忘记release掉的话,就会造成内存泄露.而且用起来超级麻烦,我们往往在debug的时候,很大一部分时间在纠结手动释放内存的问题.虽然对于小型的程序来说手动管理内存不是问题,但一旦我们写的代码变得越来越庞大,我们便会开始越来越多地纠缠于内存管理的问题,而不是着力解决你的开发目标. 这,就有些舍本逐末的感觉了. 而自从OpenCV踏入2.0时代,用Mat