OpenCV2学习笔记（十三）：利用SURF匹配不同图像的特征点

SURF算法是著名的尺度不变特征检测器SIFT(Scale-Invariant Features Transform)的高效变种，它为每个检测到的特征定义了位置和尺度，其中尺度的值可用于定义围绕特征点的窗口大小，使得每个特征点都与众不同。这里便是使用SURF算法提取两幅图像中的特征点描述子，并调用OpenCV中的函数进行匹配，最后输出一个可视化的结果，开发平台为Qt5.3.2+OpenCV2.4.9。以下给出图像匹配的实现步骤：

一、输入两幅图像，使用OpenCV中的cv::FeatureDetector接口实现SURF特征检测，在实际调试中改变阈值可获得不一样的检测结果：

    // 设置两个用于存放特征点的向量
    std::vector<cv::KeyPoint> keypoint1;
    std::vector<cv::KeyPoint> keypoint2;

    // 构造SURF特征检测器
    cv::SurfFeatureDetector surf(3000); // 阈值

    // 对两幅图分别检测SURF特征
    surf.detect(image1,keypoint1);
    surf.detect(image2,keypoint2);

二、OpenCV 2.0版本中引入一个通用类，用于提取不同的特征点描述子。在这里构造一个SURF描述子提取器，输出的结果是一个矩阵，它的行数与特征点向量中的元素个数相同。每行都是一个N维描述子的向量。在SURF算法中，默认的描述子维度为64，该向量描绘了特征点周围的强度样式。两个特征点越相似，它们的特征向量也就越接近，因此这些描述子在图像匹配中十分有用：

    cv::SurfDescriptorExtractor surfDesc;

    // 对两幅图像提取SURF描述子
    cv::Mat descriptor1, descriptor2;
    surfDesc.compute(image1,keypoint1,descriptor1);
    surfDesc.compute(image2,keypoint2,descriptor2);

提取出两幅图像各自的特征点描述子后，需要进行比较（匹配）。可以调用OpenCV中的类cv::BruteForceMatcher构造一个匹配器。cv::BruteForceMatcher是类cv::DescriptorMatcher的一个子类，定义了不同的匹配策略的共同接口，结果返回一个cv::DMatch向量，它将被用于表示一对匹配的描述子。（关于cv::BruteForceMatcher 请参考： http://blog.csdn.net/panda1234lee/article/details/11094483?utm_source=tuicool）

三、在一批特征点匹配结果中筛选出评分（或者称距离）最理想的25个匹配结果，这通过std::nth_element实现。

void nth_element(_RandomAccessIterator _first, _RandomAccessIterator _nth, _RandomAccessIterator _last)

该函数的作用为将迭代器指向的从_first 到 _last 之间的元素进行二分排序，以_nth 为分界，前面都比 _Nth 小（大），后面都比之大（小），因此适用于找出前n个最大（最小）的元素。

四、最后一步，将匹配的结果可视化。OpenCV提供一个绘制函数以产生由两幅输入图像拼接而成的图像，而匹配的点由直线相连：

    // 以下操作将匹配结果可视化
    cv::Mat imageMatches;
    cv::drawMatches(image1,keypoint1,  // 第一张图片和检测到的特征点
                    image2,keypoint2,  // 第二张图片和检测到的特征点
                    matches,            // 输出的匹配结果
                    imageMatches,       // 生成的图像
                    cv::Scalar(128,128,128)); // 画直线的颜色

要注意SIFT、SURF的函数在OpenCV的nonfree模块中而不是features2d，cv::BruteForceMatcher类存放在legacy模块中，因此函数中需要包含头文件：

#include <opencv2/legacy/legacy.hpp>
#include <opencv2/nonfree/nonfree.hpp>

完整代码如下：

#include <QCoreApplication>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/legacy/legacy.hpp>
#include <opencv2/nonfree/nonfree.hpp>
#include <QDebug>

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);
        // 以下两图比之
    // 输入两张要匹配的图
    cv::Mat image1= cv::imread("c:/Fig12.18(a1).jpg",0);
    cv::Mat image2= cv::imread("c:/Fig12.18(a2).jpg",0);
    if (!image1.data || !image2.data)
        qDebug() << "Error!";

    cv::namedWindow("Right Image");
    cv::imshow("Right Image", image1);
    cv::namedWindow("Left Image");
    cv::imshow("Left Image", image2);

    // 存放特征点的向量
    std::vector<cv::KeyPoint> keypoint1;
    std::vector<cv::KeyPoint> keypoint2;

    // 构造SURF特征检测器
    cv::SurfFeatureDetector surf(3000); // 阈值

    // 对两幅图分别检测SURF特征
    surf.detect(image1,keypoint1);
    surf.detect(image2,keypoint2);

    // 输出带有详细特征点信息的两幅图像
    cv::Mat imageSURF;
    cv::drawKeypoints(image1,keypoint1,
                      imageSURF,
                      cv::Scalar(255,255,255),
                      cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
    cv::namedWindow("Right SURF Features");
    cv::imshow("Right SURF Features", imageSURF);
    cv::drawKeypoints(image2,keypoint2,
                      imageSURF,
                      cv::Scalar(255,255,255),
                      cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
    cv::namedWindow("Left SURF Features");
    cv::imshow("Left SURF Features", imageSURF);

    // 构造SURF描述子提取器
    cv::SurfDescriptorExtractor surfDesc;

    // 对两幅图像提取SURF描述子
    cv::Mat descriptor1, descriptor2;
    surfDesc.compute(image1,keypoint1,descriptor1);
    surfDesc.compute(image2,keypoint2,descriptor2);

    // 构造匹配器
    cv::BruteForceMatcher< cv::L2<float> > matcher;

    // 将两张图片的描述子进行匹配，只选择25个最佳匹配
    std::vector<cv::DMatch> matches;
    matcher.match(descriptor1, descriptor2, matches);

    std::nth_element(matches.begin(),    // 初始位置
                     matches.begin()+24, // 排序元素的位置
                     matches.end());     // 终止位置
    // 移除25位后的所有元素
    matches.erase(matches.begin()+25, matches.end());

    // 以下操作将匹配结果可视化
    cv::Mat imageMatches;
    cv::drawMatches(image1,keypoint1,  // 第一张图片和检测到的特征点
                    image2,keypoint2,  // 第二张图片和检测到的特征点
                    matches,            // 输出的匹配结果
                    imageMatches,       // 生成的图像
                    cv::Scalar(128,128,128)); // 画直线的颜色
    cv::namedWindow("Matches"); //, CV_WINDOW_NORMAL);
    cv::imshow("Matches",imageMatches);

    return a.exec();
}

效果一，由于原图中飞机的边缘有锯齿状，因此只需观察拐角处，匹配效果良好：