图像检索(5):基于OpenCV实现小型的图像数据库检索

本文对前面的几篇文章进行个总结，实现一个小型的图像检索应用。

一个小型的图像检索应用可以分为两部分：

  • train，构建图像集的特征数据库。
  • retrieval，检索，给定图像，从图像库中返回最类似的图像

构建图像数据库的过程如下：

  • 生成图像集的视觉词汇表(Vocabulary)

    • 提取图像集所有图像的sift特征
    • 对得到的sifte特征集合进行聚类，聚类中心就是Vocabulary
  • 对图像集中的图像重新编码表示，可使用BoW或者VLAD，这里选择VLAD.
  • 将图像集中所有图像的VLAD表示组合到一起得到一个VLAD表，这就是查询图像的数据库。

得到图像集的查询数据后，对任一图像查找其在数据库中的最相似图像的流程如下：

  • 提取图像的sift特征
  • 加载Vocabulary，使用VLAD表示图像
  • 在图像数据库中查找与该VLAD最相似的向量

构建图像集的特征数据库的流程通常是offline的，查询的过程则需要是实时的，基本流程参见下图：

由两部分构成：offline的训练过程以及online的检索查找

各个功能模块的实现

下面就使用VLAD表示图像，实现一个小型的图像数据库的检索程序。下面实现需要的功能模块

  • 特征点提取
  • 构建Vocabulary
  • 构建数据库

第一步，特征点的提取

不管是BoW还是VLAD，都是基于图像的局部特征的，本文选择的局部特征是SIFT，使用其扩展RootSift。提取到稳定的特征点尤为的重要，本文使用OpenCV体哦那个的SiftDetecotr，实例化如下：

auto fdetector = xfeatures2d::SIFT::create(0,3,0.2,10);

create的声明如下：

static Ptr<SIFT> cv::xfeatures2d::SIFT::create     (     int      nfeatures = 0,
        int      nOctaveLayers = 3,
        double      contrastThreshold = 0.04,
        double      edgeThreshold = 10,
        double      sigma = 1.6
    )
  • nfeatures 设置提取到的特征点的个数，每个sift的特征点都根据其对比度(local contrast)计算出来一个分数。设置了该值后，会根据分数排序，只保留前nfeatures个返回
  • nOctaveLayers 每个octave中的层数，该值可以根据图像的分辨率大小计算出来。D.Lowe论文中该值为３
  • contrastThreshold　过滤掉低对比度的不稳定特征点，该值越大，提取到的特征点越少
  • edgeThreshold　过滤边缘处的特征点，该值越大，提取到的特征点就越多
  • sigma 高斯滤波器的参数，该滤波器应用于第0个Octave

个人的一些见解。
设置参数时，主要是设置contrastThreshold和edgeThreshold。contrastThreshold是过滤掉平滑区域的一些不稳定的特征点，edgeThreshold是过虑类似边缘的不稳定关键点。设置参数时，应尽量保证提取的特征点个数适中，不易过多，也不要过少。另外，contrastThreshold和edgeThreshold的平衡，应根据要提取的目标是比较平滑的区域还是纹理较多的区域，来平衡这两个参数的设置。

对于有些图像，可能设置的提取特征点的参数叫严格，提取特征点的个数过少，这时候可改变宽松一些的参数。

auto fdetector = xfeatures2d::SIFT::create(0,3,0.2,10);
fdetector->detectAndCompute(img,noArray(),kpts,feature);

if(kpts.size() < 10){
    fdetector = xfeatures2d::SIFT::create();
    fdetector->detectAndCompute(img,noArray(),kpts,feature);
}

阈值10，可根据具体的情况进行调节。

更多关于sift的内容可以参看文章：

关于RootSift和VLAD可以参考前面的文章图像检索(4):IF-IDF,RootSift,VLAD。

第二步，构建Vocabulary

Vocabulary的构建过程，实际就是对提取到的图像特征点的聚类。首先提取图像库图像sift特征，并将其扩展为RootSift，然后对提取到的RootSift进行聚类得到Vocabulary。
这里创建class Vocabulary，主要以下方法：

  • create 从提取到的特征点构建聚类得到视觉词汇表Vocabulary
void Vocabulary::create(const std::vector<cv::Mat> &features,int k)
{
    Mat f;
    vconcat(features,f);
    vector<int> labels;
    kmeans(f,k,labels,TermCriteria(TermCriteria::COUNT + TermCriteria::EPS,100,0.01),3,cv::KMEANS_PP_CENTERS,m_voc);
    m_k = k;
}
  • load和save，为了使用方便，需要能够将生成的视觉词汇表Vocabulary保存问文件(.yml)
  • tranform_vlad，将输入的图像进行转换为vlad表示
void Vocabulary::transform_vlad(const cv::Mat &f,cv::Mat &vlad)
{
    // Find the nearest center
    Ptr<FlannBasedMatcher> matcher = FlannBasedMatcher::create();
    vector<DMatch> matches;
    matcher->match(f,m_voc,matches);
    // Compute vlad
    Mat responseHist(m_voc.rows,f.cols,CV_32FC1,Scalar::all(0));
    for( size_t i = 0; i < matches.size(); i++ ){
        auto queryIdx = matches[i].queryIdx;
        int trainIdx = matches[i].trainIdx; // cluster index
        Mat residual;
        subtract(f.row(queryIdx),m_voc.row(trainIdx),residual,noArray());
        add(responseHist.row(trainIdx),residual,responseHist.row(trainIdx),noArray(),responseHist.type());
    }

    // l2-norm
    auto l2 = norm(responseHist,NORM_L2);
    responseHist /= l2;
    //normalize(responseHist,responseHist,1,0,NORM_L2);

    //Mat vec(1,m_voc.rows * f.cols,CV_32FC1,Scalar::all(0));
    vlad = responseHist.reshape(0,1); // Reshape the matrix to 1 x (k*d) vector
}

class Vocabulary有以下方法：

  • 从图像列表中构建视觉词汇表Vocabulary
  • 将生成的Vocabulary保存到本地，并提供了load方法
  • 将图像表示为VLAD

第三步，创建图像数据库

图像数据库也就是将图像VLAD表示的集合，在该数据库检索时，返回与query图像相似的VLAD所对应的图像。
本文使用OpenCV提供的Mat构建一个简单的数据库，Mat保存所有图像的vlad向量组成的矩阵，在检索时，实际就是对该Mat的检索。
声明类class Database，其具有以下功能：

  • add 添加图像到数据库
  • save和load 将数据库保存为文件(.yml)
  • retrieval 检索，对保存的vald向量的Mat创建索引，返回最相似的结果。

第四步，Trainer

在上面实现了特征点的提取，构建视觉词汇表，构建图像表示为VLAD的数据库，这里将其组合到一起，创建Trainer类，方便训练使用。

class Trainer{

public:

    Trainer();
    ~Trainer();

    Trainer(int k,int pcaDim,const std::string &imageFolder,
        const std::string &path,const std::string &identifiery,std::shared_ptr<RootSiftDetector> detector);

    void createVocabulary();
    void createDb();

    void save();

private:

    int m_k; // The size of vocabulary
    int m_pcaDimension; // The retrain dimensions after pca

    Vocabulary* m_voc;
    Database* m_db;

private:

    /*
        Image folder
    */
    std::string m_imageFolder;

    /*
        training result identifier,the name suffix of vocabulary and database
        voc-identifier.yml,db-identifier.yml
    */
    std::string m_identifier;

    /*
        The location of training result
    */
    std::string m_resultPath;
};

使用Trainer 需要配置

  • 图像集所在的目录
  • 视觉词汇表的大小（聚类中心的个数）
  • PCA后VLAD保留的维度，可先不管设置为0，不进行PCA
  • 训练后数据的保存路径。 训练后的数据保存为yml形式，命名规则是voc-m_identifier.yml和db-m_identifier.yml。 为了方便测试不同参数的数据，这里设置一个后缀参数m_identifier,来区分不同的参数的训练数据。

其使用代码如下：

int main(int argc, char *argv[])
{
    const string image_200 = "/home/test/images-1";
    const string image_6k = "/home/test/images/sync_down_1";

    auto detector = make_shared<RootSiftDetector>(5,5,10);
    Trainer trainer(64,0,image_200,"/home/test/projects/imageRetrievalService/build","test-200-vl-64",detector);

    trainer.createVocabulary();
    trainer.createDb();

    trainer.save();

    return 0;
}

偷懒，没有配置为参数，使用时需要设置好图像的路径，以及训练后数据的保存数据。

第五步，Searcher

在Database中，已经实现了retrieval的方法。 这里之所以再封装一层，是为了更好的契合业务上的一些需求。比如，图像的一些预处理，分块，多线程处理，查询结果的过滤等等。关于Searcher和具体的应用耦合比较深，这里只是简单的实现了个retrieval方法和查询参数的配置。

class Searcher{

public:
    Searcher();
    ~Searcher();

    void init(int keyPointThreshold);
    void setDatabase(std::shared_ptr<Database> db);

    void retrieval(cv::Mat &query,const std::string &group,std::string &md5,double &score);

    void retrieval(std::vector<char> bins,const std::string &group,std::string &md5,double &score);

private:
    int m_keyPointThreshold;

    std::shared_ptr<Database> m_db;
};

使用也很简单了，从文件中加载Vaocabulary和Database，设置Searcher的参数。

Vocabulary voc;

    stringstream ss;
    ss << path << "/voc-" << identifier << ".yml";

    cout << "Load vocabulary from " << ss.str() << endl;
    voc.load(ss.str());

    cout << "Load vocabulary successful." << endl;

    auto detector = make_shared<RootSiftDetector>(5,0.2,10);

    auto db = make_shared<Database>(detector);

    cout << "Load database from " << path << "/db-" << identifier << ".yml" << endl;
    db->load1(path,identifier);
    db->setVocabulary(voc);
    cout << "Load database successful." << endl;

     Searcher s;
    s.init(10);
    s.setDatabase(db);

Summary

上图来总结下整个流程

  • 创建Vocabulary
  • 创建Database
  • Search Similary list

原文地址：https://www.cnblogs.com/wangguchangqing/p/9590406.html

时间： 2024-10-08 12:20:54

图像检索(5):基于OpenCV实现小型的图像数据库检索的相关文章

基于OpenCV的图片卡通化处理

学习OpenCV已有一段时间,除了研究各种算法的内容,在空闲之余,根据书本及资料的引导,尝试结合图像处理算法和日常生活联系起来,首先在台式机上(带摄像头)完成一系列视频流处理功能,开发平台为Qt5.3.2+OpenCV2.4.9. 本次试验实现的功能主要有: 调用摄像头捕获视频流: 将帧图像转换为素描效果图片: 将帧图像卡通化处理: 简单地生成"怪物"形象: 人脸肤色变换. 本节所有的算法均由类cartoon中的函数cartoonTransform()来实现: // Frame:输入每

基于Opencv和Mfc的图像处理增强库GOCVHelper(索引)

GOCVHelper(GreenOpen Computer Version Helper )是我在这几年编写图像处理程序的过程中积累下来的函数库.主要是对Opencv的适当扩展和在实现Mfc程序时候的功能增强. 这里将算法库开放源代码,并且编写一系列blog对函数实现进行说明.目的是在于“取之于互联网,用之于互联网”.并且也希望该库能够继续发展下去. 由于算法库基于Opencv和Mfc进行编写,所以要求阅读使用者具备一定基础. 最终提交的是GOCVHelper.h 和GOCVHelper版本号.

基于opencv网络摄像头在ubuntu下的视频获取

 基于opencv网络摄像头在ubuntu下的视频获取 1  工具 原料 平台 :UBUNTU12.04 安装库  Opencv-2.3 2  安装编译运行步骤 安装编译opencv-2.3  参考http://blog.csdn.net/xiabodan/article/details/23547847 3  测试代码 编译 g++ cameraCaptrue.cpp -o test `pkg-config --libs --cflags opencv` cameraCaptrue.cpp

Csharp调用基于Opencv编写的类库文件

现在将Csharp调用基于Opencv编写的类库文件(Dll)的方法定下来,我取名叫做GreenOpenCsharpWarper,简称GOCW. 一.CLR编写的DLL部分 1.按照正常方法引入Opencv; 2.提供接口函数,进行图像处理(这里只是实现了cvtColor,实际过程中可以用自己编写的复杂函数) String^  Class1::Method(cli::array<unsigned char>^ pCBuf1){     pin_ptr<System::Byte> p

基于opencv的小波变换

基于opencv的小波变换 提供函数DWT()和IDWT(),前者完成任意层次的小波变换,后者完成任意层次的小波逆变换.输入图像要求必须是单通道浮点图像,对图像大小也有要求(1层变换:w,h必须是2的倍数:2层变换:w,h必须是4的倍数:3层变换:w,h必须是8的倍数......),变换后的结果直接保存在输入图像中.1.函数参数简单,图像指针pImage和变换层数nLayer.2.一个函数直接完成多层次二维小波变换,尽量减少下标运算,避免不必要的函数调用,以提高执行效率.3.变换过程中,使用了一

基于 OpenCV 的人脸识别

基于 OpenCV 的人脸识别 一点背景知识 OpenCV 是一个开源的计算机视觉和机器学习库.它包含成千上万优化过的算法,为各种计算机视觉应用提供了一个通用工具包.根据这个项目的关于页面,OpenCV 已被广泛运用在各种项目上,从谷歌街景的图片拼接,到交互艺术展览的技术实现中,都有 OpenCV 的身影. OpenCV 起始于 1999 年 Intel 的一个内部研究项目.从那时起,它的开发就一直很活跃.进化到现在,它已支持如 OpenCL 和 OpenGL 的多种现代技术,也支持如 iOS

每日一练之自适应中值滤波器(基于OpenCV实现)

本文主要介绍了自适应的中值滤波器,并基于OpenCV实现了该滤波器,并且将自适应的中值滤波器和常规的中值滤波器对不同概率的椒盐噪声的过滤效果进行了对比.最后,对中值滤波器的优缺点了进行了总结. 空间滤波器 一个空间滤波器包括两个部分: 一个邻域,滤波器进行操作的像素集合,通常是一个矩形区域 对邻域中像素进行的操作 一个滤波器就是在选定的邻域像素上执行预先定义好的操作产生新的像素,并用新的像素替换掉原来像素形成新的图像. 通常,也可以将滤波器称之为核(kernel),模板(template)或者窗

基于opencv和mfc的摄像头采集代码(GOMFCTemplate2)

基于opencv和mfc的摄像头采集框架(GOMFCTemplate2) 编写带界面的图像处理程序,选择opencv+mfc是一种很好的选择:在读取摄像头数据方面,网上的方法很多,其中shiqiyu的camerads的方法是较好的. 基于现有资料,通过在实际项目中的积累,我总结出来一套结合opencv和mfc的摄像头采集框架.具有以下特点: 1.基于directshow,兼容性好,速度快.到目前为止,无论是工业相机还是普通相机,没发现不兼容的: 2.摄像头部分通过线程读取,保证界面的运行流畅:

基于opencv的人脸检测的web应用

参考资料 https://github.com/bsdnoobz/web-based-face-detect http://opencv-code.com/projects/web-based-interface-for-face-detection-with-opencv/ http://www.cnblogs.com/findingsea/archive/2012/03/31/2427833.html 流程如下图 背景知识 php调用exe的返回 <html> <body> &