基于opencv和QT的瞳孔精确检测程序

本文为作者为毕业设计所写的瞳孔精确检测程序，谢绝任何形式的转载。

本篇博客是在作者的前两篇博客 《基于QT和opencv的摄像头（本地图片）读取并输出程序》和《 基于opencv和QT的人脸（人眼）检测程序》的基础上进行开发的。主要原理是:针对已经检测到的人眼区域图像，利用边缘检测和Hough变换实现瞳孔的精确检测。

首先建立一个图像处理类，对每一帧图像进行处理。

class ImgProcess
{
    private:
        Mat inimg;//输入图像
        Mat outimg;//输出结果
        Mat Leye;
        Mat Reye;
        Mat Leye_G;
        Mat Reye_G;
        CvRect drawing_box;

    public:
        vector<Vec3f> Lcircles;
        vector<Vec3f> Rcircles;
        ImgProcess(Mat image):inimg(image),drawing_box(cvRect(0, 0, 50, 20)){}
        void EyeDetect();//人眼检测
        Mat Outputimg();//输出结果
        void DivideEye();//分左右眼
        Mat OutLeye();//输出结果
        Mat OutReye();
        Mat EdgeDetect(Mat &edgeimg);//边缘检测
        void EyeEdge();//分别检测左右眼
        vector<Vec3f> Hough(Mat &midImage);//hough变换
        void FindCenter();//定位中心
        Mat PlotC(vector<Vec3f> circles,Mat &midImage);//画HOUGH变换的检测结果
};

#endif // IMGPROCESS_H

1．检测人眼

在图像处理时，首先利用上一篇博客所得到的人眼检测函数检测得到人眼区域。实现人眼检测的函数voidEyeDetect();

void ImgProcess::EyeDetect()
{
    detectAndDisplay( inimg,drawing_box );
    outimg=inimg;
}

其中的detectAndDisplay函数为:

void  detectAndDisplay( Mat &frame,CvRect &box )
{
    string face_cascade_name = "haarcascade_mcs_eyepair_big.xml";//导入已经训练完成的样本
    CascadeClassifier face_cascade;//建立分类器
    string window_name = "camera";
    if( !face_cascade.load( face_cascade_name ) ){
        printf("[error] no cascade\n");
    }

    std::vector<Rect> faces;//用于保存检测结果的向量
    Mat frame_gray;

    cvtColor( frame, frame_gray, CV_BGR2GRAY );//转换成灰度图
    equalizeHist( frame_gray, frame_gray );//直方图均值化

    face_cascade.detectMultiScale( frame_gray, faces, 1.1, 2, 0|CV_HAAR_SCALE_IMAGE, Size(30, 30) );//用于检测人眼的函数
    //画方框
    for( int i = 0; i < faces.size(); i++ ){
        Point centera( faces[i].x, faces[i].y);
        Point centerb( faces[i].x + faces[i].width, faces[i].y + faces[i].height );
        rectangle(frame,centera,centerb,Scalar(255,0,0));
        box=faces[0];
    }

    //imshow( window_name, frame );
}

运行完人眼检测函数后，检测结果将在label上显示出来，如图一。需要说明的是，opencv自带的检测函数存在误检或者漏检的情况，即检测到多个人眼区域（多讲眉毛部分检测为人眼），或者检测不到人眼。所以函数将检测到的第一个向量放入drawing_box中；如果没有检测到，就不赋值。另外需要注意的是，在佩戴眼镜的情况下，检测效果不是十分明显。

图一

2．左右眼图像分割

drawing_box是一个矩形数据结构，里面共有四个量，drawing_box.x和drawing_box.y分别是矩形框的x和y坐标，drawing_box.width和drawing_box.Height分别是矩形框的宽度和高度。检测到人眼区域后，利用voidDivideEye()函数将人眼区域分成左右眼两个区域，方便后续计算。其中leye_box表示左眼的矩形框，Leye表示左眼的图像，reye_box表示右眼的矩形框，Reye表示右眼的图像。

void ImgProcess::DivideEye()
{
    if (drawing_box.width>0)
    {
        CvRect leye_box;
        leye_box.x=drawing_box.x+1;
        leye_box.y=drawing_box.y+1;
        leye_box.height=drawing_box.height-1;
        leye_box.width=floor(drawing_box.width/2)-1;
        CvRect reye_box;
        reye_box.x=leye_box.x+leye_box.width;
        reye_box.y=drawing_box.y+1;
        reye_box.height=drawing_box.height-1;
        reye_box.width=leye_box.width-1;
        Leye=inimg(leye_box);
        Reye=inimg(reye_box);
//    imshow("L",Leye);
//    imshow("R",Reye);
    }
}

3．图像边缘检测

本文利用canny算法对图像进行边缘检测，canny算法的原理就不详细介绍了，大家可以自行查阅网上的资料，本文直接使用opencv自带的检测函数进行检测。单个图像的边缘检测ImgProcess::EdgeDetect：首先将图像由彩色图转换成灰度图，然后进行高斯平滑，接着进行直方图均值化，最后利用canny函数进行边缘检测。这几个函数的用法和参数设置网上都有介绍，其中canny函数最重要的是低阈值和高阈值的设置，本文的参数是通过多次测试得出的结果。参数的设置与光照和背景都有较大的关系，本文的参数适用于作者所在是环境（图一的背景），在其他环境下是否适用，还需要读者自行探索。

Mat ImgProcess::EdgeDetect(Mat &edgeimg)
{
    Mat edgeout;
    cvtColor(edgeimg,edgeimg,CV_BGR2GRAY);// 彩色图转换成灰度图
    GaussianBlur( edgeimg,edgeimg, Size(9, 9), 2, 2 );// 高斯平滑
    equalizeHist( edgeimg, edgeimg );//直方图均值化
    Canny(edgeimg,edgeout,100,200,3);//输入图像,输出图像,低阈值,高阈值，opencv建议是低阈值的3倍,内部sobel滤波器大小
    return edgeout;
}

然后建立一个函数对左右眼图片分别调用边缘检测函数

void ImgProcess::EyeEdge()
{
    Leye_G=EdgeDetect(Leye);
    Reye_G=EdgeDetect(Reye);
  //imshow("L",Leye_G);
  //imshow("R",Reye_G);
}

检测结果如图二所示

图二

4.Hough变换检测圆心

得到人眼区域的边缘图像后，就可以用Hough变换求瞳孔圆心，Hough变换的基本原理这里同样不作介绍，直接调用opencv自带的检测函数进行检测。

vector<Vec3f> ImgProcess::Hough(Mat &midImage)
{
    vector<Vec3f> circles;

    HoughCircles( midImage, circles, CV_HOUGH_GRADIENT,1.5, 5, 100, 20, drawing_box.height/4, drawing_box.height/3 );
    return circles;
}

http://www.tuicool.com/articles/Mn2EBn这篇文章里有详细Hough变换的原理与函数的使用方法，下面是引用的这篇文章里对函数参数的解释。

voidHoughCircles(InputArray image,OutputArray circles,int method,doubledp,
double minDist,double param1=100,doubleparam2=100,int
minRadius=0,int maxRadius=0 )

·       第一个参数，InputArray类型的image，输入图像，即源图像，需为8位的灰度单通道图像。第二个参数，InputArray类型的circles，经过调用HoughCircles函数后存储了检测到的圆的输出矢量，每个矢量由包含了3个元素的浮点矢量(x,
y, radius)表示。

·       第三个参数，int类型的method，即使用的检测方法，目前OpenCV中就霍夫梯度法一种可以使用，它的标识符为CV_HOUGH_GRADIENT，在此参数处填这个标识符即可。

·       第四个参数，double类型的dp，累加器图像的分辨率和输入图像之比的倒数，且此参数允许创建一个比输入图像分辨率低的累加器。上述文字不好理解的话，来看例子吧。例如，如果dp=
1时，累加器和输入图像具有相同的分辨率。如果dp=2，累加器便有输入图像一半那么大的宽度和高度。

·       第五个参数，double类型的minDist，为霍夫变换检测到的圆的圆心之间的最小距离，即让我们的算法能明显区分的两个不同圆之间的最小距离。这个参数如果太小的话，多个相邻的圆可能被错误地检测成了一个重合的圆。反之，这个参数设置太大的话，某些圆就不能被检测出来了。

·       第六个参数，double类型的param1，有默认值100。它是第三个参数method设置的检测方法的对应的参数。对当前唯一的方法霍夫梯度法CV_HOUGH_GRADIENT，它表示传递给canny边缘检测算子的高阈值，而低阈值为它的一半。

·       第七个参数，double类型的param2，也有默认值100。它是第三个参数method设置的检测方法的对应的参数。对当前唯一的方法霍夫梯度法CV_HOUGH_GRADIENT，它表示在检测阶段圆心的累加器阈值。它越小的话，就可以检测到更多的“假圆”，而它越大的话，能通过检测的圆就更加接近完美的圆形了。

·       第八个参数，int类型的minRadius,有默认值0，表示圆半径的最小值。

·       第九个参数，int类型的maxRadius,也有默认值0，表示圆半径的最大值。

经过作者亲自对参数的调整，发现对检测结果影响最大的是第六个和第七个参数，作者已经将调节好的参数在函数中写了出来。

HoughCircles函数返回的是一个三维向量，其中保存了检测到的圆的x，y坐标和圆的半径r，然后需要建立一个绘制圆的函数将检测结果表示出来：

Mat ImgProcess::PlotC(vector<Vec3f> circles,Mat &midImage)
 {
     for( size_t i = 0; i < circles.size(); i++ )
       {
         Point center(cvRound(circles[i][0]), cvRound(circles[i][1]));
         int radius = cvRound(circles[i][2]);
         //cout<<i<<":"<<circles[i][0]<<","<<circles[i][1]<<","<<circles[i][2]<<endl;
         //绘制圆心cvRound进行四舍五入
         circle( midImage, center, 1, Scalar(255,0,0), -1,8);
         //绘制圆轮廓
         circle( midImage, center, radius, Scalar(255,0,0), 1,8 );
       }
     return midImage;
 }

最后分别建立一个对左右眼进行hough变换的函数对上述两个函数进行调用：

voidImgProcess::FindCenter()
{
    Lcircles=Hough(Leye_G);
    Rcircles=Hough(Reye_G);
    Leye=PlotC(Lcircles,Leye);
    Reye=PlotC(Rcircles,Reye);
}

最终的检测结果如图三所示。从结果中可以发现，检测结果不是非常稳定，存在漏检和误检的情况，这可能是参数设置的问题。利用本文所设置的参数，基本可以实现瞳孔的精确检测，通过调整人脸相对于摄像头的位置，一定可以检测到瞳孔，但是检测结果不一定是连续的。在误检的情况中，即使存在多余的检测结果，但是正确的结果也同时存在（如图三右图），说明正确相对于误检的结果，是最稳定的。

图三

在上一篇《基于QT和opencv的摄像头（本地图片）读取并输出程序》的程序中的图像处理函数的位置，对上述函数进行调用，可以得到图四所得的结果。

ImgProcess pro(frame);//建立视频处理类
pro.EyeDetect();//人眼检测
        Mat image=pro.Outputimg();//输出检测图像
        imshow( "camera", image );
        QImage img=Mat2QImage(image);//将mat格式转换为Qimage格式
        ui->label->setPixmap(QPixmap::fromImage(img));//将结果在label上显示
        //ui->label->setScaledContents(true);//使图像尺寸与label大小匹配
        pro.DivideEye();//分成左右眼
        pro.EyeEdge();//瞳孔边缘检测
        pro.FindCenter();//hough变换求圆心
        Mat mleye=pro.OutLeye();//输出瞳孔定位结果
        QImage qleye=Mat2QImage(mleye);
        ui->label_2->setPixmap(QPixmap::fromImage(qleye));
        //ui->label_2->setScaledContents(true);
        Mat mreye=pro.OutReye();
        QImage qreye=Mat2QImage(mreye);
        ui->label_3->setPixmap(QPixmap::fromImage(qreye));
        //ui->label_3->setScaledContents(true);

图四

本篇博客介绍的是对opencv自带的图像处理函数的应用，下一篇《基于QT和opencv的瞳孔定位及跟踪程序》将介绍对检测到的数据进行检测的处理，实现瞳孔的定位和跟踪功能。整个图像处理类函数和类的调用函数将在下一篇完整给出。