本篇文章中,我们一起探究了图像处理中,最基本的形态学运算——膨胀与腐蚀。浅墨在文章开头友情提醒,用人物照片做腐蚀和膨胀的素材图片得到的效果会比较惊悚,毁三观的,不建议尝试。。。。。。。。。。
一、理论与概念讲解——从现象到本质
1.1 形态学概述
形态学(morphology)一词通常表示生物学的一个分支,该分支主要研究动植物的形态和结构,而我们图像处理中指的形态学,往往表示的是数学形态学,下面一起来了解数学形态学的概念。
数学形态学(Mathematical morphology)是一门建立在格论和拓扑学基础之上的图像分析学科,是数学形态学图像处理的基本理论。其基本的运算包括:二值腐蚀和膨胀,二值开闭运算,骨架抽取,极限腐蚀,击中击不中变换,形态学梯度,Top-hat变换,颗粒分析,流域变换,灰值腐蚀和膨胀,灰值开闭运算,灰值形态学梯度等。
简单来讲,形态学操作就是基于形状的一系列图像处理操作。opencv为进行图像的形态学变换提供了快捷,方便的函数,最基本的形态学操作有二种,他们是:膨胀和腐蚀(Dilation与Erosion)
膨胀与腐蚀能实现多种多样的功能,主要如下:
- 消除噪声
- 分割(isolate)出独立的图像元素,在图像中连接(join)相邻的元素。
- 寻找图像中的明显的极大值区域或极小值区域
- 求出图像的梯度
在进行腐蚀和膨胀的讲解之前,首先需要注意: 腐蚀和膨胀是对白色部分(高亮部分)而言的,不是黑色部分。 膨胀就是图像中的高亮部分进行膨胀,“邻域扩张”,效果图拥有比原图更大的高亮区域。腐蚀就是原图中高亮部分被腐蚀,“邻域被蚕食”,效果图拥有比原图更小的高亮区域。
1.2 膨胀
其实,膨胀就是求局部最大值的操作。
按数学方面来说,膨胀或者腐蚀操作就是将图像(或图像的一部分区域,我们称之为A)与核(我们称之为B)进行卷积。
核可以是任何的形状和大小,它拥有一个单独定义出来的参考点,我们称其为锚点(anchorpoint)。多数情况下,核是一个小的中间带有参考点和实心正方形或者圆盘,其实,我们可以把核视为模板或者掩码。
而膨胀就是求局部最大值的操作,核B与图形卷积,即计算核B覆盖的区域的像素点的最大值,并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长。如下图所示,这就是膨胀操作的初衷
膨胀的数学表达式:
膨胀效果图(毛笔字):
照片膨胀效果图:
1.3 腐蚀
再来看一下腐蚀,,大家应该知道,膨胀和腐蚀是一对好基友,是相反的一对操作,所以腐蚀就是求局部最小值的操作,我们一般都会把腐蚀和膨胀对应起来理解和学习。下文就可以看到,两者的函数原型也是基本上一样的。
原理图:
腐蚀的数学表达式:
腐蚀效果图(毛笔字):
照片腐蚀效果图:
声明:这俩个数学表达式直接复制过来看的有点问题,应该是把小字体的部分去掉才对吧。。。。。。。。
二、深入——OpenCV源码分析溯源
直接上源码吧,在…\opencv\sources\modules\imgproc\src\ morph.cpp路径中 的第1773行开始就为erode(腐蚀)函数的源码,
1 void cv::erode( InputArray src, OutputArray dst, InputArray kernel, 2 Point anchor, int iterations, 3 int borderType, const Scalar& borderValue ) 4 { 5 //调用morphOp函数,并设定标识符为MORPH_ERODE 6 morphOp( MORPH_ERODE, src, dst, kernel, anchor, iterations, borderType, borderValue ); 7 }
第1781行
void cv::dilate( InputArray src, OutputArray dst, InputArray kernel, Point anchor, int iterations, int borderType, const Scalar& borderValue ) { //调用morphOp函数,并设定标识符为MORPH_DILATE morphOp( MORPH_DILATE, src, dst, kernel, anchor, iterations, borderType, borderValue ); }
可以发现erode和dilate这两个函数内部就是调用了一下morphOp,只是他们调用morphOp时,第一个参数标识符不同,一个为MORPH_ERODE(腐蚀),一个为MORPH_DILATE(膨胀)。
morphOp函数的源码在…\opencv\sources\modules\imgproc\src\morph.cpp中的第1716行,有兴趣的朋友们可以研究研究,这里就不费时费力花篇幅展开分析了。
1 static void morphOp( int op, InputArray _src, OutputArray _dst, 2 InputArray _kernel, 3 Point anchor, int iterations, 4 int borderType, const Scalar& borderValue ) 5 { 6 Mat kernel = _kernel.getMat(); 7 Size ksize = !kernel.empty() ? kernel.size() : Size(3,3); 8 anchor = normalizeAnchor(anchor, ksize); 9 10 CV_OCL_RUN(_dst.isUMat() && _src.dims() <= 2 && _src.channels() <= 4 && 11 borderType == cv::BORDER_CONSTANT && borderValue == morphologyDefaultBorderValue() && 12 (op == MORPH_ERODE || op == MORPH_DILATE) && 13 anchor.x == ksize.width >> 1 && anchor.y == ksize.height >> 1, 14 ocl_morphOp(_src, _dst, kernel, anchor, iterations, op, borderType, borderValue) ) 15 16 if (iterations == 0 || kernel.rows*kernel.cols == 1) 17 { 18 _src.copyTo(_dst); 19 return; 20 } 21 22 if (kernel.empty()) 23 { 24 kernel = getStructuringElement(MORPH_RECT, Size(1+iterations*2,1+iterations*2)); 25 anchor = Point(iterations, iterations); 26 iterations = 1; 27 } 28 else if( iterations > 1 && countNonZero(kernel) == kernel.rows*kernel.cols ) 29 { 30 anchor = Point(anchor.x*iterations, anchor.y*iterations); 31 kernel = getStructuringElement(MORPH_RECT, 32 Size(ksize.width + (iterations-1)*(ksize.width-1), 33 ksize.height + (iterations-1)*(ksize.height-1)), 34 anchor); 35 iterations = 1; 36 } 37 38 CV_IPP_RUN(IPP_VERSION_X100 >= 810, ipp_MorphOp(op, _src, _dst, kernel, anchor, iterations, borderType, borderValue)) 39 40 Mat src = _src.getMat(); 41 _dst.create( src.size(), src.type() ); 42 Mat dst = _dst.getMat(); 43 44 int nStripes = 1; 45 #if defined HAVE_TEGRA_OPTIMIZATION 46 if (src.data != dst.data && iterations == 1 && //NOTE: threads are not used for inplace processing 47 (borderType & BORDER_ISOLATED) == 0 && //TODO: check border types 48 src.rows >= 64 ) //NOTE: just heuristics 49 nStripes = 4; 50 #endif 51 52 parallel_for_(Range(0, nStripes), 53 MorphologyRunner(src, dst, nStripes, iterations, op, kernel, anchor, borderType, borderType, borderValue)); 54 }
等有时间了一定去研究。。。。。。。。。。。。。
三、浅出——API函数快速上手
3.1 形态学膨胀——dilate函数
erode 函数,使用像素邻域内的局部极大运算符来膨胀一张图片,从src输入,由dst输出。支持就地(in-place)操作。
函数原型:
1 void dilate(InputArray src, 2 OutputArray dst, 3 InputArray kernel, 4 Point anchor=Point(-1,-1), 5 int iterations=1, 6 int borderType=BORDER_CONSTANT, 7 const Scalar& borderValue=morphologyDefaultBorderValue() 8 )
参数详解:
- 第一个参数,InputArray类型的src,输入图像,即源图像,填Mat类的对象即可。图像通道的数量可以是任意的,但图像深度应为CV_8U,CV_16U,CV_16S,CV_32F或 CV_64F其中之一。
- 第二个参数,OutputArray类型的dst,即目标图像,需要和源图片有一样的尺寸和类型。
- 第三个参数,InputArray类型的kernel,膨胀操作的核。若为NULL时,表示的是使用参考点位于中心3x3的核。
我们一般使用函数 getStructuringElement配合这个参数的使用。getStructuringElement函数会返回指定形状和尺寸的结构元素(内核矩阵)。
其中,getStructuringElement函数的第一个参数表示内核的形状,我们可以选择如下三种形状之一:
- 矩形: MORPH_RECT
- 交叉形: MORPH_CROSS
- 椭圆形: MORPH_ELLIPSE
而getStructuringElement函数的第二和第三个参数分别是内核的尺寸以及锚点的位置。
我们一般在调用erode以及dilate函数之前,先定义一个Mat类型的变量来获得getStructuringElement函数的返回值。对于锚点的位置,有默认值Point(-1,-1),表示锚点位于中心。且需要注意,十字形的element形状唯一依赖于锚点的位置。而在其他情况下,锚点只是影响了形态学运算结果的偏移。
etStructuringElement函数相关的调用示例代码如下:
1 int g_nStrutElement = 3; //结构元素(内核矩阵)的尺寸 2 3 //获取自定义核 4 Mat element = getStructuringElement(MORPH_RECT, 5 Size(2*g_nStructElementSize+1,2*g_nStructElementSize+1), 6 Point( g_nStructElementSize, g_nStructElementSize ) );
调用这样之后,我们便可以在接下来调用erode或dilate函数时,第三个参数填保存了getStructuringElement返回值的Mat类型变量。对应于我们上面的示例,就是填element变量
- 第四个参数,Point类型的anchor,锚的位置,其有默认值(-1,-1),表示锚位于中心。
- 第五个参数,int类型的iterations,迭代使用erode()函数的次数,默认值为1。
- 第六个参数,int类型的borderType,用于推断图像外部像素的某种边界模式。注意它有默认值BORDER_DEFAULT。
- 第七个参数,const Scalar&类型的borderValue,当边界为常数时的边界值,有默认值morphologyDefaultBorderValue(),一般我们不用去管他。需要用到它时,可以看官方文档中的createMorphologyFilter()函数得到更详细的解释。
使用erode函数,一般我们只需要填前面的三个参数,后面的四个参数都有默认值。而且往往结合getStructuringElement一起使用。
调用范例:
1 //载入原图 2 Mat image = imread("1.jpg"); 3 4 //获取自定义核 5 Mat element = getStructuringElement(MORPH_RECT,Size(15,15)); 6 Mat out; 7 //进行膨胀操作 8 dilate(image,out,element);
3.2 形态学腐蚀——erode函数
erode函数,使用像素邻域内的局部极小运算来腐蚀一张图片,从src输入,由dst输出。支持就地(in-place)操作。
看一下函数原型:
1 void erode( InputArray src, 2 OutputArray dst, 3 InputArray kernel, 4 Point anchor=Point(-1,-1), 5 int iterations=1, 6 int borderType=BORDER_CONSTANT, 7 const Scalar& borderValue=morphologyDefaultBorderValue() );
参数详解:
- 第一个参数,InputArray类型的src,输入图像,即源图像,填Mat类的对象即可。图像通道的数量可以是任意的,但图像深度应为CV_8U,CV_16U,CV_16S,CV_32F或 CV_64F其中之一。
- 第二个参数,OutputArray类型的dst,即目标图像,需要和源图片有一样的尺寸和类型。
- 第三个参数,InputArray类型的kernel,腐蚀操作的内核。若为NULL时,表示的是使用参考点位于中心3x3的核。我们一般使用函数 getStructuringElement配合这个参数的使用。getStructuringElement函数会返回指定形状和尺寸的结构元素(内核矩阵)。(具体看上文中浅出部分dilate函数的第三个参数讲解部分)
- 第四个参数,Point类型的anchor,锚的位置,其有默认值(-1,-1),表示锚位于单位(element)的中心,我们一般不用管它。
- 第五个参数,int类型的iterations,迭代使用erode()函数的次数,默认值为1。
- 第六个参数,int类型的borderType,用于推断图像外部像素的某种边界模式。注意它有默认值BORDER_DEFAULT。
- 第七个参数,const Scalar&类型的borderValue,当边界为常数时的边界值,有默认值morphologyDefaultBorderValue(),一般我们不用去管他。需要用到它时,可以看官方文档中的createMorphologyFilter()函数得到更详细的解释。
同样的,使用erode函数,一般我们只需要填前面的三个参数,后面的四个参数都有默认值。而且往往结合getStructuringElement一起使用。
调用范例:
//载入原图 Mat image = imread("1.jpg"); //获取自定义核 Mat element = getStructuringElement(MORPH_RECT, Size(15, 15)); Mat out; //进行腐蚀操作 erode(image,out,element);
3.3 实战
1 #include <opencv2/core/core.hpp> 2 #include <opencv2/highgui/highgui.hpp> 3 #include <opencv2/imgproc/imgproc.hpp> 4 #include <iostream> 5 6 7 using namespace std; 8 using namespace cv; 9 10 11 /*----------------【1】膨胀dilate函数-------------------*/ 12 /* 13 void main() 14 { 15 //载入原图 16 Mat image = imread("1.jpg"); 17 18 //创建窗口 19 namedWindow("【原图】膨胀操作"); 20 namedWindow("【效果图】膨胀操作"); 21 22 //显示原图 23 imshow("【原图】膨胀操作",image); 24 25 //获取自定义核 26 Mat element = getStructuringElement(MORPH_RECT, Size(15, 15)); 27 Mat out; 28 29 //进行膨胀操作 30 dilate(image,out,element); 31 32 //显示效果图 33 imshow("【效果图】膨胀操作",out); 34 35 waitKey(); 36 } 37 */ 38 39 40 /*----------------【2】腐蚀erode函数-------------------*/ 41 /* 42 void main() 43 { 44 //载入原图 45 Mat image = imread("1.jpg"); 46 47 //创建窗口 48 namedWindow("【原图】腐蚀操作"); 49 namedWindow("【效果图】腐蚀操作"); 50 51 //显示原图 52 imshow("【原图】腐蚀操作", image); 53 54 //获取自定义核 55 Mat element = getStructuringElement(MORPH_RECT, Size(15, 15)); 56 Mat out; 57 58 //进行膨胀操作 59 erode(image, out, element); 60 61 //显示效果图 62 imshow("【效果图】腐蚀操作", out); 63 64 waitKey(); 65 } 66 */
四、综合示例——在实战中熟稔
依然是每篇文章都会配给大家的一个详细注释的博文配套示例程序,把这篇文章中介绍的知识点以代码为载体,展现给大家。
这个示例程序中的效果图窗口有两个滚动条,顾名思义,第一个滚动条“腐蚀/膨胀”用于在腐蚀/膨胀之间进行切换;第二个滚动条”内核尺寸”用于调节形态学操作时的内核尺寸,以得到效果不同的图像,有一定的可玩性。废话不多说,上代码吧:
未完待续。。。。。。。。。。