OpenCV 3 的改动在哪?
- C 风格的API很快将会消失,完全被C++的API替代,代码更加简洁、不易出错。读者如果想借助opencv最新的功能,记得清理代码中的C风格API。
- C++ API 将更加简洁。
- 所有的算法都将继承自 cv::Algorithm 接口。
- 大型的模块将拆分为小模块,模块将在后面继续讲解。
OpenCV 3 有这么多文件夹,从何入手?
3rdparty/,包含第三方的库,比如视频解码用的 ffmpeg,jpg、png、tiff等图片的开源解码库。
apps/,包含进行 haar 分类器训练的工具,opencv 进行人脸检测便是基于 haar 分类器。如果你想检测人脸以外的图片,千万不要错过这几个工具。
cmake/,包含生成工程项目时 cmake 的依赖文件,用于智能搜索第三方库,普通开发者不需要关心这个文件夹的内容。
data/,包含 opencv 库以及范例中用到的资源文件,haar 物体检测的分类器位于haarcascades子文件中。
doc/,包含生成文档所需的源文件以及辅助脚本。
include/,包含入口头文件。opencv 子文件夹中是 C 语言风格的API,也就是《Learning OpenCV (第一版)》中描述的API函数,官方将逐渐淘汰 C 风格函数,因此我不推荐大家使用该文件夹中的头文件。opencv2 子文件中只有一个 opencv.hpp 文件,这是 cv2 以及 cv3 推荐使用的头文件。
modules/,包含核心代码,opencv 真正的代码都在这个文件夹中。opencv 从2.0开始以模块的方式组织各种功能,近两年模块的数量增长得很快,后面我会依次介绍每个模块的作用。
platforms/,包含交叉编译所需的工具链以及额外的代码,交叉编译指的是在一个操作系统中编译供另一个系统使用的文件。
samples/,这是大家最喜欢的范例文件夹了,将在之后的文章中介绍。
我没有 N 卡,该看哪些模块?
androidcamera/,仅用于android平台,使得可以通过与其他平台相同的接口来控制android设备的相机。
core/,核心功能模块,定义了基本的数据结构,包括最重要的 Mat 类、XML 读写、opengl三维渲染等。
imgproc/,全称为 image processing,即图像处理。包括图像滤波、集合图像变换、直方图计算、形状描述子等。图像处理是计算机视觉的重要工具。
imgcodec/,负责各种格式的图片的读写,这个模块是从以前的 highgui 中剥离的。
highgui/,高级图形界面及与 QT 框架的整合。
video/,视频分析模块。包括背景提取、光流跟踪、卡尔曼滤波等,做视频监控的读者会经常使用这个模块。
videoio/,负责视频文件的读写,也包括摄像头、Kinect 等的输入。
calib3d/,相机标定以及三维重建。相机标定用于去除相机自身缺陷导致的画面形变,还原真实的场景,确保计算的准确性。三维重建通常用在双目视觉(立体视觉),即两个标定后的摄像头观察同一个场景,通过计算两幅画面中的相关性来估算像素的深度。
features2d/,包含 2D 特征值检测的框架。包含各种特征值检测器及描述子,例如 FAST、MSER、OBRB、BRISK等。各类特征值拥有统一的算法接口,因此在不影响程序逻辑的情况下可以进行替换。
objdetect/,物体检测模块。包括haar分类器、SVM检测器及文字检测。
ml/,全称为 Machine Learning,即机器学习。包括统计模型、K最近邻、支持向量机、决策树、神经网络等经典的机器学习算法。
flann/,用于在多维空间内聚类及搜索的近似算法,做图像检索的读者对它不会陌生。
photo/,计算摄影学。包括图像修补、去噪、HDR成像、非真实感渲染等。如果读者想实现Photoshop的高级功能,那么这个模块必不可少。
stitching/,图像拼接,可用于制作全景图。
nonfree/,受专利保护的算法。包含SIFT和SURF,从功能上来说这两个算法属于features2d模块的,但由于它们都是受专利保护的,想在项目中可能需要专利方的许可。
shape/,形状匹配算法模块。用于描述形状、比较形状。
softcascade/,另一种物体检测算法,Soft Cascade 分类器。包含检测模块和训练模块。
superres/,全称为 Super Resolution,用于增强图像的分辨率。
videostab/,全称为 Video Stabilization,用于解决相机移动时拍摄的视频不够稳定的问题。
viz/,三维可视化模块。可以认为这个模块实现了一个简单的三维可视化引擎,有各种UI控件和键盘、鼠标交互方式。底层实现基于 VTK 这个第三方库。
我爱 CUDA,买了一堆 Tesla 加速卡,该看哪些模块?
这些模块的名称都以 cuda 为开始,cuda 是显卡制造商 NVIDIA 推出的通用计算语言,在cv3中有大量的模块已经被移植到了 cuda 语言。让我们依次看一下:
cuda/,CUDA-加速的计算机视觉算法,包括数据结构 cuda::GpuMat、 基于cuda的相机标定及三维重建等。
cudaarithm/,CUDA-加速的矩阵运算模块。
cudabgsegm/,CUDA-加速的背景分割模块,通常用于视频监控。
cudacodec/,CUDA-加速的视频编码与解码。
cudafeatures2d/,CUDA-加速的特征检测与描述模块,与features2d/模块功能类似。
cudafilters/,CUDA-加速的图像滤波。
cudaimgproc/,CUDA-加速的图像处理算法,包含直方图计算、霍夫变换等。
cudaoptflow/,CUDA-加速的光流检测算法。
cudastereo/,CUDA-加速的立体视觉匹配算法。
cudawarping/,实现了 CUDA-加速的快速图像变换,包括透视变换、旋转、改变尺寸等。
cudaev/,实现 CUDA 版本的核心功能,类似 core/ 模块中的基础算法。
结语
希望本文能对读者了解下一代的 OpenCV 起到帮助,还有一些内容将在之后的文章中介绍,比如 samples 介绍,opencv_contrib 模块是什么等等。