深度图像配准（Registration）原理

机器视觉中，3D相机产生的深度图像（depth image）通常需要配准（registration），生成配准深度图像（registed depth image）。实际上配准的目的就是想让深度图和彩色图重合在一起，即是将深度图像的图像坐标系转换到彩色图像的图像坐标系下。下面我们来介绍其推导的过程。

为了描述方便，首先做些简单的假设。3D相机的左侧相机（left camera）为红外相机（即深度相机，ir camera），右侧相机（right camera）为彩色相机（color camera）。现在主流的3D相机都是这样的布局，如xtion，kiinect，orbbict。如下图所示：

已知彩色图像的像素表示为\((u_{R}, v_{R}, z_{R})^{\top}\)，\(u_{R}, v_{R}, z_{R}\)分别表示彩色图像的横坐标，纵坐标和相机坐标系下的深度值（z方向上的值，非两点的距离）；同样地，彩色图像的像素为\((u_{L}, v_{L}, z_{L})^{\top}\)，\(u_{L}, v_{L}, z_{L}\)分别表示彩色图像的横坐标，纵坐标和相机坐标系下的深度值（z方向上的值，非两点的距离）。注意为了方便表示，本文中下标的R,L分别表示Right,Left意思。那么配准的过程就是找到如下公式中的变换矩阵\(W^{‘}\):

\(\begin{bmatrix}
u_{R}\\
v_{R}\\
1
\end{bmatrix}
=W^{‘}
\begin{bmatrix}
u_{L}\\
v_{L}\\
1
\end{bmatrix}\)

实际上，变换矩阵\(W^{‘}\)并不是真正需要求解的矩阵