张正友标定算法解读
一直以来想写篇相机标定方面的东西，最近组会上也要讲标定方面东西，所以顺便写了。无论是OpenCV还是matlab标定箱，都是以张正友棋盘标定算法为核心实现的,这篇PAMI的文章《A Flexible New Technique for Camera Calibration》影响力极大，张正友是浙江大学的机械系出身，貌似现在是微软的终身教授了。我就简单的介绍下算法的核心原理，公式的推理可能有点多。
一 基本问题描述：空间平面的三维点与相机平面二维点的映射。
假设空间平面中三维点：
（齐次坐标，世界坐标系）。
相机平面二维点：
（齐次坐标，相机坐标系）。
那么空间中的点是如何映射到相机平面上去呢？我们用一个等式来表示两者之间关系：
（1）
注：A为相机内参矩阵，R，t分别为旋转和平移矩阵，s为一个放缩因子标量。
我们把等式（1）再简化下：
（2）
因为张正友算法选取的是平面标定，所以令z=0,所以平移向量只有r1,r2即可。H就是我们常说的单应性矩阵，在这里描述的是空间中平面三维点和相机平面二维点之间的关系。因为相机平面中点的坐标可以通过图像处理的方式（哈里斯角点，再基于梯度搜索的方式精确控制点位置）获取，而空间平面中三维点可以通过事先做好的棋盘获取。所以也就是说每张图片都可以计算出一个H矩阵。
二 内参限制
我们把H矩阵(3*3)写成3个列向量形式，那么我们把H矩阵又可写成：
（3)
注:lamda是个放缩因子标量，也是s的倒数。
那么现在我们要用一个关键性的条件：r1和r2标准正交。
正交：
（4）
单位向量（模相等）：
（5）
这个两个等式是非常优美的，因为它完美的与绝对二次曲线理论联系起来了，这里就不展开了。
三 相机内参的求解
我们令：
（6）
我们可知B矩阵是个对称矩阵，所以可以写成一个6维向量形式：
（7）
我们把H矩阵的列向量形式为：
（8）
那么根据等式（8）我们把等式（4）改写成：
（9）
（10）
最后根据内参数限制条件(等式（4）(5)):
(11)
即,
(12)
V矩阵是2*6矩阵，也就是说每张照片可建立起两个方程组，6个未知数。根据线性代数知识可知，解6个未知数需至少6个方程组，所以也就是说我们至少需要三张照片就求解未知数。b矩阵的解出，相机内参矩阵A也就求解出，从而每张图像的R，t也就根据等式（1）迎刃而解。
四 参数优化
因为初始的参数已经求解，所以我们将每张图像的控制点根据求解的参数重投影回三维空间，最小化与真实值的差异，其实就是建立非线性最小化模型：
（13）
这里用的是Levenberg-Marquardt迭代算法。
至此，整个流程走完，至于相机畸变系数的求解本文也不具体展开了。