欢迎关注我的博客专栏“图像处理中的数学原理详解”
全文目录请见 图像处理中的数学原理详解（总纲）
http://blog.csdn.net/baimafujinji/article/details/48467225
http://blog.csdn.net/baimafujinji/article/details/48751037
如果你对PCA的推导和概念还不是很清楚，建议阅读本文的前导文章
http://blog.csdn.net/baimafujinji/article/details/50372906
6.4.3 主成分变换的实现
本小节通过一个算例验证一下之前的推导。在前面给出的例子中，各点在原始的
由于方程是齐次的，所以不独立。因为系数矩阵有零行列式，所以方程有非无效解。从两个方程的任何一个可见
现在考虑该结论该如何解释。特征向量g1和g2是在原坐标系中用来定义主成分轴的向量，如图6-20所示，其中，e1和e2分别是水平和垂直的方向向量。显而易见，这些数据在新坐标系中是非相关的。该新坐标系是原坐标系的旋转，出于这种原因，可以将主成分变换理解为旋转变换（即使在高维空间上亦是如此）。
6.4.4 基于K-L变换的图像压缩
从图像压缩的角度出发，我们必然希望变换系数协方差矩阵Σx 中除对角线外的所有协方差均为零，成为对角线矩阵，即原来像素间的相关性经变换后全部解除，或者至少大部分协方差要等于或接近于零。为此，需要选择适当的变换矩阵，它作用于Σx 后使其变成对角线型。通过前面的分析和推导，可知这样的变换矩阵是存在的。如果用协方差矩阵Σx 的特征向量作变换的基向量，即由Σx 的特征向量作为正交变换的变换矩阵，就可以得到对角线型的变换域协方差矩阵Σy 。K-L变换就是采用这种矩阵进行变换的正交变换，它可以在变换域完全解除相关性，因此是理论上的最佳变换。同时，换一个角度也可以证明，K-L变换是均方误差最小准则下的最佳变换，即当压缩比确定的情况下，采用K-L变换后，重建图像的均方误差比采用任何其他正交变换的都小。
但是回顾之前进行的K-L变换，哪个步骤可以称为图像压缩的切入点呢？一幅大小为M×N的图像，它的协方差矩阵Σx大小为MN×MN。由上述K-L变换理论可知，对X进行K-L变换的变换矩阵就是Σx的特征向量矩阵，该矩阵大小亦为MN×MN，其大小远远大于原始图像数据矩阵。而且要在解码时恢复原图像，不但需要变换后的系数矩阵Y，还需要知道逆变换矩阵（也就是变换矩阵的转置）。如果不经过任何处理就这样直接将K-L变换用于数字图像的压缩编码，不但达不到任何数据压缩的效果，还极大的增加了数据量。即使仅保留一个最大的特征值，变换矩阵中和该特征值对应的特征向量为M×N维，系数矩阵 Y 保留的元素为一个。要重建图像数据，需要保留的元素个数为仍大于原矩阵，所以达不到压缩的目的。另外，求一个矩阵的协方差矩阵和特征向量矩阵，都是非常复杂的运算过程，需要大量的计算。当X比较大时，运算时间的耗用可能是非常大的。有时甚至会出现因为过于复杂而导致Σx和变换矩阵无法求解的情况。
要解决上述问题，可以考虑将图像分成若干个小块，然后对每个小块分别进行K-L变换（这与本章前面的处理方式基本保持一致）。这样使得Σx和变换矩阵都比较小，计算机处理起来比较容易而且速度快。这里仍然将图像划分为多个不重叠的8×8小块（当图像垂直和水平方向的像素数不是8的倍数时补0，使之均为8的倍数）。然后再分别对每一个小块执行K-L变换，变换矩阵的数目为K个，每个矩阵大小为64×64，仅变换矩阵就要记录K×64×64个数据，还是远远大于原始数据的个数M×N。是否可以让变换矩阵的数量变得少些，最好只保留一个变换矩阵。回忆前面做K-L变换的例子，变换矩阵的大小与输入矩阵的维度有关，而与样本数量无关，据此可以将每个8×8小块变成一个行向量（也就是一个64维的数组），原图中的每一个小方块都是一个64维的样本。所以最后只需要一个64×64的变换矩阵即可，它对于原图像的任意一个数据块都适用。这样的处理方式并不是完全意义上的K-L 变换，因为采用分块的处理方式，各个数据块之间的相关性是没有消除的。但实验亦表明，这样的K-L 变换虽然不能完全消除图像各像素点之间的相关性，也能达到很好的去相关效果，在去相关性性能上优于离散余弦变换。
图像数据经K-L变换后，得到的系数矩阵Y大部分系数都很小，接近于零。只有很少的几个系数的数值比较大，这正是K-L变换所起到的去除像素间的相关性，把能量集中分布在较少的变换系数上的作用的结果。据此，在图像数据压缩时，系数矩阵Y保留M个分量，其余分量则舍去。在实际编程开发中，经K-L变换后的系数矩阵中的数值都是按从大到小的顺序排列的，所以直接舍去后面的64?M个分量即可。通过这一步的处理，便可动态地调节压缩编码系统的压缩比和重建图像的质量。解码时，首先做K-L逆变换，然后将上述过程逆转，可以得到重建后的图像数据矩阵。
我们在MATLAB中编写的示例程序演示了运用上述方法对图像实施基于K-L变换的压缩处理的过程。最后可以通过编程实现基于K-L变换的图像压缩算法并测试其压缩效果，所得之测试结果如图6-22所示。该程序验证了三种不同的压缩比，即舍去排序后的系数矩阵中的32/64（对应压缩比50%）、48/64（对应压缩比75%）以及56/64（对应压缩比87.5%）。相关测试程序源码读者可以从本书的在线支持资源中下载得到。
最后需要补充说明的是尽管K-L变换可以将数据之间的相关性完全去除，所以理论上是一种最理想的数据压缩方案，但它在实际应用过程中仍然受到很大局限。例如，它没有快速算法，不同的图像所对应的变换矩阵也不同，从这个角度来说，单纯将K-L变换直接应用于图像数据压缩的理论价值要大于实际价值。它的存在意义，一方面是可以作为理论验证的参考模板，另一方面就是需要对原始算法加以改进后再付诸应用。