率失真优化概述：
率失真优化(Rate D isto r t i on Op t i m ized)策略是在率失真理论[3 ]的基础上提出的一种代价函数方案, RDO 的主要思想是, 在计算代价函数时, 同时考虑码率和失真度两方面因素的制约, 在保证低失真度的同时保证低码率, 这样更加有利于视频流的传输。 H. 264在运动搜索、 参考帧择优、 模式决策三个方面运用了不同的RDO 代价函数, 也将非RDO 代价函数列为可选模式, 以满足不同的需要。。 可描述如下: 在保证比特率R 不超过最大比特率R max 的条件下, 使失真D 达到最小, 即m in{D } 限制条件:R ≤R max。
可以通过选择最优的编码参数给出"最好"的图像质量(最低的失真) , 并不超过目标比特率。 在实际中, 用一套编码参数(量化步长、 块模式选择等)对视频序列进行编码, 得到相应的编码比特率 (R ) 和解码图像质量(或失真D ) , 两者结合, 即形成一个R -D 工作点。 用不同套的编码参数重复上述编码过程,获得不同的R - D 工作点，曲线为凸的曲线，横坐标为D，纵坐标为R，曲线为R（D）。
公式如：J(mode)＝D＋λ*R。根据不同的情况，D可取下面的值（常用的就是SSD、SAD和SATD）:以H.264亮度为例，在帧内预测块大小(16x16或4x4)和预测方向(4个或9个)决策、运动搜索(选择最有匹配点)、参考帧选择、帧间模式选择等都需要进行RDO。
SAD（Sum of Absolute Difference）=SAE（Sum of Absolute Error)即绝对误差和
SATD（Sum of Absolute Transformed Difference）即hadamard变换后再绝对值求和
SSD（Sum of Squared Difference）=SSE（Sum of Squared Error)即差值的平方和
MAD（Mean Absolute Difference）=MAE（Mean Absolute Error)即平均绝对差值
MSD（Mean Squared Difference）=MSE（Mean Squared Error）即平均平方误差
RDO概述：
众所周知，评价编码效率的有两大指标：码率和PSNR。码流越小，则压缩率越大；PSNR越大，重建图像越好。在模式选择的时候，判别公式实质上也就是对二者的综合评价。
首先以RDO为例，模式对应的代价：J(mode)＝SSD＋λ*R(ref,mode,mv,residual)
这里，SSD是指重建块与源图像的差值均方和；λ是拉格朗日乘子，就当是权值吧；R就是该模式下宏块编码的实际码流，包括对参考帧、模式、运动矢量、残差等的比特总和。当然如果是帧内模式，就只有R(mode,residual)。
很多人迷惑的是，改宏块还没编码啊，怎么知道它的码流和重建图像？实际上，RDO就是对每个模式都实际编码一次，得到J(mode)，然后选择J(mode)最小的模式为实际编码模式。就像编码器引入了一个大反馈，这也正是JM选用RDO编码起来龟速的原因，当然，编码效率最佳。
后来，“随意”注意到，不论熵编码选用cavlc还是cabac，各个模式下的residual编码都使用cavlc，为什么此时不用cabac呢？难道cabac复杂么？我的看法是因为cabac会对模型表更新数据，解码端是没有模式选择模块的，如果编码端此时使用cabac，会造成编解码端模型表不匹配，不能正常解码。 λ的取值是就是码率控制相关的概念。
SAD和SATD：
前已所述，RDO包含各模式的实际编码过程，也就是变换量化、熵编码、反变换反量化、重建等，计算量是相当大的，实时编码领域不可能直接使用。因此，就有了下面的替代公式：
J(mode)＝SAD＋λ*R(ref,mode,mv)
J(mode)＝SATD＋λ*R(ref,mode,mv)
这里SAD就是该模式下预测块与源图像的绝对误差和。比特R中少了对residual的编码，也就是运动估计后就可以直接得到该模式的J(mode)值，极大的减少了运算复杂度。
SATD就是对残差进行哈德曼变换后的系数绝对和，在大多数情形下，SATD比SAD评价效果更好些，我对foreman CIF图像的测试，psnr增加了约0.2db，码流差不多。当然，SATD比SAD多了个变换，计算量大些。
注意：SAD和SATD对应的λ与RDO的λ取值是不一样的。
容易困惑的还有，运动估计的匹配准则，很多运动估计的论文中都直接是SAD或SSE。编码器中对残差、MV、ref都要编码，所以匹配准则也就是SAD和码流R的综合评价！！！在同一个模式下，参考块与编码块的不同信息有ref、MV，故匹配准则为：
Jmotion＝SAD＋λ*R(ref,mv)
最后，附上我以前在群“H264乐园”中的帖子，
Q:如果不用率失真最优化， 为什么选择SATD＋delta×r（mode，ref，mv）作为模式选择的依据？为什么运动估计中，整象素搜索用SAD，而亚象素用SATD？为什么帧内模式选择要用SATD？
A: SAD即绝对误差和，仅反映残差时域差异，影响PSNR值，不能有效反映码流的大小。SATD即将残差经哈德曼变换的4×4块的预测残差绝对值总和，可以将其看作简单的时频变换，其值在一定程度上可以反映生成码流的大小。因此，不用率失真最优化时，可将其作为模式选择的依据。
一般帧内要对所有的模式进行检测，帧内预测选用SATD的原因同上。 在做运动估计时，一般而言，离最优匹配点越远，匹配误差值SAD越大，这就是有名的单一平面假设，现有的运动估计快速算法大都利用该特性。但是，转换后SATD值并不满足该条件，如果在整象素中运用SATD搜索，容易陷入局部最优点。而在亚象素中，待搜索点不多，各点处的SAD差异相对不大，可以用SATD选择码流较少的匹配位置。
转自：http://zmshy2128.blog.163.com/blog/static/2544637200658104210/