YUV是指亮度參量和色度參量分开表示的像素格式,而这样分开的优点就是不但能够避免相互干扰,还能够减少色度的採样率而不会对图像质量影响太大。YUV是一个比較笼统地说法,针对它的详细排列方式,能够分为非常多种详细的格式。转载一篇对yuv格式解释的比較清楚地文章,也能够直接參考微软的那篇文章。
对于YUV格式,比較原始的解说是MPEG-2 VIDEO部分的解释,当然后来微软有一个比較经典的解释,中文的大多是翻译这篇文章的。文章来源:http://msdn.microsoft.com/en-us/library/aa904813(VS.80).aspx
这里转载有人已经翻译过的,个人觉得已经翻译的非常不错了,遂放弃翻译。
http://hondrif82q.spaces.live.com/blog/cns!776E82726DE60562!177.entry
http://hondrif82q.spaces.live.com/blog/cns!776E82726DE60562!178.entry
YUV格式解析1(播放器——project2)
依据板卡api设计实现yuv420格式的视频播放器
打开*.mp4;*.264类型的文件,实现其播放。
使用的视频格式是YUV420格式
YUV格式通常有两大类:打包(packed)格式和平面(planar)格式。前者将YUV分量存放在同一个数组中,一般是几个相邻的像素组成一个宏像素(macro-pixel);而后者使用三个数组分开存放YUV三个分量,就像是一个三维平面一样。表2.3中的YUY2到Y211都是打包格式,而IF09到YVU9都是平面格式。(注意:在介绍各种详细格式时,YUV各分量都会带有下标,如Y0、U0、V0表示第一个像素的YUV分量,Y1、U1、V1表示第二个像素的YUV分量,以此类推。)
MEDIASUBTYPE_YUY2 YUY2格式,以4:2:2方式打包
MEDIASUBTYPE_YUYV YUYV格式(实际格式与YUY2同样)
MEDIASUBTYPE_YVYU YVYU格式,以4:2:2方式打包
MEDIASUBTYPE_UYVY UYVY格式,以4:2:2方式打包
MEDIASUBTYPE_AYUV 带Alpha通道的4:4:4 YUV格式
MEDIASUBTYPE_Y41P Y41P格式,以4:1:1方式打包
MEDIASUBTYPE_Y411 Y411格式(实际格式与Y41P同样)
MEDIASUBTYPE_Y211 Y211格式
MEDIASUBTYPE_IF09 IF09格式
MEDIASUBTYPE_IYUV IYUV格式
MEDIASUBTYPE_YV12 YV12格式
MEDIASUBTYPE_YVU9 YVU9格式
表2.3
YUV 採样
YUV 的长处之中的一个是,色度频道的採样率可比 Y 频道低,同一时候不会明显减少视觉质量。有一种表示法可用来描写叙述 U 和 V 与 Y 的採样频率比例,这个表示法称为 A:B:C 表示法:
• |
4:4:4 表示色度频道没有下採样。 |
• |
4:2:2 表示 2:1 的水平下採样,没有垂直下採样。对于每两个 U 例子或 V 例子,每一个扫描行都包括四个 Y 例子。 |
• |
4:2:0 表示 2:1 的水平下採样,2:1 的垂直下採样。 |
• |
4:1:1 表示 4:1 的水平下採样,没有垂直下採样。对于每一个 U 例子或 V 例子,每一个扫描行都包括四个 Y 例子。与其它格式相比,4:1:1 採样不太经常使用,本文不正确其进行具体讨论。 |
图 1 显示了 4:4:4 图片中使用的採样网格。灯光例子用叉来表示,色度例子则用圈表示。
图 1. YUV 4:4:4 例子位置
4:2:2 採样的这样的主要形式在 ITU-R Recommendation BT.601 中进行了定义。图 2 显示了此标准定义的採样网格。
图 2. YUV 4:2:2 例子位置
4:2:0 採样有两种常见的变化形式。当中一种形式用于 MPEG-2 视频,还有一种形式用于 MPEG-1 以及 ITU-T recommendations H.261 和 H.263。图 3 显示了 MPEG-1 方案中使用的採样网格,图 4 显示了 MPEG-2 方案中使用的採样网格。
图 3. YUV 4:2:0 例子位置(MPEG-1 方案)
图 4. YUV 4:2:0 例子位置(MPEG-2 方案)
与 MPEG-1 方案相比,在 MPEG-2 方案与为 4:2:2 和 4:4:4 格式定义的採样网格之间进行转换更简单一些。因此,在 Windows 中首选 MPEG-2 方案,应该考虑将其作为 4:2:0 格式的默认转换方案。
表面定义
本节讲述推荐用于视频呈现的 8 位 YUV 格式。这些格式能够分为几个类别:
• |
4:4:4 格式,每像素 32 位 |
• |
4:2:2 格式,每像素 16 位 |
• |
4:2:0 格式,每像素 16 位 |
• |
4:2:0 格式,每像素 12 位 |
首先,您应该理解下列概念,这样才干理解接下来的内容:
• |
表面原点。对于本文讲述的 YUV 格式,原点 (0,0) 总是位于表面的左上角。 |
• |
跨距。表面的跨距,有时也称为间距,指的是表面的宽度,以字节数表示。对于一个表面原点位于左上角的表面来说,跨距总是正数。 |
• |
对齐。表面的对齐是依据图形显示驱动程序的不同而定的。表面始终应该 DWORD 对齐,就是说,表面中的各个行肯定都是从 32 位 (DWORD) 边界開始的。对齐能够大于 32 位,但详细取决于硬件的需求。 |
• |
打包格式与平面格式。YUV 格式能够分为打包 格式和平面 格式。在打包格式中,Y、U 和 V 组件存储在一个数组中。像素被组织到了一些巨像素组中,巨像素组的布局取决于格式。在平面格式中,Y、U 和 V 组件作为三个单独的平面进行存储。 |
4:4:4 格式,每像素 32 位
推荐一个 4:4:4 格式,FOURCC 码为 AYUV。这是一个打包格式,当中每一个像素都被编码为四个连续字节,其组织顺序例如以下所看到的。
图 5. AYUV 内存布局
标记了 A 的字节包括 alpha 的值。
4:2:2 格式,每像素 16 位
支持两个 4:2:2 格式,FOURCC 码例如以下:
• |
YUY2 |
• |
UYVY |
两个都是打包格式,当中每一个巨像素都是编码为四个连续字节的两个像素。这样会使得色度水平下採样乘以系数 2。
YUY2
在 YUY2 格式中,数据可被视为一个不带正负号的 char 值组成的数组,当中第一个字节包括第一个 Y 例子,第二个字节包括第一个 U (Cb) 例子,第三个字节包括第二个 Y 例子,第四个字节包括第一个 V (Cr) 例子,如图 6 所看到的。
图 6. YUY2 内存布局
假设该图像被看作由两个 little-endian WORD 值组成的数组,则第一个 WORD 在最低有效位 (LSB) 中包括 Y0,在最高有效位 (MSB) 中包括 U。第二个 WORD 在 LSB 中包括 Y1,在 MSB 中包括 V。
YUY2 是用于 Microsoft DirectX® Video Acceleration (DirectX VA) 的首选 4:2:2 像素格式。预期它会成为支持 4:2:2 视频的 DirectX VA 加速器的中期要求。
UYVY
此格式与 YUY2 同样,仅仅是字节顺序是与之相反的 — 就是说,色度字节和灯光字节是翻转的(图 7)。假设该图像被看作由两个 little-endian WORD 值组成的数组,则第一个 WORD 在 LSB 中包括 U,在 MSB 中包括 Y0,第二个 WORD 在 LSB 中包括 V,在 MSB 中包括 Y1。
图 7. UYVY 内存布局
4:2:0 格式,每像素 16 位
推荐两个 4:2:0 每像素 16 位格式,FOURCC 码例如以下:
• |
IMC1 |
• |
IMC3 |
两个 FOURCC 码都是平面格式。色度频道在水平方向和垂直方向上都要以系数 2 来进行再次採样。
IMC1
全部 Y 例子都会作为不带正负号的 char 值组成的数组首先显示在内存中。后面跟着全部 V (Cr) 例子,然后是全部 U (Cb) 例子。V 和 U 平面与 Y 平面具有同样的跨距,从而生成如图 8 所看到的的内存的未使用区域。
图 8. IMC1 内存布局
IMC3
此格式与 IMC1 同样,仅仅是 U 和 V 平面进行了交换:
图 9. IMC3 内存布局
4:2:0 格式,每像素 12 位
推荐四个 4:2:0 每像素 12 位格式,FOURCC 码例如以下:
• |
IMC2 |
• |
IMC4 |
• |
YV12 |
• |
NV12 |
在全部这些格式中,色度频道在水平方向和垂直方向上都要以系数 2 来进行再次採样。
IMC2
此格式与 IMC1 同样,仅仅是 V (Cr) 和 U (Cb) 行在半跨距边界处进行了交错。换句话说,就是色度区域中的每一个完整跨距行都以一行 V 例子開始,然后是一行在下一个半跨距边界处開始的 U 例子(图 10)。此布局与 IMC1 相比,可以更加高效地利用地址空间。它的色度地址空间缩小了一半,因此总体地址空间缩小了 25%。在各个 4:2:0 格式中,IMC2 是第二首选格式,排在 NV12 之后。
图 10. IMC2 内存布局
IMC4
此格式与 IMC2 同样,仅仅是 U (Cb) 和 V (Cr) 行进行了交换:
图 11. IMC4 内存布局
YV12
全部 Y 例子都会作为不带正负号的 char 值组成的数组首先显示在内存中。此数组后面紧接着全部 V (Cr) 例子。V 平面的跨距为 Y 平面跨距的一半,V 平面包括的行为 Y 平面包括行的一半。V 平面后面紧接着全部 U (Cb) 例子,它的跨距和行数与 V 平面同样(图 12)。
图 12. YV12 内存布局
NV12
全部 Y 例子都会作为由不带正负号的 char 值组成的数组首先显示在内存中,而且行数为偶数。Y 平面后面紧接着一个由不带正负号的 char 值组成的数组,当中包括了打包的 U (Cb) 和 V (Cr) 例子,如图 13 所看到的。当组合的 U-V 数组被视为一个由 little-endian WORD 值组成的数组时,LSB 包括 U 值,MSB 包括 V 值。NV12 是用于 DirectX VA 的首选 4:2:0 像素格式。预期它会成为支持 4:2:0 视频的 DirectX VA 加速器的中期要求。
YUV格式解析2
又确认了一下H264的视频格式——H264支持4:2:0的连续或隔行视频的编码和解码
YUV(亦称YCrCb)是被欧洲电视系统所採用的一种颜色编码方法(属于PAL)。YUV主要用于优化彩色视频信号的传输,使其向后兼容老式黑白电视。与RGB视频信号传输相比,它最大的长处在于仅仅需占用极少的带宽(RGB要求三个独立的视频信号同一时候传输)。当中“Y”表示明亮度(Luminance或Luma),也就是灰阶值;而“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描写叙述影像色彩及饱和度,用于指定像素的颜色。“亮度”是通过RGB输入信号来创建的,方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面—色调与饱和度,分别用Cr和CB来表示。当中,Cr反映了GB输入信号红色部分与RGB信号亮度值之间的差异。而CB反映的是RGB输入信号蓝色部分与RGB信号亮度值之同的差异。
补充一下场的概念——
场的概念不是从DV才開始有的,电视系统已经有了(当然,DV和电视的关系大家都知道)归根结底还是扫描的问题,详细到PAL制式是:
每秒25帧,每帧两场,扫描线(包含电视机的电子束)自上而下先扫描一场,然后再自上而下扫描第二场
之所以引入场的概念,我的理解是主要为了在有限的带宽和成本内使画面运动更加平滑和消除闪烁感。
这两个场的扫描线是一条一条互相间隔开的,比方说对于一个帧来讲,最上面一条线编号为0,紧挨着的是1,再下来是2,3,4,5,6。。。。那么第一场或许是0,2,4,6;或许是1,3,5,7——这就是隔行扫描
在逐行扫描模式下,就是扫描线依照0,1,2,3,4,5的顺序依次扫描,非常明显,这时候就不存在场的概念了。
以下区分一下YUV和YCbCr
YUV色彩模型来源于RGB模型,
该模型的特点是将亮度和色度分离开,从而适合于图像处理领域。
应用:模拟领域
Y‘= 0.299*R‘ + 0.587*G‘ + 0.114*B‘
U‘= -0.147*R‘ - 0.289*G‘ + 0.436*B‘ = 0.492*(B‘- Y‘)
V‘= 0.615*R‘ - 0.515*G‘ - 0.100*B‘ = 0.877*(R‘- Y‘)
R‘ = Y‘ + 1.140*V‘
G‘ = Y‘ - 0.394*U‘ - 0.581*V‘
B‘ = Y‘ + 2.032*U‘
YCbCr模型来源于YUV模型。YCbCr是 YUV 颜色空间的偏移版本号.
应用:数字视频,ITU-R BT.601建议
Y’ = 0.257*R‘ + 0.504*G‘ + 0.098*B‘ + 16
Cb‘ = -0.148*R‘ - 0.291*G‘ + 0.439*B‘ + 128
Cr‘ = 0.439*R‘ - 0.368*G‘ - 0.071*B‘ + 128
R‘ = 1.164*(Y’-16) + 1.596*(Cr‘-128)
G‘ = 1.164*(Y’-16) - 0.813*(Cr‘-128) - 0.392*(Cb‘-128)
B‘ = 1.164*(Y’-16) + 2.017*(Cb‘-128)
PS: 上面各个符号都带了一撇,表示该符号在原值基础上进行了伽马校正,伽马校正有助于弥补在抗锯齿的过程中,线性分配伽马值所带来的细节损失,使图像细节更加丰富。在没有採用伽马校正的情况下,暗部细节不easy显现出来,而採用了这一图像增强技术以后,图像的层次更加明晰了。
所以说H264里面的YUV应属于YCbCr.
以下再细致谈谈YUV格式, YUV格式通常有两大类:打包(packed)格式和平面(planar)格式。前者将YUV分量存放在同一个数组中,一般是几个相邻的像素组成一个宏像素(macro-pixel);而后者使用三个数组分开存放YUV三个分量,就像是一个三维平面一样。
我们常说得YUV420属于planar格式的YUV, 颜色比例例如以下:
Y0U0V0 Y1 Y2U2V2 Y3
Y4 Y5 Y6 Y7
Y8U8V8 Y9 Y10U10V10 Y11
Y12 Y13 Y14 Y15
其它格式YUV能够点这里查看具体内容, 而在YUV文件里YUV420又是怎么存储的呢? 在常见H264測试的YUV序列中,比如CIF图像大小的YUV序列(352*288),在文件開始并没有文件头,直接就是YUV数据,先存第一帧的Y信息,长度为352*288个byte, 然后是第一帧U信息长度是352*288/4个byte, 最后是第一帧的V信息,长度是352*288/4个byte, 因此能够算出第一帧数据总长度是352*288*1.5,即152064个byte, 假设这个序列是300帧的话, 那么序列总长度即为152064*300=44550KB,这也就是为什么常见的300帧CIF序列总是44M的原因.
4:4:4採样就是说三种元素Y,Cb,Cr有相同的分辨率,这种话,在每个像素点上都对这三种元素进行採样.数字4是指在水平方向上对于各种元素的採样率,比方说,每四个亮度採样点就有四个Cb的Cr採样值.4:4:4採样完整地保留了全部的信息值.4:2:2採样中(有时记为YUY2),色度元素在纵向与亮度值有相同的分辨率,而在横向则是亮度分辨率的一半(4:2:2表示每四个亮度值就有两个Cb和Cr採样.)4:2:2视频用来构造高品质的视频彩色信号.
在流行的4:2:0採样格式中(常记为YV12)Cb和Cr在水平和垂直方向上有Y分辨率的一半.4:2:0有些不同,由于它并非指在实际採样中使用4:2:0,而是在编码史中定义这样的编码方法是用来区别于4:4:4和4:2:2方法的).4:2:0採样被广泛地应用于消费应用中,比方视频会议,数字电视和DVD存储中。由于每一个颜色区别元素中包括了四分之中的一个的Y採样元素量,那么4:2:0YCbCr视频须要刚好4: 4:4或RGB视频中採样量的一半。
4:2:0採样有时被描写叙述是一个"每像素12位"的方法。这么说的原因能够从对四个像素的採样中看出. 使用4:4:4採样,一共要进行12次採样,对每个Y,Cb和Cr,就须要12*8=96位,平均下来要96/4=24位。使用4:2:0就须要6*8 =48位,平均每个像素48/4=12位。
在一个4:2:0隔行扫描的视频序列中,相应于一个完整的视频帧的Y,Cb,Cr採样分配到两个场中。能够得到,隔行扫描的总採样数跟渐进式扫描中使用的採样数目是同样的。
对照一下:
Y41P(和Y411)(packed格式)格式为每一个像素保留Y分量,而UV分量在水平方向上每4个像素採样一次。一个宏像素为12个字节,实际表示8个像素。图像数据中YUV分量排列顺序例如以下: U0 Y0 V0 Y1 U4 Y2 V4 Y3 Y4 Y5 Y6 Y8 …
IYUV格式(planar)为每一个像素都提取Y分量,而在UV分量的提取时,首先将图像分成若干个2 x 2的宏块,然后每一个宏块提取一个U分量和一个V分量。YV12格式与IYUV相似,但仍然是平面模式。
YUV411、YUV420格式多见于DV数据中,前者用于NTSC制,后者用于PAL制。YUV411为每一个像素都提取Y分量,而UV分量在水平方向上每4个像素採样一次。YUV420并不是V分量採样为0,而是跟YUV411相比,在水平方向上提高一倍色差採样频率,在垂直方向上以U/V间隔的方式减小一半色差採样,例如以下图所看到的。
(好像显示不出来突下图像)
各种格式的详细使用位数的需求(使用4:2:0採样,对于每一个元素用8个位大小表示):
格式: Sub-QCIF 亮度分辨率: 128*96 每帧使用的位: 147456
格式: QCIF 亮度分辨率: 176*144 每帧使用的位: 304128
格式: CIF 亮度分辨率: 352*288 每帧使用的位: 1216512
格式: 4CIF 亮度分辨率: 704*576 每帧使用的位: 4866048