【视频编解码·学习笔记】4. H.264的码流封装格式 & 提取NAL有效数据

一、码流封装格式简单介绍:

H.264的语法元素进行编码后,生成的输出数据都封装为NAL Unit进行传递,多个NAL Unit的数据组合在一起形成总的输出码流。对于不同的应用场景,NAL规定了一种通用的格式适应不同的传输封装类型。

通常NAL Unit的传输格式分两大类:字节流格式和RTP包格式

字节流格式:

  • 大部分编码器的默认输出格式
  • 每个NAL Unit以规定格式的起始码分割
  • 起始码:0x 00 00 00 01 或 0x 00 00 01

RTP数据包格式:

  • NAL Unit按照RTP数据包的格式封装
  • 使用RTP包格式不需要额外的分割识别码,在RTP包的封装信息中有相应的数据长度信息。
  • 可以在NAL Unit的起始位置用一个固定长度的长度码表示整个NAL Unit的长度

实际应用中字节流格式更为常用,下面的均以字节流格式来介绍。

通过查阅H.264官方说明文档,了解NAL字节流格式(在附录B)

有用数据前面会加 0x 00 00 00 01 或 0x 00 00 01,作为起始码,两个起始码中间包含的即为有用数据流

如: 00 00 00 01 43 23 56 78 32 1A 59 2D 78 00 00 00 01 C3 E2 …… 中,红色的部分即为有效数据。

本次使用上一篇笔记中生成的test.264作为例子。

使用Ultra Edit打开此文件,可以看到该文件的数据流:

接下来将写一个小程序,从二进制码流文件中截取实际的NAL数据。

二、C++程序 从码流中提取NAL有效数据:

新建一个VS工程,配置工程属性。将【常规-输出目录】和【调试-工作目录】改为$(SolutionDir)bin\$(Configuration)\,【调试-命令参数】改为test.264编译、运行程序。

在 bin\debug 目录下可看到生成的exe执行文件

接下来编写程序的功能:

提取起始码之间的有效数据

程序思路:

从码流中寻找 00 00 00 01 或 00 00 01序列,后面就是有效数据流,将之后的数据保存起来,直到遇到下一个(00) 00 00 01 停止。

下面开始编写程序:

① 打开码流文件

使用下面的代码测试,比较简单,不再解释,最后记得要把文件流关掉。

int _tmain(int argc, _TCHAR* argv[])
{
    FILE *pFile_in = NULL;
    // 打开刚才导入的二进制码流文件
    _tfopen_s(&pFile_in, argv[1], _T("rb"));

    // 判断文件是否打开成功
    if (!pFile_in)
    {
        printf("Error: Open File failed. \n");
    }
    fclose(pFile_in);
    return 0;
}

② 寻找起始码

  • 使用数据类型unsigned char数据类型来存储单个字节码
  • 为了减少内存使用,使用数组 refix3,存储连续的三个字节码
  • 数组循环使用,新进来的数据放在弹出那位数据的位置上
  • 即:数组的存数顺序为 [0][1][2],下一个字符放在[0]的位置上,此时数据顺序为[1][2][0],再下一次[2][0][1]以此类推
  • 由于起始码有两种格式00 00 01 和 00 00 00 01,因此需要有两个判断分别对应

代码如下:

typedef unsigned char uint8;

static int find_nal_prefix(FILE **pFileIn)
{
    FILE *pFile = *pFileIn;
    // 00 00 00 01 x x x x x 00 00 00 01
    // 以下方法为了减少内存,及向回移动文件指针的操作
    uint8 prefix[3] = { 0 };

    /*
    依次比较 [0][1][2] = {0 0 0};  若不是,将下一个字符放到[0]的位置 -> [1][2][0] = {0 0 0} ; 下次放到[1]的位置,以此类推
    找到三个连0之后,还需判断下一个字符是否为1, getc() = 1  -> 00 00 00 01
    以及判断 [0][1][2] = {0 0 1} -> [1][2][0] = {0 0 1} 等,若出现这种序列则表示找到文件头
    */

    // 标记当前文件指针位置
    int pos = 0;
    // 标记查找的状态
    int getPrefix = 0;
    // 读取三个字节
    for (int idx = 0; idx < 3; idx++)
    {
        prefix[idx] = getc(pFile);
    }

    while (!feof(pFile))
    {
        if ((prefix[pos % 3] == 0) && (prefix[(pos + 1) % 3] == 0) && (prefix[(pos + 2) % 3] == 1))
        {
            // 0x 00 00 01 found
            getPrefix = 1;
            break;
        }
        else if((prefix[pos % 3] == 0) && (prefix[(pos + 1) % 3] == 0) && (prefix[(pos + 2) % 3] == 0))
        {
            if (1 == getc(pFile))
            {
                // 0x 00 00 00 01 found
                getPrefix = 2;
                break;
            }
        }
        else
        {
            fileByte = getc(pFile);
            prefix[(pos++) % 3] = fileByte;
        }
    }

    return getPrefix;
}

③ 提取有效数据

  • 使用容器vector 存储有效数据
  • 函数find_nal_prefix() 添加参数 vector
  • 每次读取的数据都直接push到nalBytes中,若遇到起始码再把起始码pop掉
  • 本函数需要重复执行,第一次文件指针移动到有效数据起始位置;第二次提取两段起始码间的有效数据;第三次在移动到下一个起始码后;第四次提取有效数据... 以此类推。

函数调整为:

static int find_nal_prefix(FILE **pFileIn, vector<uint8> &nalBytes)
{
    FILE *pFile = *pFileIn;
    // 00 00 00 01 x x x x x 00 00 00 01
    // 以下方法为了减少内存,及向回移动文件指针的操作
    uint8 prefix[3] = { 0 };
    // 表示读进来字节的数值
    uint8 fileByte;
    /*
    依次比较 [0][1][2] = {0 0 0};  若不是,将下一个字符放到[0]的位置 -> [1][2][0] = {0 0 0} ; 下次放到[1]的位置,以此类推
    找到三个连0之后,还需判断下一个字符是否为1, getc() = 1  -> 00 00 00 01
    以及判断 [0][1][2] = {0 0 1} -> [1][2][0] = {0 0 1} 等,若出现这种序列则表示找到文件头
    */

    nalBytes.clear();

    // 标记当前文件指针位置
    int pos = 0;
    // 标记查找的状态
    int getPrefix = 0;
    // 读取三个字节
    for (int idx = 0; idx < 3; idx++)
    {
        prefix[idx] = getc(pFile);
        // 每次读进来的字节 都放入vector中
        nalBytes.push_back(prefix[idx]);
    }

    while (!feof(pFile))
    {
        if ((prefix[pos % 3] == 0) && (prefix[(pos + 1) % 3] == 0) && (prefix[(pos + 2) % 3] == 1))
        {
            // 0x 00 00 01 found
            getPrefix = 1;
            // 这三个字符没用,pop掉
            nalBytes.pop_back();
            nalBytes.pop_back();
            nalBytes.pop_back();
            break;
        }
        else if((prefix[pos % 3] == 0) && (prefix[(pos + 1) % 3] == 0) && (prefix[(pos + 2) % 3] == 0))
        {
            if (1 == getc(pFile))
            {
                // 0x 00 00 00 01 found
                getPrefix = 2;
                // 这三个字符没用,pop掉 (最后那个1没填到vector中,不用pop)
                nalBytes.pop_back();
                nalBytes.pop_back();
                nalBytes.pop_back();
                break;
            }
        }
        else
        {
            fileByte = getc(pFile);
            prefix[(pos++) % 3] = fileByte;
            nalBytes.push_back(fileByte);
        }
    }

    return getPrefix;
}

主函数调整为:

#include "stdafx.h"
#include <stdio.h>
#include <vector>
typedef unsigned char uint8;
using namespace std;

int _tmain(int argc, _TCHAR* argv[])
{
    FILE *pFile_in = NULL;
    // 打开刚才导入的二进制码流文件
    _tfopen_s(&pFile_in, argv[1], _T("rb"));

    // 判断文件是否打开成功
    if (!pFile_in)
    {
        printf("Error: Open File failed. \n");
    }

    vector<uint8> nalBytes;
    find_nal_prefix(&pFile_in, nalBytes);
    find_nal_prefix(&pFile_in, nalBytes);
    for (int idx = 0; idx < nalBytes.size(); idx++)
    {
        printf("%x ", nalBytes.at(idx));
    }
    printf("\n");

    find_nal_prefix(&pFile_in, nalBytes);
    for (int idx = 0; idx < nalBytes.size(); idx++)
    {
        printf("%x ", nalBytes.at(idx));
    }
    printf("\n");

    fclose(pFile_in);

    return 0;
}

以第一节最后数据流为例,执行以上代码后,程序输出结果如下:

原文地址:https://www.cnblogs.com/shuofxz/p/8416222.html

时间: 2024-08-06 23:46:51

【视频编解码·学习笔记】4. H.264的码流封装格式 & 提取NAL有效数据的相关文章

【视频编解码&#183;学习笔记】6. H.264码流分析工程创建

一.准备工作: 新建一个VS工程SimpleH264Analyzer, 修改工程属性参数-> 输出目录:$(SolutionDir)bin\$(Configuration)\,工作目录:$(SolutionDir)bin\$(Configuration)\ 编译一下工程,工程目录下会生成bin文件夹,其中的debug文件夹中有刚才编译生成的exe文件.将一个.264视频文件拷贝到这个文件夹中(本次使用的仍是学习笔记3中生成的.264文件). 将这个文件作为输入参数传到工程中:属性 -> 调试

【视频编解码&#183;学习笔记】8. 熵编码算法:基本算法列举 &amp; 指数哥伦布编码

一.H.264中的熵编码基本方法: 熵编码具有消除数据之间统计冗余的功能,在编码端作为最后一道工序,将语法元素写入输出码流 熵解码作为解码过程的第一步,将码流解析出语法元素供后续步骤重建图像使用 在H.264的标准协议中,不同的语法元素指定了不同的熵编码方法.在协议文档中共指定了10种语法元素的描述符,这些描述符表达了码流解析为语法元素值的方法,其中包含了H.264标准所支持的所有熵编码方法: 语法元素描述符 编码方法 b(8) 8位二进制比特位串,用于描述rbsp_byte() f(n) n位

视频编解码技术详解(H.264、MPEG-4)

一.视频编解码概述 1. 应用场景 视频编码的目的就是压缩视频的占用空间,提高存储和传输的效率,在获得有效的压缩效果的同时,使得压缩过程引起的失真最小.视频压缩算法是通过去除时间.空间的冗余来实现的.通过去除不同类型的冗余,可以明显的压缩数据,代价就是一部分信息失真,可以通过熵编码器(如哈夫曼编码等)进行编码可以获得更高的压缩比.目前主流的图像/视频压缩标准为:JPEG,MPEG,H26X等标准. 2. 主流视频编码标准简介 MPEG-4和H.264(也叫AVC)是目前较为主流的编码标准.每个标

【视频编解码&#183;学习笔记】11. 提取SPS信息程序

一.准备工作: 回到之前SimpleH264Analyzer程序,找到SPS信息,并对其做解析 调整项目目录结构: 修改Global.h文件中代码,添加新数据类型UINT16,之前编写的工程中,UINT8和UINT32都为小写表示,为了更符合编程规范,将其改为全大写(可使用ctrl+H在整个解决方案内进行替换). typedef unsigned char UINT8; typedef unsigned short UINT16; typedef unsigned int UINT32; 之后编

【视频编解码&#183;学习笔记】5. NAL Unit 结构分析

在上一节中通过一个小程序,可以提取NAL Unit所包含的的字节数据.H.264码流中的每一个NAL Unit的作用并不是相同的,而是根据不同的类型起不同的作用.下面将对NAL Unit中的数据进行解析. 一.NAL Unit结构 一个NAL Unit都是由一个NAL Header和一个NAL Body组成.对于基本版本的H.264标准(不考虑SVC和MVC扩展),一个NAL Header的长度固定为1,即8bit.这8bit的含义分别为: forbidden_zero_bit:每一个NAL H

【视频编解码&#183;学习笔记】3. H.264视频编解码工程JM的下载与编解码

一.下载JM工程: JM是H.264标准制定团队所认可的官方参考软件.网址如下 http://iphome.hhi.de/suehring/tml/ 从页面中可找到相应的工程源码,本次选择JM 8.6版本,此版本为经典版本: http://iphome.hhi.de/suehring/tml/download/old_jm/ 二.配置编码环境: 下载后打开工程目录中tml.sln文件,VS中会有三个工程,其中rtpdump没用,删掉.另外两个ldecod和lencod分别为解码和编码工程. 首先

各种音视频编解码学习详解

各种音视频编解码学习详解 媒体业务是网络的主要业务之间.尤其移动互联网业务的兴起,在运营商和应用开发商中,媒体业务份量极重,其中媒体的编解码服务涉及需求分析.应用开发.释放license收费等等.最近因为项目的关系,需要理清媒体的codec,比较搞的是,在豆丁网上看运营商的规范 标准,同一运营商同样的业务在不同文档中不同的要求,而且有些要求就我看来应当是历史的延续,也就是现在已经很少采用了.所以豆丁上看不出所以然,从 wiki上查.中文的wiki信息量有限,很短,而wiki的英文内容内多,删减版

视频编解码学习之四:视频处理及编码标准

1.视频处理 在视频压缩前后,对视频图像质量增强的操作 视频编解码系统输出的图像主观质量不仅与压缩算法的性能有关,还受视频处理的影响 压缩之前对视频的处理称作预处理(Pre-processing) 压缩之后对视频的处理称作后处理(Post-processing) 2. 预处理 预处理的目的 为了减少原图像受到的损害,保持原图像的重要特征,使原图像能被高效的压缩 噪声污染 光照差 抖动 为了进行视频格式转换 去隔行 空间缩放 帧率转换 去噪声处理 去隔行(Deinterlace) 隔行扫描的视频图

视频编解码学习之三:变换,量化与熵编码

第6章 变换编码 1. 变换编码 变换编码的目的 去除空间信号的相关性 将空间信号的能力集中到频域的一小部分低频系数上 能量小的系数可通过量化去除,而不会严重影响重构图像的质量 块变换和全局变换 块变换:离散余弦变换(Discrete Cosine Transform,DCT),4x4,8x8,16x16 全局变换:小波变换(Wavelet) 变换的能量集中特性 DCT编码 2. 变换类型 K-L变换 傅里叶变换 余弦变换 小波变换 3. KL变换 最优变换 基函数根据具体图像而确定 没有快速算