aac adts & LATM封装码流分析

本文继续上一篇文章的内容，介绍一个音频码流处理程序。音频码流在视频播放器中的位置如下所示。

本文中的程序是一个AAC码流解析程序。该程序可以从AAC码流中分析得到它的基本单元ADTS frame，并且可以简单解析ADTS frame首部的字段。通过修改该程序可以实现不同的AAC码流处理功能。

原理

AAC原始码流（又称为“裸流”）是由一个一个的ADTS frame组成的。他们的结构如下图所示。

其中每个ADTS frame之间通过syncword（同步字）进行分隔。同步字为0xFFF（二进制“111111111111”）。AAC码流解析的步骤就是首先从码流中搜索0x0FFF，分离出ADTS frame；然后再分析ADTS frame的首部各个字段。本文的程序即实现了上述的两个步骤。

一般的AAC解码器都需要把AAC的ES流打包成ADTS的格式，一般是在AAC ES流前添加7个字节的ADTS header。也就是说你可以吧ADTS这个头看作是AAC的frameheader。

ADTS 头中相对有用的信息 采样率、声道数、帧长度。想想也是，我要是解码器的话，你给我一堆得AAC音频ES流我也解不出来。每一个带ADTS头信息的AAC流会清晰的告送解码器他需要的这些信息。

一般情况下ADTS的头信息都是7个字节，分为2部分：

adts_fixed_header();

adts_variable_header();


 

syncword ：同步头 总是0xFFF, all bits must be 1，代表着一个ADTS帧的开始

ID：MPEG Version: 0 for MPEG-4, 1 for MPEG-2

Layer：always: ‘00‘

profile：表示使用哪个级别的AAC，有些芯片只支持AAC LC 。在MPEG-2 AAC中定义了3种：

sampling_frequency_index：表示使用的采样率下标，通过这个下标在 Sampling Frequencies[ ]数组中查找得知采样率的值。

There are 13 supported frequencies:

  • 0: 96000 Hz
  • 1: 88200 Hz
  • 2: 64000 Hz
  • 3: 48000 Hz
  • 4: 44100 Hz
  • 5: 32000 Hz
  • 6: 24000 Hz
  • 7: 22050 Hz
  • 8: 16000 Hz
  • 9: 12000 Hz
  • 10: 11025 Hz
  • 11: 8000 Hz
  • 12: 7350 Hz
  • 13: Reserved
  • 14: Reserved
  • 15: frequency is written explictly

channel_configuration: 表示声道数

  • 0: Defined in AOT Specifc Config
  • 1: 1 channel: front-center
  • 2: 2 channels: front-left, front-right
  • 3: 3 channels: front-center, front-left, front-right
  • 4: 4 channels: front-center, front-left, front-right, back-center
  • 5: 5 channels: front-center, front-left, front-right, back-left, back-right
  • 6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
  • 7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
  • 8-15: Reserved

frame_length : 一个ADTS帧的长度包括ADTS头和AAC原始流.

adts_buffer_fullness：0x7FF 说明是码率可变的码流

代码

整个程序位于simplest_aac_parser()函数中，如下所示。

[cpp] view plain copy

  1. /**
  2. * 最简单的视音频数据处理示例
  3. * Simplest MediaData Test
  4. *
  5. * 雷霄骅 Lei Xiaohua
  6. * [email protected]
  7. * 中国传媒大学/数字电视技术
  8. * Communication University of China / Digital TV Technology
  9. * http://blog.csdn.net/leixiaohua1020
  10. *
  11. * 本项目包含如下几种视音频测试示例：
  12. *  (1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。
  13. *  (2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。
  14. *  (3)H.264码流分析程序。可以分离并解析NALU。
  15. *  (4)AAC码流分析程序。可以分离并解析ADTS帧。
  16. *  (5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。
  17. *  (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。
  18. *
  19. * This project contains following samples to handling multimedia data:
  20. *  (1) Video pixel data handling program. It contains several examples to handle RGB and YUV data.
  21. *  (2) Audio sample data handling program. It contains several examples to handle PCM data.
  22. *  (3) H.264 stream analysis program. It can parse H.264 bitstream and analysis NALU of stream.
  23. *  (4) AAC stream analysis program. It can parse AAC bitstream and analysis ADTS frame of stream.
  24. *  (5) FLV format analysis program. It can analysis FLV file and extract MP3 audio stream.
  25. *  (6) UDP-RTP protocol analysis program. It can analysis UDP/RTP/MPEG-TS Packet.
  26. *
  27. */
  28. #include <stdio.h>
  29. #include <stdlib.h>
  30. #include <string.h>
  31. int getADTSframe(unsigned char* buffer, int buf_size, unsigned char* data ,int* data_size){
  32. int size = 0;
  33. if(!buffer || !data || !data_size ){
  34. return -1;
  35. }
  36. while(1){
  37. if(buf_size  < 7 ){
  38. return -1;
  39. }
  40. //Sync words
  41. if((buffer[0] == 0xff) && ((buffer[1] & 0xf0) == 0xf0) ){
  42. size |= ((buffer[3] & 0x03) <<11);     //high 2 bit
  43. size |= buffer[4]<<3;                //middle 8 bit
  44. size |= ((buffer[5] & 0xe0)>>5);        //low 3bit
  45. break;
  46. }
  47. --buf_size;
  48. ++buffer;
  49. }
  50. if(buf_size < size){
  51. return 1;
  52. }
  53. memcpy(data, buffer, size);
  54. *data_size = size;
  55. return 0;
  56. }
  57. int simplest_aac_parser(char *url)
  58. {
  59. int data_size = 0;
  60. int size = 0;
  61. int cnt=0;
  62. int offset=0;
  63. //FILE *myout=fopen("output_log.txt","wb+");
  64. FILE *myout=stdout;
  65. unsigned char *aacframe=(unsigned char *)malloc(1024*5);
  66. unsigned char *aacbuffer=(unsigned char *)malloc(1024*1024);
  67. FILE *ifile = fopen(url, "rb");
  68. if(!ifile){
  69. printf("Open file error");
  70. return -1;
  71. }
  72. printf("-----+- ADTS Frame Table -+------+\n");
  73. printf(" NUM | Profile | Frequency| Size |\n");
  74. printf("-----+---------+----------+------+\n");
  75. while(!feof(ifile)){
  76. data_size = fread(aacbuffer+offset, 1, 1024*1024-offset, ifile);
  77. unsigned char* input_data = aacbuffer;
  78. while(1)
  79. {
  80. int ret=getADTSframe(input_data, data_size, aacframe, &size);
  81. if(ret==-1){
  82. break;
  83. }else if(ret==1){
  84. memcpy(aacbuffer,input_data,data_size);
  85. offset=data_size;
  86. break;
  87. }
  88. char profile_str[10]={0};
  89. char frequence_str[10]={0};
  90. unsigned char profile=aacframe[2]&0xC0;
  91. profile=profile>>6;
  92. switch(profile){
  93. case 0: sprintf(profile_str,"Main");break;
  94. case 1: sprintf(profile_str,"LC");break;
  95. case 2: sprintf(profile_str,"SSR");break;
  96. default:sprintf(profile_str,"unknown");break;
  97. }
  98. unsigned char sampling_frequency_index=aacframe[2]&0x3C;
  99. sampling_frequency_index=sampling_frequency_index>>2;
  100. switch(sampling_frequency_index){
  101. case 0: sprintf(frequence_str,"96000Hz");break;
  102. case 1: sprintf(frequence_str,"88200Hz");break;
  103. case 2: sprintf(frequence_str,"64000Hz");break;
  104. case 3: sprintf(frequence_str,"48000Hz");break;
  105. case 4: sprintf(frequence_str,"44100Hz");break;
  106. case 5: sprintf(frequence_str,"32000Hz");break;
  107. case 6: sprintf(frequence_str,"24000Hz");break;
  108. case 7: sprintf(frequence_str,"22050Hz");break;
  109. case 8: sprintf(frequence_str,"16000Hz");break;
  110. case 9: sprintf(frequence_str,"12000Hz");break;
  111. case 10: sprintf(frequence_str,"11025Hz");break;
  112. case 11: sprintf(frequence_str,"8000Hz");break;
  113. default:sprintf(frequence_str,"unknown");break;
  114. }
  115. fprintf(myout,"%5d| %8s|  %8s| %5d|\n",cnt,profile_str ,frequence_str,size);
  116. data_size -= size;
  117. input_data += size;
  118. cnt++;
  119. }
  120. }
  121. fclose(ifile);
  122. free(aacbuffer);
  123. free(aacframe);
  124. return 0;
  125. }

上文中的函数调用方法如下所示。

[cpp] view plain copy

  1. simplest_aac_parser("nocturne.aac");

结果

本程序的输入为一个AAC原始码流（裸流）的文件路径，输出为该码流中ADTS frame的统计数据，如下图所示。

LATM格式

LATM 的全称为“Low-overhead MPEG-4 Audio TransportMultiplex”（低开销音频传输复用），

是MPEG-4 AAC制定的一种高效率的码流传输方式，MPEG-2 TS 流也采用LATM

作为AAC 音频码流的封装格式之 LATM格式也以帧为单位，主要由AudioSpecificConfig（音频特定配置单元）与音频负载组成。

音频负载主要由PayloadLengthInfo（负载长度信息）和PayloadMux（负载净荷）组成。

AudioSpecificConfig 描述了一个LATM 帧的信息；

AudioSpecificConfig 信息可以是带内传，也可以是带外传。所谓带内传，就是指每一个LATM 帧，都含有一个AudioSpecificConfig 信息；而带外传，则每一个LATM帧都不含有AudioSpecificConfig 信息，而通过其他方式把AudioSpecificConfig信息发送到解码端，

由于AudioSpecificConfig 信息一般是不变的，所以只需发送一次即可。由此可见，

AudioSpecificConfig 信息采用带内传输可适应音频编码信息不断变化的情况（项目现在使用的是带外，通过ADTS头也不使用了），而采用带外传输，可以节省音频传输码率。带内或带外传，由muxconfigPresent 标志位决定。例如流媒体应用中，muxconfigPresent 可设置为0，这样LATM帧中将不含有AudioSpecificConfig 信息，LATM帧通过RTP包发送出去，AudioSpecificConfig 可通过SDP文件一次性传送到解码端。

1、AudioSpecificConfig 主要参数如下（参看ISO14496-3中1.6.2.1 AudioSpecificConfig）

numSubFrames 子帧的数目

numProgram 复用的节目数

numLayer 复用的层数

frameLengthType 负载的帧长度类型，包括固定长度与可变长度

audioObjectType 音频对象类型

samplingFrequency 采样率

channelConfiguration 声道配置

2、音频负载由若干子帧组成，每个子帧由PayloadLengthInfo和PayloadMux组成，

与ADTS帧净荷一样，音频负载主要包含原始帧数据。

AAC打包成TS流通常有两种方式，分别是先打包成ADTS或LATM。ADTS的每一帧都有个帧头，在

每个帧头信息都一样的状况下，会有很大的冗余。LATM格式具有很大的灵活性，每帧的音频配置单元既可以带内传输，又可以带外传输。正因为如此，LATM不仅适用于流传输还可以用于RTP传输，

RTP传输时，若音频数据配置信息是保持不变，可以先通过SDP会话先传输StreamMuxConfig（AudioSpecificConfig）信息，

由于LATM流由一个包含了一个或多个音频帧的audioMuxElements序列组成。

一个完整或部分完整的audioMuxElement可直接映射到一个RTP负载上。

下面是一个audoMuxEmlemt

AudioMuxElement(muxConfigPresent)

{

if (muxConfigPresent)

{

useSameStreamMux;

if (!useSameStreamMux)

StreamMuxConfig();

}

if (audioMuxVersionA == 0)

{

for (i = 0; i <= numSubFrames; i++)

{

PayloadLengthInfo();

PayloadMux();

}

}

}

可以很简单的把ADTS帧转换为LATM帧，根据ADTS头的信息，生成StreamMuxConfig，

将ADTS中的原始帧提取出来，前面加上PayloadLengthInfo做为LATM的音频帧。

按照上述格式打包生成AudioMuxElement，作为RTP的负载传输.

四、CMMB中的LATM

当CMMB中音频压缩标准为AAC时，默认采用LATM封装。StreamMuxConfig采用带外传输。

StreamMuxConifg中的若干默认参数如下：audioMuxVersion:0，标志流语法版本号为0，

allStreamsSameTimeFraming标志复用到PayLoadMux()中的所有负载共享一个共同的时基音频子帧.

audioObjectType:2 AAC-LC

freameLengthType:0 帧长度是可变的

latmBufferFullness:0xFF 码率可变的码流

原文链接：http://blog.csdn.net/leixiaohua1020/article/details/50535042

　　　　　http://blog.sina.com.cn/s/blog_a3158ded0101gmco.html

时间： 2024-11-05 13:28:39

aac adts & LATM封装码流分析的相关文章

多媒体开发之---海康码流分析

首先感谢http://blog.csdn.net/wwyyxx26/article/details/15224879博文,可以说是通过这篇博文才有了思路. 先取一些数据,在这之前的数据为海康的头,即NET_DVR_SYSHEAD分支,不作描述,直接取NET_DVR_STREAMDATA分支的码流数据,开始如下: 00 00 01 BA 46 E6 6C A1 14 01 00 00 03 FE FF FF00 00 00 01 00 00 01 BC 00 5A E0 FF 00 24 40 0

【视频编解码&#183;学习笔记】6. H.264码流分析工程创建

一.准备工作: 新建一个VS工程SimpleH264Analyzer, 修改工程属性参数-> 输出目录:$(SolutionDir)bin\$(Configuration)\,工作目录:$(SolutionDir)bin\$(Configuration)\ 编译一下工程,工程目录下会生成bin文件夹,其中的debug文件夹中有刚才编译生成的exe文件.将一个.264视频文件拷贝到这个文件夹中(本次使用的仍是学习笔记3中生成的.264文件). 将这个文件作为输入参数传到工程中:属性 -> 调试

h264码流分析工具

1.codecvisa: http://www.codecian.com/downloads.html 2.Three ways comes to mind (if you are looking for something free, else google "h264 analysis"):    a)  Download h.264 parser from:    http://www.w6rz.net/h264_parse.zip (from this thread @ doo

视音频数据处理入门：AAC音频码流解析

本文继续上一篇文章的内容,介绍一个音频码流处理程序.音频码流在视频播放器中的位置如下所示. 本文中的程序是一个AAC码流解析程序.该程序可以从AAC码流中分析得到它的基本单元ADTS frame,并且可以简单解析ADTS frame首部的字段.通过修改该程序可以实现不同的AAC码流处理功能. 原理 AAC原始码流(又称为"裸流")是由一个一个的ADTS frame组成的.他们的结构如下图所示. 其中每个ADTS frame之间通过syncword(同步字)进行分隔.同步字为0xFFF(

视音频数据处理入门：H.264视频码流解析

前两篇文章介绍的YUV/RGB处理程序以及PCM处理程序都属于视音频原始数据的处理程序.从本文开始介绍视音频码流的处理程序.本文介绍的程序是视频码流处理程序.视频码流在视频播放器中的位置如下所示. 本文中的程序是一个H.264码流解析程序.该程序可以从H.264码流中分析得到它的基本单元NALU,并且可以简单解析NALU首部的字段.通过修改该程序可以实现不同的H.264码流处理功能. 原理 H.264原始码流(又称为"裸流")是由一个一个的NALU组成的.他们的结构如下图所示. 其中每

(转)RTP协议全解（H264码流和PS流）

写在前面:RTP的解析,网上找了很多资料,但是都不全,所以我力图整理出一个比较全面的解析, 其中借鉴了很多文章,我都列在了文章最后,在此表示感谢. 互联网的发展离不开大家的无私奉献,我决定从我做起,希望大家支持. 原创不易,转载请附上链接,谢谢http://blog.csdn.net/chen495810242/article/details/39207305 1.RTP Header解析   图1 1)        V:RTP协议的版本号,占2位,当前协议版本号为2 2)        P:

RTP协议全解（H264码流和PS流）

写在前面:RTP的解析,网上找了很多资料,但是都不全,所以我力图整理出一个比较全面的解析, 其中借鉴了很多文章,我都列在了文章最后,在此表示感谢. 互联网的发展离不开大家的无私奉献,我决定从我做起,希望大家支持. 原创不易,转载请附上链接,谢谢http://blog.csdn.net/chen495810242/article/details/39207305 1.RTP Header解析   图1 1)        V:RTP协议的版本号,占2位,当前协议版本号为2 2)        P:

RTP协议全解析（H264码流和PS流）

目录(?)[+] RTP Header解析 RTP荷载H264码流 1单个NAL单元包 2分片单元FU-A RTP荷载PS流 1PS包头 2系统标题 3节目映射流 4PES分组头部 写在前面:RTP的解析,网上找了很多资料,但是都不全,所以我力图整理出一个比较全面的解析, 其中借鉴了很多文章,我都列在了文章最后,在此表示感谢. 互联网的发展离不开大家的无私奉献,我决定从我做起,希望大家支持. 原创不易,转载请附上链接,谢谢http://blog.csdn.net/chen495810242/ar

开源视频码流分析软件：VideoEye

本文介绍一个自己做的码流分析软件:VideoEye.为什么要起这个名字呢?感觉这个软件的主要功能就是对"视频"进行"分析".而分析是要用眼睛来看的,因此取了"视频"和"分析"这两个词的英文,名之曰:VideoEye.这个软件是在自己毕业设计软件的基础上改的.可以对本地文件或者互联网视频流进行实时的码流分析.由于这个软件是自己一边学习视音频技术一边制作的,所以涵盖了比较全面的功能.在编写这个软件的过程中,自己也学会了很多的视音频