(原)关于MEPG-2中的TS流数据格式学习

关于MEPG-2中的TS流数据格式学习

Author:lihaiping1603

原创:http://www.cnblogs.com/lihaiping/p/8572997.html

本文主要记录了,结合网上两篇博客

1) https://www.maizhiying.me/posts/2017/07/12/demux-ts.html

2) https://my.oschina.net/u/727148/blog/666824

,mepg-2(13818)文档以及使用ffmpeg将mp4文件转码为ts文件的格式数据

ffmpeg.exe -i 01.mp4 -c:v libx264 -c:a aac -f hls out.m3u8

一起进行分析和学习ts流格式的过程。

其实这两篇博客文档已经写的很好了,但有几个点我在结合分析的过程的时候,还是很疑惑的,所以,我先引用他人博客的内容,然后再补充自己的在分析过程中一部分内容,方便自己以后阅读和翻看。

ts文件为传输流文件,视频编码主要格式h264/mpeg4,音频为acc/MP3。

ts文件分为三层:ts层Transport Stream、pes层 Packet Elemental Stream、es层 Elementary Stream. es层就是音视频数据,pes层是在音视频数据上加了时间戳等对数据帧的说明信息,ts层就是在pes层加入数据流的识别和传输必须的信息

注: 详解如下

(1)ts层     ts包大小固定为188字节,ts层分为三个部分:ts header、adaptation field、payload。ts header固定4个字节;adaptation field可能存在也可能不存在,主要作用是给不足188字节的数据做填充;payload是pes数据。

ts header


sync_byte


8b


同步字节,固定为0x47


transport_error_indicator


1b


传输错误指示符,表明在ts头的adapt域后由一个无用字节,通常都为0,这个字节算在adapt域长度内


payload_unit_start_indicator


1b


负载单元起始标示符,一个完整的数据包开始时标记为1(这个地方的详细解释,在后面注意的地方进行了补充)


transport_priority


1b


传输优先级,0为低优先级,1为高优先级,通常取0


pid


13b


pid值


transport_scrambling_control


2b


传输加扰控制,00表示未加密


adaptation_field_control


2b


是否包含自适应区,‘00’保留;‘01’为无自适应域,仅含有效负载;‘10’为仅含自适应域,无有效负载;‘11’为同时带有自适应域和有效负载。


continuity_counter


4b


递增计数器,从0-f,起始值不一定取0,但必须是连续的

ts层的内容是通过PID值来标识的,主要内容包括:PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流,因为用户随时可能加入ts流,这个间隔比较小,通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的,还可以加入其它表如SDT(业务描述表)等,不过hls流只要有PAT和PMT就可以播放了。

PAT表:他主要的作用就是指明了PMT表的PID值。

PMT表:他主要的作用就是指明了音视频流的PID值。

音频流/视频流:承载音视频内容。

其中ts-header中的PID的取值:

  1. 0x0000,PAT(Program Association Table)。
  2. 0x0001,CAT(Conditional Access Table)。
  3. 0x0002,TSDT(Transport Stream Description Table)。
  4. 0x0003-0x000f,保留。
  5. 0x0010-0x1ffe,PMT,或者是视频、音频码流的PID。
  6. 0x1fff,空包。

adaption


adaptation_field_length


1B


自适应域长度,后面的字节数(不包含adaptation_field_length)


flag


1B


取0x50表示包含PCR或0x40表示不包含PCR


PCR


5B


Program Clock Reference,节目时钟参考,用于恢复出与编码端一致的系统时序时钟STC(System Time Clock)。


stuffing_bytes


xB


填充字节,取值0xff

自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考,pcr、dts、pts都是对同一个系统时钟的采样值,pcr是递增的,因此可以将其设置为dts值,音频数据不需要pcr。如果没有字段,ipad是可以播放的,但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的,不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field,通常加在一个帧的第一个ts包和最后一个ts包里,中间的ts包不加。

PAT格式


table_id


8b


PAT表固定为0x00


section_syntax_indicator


1b


固定为1


zero


1b


固定为0


reserved


2b


固定为11


section_length


12b


后面数据的长度


transport_stream_id


16b


传输流ID,固定为0x0001


reserved


2b


固定为11


version_number


5b


版本号,固定为00000,如果PAT有变化则版本号加1


current_next_indicator


1b


固定为1,表示这个PAT表可以用,如果为0则要等待下一个PAT表


section_number


8b


固定为0x00


last_section_number


8b


固定为0x00


开始循环


program_number


16b


节目号为0x0000时表示这是NIT,节目号为0x0001时,表示这是PMT


reserved


3b


固定为111


PID


13b


节目号对应内容的PID值


结束循环


CRC32


32b


前面数据的CRC32校验码

PMT格式


table_id


8b


PMT表取值随意,0x02


section_syntax_indicator


1b


固定为1


zero


1b


固定为0


reserved


2b


固定为11


section_length


12b


后面数据的长度


program_number


16b


频道号码,表示当前的PMT关联到的频道,取值0x0001


reserved


2b


固定为11


version_number


5b


版本号,固定为00000,如果PAT有变化则版本号加1


current_next_indicator


1b


固定为1


section_number


8b


固定为0x00


last_section_number


8b


固定为0x00


reserved


3b


固定为111


PCR_PID


13b


PCR(节目参考时钟)所在TS分组的PID,指定为视频PID


reserved


4b


固定为1111


program_info_length


12b


节目描述信息,指定为0x000表示没有


开始循环


stream_type


8b


流类型,标志是Video还是Audio还是其他数据,h.264编码对应0x1b,aac编码对应0x0f,mp3编码对应0x03


reserved


3b


固定为111


elementary_PID


13b


与stream_type对应的PID


reserved


4b


固定为1111


ES_info_length


12b


描述信息,指定为0x000表示没有


结束循环


CRC32


32b


前面数据的CRC32校验码


(2)pes层

pes层是在每一个视频/音频帧上加入了时间戳等信息,pes包内容很多,我们只留下最常用的。


pes start code


3B


开始码,固定为0x000001


stream id


1B


音频取值(0xc0-0xdf),通常为0xc0
视频取值(0xe0-0xef),通常为0xe0


pes packet length


2B


后面pes数据的长度,0表示长度不限制,
只有视频数据长度会超过0xffff


flag


1B


通常取值0x80,表示数据不加密、无优先级、备份的数据


flag


1B


取值0x80表示只含有pts,取值0xc0表示含有pts和dts


pes data length


1B


后面数据的长度,取值5或10


pts


5B


33bit值


dts


5B


33bit值

pts是显示时间戳、dts是解码时间戳,视频数据两种时间戳都需要,音频数据的pts和dts相同,所以只需要pts。有pts和dts两种时间戳是B帧引起的,I帧和P帧的pts等于dts。如果一个视频没有B帧,则pts永远和dts相同。从文件中顺序读取视频帧,取出的帧顺序和dts顺序相同。dts算法比较简单,初始值 + 增量即可,pts计算比较复杂,需要在dts的基础上加偏移量。

音频的pes中只有pts(同dts),视频的I、P帧两种时间戳都要有,视频B帧只要pts(同dts)。打包pts和dts就需要知道视频帧类型,但是通过容器格式我们是无法判断帧类型的,必须解析h.264内容才可以获取帧类型。

举例说明:

I          P          B          B          B          P

读取顺序:         1         2          3          4          5          6

dts顺序:           1         2          3          4          5          6

pts顺序:           1         5          3          2          4          6

点播视频dts算法:

dts = 初始值 + 90000 / video_frame_rate,初始值可以随便指定,但是最好不要取0,video_frame_rate就是帧率,比如23、30。

pts和dts是以timescale为单位的,1s = 90000 time scale , 一帧就应该是90000/video_frame_rate 个timescale。

用一帧的timescale除以采样频率就可以转换为一帧的播放时长

点播音频dts算法:

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate,audio_samples_per_frame这个值与编解码相关,aac取值1024,mp3取值1158,audio_sample_rate是采样率,比如24000、41000。AAC一帧解码出来是每声道1024个sample,也就是说一帧的时长为1024/sample_rate秒。所以每一帧时间戳依次0,1024/sample_rate,...,1024*n/sample_rate秒。

直播视频的dts和pts应该直接用直播数据流中的时间,不应该按公式计算。

(3)es层

es层指的就是音视频数据,我们只介绍h.264视频和aac音频。

h.264视频:

打包h.264数据我们必须给视频数据加上一个nalu(Network Abstraction Layer unit),nalu包括nalu header和nalu type,nalu header固定为0x00000001(帧开始)或0x000001(帧中)。h.264的数据是由slice组成的,slice的内容包括:视频、sps、pps等。nalu type决定了后面的h.264数据内容。


F


1b


forbidden_zero_bit,h.264规定必须取0


NRI


2b


nal_ref_idc,取值0~3,指示这个nalu的重要性,I帧、sps、pps通常取3,P帧通常取2,B帧通常取0


Type


5b


参考下表


nal_unit_type


说明


0


未使用


1


非IDR图像片,IDR指关键帧


2


片分区A


3


片分区B


4


片分区C


5


IDR图像片,即关键帧


6


补充增强信息单元(SEI)


7


SPS序列参数集


8


PPS图像参数集


9


分解符


10


序列结束


11


码流结束


12


填充


13~23


保留


24~31


未使用

红色字体显示的内容是最常用的,打包es层数据时pes头和es数据之间要加入一个type=9的nalu,关键帧slice前必须要加入type=7和type=8的nalu,而且是紧邻。

其中这里需要注意:(我的原创内容)

除了上面介绍的PAT,PMT,ADapation filed,PES这些以外,还少介绍了一个Pointer_filed的字段;这个字段的含义是什么?它怎么用的呢?用在哪个地方?

我们先来看这个字段的介绍:

 

它的出现与否是由ts-header中的pay_load_unit_start_indicator来标识的:

 

 

意思是如果这个传输流带的是PAT/PMT等这些PSI中的表,而且同时这个传输流是PAT/PMT的开始字节(即分组的第一部分市,如果PAT,PMT太长了,超过了188个字节,可能需要分组传输的时候),那么需要把pay_load_unit_start_indicator设置为1,同时在TSHead和PAT/PMT之间需要插入一个pointer_filed。

所以上面有个图应该修改为

 

然后我们再来结合ts流文件的数据来分析一下:

原文地址:https://www.cnblogs.com/lihaiping/p/8572997.html

时间: 2024-11-10 15:08:53

(原)关于MEPG-2中的TS流数据格式学习的相关文章

【原】谈谈css中关于元素定位的属性(positon&z-index)

position position主要是4种设定: static(默认)如果不设置,默认就是staitc元素.其实就是没有position设定,DOM流安排在哪里就是哪里.所有的相关于位置的设定均无效,意味着left, right, z-index等属性设置了也是白设. relative如果只是设置postion: relative; 和static并没有视觉上的区别,但是,一旦设定了,就指定了对应DOM元素"被定位"了,之后就可以设置一些诸如right,left之类的属性. abso

ASI和TS流有什么区别

TS流是信源码流,最高码率为44.209 Mbit/s,它是经过信源编码后的压缩码流,为了使欲传输的信源信息在传输速率一定的条件下更快更多地传输,还要把数据进行压缩,也就是通过信源编码去掉信息中多余的部分,从而提高通信的有效性,信源编码包括霍夫曼编码.LZ编码等多种..TS 流为MPEG一2传送流,MPEG一2是运动图像专家组(Moving Pictures ExpertGroup)制定的主要用于传输声音.图像数据压缩的标准.MPEG中的关键压缩技术虽然也是DCT.霍夫曼编码等,但是它在图像压缩

TS流解析 四

一 从TS流开始 数字电视机顶盒接收到的是一段段的码流,我们称之为TS(Transport Stream,传输流),每个TS流都携带一些信息,如Video.Audio以及我们需要学习的PAT.PMT等信息.因此,我们首先需要了解TS流是什么,以及TS流是怎样形成.有着怎样的结构. (一) TS流.PS流.PES流和ES流都是什么? ES流(Elementary Stream):基本码流,不分段的音频.视频或其他信息的连续码流. PES流:把基本流ES分割成段,并加上相应头文件打包成形的打包基本码

TS流之代码分析

代码分析前,先要了解TS流基本概念:TS流之基本概念. VLC解析TS流是通过libts库来分离的,libts库使用libdvbpsi库来解TS表. 1. libts库在加载的时候,会将以下如下两个函数注册下去,当接收到PAT或者PMT的时候,会进行调用.PAT和PMT每隔一段时间就会发送一次,以更新节目信息. static void PATCallBack( void*, dvbpsi_pat_t * ); static void PMTCallBack( void *data, dvbpsi

[视频播放] HLS协议之M3U8、TS流详解

本文转载自:<hls之m3u8.ts流格式详解> HLS,Http Live Streaming 是由Apple公司定义的用于实时流传输的协议,HLS基于HTTP协议实现,传输内容包括两部分,一是M3U8描述文件,二是TS媒体文件. 1.M3U8文件 用文本方式对媒体文件进行描述,由一系列标签组成. #EXTM3U #EXT-X-TARGETDURATION:5 #EXTINF:5, ./0.ts #EXTINF:5, ./1.ts #EXTM3U:每个M3U8文件第一行必须是这个tag. #

ffmpeg解析TS流

介绍:  MPEG的系统层编码为不同的应用场景设计了两种格式: TS(Transport Stream) 和PS(Program Stream), 它们两者之间不具有层级关系, 在逻辑上,它们两者都是由PES(Packetized Elementary Stream)包组成的, 所以可以很方便地实现相互转换. TS(Transport Stream): 是将具有一个或多个独立时间基的一个或多个节目(包括音频和视频)组成一个流, 组成同一个节目的基本流(如一个视频流,多个音频流)的PES包有一个共

mpeg2 ts流PAT,PMT,SDT的定义

转自: http://blog.sina.com.cn/s/blog_5ea0192f0100vo15.html 更具体准确的信息请参考iso13818-1,都在里面定义的 PAT的定义:Table_id:为8bit字段,该字段标识节目关联分段,对于PAT,置为0x00. Section_syntax_indicator:1bit字段,对于PAT,置为0x01. Reserved:2bit保留字段,用于将来扩展,置为11. Section_length:12bit字段,指示当前section的长

自己动手写RTP服务器——用RTP协议传输TS流

上一篇文章我们介绍了关于RTP协议的知识,那么我们现在就自己写一个简单的传输TS流媒体的RTP服务器吧. 预备知识 关于TS流的格式:TS流封装的具体格式请参考文档ISO/IEC 13818-1.这里我们只需要了解一些简单的信息就好.首先TS流是有许多的TS Packet组成的,每个TS Packet的长度固定为188 bytes,每个packet都是以sync_byte:0x47开头. MTU(Maximum Transmission Unit): 最大传输单元.是指一种通信协议的某一层上面所

TS流解析 三

应该说真正了解TS,还是看了朋友推荐的<数字电视业务信息及其编码>一书之后,MPEG2 TS和数字电视是紧密不可分割的,值得总结一下其中的一些关系. ISO/IEC-13818-1:系统部分:ISO/IEC-13818-2:视频:ISO/IEC-13818-3:音频:ISO/IEC-13818-4:一致性测试:ISO/IEC-13818-5:软件部分:ISO/IEC-13818-6:数字存储媒体命令与控制:ISO/IEC-13818-7:高级音频编码:ISO/IEC-13818-8:系统解码实