RTMP协议研究

RTMP协议研究

1协议研究概述

协议设计和分析一直都是在工作遇到，正好在这里总结一下，说到协议，在这个网络的时代，没有人可以离开它了。他存在我们生活中的任何角落，只不过我们平时，并没有注意到它的存在，可以这么说如果没有协议，我们生活和日常的工作生产都不能进行。如果仔细想想你生活中用到的所有东西，协议已经包含其中。那到底什么是协议呢？说的简单一点就是双方达成的共识，以便更好的交流，理论上协议是什么呢？如果学过《信号与系统》的人都知道有个简单的道理，就是信息在经过一个管道的符号集，到另一个符号集时信息不会丢失。

任何复杂的事物都有个最简单的本质，网络上的协议也是这样，有个最基本的本质。除去上下层的概念，协议就只剩下通信双方实体的规则。

一般的协议都包含最基本的协议头，不管是物理层、链路层、还是网络层，这个头就构成了协议的本质东西。通常协议头要包含以下最基本的三项信息：

  1. 双方实体的唯一标示，用来标示通信双方的实体。

  2. 类型描述或者是净核描述，标志净核的内容。

  3. 协议净核的长度，用来在萃取净核的内容应用。

其中，前两项是必须要有的，没有他们，通信双方的交互根本得不到保证，第三项在不太灵活的通信中可以去掉，而有第二项的类型推出。

协议的丰富性，有净核的多样性体现。

协议头除了以上的三项，还可以增加更多的信息（比如控制信息、时间信息等），取决于具体的应用。找到这些基本的东西，再去看协议的时候，能够更好的抓住协议的主体进行分析和设计了。

        如图 协议物理结构

2 RTMP协议概述

RTMP协议是被Flash用于对象、视频、音频的传输。该协议建立在TCP协议或者轮询HTTP协议之上，RTMP协议就像一个用来装数据包的容器，这些数据可以是AMF格式的数据，也可以是FLV中的视/音频数据。一个单一的连接可以通过不同的通道传输多路网络流，这些通道中的包都是按照固定大小的包传输的.

3 RTMP协议部分


3.1协议头

struct RTMP_HEAD

{

char cChannelid :
6;//第一个字节的后6位

char cCheadsize ; //第一个字节的头两位

char cTimer[3];
 //三个字节表示的时间信息

char
cLength[3]; //三个字节表示的长度

char
cDatatype; //数据类型

char
sStreamid[4]; //流标识

};

这里有三个最基本的元素（唯一标示）、（类型）和（净核的长度）分别是：cChannelid、cDatatype和cLength。

3.2 数据类型

数据类型决定了协议上层可以做的具体的事情，和使用协议的人必须遵循的规则。

同时数据类型说明了净核的基本内容。

RTMP 数据类型：























































0×01 Chunk Size changes the chunk size for packets
0×02 Unknown anyone know this one?
0×03 Bytes Read send every x bytes read by both sides
0×04 Ping ping is a stream control message, has subtypes
0×05 Server BW the servers downstream bw
0×06 Client BW the clients upstream bw
0×07 Unknown anyone know this one?
0×08 Audio Data packet containing audio
0×09 Video Data packet containing video data
0x0A - 0×11 Unknown anyone know?
0×12 Notify an invoke which does not expect a reply
0×13 Shared Object has subtypes
0×14 Invoke like remoting call, used for stream actions too.

3.3协议的净核

RTMP的协议净核是用AMF格式来描述，AMF格式本身的产生就是为了RTMP协议服务的，最初的RTMP采用XML的形式传输数据，但XML只是字符形式的值对的格式传输数据，而随着应用的普及这完全不能满足要求了，比如对象、结构、数组，甚至可以是数据集，配合DataGrid组件可以很方便地显示数据。 
为了处理复杂数据类型，采用一种独有的方式使Flash与应用服务器间可以来回传送数据势在必行。于是AMF应运而生。

AMF是Adobe独家开发出来的通信协议，它采用二进制压缩，序列化、反序列化、传输数据，从而为Flash 播放器与Flash
Remoting网关通信提供了一种轻量级的、高效能的通信方式。如下图所示。 
  
AMF最大的特色在于可直接将Flash内置对象，例如Object,
Array, Date,
XML，传回服务器端，并且在服务器端自动进行解析成适当的对象，这就减轻了开发人员繁复工作，同时也更省了开发时间。由于AMF采用二进制编码，这种方式可以高度压缩数据，因此非常适合用 来传递大量的资料。数据量越大，Flash
Remoting的传输效能就越高，远远超过Web
Service。至于XML,
LoadVars和 loadVariables() ，它们使用纯文本的传输方式，效能就更不能与Flash
Remoting相提并论了。 
注意： Flash
Remoting需要浏览器支持Binary
POST，Flash 播放器在Netscape
6.x.环境下运行 Flash
Remoting会不起作用（Flash
Remoting调用没有效果也不返回错误）， Netscape
7已经纠正了这个bug 。对于早期Safari和Chimera版的苹果机也有这个问题。 
同样是轻量级数据交换协议，同样是通过调用远程服务，同样是基于标准的HTTP和HTTPS协议， Flash
Remoting为什么选择了使用AMF而放弃了SOAP与Flash 播放器通信呢  有如下原因： 
 
SOAP将数据处理成XML格式，相对于二进制的AFM太冗长了；  
AMF能更有效序列化数据；因为AMF的初衷只是为了支持Flash
ActionScript的数据类型，而SOAP却致力于提供更广泛的用途；  
AMF支持Flash 播放器 6只需要浏览器增加4
KB左右（压缩后）的大小，而SOAP就大多了；  
SOAP 的一些头部文件请求在Flash 播放器 6不支持。那Flash 播放器 6为什么能访问基于SOAP的Web服务呢？原来 Flash
Remoting网关将SOAP请求在服务器端与转换成AFM格式，然后利用AFM与Flash 播放器通信。另外，AMF包中包含 onResult事件（比如说response事件）和onStatus事件（比如说error事件），这些事件对象在Flash中可以直接使用。  
AMF 从Flash
MX时代的AMF0发展到现在的AMF3。AMF3用作Flash
Playe 9的ActionScript
3.0的默认序列化格式，而AMF0则用作旧版的ActionScript
1.0和2.0的序列化格式。 在网络传输数据方面，AMF3比AMF0更有效率。AMF3能将int 和uint对象作为整数（integer）传输，并且能序列化ActionScript
3.0才支持的数据类型, 比如ByteArray，XML和 Iexternalizable。

AMF很好的解决了内容的丰富性。（具体AMF格式参考附件格式文档）

3.3.1 AMF中的数据类型Data Types

AMF0 supports the following data types (with their type field
values):

  • NUMBER = 0x00

  • BOOLEAN = 0x01

  • STRING = 0x02

  • OBJECT = 0x03

  • MOVIECLIP = 0x04

  • NULL_VALUE = 0x05

  • UNDEFINED = 0x06

  • REFERENCE = 0x07

  • ECMA_ARRAY = 0x08

  • OBJECT_END = 0x09

  • STRICT_ARRAY = 0x0a

  • DATE = 0x0b

  • LONG_STRING = 0x0c

  • UNSUPPORTED = 0x0d

  • RECORD_SET = 0x0e

  • XML_OBJECT = 0x0f

  • TYPED_OBJECT = 0x10

Binary
Format

AMF format for a value/object consists of a type byte (see above)
followed by zero or more bytes. This section describes the bytes following the
type byte for various types.

NUMBER
(type byte: 0x00)

Numbers are stored as 8 byte (big endian) float double. On x86 you can
just byteswap a double to encode it correctly.

BOOLEAN (type byte:
0x01)

A boolean is encoded in one byte. FIXME: is true sent as 0xff?
0x01?

STRING (type byte:
0x02)

A string is encoded as a 2 byte (big endian) count (number of bytes)
followed by that many bytes of text. Note: there is no null
terminator.

I think the text is assumed to be UTF-8. Can someone double check me on
this?

NULL_VALUE (type byte:
0x05)

A null has zero bytes following the type byte

UNDEFINED (type byte:
0x06)

A undefined has zero bytes following the type byte

OBJECT (type byte:
0x08)

An object is encoded as a series of key/value pairs. The key is encoded
as a STRING (above) WITH NO TYPE BYTE, and the value is any AMF
value.

The object encoding is terminated by 0x000009 (that is a zero length
string key, followed by the OBJECT_END type byte described below.

OBJECT_END (type byte:
0x09)

This is not really a value, but a marker for the end of an OBJECT. See
above.

STRICT_ARRAY (type byte:
0x0a)

This is the encoding for arrays such as ["foo", "bar", 1, 2, 3]. For a
hash (a set of key/value pairs) you‘ll need to use OBJECT above.

An array is encoded as 4 byte (big endian) integer which is the number
of elements in the array, followed by that many AMF values.

That‘s it. There‘s no terminator of any kind.

Use in
shared object files

While most AMF objects are just a value, there is a special variation
used by shared object files for properties. Rather than start with the type
field, followed by the length, it starts with a byte count, then the name, and
then the regular AMF type field, the length, and then the data.

3.4客户端和服务器的连接过程


3.4.1客户和服务器的握手

Flash
Player以系统时间作为种子通过某种算法生成的数字签名，大小是1537字节向服务器发起第一次握手，服务器根据客户端的数字签名产生一个3073字节的验证包，给客户端，客户端在接受到服务器的回应以后会发送一个1536字节的回复。

具体的流程：

  1. 发送第一次握手包 handshark1

  2. 接收第二次握手包handshark2

  3. 发送的三次握手包 handshark3

第一个握手包handshark1和服务器的回复握手包handshark2都是以0X03开头。这三次握手不是RTMP协议本身的内容，所以在这并没有包含RTMP 的协议头。是服务器的厂家自己产品做验证用的，严格的说就是你必须用 Adobe的客户端和服务器才能使用我的协议。

3.4.2客户和服务器通信

具体连接和请求视频的过程

  1. 发送 rtmp_connect 命令

  2. .发送本地带宽消息.默认是125000

  3. 服务器返回服务器带宽信息

  4. 服务器返回本地带宽信息

  5. 服务器返回连接成功消息 "NetConnection.Connect.Success"

  6. 客户端发送创建流请求encodeCreateStreamPacket

  7. 服务器返回创建流成功消息

  8. 客户端发送播放文件消息Rtmp_Play

  9. 服务器返回TYPE_CHUNK_SIZE消息

  10. 服务器返回开始播放消息 "NetStream.Play.Start"

  11. 服务器返回视频信息(TYPE_STREAM_METADATA)，包括大小，宽高，速率等等信息－－文件长度可以在这里推算出来

RTMP的净核决定了内容服务，adobe的服务器采用的AMF格式的字串命令来控制视频的传输和播放，具体的字串命令信息如下：（注：字串的定义有厂家（adobe）自己定义，只要满足AMF的格式就可以）

      1. NetConnection.Call.Failed

      2. NetConnection.Call.BadVersion

      3. NetConnection.Connect.AppShutdown

      4. NetConnection.Connect.Closed

      5. NetConnection.Connect.Rejected

      6. NetConnection.Connect.Success

      7. NetStream.Clear.Success

      8. NetStream.Clear.Failed

      9. NetStream.Publish.Start

      10. NetStream.Publish.BadName

      11. NetStream.Failed

      12. NetStream.Unpublish.Success

      13. NetStream.Record.Start

      14. NetStream.Record.NoAccess

      15. NetStream.Record.Stop

      16. NetStream.Record.Failed

      17. NetStream.Play.InsufficientBW

      18. NetStream.Play.Start

      19. NetStream.Play.StreamNotFound

      20. NetStream.Play.Stop

      21. NetStream.Play.Failed

      22. NetStream.Play.Reset

      23. NetStream.Play.PublishNotify

      24. NetStream.Play.UnpublishNotify

      25. NetStream.Data.Start

      26. Application.Script.Error

      27. Application.Script.Warning

      28. Application.Resource.LowMemory

      29. Application.Shutdown

      30. Application.GC

      31. Play

      32. Pause

      33. demoService.getListOfAvailableFLVs

      34. getStreamLength

      35. connect

      36. app

      37. flashVer

      38. swfUrl

      39. tcUrl

      40. fpad

      41. capabilities

      42. audioCodecs

      43. audioCodecs

      44. videoCodecs

      45. videoFunction

      46. pageUrl

      47. createStream

      48. deleteStream

      49. duration

      50. framerate

      51. audiocodecid

      52. audiodatarate

      53. videocodecid

      54. videodatarate

      55. height

      56. width

3.4.2数据的萃取

在服务器返回开始播放消息 "NetStream.Play.Start"之后，服务器就会开始给客户端传输数据了，一般数据的萃取都是先解析协议的头，然后根据协议头中数据类型和净核长度就可以把数据部分取出，RTMP协议也是这样。

struct RTMP_HEAD

{

char cChannelid :
6;//第一个字节的后6位

char cCheadsize ; //第一个字节的头两位

char cTimer[3];
 //三个字节表示的时间信息

char
cLength[3]; //三个字节表示的长度

char
cDatatype; //数据类型

char
sStreamid[4]; //流标识

}

首先判断cDatatype 是那种类型，然后根据不同的类型进行萃取数据部分，进行不同的处理，获取视频的数据的方式先看是否是一下的类型：










0×08 Audio Data packet containing audio
0×09 Video Data packet containing video data

根据净核的长度读取出内存中的音视频数据，这里的音视频数据是有一定编码格式的数据，这个取决于应用的具体配置，Flash
play使用的是FLV的格式。要对这部分数据进行存取，还有做一部分工作，对FLV的视频数据进行去壳，取出数据保存文件就可以了。

时间： 2024-07-30 22:46:17

RTMP协议研究的相关文章

C++实现RTMP协议发送H.264编码及AAC编码的音视频，摄像头直播

C++实现RTMP协议发送H.264编码及AAC编码的音视频 RTMP(Real Time Messaging Protocol)是专门用来传输音视频数据的流媒体协议,最初由Macromedia 公司创建,后来归Adobe公司所有,是一种私有协议,主要用来联系Flash Player和RtmpServer,如FMS, Red5, crtmpserver等.RTMP协议可用于实现直播.点播应用,通过FMLE(Flash Media Live Encoder)推送音视频数据至RtmpServer,可

RTMP协议详解(转)

转自<RTMP协议详解(一) (二) (三) > Real Time Messaging Protocol(实时消息传送协议协议)是Adobe Systems公司为Flash播放器和服务器之间音频.视频和数据传输开发的私有协议. 具体使用RTMP的AS代码大概如下: var videoInstance:Video = your_video_instance; var nc:NetConnection = new NetConnection(); var connected:Boolean =

C++实现RTMP协议发送H.264编码及AAC编码的音视频

转自:http://www.cnblogs.com/haibindev/archive/2011/12/29/2305712.html RTMP(Real Time Messaging Protocol)是专门用来传输音视频数据的流媒体协议,最初由Macromedia 公司创建,后来归Adobe公司所有,是一种私有协议,主要用来联系Flash Player和RtmpServer,如FMS, Red5, crtmpserver等.RTMP协议可用于实现直播.点播应用,通过FMLE(Flash Me

nginx的RTMP协议服务器

nginx的RTMP协议服务器 by ahuner 通过以下的配置,可以使nginx接收RTMP流,并在web上播放实时视频. 1.openssl安装 nginx需要http_ssl_module模块,需要openssl库. 下载opensll:http://www.openssl.org/ 最新稳定版本:openssl-1.0.1e 修改三个文件的代码,openssl-1.0.1e\test中的md2test.c.rc5test.c.jpaketest.c 将dummytest.c修改为#in

（转）C++实现RTMP协议发送H.264编码及AAC编码的音视频，摄像头直播

转:http://www.cnblogs.com/haibindev/archive/2011/12/29/2305712.html C++实现RTMP协议发送H.264编码及AAC编码的音视频 RTMP(Real Time Messaging Protocol)是专门用来传输音视频数据的流媒体协议,最初由Macromedia 公司创建,后来归Adobe公司所有,是一种私有协议,主要用来联系Flash Player和RtmpServer,如FMS, Red5, crtmpserver等.RTMP

转：Nginx RTMP 功能研究

看点: 1.    Nginx 配置信息与使用.  (支持 rtmp与HLS配置) 2.    有ffmpeg 编译与使用,    命令行方式来测试验证客户端使用. 转自:http://blog.csdn.net/cccallen/article/details/8440191 Nginx-RTMP功能调研 1. RTMP协议介绍...2 2.RTMP server.3 2.1当前的流媒体server.3 2.2Wowza功能...3 3.Nginx-based RTMP server.5 3.

rtmplib rtmp协议过程分析

转自:http://chenzhenianqing.cn/articles/1009.html 写的很好,收藏如下,向作者致敬! 没事碰到了librtmp库,这个库是ffmpeg的依赖库,用来接收,发布RTMP协议格式的数据. 代码在这里:git clone git://git.ffmpeg.org/rtmpdump 先看一段通过librtmp.so库下载RTMP源发布的数据的例子,从rtmpdump中抽取出来.使用的大体流程如下: RTMP_Init主要就初始化了一下RTMP*rtmp变量的成

nginx搭建rtmp协议流媒体服务器总结

最近在 ubuntu12.04+wdlinux(centos)上搭建了一个rtmp服务器,感觉还挺麻烦的,所以记录下. 大部分都是参考网络上的资料. 前提: 在linux下某个目录中新建一个nginx目录. 然后进入该目录去下载搭建环境所需要的一些资源包. 此处在 /root/  目录下新建一个nginx目录即: /root/softsource/ 注意:依赖包和工具包需要下载,请在良好的网络环境下安装,否则在网速不好的情况下容易下漏掉,造成后面安装失败 ====================

调试libRTMP代码来分析RTMP协议

RTMP是Real Time Messaging Protocol(实时消息传输协议)的首字母缩写.该协议基于TCP,是一个协议族,常用在视频直播领域.RTMP协议的默认端口是1935. 学习一个协议最好的方法就是调试其通信过程,期间还可以使用wireshark抓包分析.本人在libRTMP的基础上添加了推流部分,并且使得整个过程变得可调试,学习其协议就变得简单多了.配置好的VS2010可调试的libRTMP工程:https://github.com/jiayayao/librtmp.该工程可以