RTMP直播应用与延时分析

直播应用中,RTMP和HLS基本上可以覆盖所有客户端观看,
HLS主要是延时比较大,RTMP主要优势在于延时低。

一、应用场景

低延时应用场景包括:
  .  互动式直播:譬如2013年大行其道的美女主播,游戏直播等等
     各种主播,流媒体分发给用户观看。用户可以文字聊天和主播互动。
  .  视频会议:我们要是有同事出差在外地,就用视频会议开内部会议。
     其实会议1秒延时无所谓,因为人家讲完话后,其他人需要思考,
     思考的延时也会在1秒左右。当然如果用视频会议吵架就不行。
  .  其他:监控,直播也有些地方需要对延迟有要求,
     互联网上RTMP协议的延迟基本上能够满足要求。

二、RTMP和延时

1. RTMP的特点如下:

1) Adobe支持得很好:
   RTMP实际上是现在编码器输出的工业标准协议,基本上所有的编码器(摄像头之类)都支持RTMP输出。
   原因在于PC市场巨大,PC主要是Windows,Windows的浏览器基本上都支持flash,
   Flash又支持RTMP支持得非常好。
2) 适合长时间播放:
   因为RTMP支持的很完善,所以能做到flash播放RTMP流长时间不断流,
   当时测试是100万秒,即10天多可以连续播放。
   对于商用流媒体应用,客户端的稳定性当然也是必须的,否则最终用户看不了还怎么玩?
   我就知道有个教育客户,最初使用播放器播放http流,需要播放不同的文件,结果就总出问题,
   如果换成服务器端将不同的文件转换成RTMP流,客户端就可以一直播放;
   该客户走RTMP方案后,经过CDN分发,没听说客户端出问题了。
3)延迟较低:
   比起YY的那种UDP私有协议,RTMP算延迟大的(延迟在1-3秒),
   比起HTTP流的延时(一般在10秒以上)RTMP算低延时。
   一般的直播应用,只要不是电话类对话的那种要求,RTMP延迟是可以接受的。
   在一般的视频会议应用中,RTMP延时也能接受,原因是别人在说话的时候我们一般在听,
   实际上1秒延时没有关系,我们也要思考(话说有些人的CPU处理速度还没有这么快)。
4) 有累积延迟:
   技术一定要知道弱点,RTMP有个弱点就是累积误差,原因是RTMP基于TCP不会丢包。
   所以当网络状态差时,服务器会将包缓存起来,导致累积的延迟;
   待网络状况好了,就一起发给客户端。
   这个的对策就是,当客户端的缓冲区很大,就断开重连。

2. HLS低延时

主要有人老是问这个问题,如何降低HLS延迟。
HLS解决延时,就像是爬到枫树上去捉鱼,奇怪的是还有人喊,看那,有鱼。
你说是怎么回事?

我只能说你在参与谦哥的魔术表演,错觉罢了。
如果你真的确信有,请用实际测量的图片来展示出来,参考下面延迟的测量。

3. RTMP延迟的测量

如何测量延时,是个很难的问题,
不过有个行之有效的方法,就是用手机的秒表,可以比较精确的对比延时。

经过测量发现,在网络状况良好时:
  . RTMP延时可以做到0.8秒左右。
  . 多级边缘节点不会影响延迟(和SRS同源的某CDN的边缘服务器可以做到)
  . Nginx-Rtmp延迟有点大,估计是缓存的处理,多进程通信导致?
  . GOP是个硬指标,不过SRS可以关闭GOP的cache来避免这个影响.
  . 服务器性能太低,也会导致延迟变大,服务器来不及发送数据。
  . 客户端的缓冲区长度也影响延迟。
    譬如flash客户端的NetStream.bufferTime设置为10秒,那么延迟至少10秒以上。

4. GOP-Cache

什么是GOP?就是视频流中两个I帧的时间距离。
GOP有什么影响?
Flash(解码器)只有拿到GOP才能开始解码播放。
也就是说,服务器一般先给一个I帧给Flash。
可惜问题来了,假设GOP是10秒,也就是每隔10秒才有关键帧,
如果用户在第5秒时开始播放,会怎么样?
第一种方案:等待下一个I帧,
也就是说,再等5秒才开始给客户端数据。
这样延迟就很低了,总是实时的流。
问题是:等待的这5秒,会黑屏,现象就是播放器卡在那里,什么也没有,
有些用户可能以为死掉了,就会刷新页面。
总之,某些客户会认为等待关键帧是个不可饶恕的错误,延时有什么关系?
我就希望能快速启动和播放视频,最好打开就能放!

第二种方案:马上开始放,
放什么呢?
你肯定知道了,放前一个I帧。
也就是说,服务器需要总是cache一个gop,
这样客户端上来就从前一个I帧开始播放,就可以快速启动了。
问题是:延迟自然就大了。

有没有好的方案?
有!至少有两种:
编码器调低GOP,譬如0.5秒一个GOP,这样延迟也很低,也不用等待。
坏处是编码器压缩率会降低,图像质量没有那么好。

5. 累积延迟

除了GOP-Cache,还有一个有关系,就是累积延迟。
服务器可以配置直播队列的长度,服务器会将数据放在直播队列中,
如果超过这个长度就清空到最后一个I帧:

当然这个不能配置太小,
譬如GOP是1秒,queue_length是1秒,这样会导致有1秒数据就清空,会导致跳跃。

有更好的方法?有的。
延迟基本上就等于客户端的缓冲区长度,因为延迟大多由于网络带宽低,
服务器缓存后一起发给客户端,现象就是客户端的缓冲区变大了,
譬如NetStream.BufferLength=5秒,那么说明缓冲区中至少有5秒数据。

处理累积延迟的最好方法,是客户端检测到缓冲区有很多数据了,如果可以的话,就重连服务器。
当然如果网络一直不好,那就没有办法了。

时间: 2024-08-04 15:14:20

RTMP直播应用与延时分析的相关文章

CrtmpServer支持Android与IOS进行RTMP直播遇到的_checkbw问题

在进行移动端视频直播项目时遇到的问题,手机端在推的流时的是没问题的,主要现在是IOS和安卓连接CRtmpServer后进行播放时checkBW过不了,出现异常:NetConnection.Call.Failed,但连FMS服务器时能正常播放,由于用的是VLC的库,是封装好的,确定不了是哪个环节出了问题,以下是安卓与IOS开发报出来的异常截图. 然后,决定分析下CRtmpServer的日志及原码,发现在CrtmpServer的日志中发现了一条警告:Default implementation of

EasyRTMP获取H.264实时流并转化成为RTMP直播推流之EasyRTMP-iOS如何处理H264关键帧和SPS、PPS数据的

EasyRTMP是结合了多种音视频缓存及网络技术的一个rtmp直播推流端,包括:圆形缓冲区(circular buffer).智能丢帧.自动重连.rtmp协议等等多种技术,能够非常有效地适应各种平台(Windows.Linux.ARM.Android.iOS),各种网络环境(有线.wifi.4G),以及各种情况下的直播恢复(服务器重启.网络重启.硬件设备重启). ? 提出问题: EasyRTMP-iOS如何处理H264关键帧和SPS.PPS数据? 分析问题: 对于编码后的H264数据的处理在H2

发布一个软件,轻新视频录播程序,H264/AAC录制视音频,保存FLV,支持RTMP直播

已经上传到CSDN,下载地址:http://download.csdn.net/detail/avsuper/7421647,不要钱滴,嘿嘿... 本程序可以把摄像头视频和麦克风音频,录制为FLV文件. 视频压缩采用H.264编码,音频压缩采用AAC编码,支持同步进行RTMP直播(服务器端需要FMS/WOWZA/RED5等).可选择码率.分辨率.帧率.关键帧间隔等信息. 1号教室网(http://www.1jiaoshi.com)出品. 同时也做了一个可将屏幕和音频同步直播录制的软件,支持FLV

游戏直播平台竞品分析(必看干货)

以下是我朋友JJ(张俊杰)原创文章 游戏直播平台竞品分析(移动端) 斗鱼.熊猫.虎牙 分析基于iOS客户端版本:斗鱼V2.450. 熊猫V2.2.6.1582.虎牙V4.4.0 市场分析 游戏直播作为直播行业战火的开端可以说毫不为过,随着游戏行业与直播行业规模也不断攀升,游戏直播的规模也大幅增长,找到一个艾瑞发布的数据如下. 同时,随着网络设备与游戏设备等的普及,用户规模也经历了初创.沉淀.爆发几个时期,下面也是出自艾瑞的用户数据. 伴随着用户规模的扩大,游戏直播平台的泛娱乐化也成为了一大趋势.

公布一个软件,轻新视频录播程序,H264/AAC录制视音频,保存FLV,支持RTMP直播

已经上传到CSDN,下载地址:http://download.csdn.net/detail/avsuper/7421647,不要钱滴,嘿嘿... 本程序能够把摄像头视频和麦克风音频,录制为FLV文件. 视频压缩採用H.264编码,音频压缩採用AAC编码,支持同步进行RTMP直播(server端须要FMS/WOWZA/RED5等).可选择码率.分辨率.帧率.关键帧间隔等信息. 1号教室网(http://www.1jiaoshi.com)出品. 同一时候也做了一个可将屏幕和音频同步直播录制的软件,

音频AAC编码的RTMP直播

RTMP直播,音频编码采用AAC时,需要把帧头的数据去掉. 第一个数据包,发送4个字节,前面两个是0xAF.0x00,我看有文章写的是这个0xAF的A代表的是AAC,说明如下: 0 = Linear PCM, platform endian 1 = ADPCM 2 = MP3 3 = Linear PCM, little endian 4 = Nellymoser 16 kHz mono 5 = Nellymoser 8 kHz mono 6 = Nellymoser 7 = G.711 A-l

让你的 Nginx 的 RTMP 直播具有统计某频道在线观看用户数量的功能

你的 Nginx 已经有了 RTMP 直播功能的话,如果你还想统计某直播频道当前观看用户量的话,可以加入 with-http_xslt_module 模块.具体步骤如下: 1.查看原来的参数 /usr/local/nginx/sbin/nginx -V 输出中可以得到原来编译时带有的参数,比如作者得到: --user=nginx --group=nginx --with-http_stub_status_module --with-http_gzip_static_module --with-h

Android流媒体开发之路二:NDK开发Android端RTMP直播推流程序

NDK开发Android端RTMP直播推流程序 经过一番折腾,成功把RTMP直播推流代码,通过NDK交叉编译的方式,移植到了Android下,从而实现了Android端采集摄像头和麦克缝数据,然后进行h264视频编码和aac音频编码,并发送到RTMP服务器,从而实现Android摄像头直播.程序名为NdkRtmpEncoder,在这里把整个过程,和大体框架介绍一下,算是给需要的人引路. 开发思路 首先,为什么要用NDK来做,因为自己之前就已经实现过RTMP推流.RTMP播放.RTSP转码等等各种

极速搭建RTMP直播流服务器+webapp (vue) 简单实现直播效果

在尝试使用webRTC实现webapp直播失败后,转移思路开始另外寻找可行的解决方案.在网页上尝试使用webRTC实现视频的直播与看直播,在谷歌浏览器以及safari浏览器上测试是可行的.但是基于基座打包为webapp后不行,所以直播的话建议还是原生的好.HBuilder自带的H5+有提供了原生的视频播放和推流录制上传,但是需要有一个rtmp直播流服务器,用于测试和开发,这时就需要自建rtmp服务推流了. 极速搭建简单RTMP直播流服务器 开发环境:macOS 需要安装并启动docker:??