C++实现RTMP协议发送H.264编码及AAC编码的音视频

转自：http://www.cnblogs.com/haibindev/archive/2011/12/29/2305712.html

　　RTMP（Real Time Messaging Protocol）是专门用来传输音视频数据的流媒体协议，最初由Macromedia 公司创建，后来归Adobe公司所有，是一种私有协议，主要用来联系Flash Player和RtmpServer，如FMS, Red5, crtmpserver等。RTMP协议可用于实现直播、点播应用，通过FMLE（Flash Media Live Encoder）推送音视频数据至RtmpServer，可实现摄像头实时直播。不过，毕竟FMLE应用范围有限，想要把它嵌入到自己的程序中，还是要自己来实现RTMP协议的推送。本人实现了一个RTMPLiveEncoder，通过采集摄像头视频和麦克风音频，并进行H.264和AAC编码，然后发送到FMS和crtmpserver上，实现实时直播，可以通过flash player正常观看，目前效果良好，延迟时间在2秒左右。本文就介绍一下RTMPLiveEncoder的主要思路和关键点，以期对需要这方面技术的朋友有所帮助。

技术分析

　　要实现RTMPLiveEncoder，需要以下四种关键技术：

  • 采集摄像头视频和麦克风音频
  • H264编码和AAC编码
  • 视频和音频数据封装为可被流媒体服务器识别的可播放流
  • RTMP协议实现报文发送

　　其中，前两项技术在我之前的文章“采集音频和摄像头视频并实时H264编码和AAC编码”中已经介绍过了，这里就不再啰嗦了。

　　把音视频数据封装为可播放流，这个是一个难点。仔细研究一下，你会发现，RTMP Packet中封装的音视频数据流，其实和FLV封装音频和视频数据的方式是相同的，所以，我们只需要按照FLV封装H264和AAC的方式，即可生成可播放流。

　　我们再看一下RTMP协议。Adobe曾经发布过一份文档《RTMP Specification》，不过wikipedia指出这份文档隐藏了很多细节，单独根据它是无法正确实现RTMP的。不过，它还是有参考意义的。其实Adobe发布之前，RTMP协议就已经被破解的差不多了，现在也已经有比较完善的实现，比如：RTMPDump，它提供的是C语言的接口，这意味着可以很方便的在其他语言中调用。

程序框架

　　与我之前写的“采集音频和摄像头视频并实时H264编码和AAC编码”这篇文章相同，采用DirectShow技术来实现音视频采集，音频编码和视频编码，在各自线程（AudioEncoderThread和VideoEncoderThread）中循环进行，RTMP的推送另起一个线程（RtmpThread）。两个编码线程实时编码音视频数据后，将数据交与Rtmp线程，由Rtmp线程循环封装为Rtmp Packet，然后发出去。

　　线程之间的数据交换，通过一个队列DataBufferQueue来实现。AudioEncoderThread和VideoEncoderThread把数据指针post到DataBufferQueue之后，立即返回，这样就可以避免因为发送Rtmp报文的而影响到编码线程的正常执行时间。

　　RtmpThread的主要工作就是发送音频数据流的解码信息头和视频数据流的解码信息头，并不断从DataBufferQueue中取出数据，封装为RTMP Packet，发送出去。流程如下列代码所示：（process_buf_queue_，即是上图中的DataBufferQueue）

librtmp

一、编译librtmp

　　下载rtmpdump的代码，你会发现，它是一个地道的linux项目，除了一个简单的Makefile，其他什么都没有。好像librtmp不依赖于系统，我们可以不用费太多功夫，把它在windows上编译。不过，librtmp依赖于openssl和zlib，我们需要首先编译好它们。

　　1. 编译openssl1.0.0e

　　a) 下载并安装ActivePerl

　　b) 下载并安装nasm(http://nasm.sourceforge.net/)

　　c) 解压openssl压缩包

　　d) 运行cmd命令行，切到openssl目录，分别执行以下命令

>perl Configure VC-WIN32 --prefix=c:\some\dir
>ms\do_nasm

　　e) 运行Visual Studio Command Prompt(2010)，切到openssl目录，分别执行以下命令。

>nmake -f ms\nt.mak
>nmake -f ms\nt.mak install

　　f) 编译完毕后，即可在第一个命令所指定的目录下发现编译好的sdk。

　　2. 编译zlib

　　a) 解压zlib压缩包

　　b) 运行Visual Studio Command Prompt(2010)，切到openssl目录，分别执行以下命令

>cd contrib\masmx86
>bld_ml32.bat

　　c) 回到zlib目录，进入contrib\vstudio\vc10目录，打开vs2010解决方案文件，

　　   在zlibstat工程属性中，去掉预编译宏 ZLIB_WINAPI

　　d) 选择debug或release编译即可

　　3. 编译librtmp

　　a) 首先打开visual studio 2010，新建一个win32 console工程，指定为静态链接库

　　b) 将librtmp的代码导入工程，把openssl、zlib的头文件和librtmp放在一起，把编译好的openssl和zlib的静态库放在一起

    

　　c) 在工程设置中，添加之前编译好的openssl和zlib的库，编译即可。

二、librtmp的使用

　　首先初始化RTMP结构

　　开始之后，就要向RTMP Server发起握手连接报文

　　连接成功，就可以开始循环发送报文了，这里需要指定时戳和数据类型（Audio、Video、Metadata）。这里有一点需要注意的是，在调用Send之前，buf中的数据，必须是已经封装好的H264或AAC数据流。

　　关闭

　　最后是释放

H264和AAC数据流

　　本文提到过，RTMP推送的音视频流的封装形式和FLV格式相似，由此可知，向FMS推送H264和AAC直播流，需要首先发送"AVC sequence header"和"AAC sequence header"，这两项数据包含的是重要的编码信息，没有它们，解码器将无法解码。

　　AVC sequence header就是AVCDecoderConfigurationRecord结构，该结构在标准文档“ISO-14496-15 AVC file format”中有详细说明。

　　AAC sequence header存放的是AudioSpecificConfig结构，该结构则在“ISO-14496-3 Audio”中描述。AudioSpecificConfig结构的描述非常复杂，这里我做一下简化，事先设定要将要编码的音频格式，其中，选择"AAC-LC"为音频编码，音频采样率为44100，于是AudioSpecificConfig简化为下表：

　　这样，AVC sequence header和AAC sequence header的内容可以基本确定了，更详细的信息，大家可以去翻阅相关文档。

运行效果

　　RtmpLiveEncoder开始运行

　　用FMS自带的一个flash播放器播放

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

haibindev.cnblogs.com，合作请联系QQ。（转载请注明作者和出处）

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

时间： 2024-10-08 14:33:13

C++实现RTMP协议发送H.264编码及AAC编码的音视频的相关文章

C++实现RTMP协议发送H.264编码及AAC编码的音视频，摄像头直播

C++实现RTMP协议发送H.264编码及AAC编码的音视频 RTMP(Real Time Messaging Protocol)是专门用来传输音视频数据的流媒体协议,最初由Macromedia 公司创建,后来归Adobe公司所有,是一种私有协议,主要用来联系Flash Player和RtmpServer,如FMS, Red5, crtmpserver等.RTMP协议可用于实现直播.点播应用,通过FMLE(Flash Media Live Encoder)推送音视频数据至RtmpServer,可

（转）C++实现RTMP协议发送H.264编码及AAC编码的音视频，摄像头直播

转:http://www.cnblogs.com/haibindev/archive/2011/12/29/2305712.html C++实现RTMP协议发送H.264编码及AAC编码的音视频 RTMP(Real Time Messaging Protocol)是专门用来传输音视频数据的流媒体协议,最初由Macromedia 公司创建,后来归Adobe公司所有,是一种私有协议,主要用来联系Flash Player和RtmpServer,如FMS, Red5, crtmpserver等.RTMP

【转】实现RTP协议的H.264视频传输系统

1.  引言       随着信息产业的发展,人们对信息资源的要求已经逐渐由文字和图片过渡到音频和视频,并越来越强调获取资源的实时性和互动性.但人们又面临着另外一种不可避免的尴尬,就是在网络上看到生动清晰的媒体演示的同时,不得不为等待传输文件而花费大量时间.为了解决这个矛盾,一种新的媒体技术应运而生,这就是流媒体技术.流媒体由于具有启动时延小.节省客户端存储空间等优势,逐渐成为人们的首选,流媒体网络应用也在全球范围内得到不断的发展.其中实时流传输协议 RTP 详细说明了在互联网上传递音频和视频的

基于RTP协议的H.264传输

1.  引言        随 着信息产业的发展,人们对信息资源的要求已经逐渐由文字和图片过渡到音频和视频,并越来越强调获取资源的实时性和互动性.但人们又面临着另外一种不可避免 的尴尬,就是在网络上看到生动清晰的媒体演示的同时,不得不为等待传输文件而花费大量时间.为了解决这个矛盾,一种新的媒体技术应运而生,这就是流媒体技 术.流媒体由于具有启动时延小.节省客户端存储空间等优势,逐渐成为人们的首选,流媒体网络应用也在全球范围内得到不断的发展.其中实时流传输协议 RTP 详细说明了在互联网上传递音频

FU-A分包方式，以及从RTP包里面得到H.264数据和AAC数据的方法

FU-A分包方式,以及从RTP包里面得到H.264数据和AAC数据的方法 RFC3984是H.264的baseline码流在RTP方式下传输的规范,这里只讨论FU-A分包方式,以及从RTP包里面得到H.264数据和AAC数据的方法. H.264的NAL层处理 H264以NALU(NALunit)为单位来支持编码数据在基于分组交换技术网络中传输. NALU定义了可用于基于分组和基于比特流系统的基本格式,同时给出头信息,从而提供了视频编码和外部事件的接口. H264编码过程中的三种不同的数据形式:S

采集音频和摄像头视频并实时H264编码及AAC编码

0. 前言 我在前两篇文章中写了DirectShow捕获音视频然后生成avi,再进行264编码的方法.那种方法有一些局限性,不适合实时性质的应用,如:视频会议.视频聊天.视频监控等.本文所使用的技术,适用于这种实时性的应用,通过处理采集出来的音视频的每一帧,实现实时编码,实时输出.这是我做直播系列应用的一部分,目前的情况是输入端采用DirectShow技术捕获音视频,然后对视频进行h.264编码,对音频进行aac编码,输出端则是生成文件,接下来还要进一步扩展输入端和输出端,以支持文件.桌面输入,

RTP打包发送H.264——纯代码，直接上

http://blog.csdn.net/bytxl/article/details/50463925 H264.h头文件内容: [cpp] view plain copy #include <stdio.h> #include <stdlib.h> #include <conio.h> #include <string.h> #include <winsock2.h> #pragma comment( lib, "ws2_32.lib

开放视频编码（H.264）编解码数据输入、输出接口

AnyChat是一套开放的音视频即时通信解决方案,早期的版本已经开放了原始数据的输入.输出接口:1.通过客户端回调函数可以输出用户原始的视频采样帧数据(YUV.RGB):视频数据回调函数2.通过外部数据输入接口可以支持将外部的视频帧传给AnyChat进行编码:如何使用外部音视频数据输入功能? 对于某些特定的场合,上层应用希望获取AnyChat内核原始的H.264编码数据,或是希望将H.264编码之后的数据传输给AnyChat,自AnyChat r4268版本开始提供了支持,该特性将给AnyCha

H.264码流打包分析

H.264码流打包分析 SODB 数据比特串-->最原始的编码数据 RBSP 原始字节序列载荷-->在SODB的后面填加了结尾比特(RBSP trailing bits 一个bit"1")若干比特"0",以便字节对齐. EBSP 扩展字节序列载荷-- >在RBSP基础上填加了仿校验字节(0X03)它的原因是: 在NALU加到Annexb上时,需要填加每组NALU之前的开始码 StartCodePrefix,如果该NALU对应的slice为一帧的开始