播放器基本原理(播放四步法)

简述

播放视频前得知道要播放的视频是什么格式的,所以第一步是数据接收。接受完数据后,需要对视频做一个解复用(demux)的处理,分解为图像轨道(track)、音频轨道、字幕轨道。分解完之后,则需要进行解码,图像解码、音频解码,解码完才是输出,调用显示设备播放。

一、数据接收

播放器的模型其实就是输入输出模型,输入的是视频文件,如MP4文件,或者http/httpLiveStream(http流),还有rtp数据包(直播),ftp,ts(电视广播)等。视频文件的封装格式,简单理解为后缀,其实就是容器类型,为什么叫容器,后文会谈到。下表列出了常见的容器类型,普通用户最常见的是.mp4文件,而宅男用户最常见的是.avi文件????

视频容器类型 说明
avi(audio video interleave) 微软出品
wmv 微软出品
mp4 mpeg组织
ts mpeg组织,一般用于数字电视广播
mkv 某开源组织
rmvb/rm RealNetworks公司,私有标准不公开
flv adobe 保护版权用

不同的容器类型,每一种容器的头部信息都是不同的,头部信息包括视频时长、创建时间等基本信息。所以数据解析这一步,就是统一一个接口,来处理不同的数据来源。提供不同的数据包解析器,将接收到的数据解成相应的容器类型。
ffmpeg中的AVFormatContext有个方法:avformat_open_input就是用来做数据解析用的,解析完的数据通过context可以拿到。

二、容器解析(解复用demux)

得知视频容器的类型之后,就可以对其进行解复用了。为什么要进行解复用,得先了解复用(mux)的过程。复用的结果是生成一个视频容器,即某一种格式(如mp4)的视频。
每一个视频文件中,其实都包含了多种轨道(track),图像的轨道就是我们看到的画面,音频轨道就是我们听到的声音,而字幕轨道就是显示出来的字幕。如果视频文件不用经过传输,那这几个轨道的资源(resource)其实可以不用经过复用而合成到容器里。正是由于要传输,所以必须把不同轨道的资源集中在一起,然后经过网络或者其他方式传输到目的地。所以,复用的过程就是将多个轨道的资源合成为一个容器。
所以解复用的过程,就是将视频文件中的多个轨道给分解出来。不同的容器需要不同的解析器,比如mp4和flv的解复用就要用不同的解析器。
在ffmepg中,解复用所需的信息其实都由上一步获得的context提供,然后调用不同的demux接口,对音频轨道和图像轨道进行分离。

三、数据解码

第二步一般会产生图像、声音、文本三种不同轨道。图像会有大小,声音也会有大小,如果不对图像和声音进行编码处理,对视频的传输会带来非常大的阻碍。所以数据解码这一步,做的视频就是将经过编码后传输的图像轨道和声音轨道进行解码。编解码也有各种格式。下表列出了常见的几种格式。

编码格式 应用场景 说明
mpeg-1 vcd mpeg最初的版本
mpeg-2 DVD mpeg
mpeg-4 mp4 随计算机运算能力增强后逐渐产生的
h.264 everywhere mpeg和itu-t练手组成JVT(joint video team)制定 avc/mpeg part 10
vc-1 null null
realvideo null 私有标准

其中最需要关注的就是h.264,目前绝大多数视频编解码的格式。编码格式涉及到的I帧,P帧,B帧,分别对应帧内解码,帧间预测,双向预测的编解码方式。

四、数据输出

视频解码后通常是yuv的数据,音频则通常解为pcm文件,对这些文件的读取和还原,就是外接设备的事情了,输出给外接设备即可正常播放视频。具体外接设备怎么解析这些数据,就不在本文的讨论范围内了。

from :http://www.jianshu.com/p/82e778eb618b

时间: 2024-10-14 18:31:30

播放器基本原理(播放四步法)的相关文章

jqm视频播放器,html5视频播放器,html5音乐播放器,html5播放器,video开发demo,html5视频播放示例,html5手机视频播放器

最近在论坛中看到了很多实用html5开发视频播放,音乐播放的功能,大部分都在寻找答案.因此我就在这里做一个demo,供大家相互学习.html5开发越来越流行了,而对于视频这一块也是必不可少的一部分.如何让你的网站占据优势,就要看你的功能和用户体验了.html5对video还是做了很多优惠的东西,我们使用起来很得心应手. 在过去 flash 是网页上最好的解决视频的方法,截至到目前还算是主流,像那些优酷之类的视频网站.虾米那样的在线音乐网站,仍然使用 flash 来提供播放服务.但是这种状况将会随

iOS 多个播放器同时播放,双击全屏,单击退出全屏

前言:公司需求如下:点击一个按钮播放一个视频,最多同时播放4个:双击某视频让其全屏,单击再恢复原来的样子.IOS的播放器有两种,MPMoviePlayerController,AVAudioPlayer.首先我尝试的是前者,发现并不能让两个视频同时播放,当播放第二个视频的时候,第一个就自动停止了:后来又找了些资料试了试后者,完美解决了这个问题. 多个播放器同时播放,资料参考自:http://ios.jobbole.com/84287/ ,这里介绍的挺详细的,文章后面还有项目可以下载演示,这里就不

Android中调用系统已安装的播放器来播放网络流媒体视频

实现思路比较简单几行代码就可以搞定,在界面放一个Button或者带有播放图标的imageview,点击事件中调用本地播放器来播放. Uri uri = Uri.parse("http://218.200.69.66:8302/upload/Media/20150327/43bfda1b-7280-469c-a83b-82fa311c79d7.m4v"); // 调用系统自带的播放器来播放流媒体视频 Intent intent = new Intent(Intent.ACTION_VIE

phongap开发中安卓平台上如何调用第三方播放器来播放HLS视频

前文曾经讲了关于在安卓平台上利用phonegap开发播放HLS的解决方案,其实最好的方案就是自己针对HLS视频开发自己的播放器,但是开发播放器是一个浩大的工程,必须对原生安卓开发非常熟悉,并且对视频播放知识需要一定的积累.对于一般开发人员,尤其是web开发人员来讲,这显然不现实,同时这也违背了我们采用phonegap来开发跨平台移动软件的初衷.那么在这种情况下如何达到我们预期的目标呢?答案是调用第三方应用. step1:首先需要在手机上安装一个能够播放HLS协议视频的播放器,例如MXplayer

Simple2D-19(音乐播放器)播放器的源码实现

使用 BASS 和 ImGui 实现音乐播放器 MusicPlayer. 将播放器和一个文件夹关联起来,程序刚开始运行的时候就从该文件夹加载所有音频文件.而文件夹的路径则保存在配置文件中,所以程序的第一步就是读取配置文件. 1.读取配置文件 配置文件以 XML 格式进行储存,使用 TinyXml 库解析: tinyxml2::XMLDocument doc; if ( doc.LoadFile(path.c_str()) != tinyxml2::XML_NO_ERROR ) { this->C

(jsp/html)网页上嵌入播放器(常用播放器代码整理) http://www.jb51.net/article/37267.htm

网页上嵌入播放器,只要在HTML上添加以上代码就OK了,下面整理了一些常用的播放器代码,总有一款适合你,感兴趣的朋友可以参考下哈,希望对你有所帮助 这个其实很简单,只要在HTML上添加以上代码就OK了,前提是你的电脑上已经安装了播放器,如RealPlay. 复制代码 代码如下: <embed src="C:/mp3/10.19/画心.mp3" width="480" height="100"02. loop="false"

HLS播放器RTSP播放器支持8K播放且低延时高并发全功能流媒体播放器EasyPlayer搭建之HTML中 px,em,rem该如何区别?

EasyPlayer是一款流媒体播放器系列项目,支持RTSP.RTMP.HTTP.HLS.UDP.RTP.File等多种流媒体协议播放. 支持本地文件播放,支持本地抓拍.本地录像.播放旋转.多屏播放.倍数播放等多种功能特性,核心基于ffmpeg,稳定.高效.可靠.可控. 随着多年不断的发展和迭代,不断基于成功的实践经验,发展出包括有: EasyPlayer-RTSP.EasyPlayer-RTMP.EasyPlayerPro 和EasyPlayer.js 等播放器.目前支持Windows. An

fedora 21 解决 播放器无法播放 mp4 问题

终端输入 sudo dnf install gstreamer1-libav gstreamer1-plugins-ugly gstreamer1-plugins-bad-free gstreamer1-plugins-bad-freeworld gstreamer1-vaapi 即可解决问题

Android通过意图使用内置的音频播放器

如果实现一个音频文件的播放,那么在应用程序中提供播放音频文件功能的最简单的方式是利用内置的"Music(音乐)"应用程序的功能--即使用系统自带的或已安装好的音乐播放器来播放指定的音频文件. 本例比较简单,下面直接给出源代码: 布局文件activity_main: <RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http:/