android媒体--stagefright概述【一】

近期杂七杂八的忙碌着,前几天看了下这部分主要是stagefright模块的,所以更改下名字

做了挺长时间的android平台的媒体开发,对之前的分析进行一个阶段性的总结。

一、android结构图(上下文关系)

二、android文件夹结构

自从android4.2版本号之后,媒体的相关代码都放到framework/av/的文件夹中,俗称"AV工作者",呵呵(本地代码不是太健全,文件夹我手动敲,公司代码健全,直接导出文件夹树)

|----- media
|       |
|       |-- libmedia_native   //JNI交互部分,从名字能够看出来
|       |
|       |-- libmedia          //一个服务端的代理,相应用层提供相关的接口,和服务端交互
|       |
|       |-- libmediaplayerservice //服务段 (分发器,交换机的作用,个人理解)
|       |
|       |-- libstagefright  //一个服务端的分支,支持工作
|       |
|       |-- mediaserver     //媒体进程,管理媒体一些相关信息,关注较少
|       |
|       |-- mtp           //目录操作媒体的相关东西
|       |

再进一步,我们看一下stagefright的里面包含什么东东

|-- stagefright
|   |
|   |-- codecs   //提供解码器实现
|   |
|   |-- colorconversion   //颜色空间转换
|   |
|   |-- foundation   //基本数据结构的实现
|   |
|   |-- httplive   //m3u8解析
|   |
|   |-- id3        // ID3 TAG解析(一般用于MP3格式的metadata容器)
|   |
|   |-- include    //基本头文件
|   |
|   |-- matroska   //matroska文件解析
|   |
|   |-- mpeg2ts    //mpeg2ts文件解析和数据获取一些处理
|   |
|   |-- mp4        //MP4的格式解析
|   |
|   |-- omx        //IOMX接口实现
|   |
|   |-- rtsp       //rtsp文件解析
|   |
|   |-- wifi-display //关于wifi的处理
|   |
|   |-- yuv         //YUV数据的处理
|   |

三、“演讲恐惧着”的接口事件

本地媒体的事件处理接口

stage fright 英文的意思就: 演讲恐惧者,AwesomePlayer 功能强大的播放器

在android中也是这个这样,“演讲恐惧者”有强大的接口和事件处理接口,可是,它不去实现,而是所有通过AwesomePlayer来完毕的,在其初始化时,就直接实例化功能强大播放器而且对其设置监听。代码例如以下:

StageFrightPlayer.cpp

StagefrightPlayer::StagefrightPlayer()
    : mPlayer(new AwesomePlayer) {
    ALOGV("StagefrightPlayer");

    mPlayer->setListener(this);
}

接口基本调用流程:

1.Java层通过JNI调用C++側的mediaplayer相关接口

2.mediaPlayerService中创建server端client,分别实例化相关播放器,这里会把接口事件调用到详细的播放器如:本地媒体调用stagefright,流媒体调用NuPlayerDriver

3.stagefright会调用AwesomePlayer对应接口,事实上流媒体側和本地媒体类似的,最后会调用Nuplayer

媒体事件类型

enum media_event_type {
    MEDIA_NOP               = 0, // interface test message
    MEDIA_PREPARED          = 1, //媒体准备完成
    MEDIA_PLAYBACK_COMPLETE = 2, //播放事件
    MEDIA_BUFFERING_UPDATE  = 3, //Buffer更新事件,更新的值是百分比
    MEDIA_SEEK_COMPLETE     = 4, //seek事件
    MEDIA_SET_VIDEO_SIZE    = 5, //视频尺寸
    MEDIA_TIMED_TEXT        = 99, //字幕相关的,基本不用
    MEDIA_ERROR             = 100, //错误
    MEDIA_INFO              = 200, //媒体具体信息
};

stagefright模块结构

stagefright模块结构图

1.mediaPlayerservice调用Stagefright对应的接口

2.Stagefright调用AwesomePlayer对应的接口

3.AwesomePlayer调用OMXCode读取ES数据,而且进行解码的处理

4.OMXCodec调用MediaSource的read函数来获取音视频的数据

5.OMXCodec调用Android的IOMX接口,事实上就是Stagefrightde中的 OMX实现

6. OMX调用OMXMaster,而OMXMaster调用OMXPluginBase的接口,这里也能够获取外部的Codec的插件,终于调用相应的解码组建来完毕解码,不同解码组件不太同样,后面会做介绍

7.解码完毕后,通过OMXcodec返回的裸码流数据会在Awesomeplayer中调用Render模块,实现渲染,从而给用户提供了画面

广告之后,更加精彩 ^.#

时间: 2024-07-28 22:47:54

android媒体--stagefright概述【一】的相关文章

Android网络编程概述

Android网络编程概述 首先,应该了解的几个问题: 1)Android平台网络相关API接口 a) java.net.*(标准Java接口) java.net.*提供与联网有关的类,包括流.数据包套接字(socket).Internet协议.常见Http处理等.比如:创建URL,以及URLConnection/HttpURLConnection对象.设置链接参数.链接到服务器.向服务器写数据.从服务器读取数据等通信.这些在Java网络编程中均有涉及. b) Org.apache接口 对于大部

Android广播机制概述

1.Android广播机制概述 Android广播分为两个方面:广播发送者和广播接收者,通常情况下,BroadcastReceiver指的就是广播接收者(广播接收器).广播作为Android组件间的通信方式,可以使用的场景如下:1.同一app内部的同一组件内的消息通信(单个或多个线程之间): 2.同一app内部的不同组件之间的消息通信(单个进程): 3.同一app具有多个进程的不同组件之间的消息通信: 4.不同app之间的组件之间消息通信: 5.Android系统在特定情况下与App之间的消息通

Android 媒体存储服务(一)

Android 媒体存储服务 本文介绍如何在 Android 中,开发者的 APP 如何使用媒体存储服务(包含MediaScanner.MediaProvider以及媒体信息解析等部分),包括如何把 APP 新增或修改的文件更新到媒体数据库.如何在多媒体应用中隐藏 APP 产生的文件.如何监听媒体数据库的变化等等. 简介:本文介绍如何在 Android 中,开发者的 APP 如何使用媒体存储服务(包含MediaScanner.MediaProvider以及媒体信息解析等部分),包括如何把 APP

Android媒体解码MediaCodec MediaExtractor学习

Android提供了MediaPlayer播放器播放媒体文件,其实MediaPlyer只是对Android Media包下的MediaCodec和MediaExtractor进行了包装,方便使用.但是最好理解下Android媒体文件的解码,编码和渲染流程. 使用android.media包下的MediaCodec和MediaExtractor实现一个简单的视频解码渲染. 使用到了: MediaCodec:负责媒体文件的编码和解码工作,内部方法均为native方法 MediaExtractor:负

stagefright概述

最近杂七杂八的忙碌着,前几天看了下这部分主要是stagefright模块的,所以更改下名字 做了挺长时间的android平台的媒体开发,对之前的分析进行一个阶段性的总结. 一.android结构图(上下文关系) 二.android目录结构 自从android4.2版本之后,媒体的相关代码都放到framework/av/的目录中,俗称"AV工作者",呵呵(本地代码不是太健全,目录我手动敲,公司代码健全,直接导出目录树) [plain] view plaincopyprint? |----

Android|媒体|播放和音量调节|seekbar|mediaplayer

Android中的音乐媒体播放 Mediaplayer类,定义如下 final MediaPlayer mpRain = MediaPlayer.create(this,R.raw.rain); 文件为  res/raw/rain.mp3  //raw在Androidstudio中我自己创建的 我自己在这里的用法是只有一个按钮,单击使用,如果在播放就停止,否则开始播放,附上代码 1 mpRain.setLooping(true); 2 buttonRain.setOnClickListener(

Android 媒体编解码器(转)

媒体编解码器 MediaCodec类是用来为低级别的媒体编码和解码的媒体编解码器提供访问.您可以实例化一个MediaCodec类通过调用createEncoderByType()方法来进行对媒体文件进行编码或者调用createDecoderByType()来对媒体文件进行解码.每一个方法都要采取一个MIME类型为你想要编码或者解码的媒体文件类型,例如“video/3gpp”或者“audio/vorbis”. 在MediaCodec实例创建之后,你可以调用configure()方法来指定例如媒体格

Android Dalvik虚拟机概述

Dalvik虚拟机概述 Dalvik是Google公司自己设计用于Android平台的Java虚拟机.Dalvik虚拟机是Google等厂商合作开发的Android移动设备平台的核心组成部分之一.它可以支持已转换为 .dex(即Dalvik Executable)格式的Java应用程序的运行,.dex格式是专为Dalvik设计的一种压缩格式,适合内存和处理器速度有限的系统.Dalvik 经过优化,允许在有限的内存中同时运行多个虚拟机的实例,并且每一个Dalvik 应用作为一个独立的Linux 进

Android系统架构概述

目录: 1.Android系统架构 2.Android类库 3.四大组件 ----------------------------------------------------------------------- 1.Android系统架构 从架构图看出架构分为五个部分,由下往上依次为: Linux Kernel:Android基于Linux提供核心系统服务,例如:安全.内存管理.进程管理.网络堆栈.驱动模型.Linux Kernel也作为硬件和软件之间的抽象层,它隐藏具体g硬件细节而为上层