Android智能手机中各种音频场景下的audio data path

上一篇文章(Android智能手机上的音频浅析)说本篇将详细讲解Android智能手机中各种音频场景下的音频数据流向,现在我们就开始。智能手机中音频的主要场景有音频播放、音频录制、语音通信等。不同场景下的音频数据流向有很大差异,即使是同一场景,在不同的模式下音频数据流向也有所不同。

1,音频播放

Android系统audio框架中主要有三种播放模式:low latency playback、deep buffer playback和compressed offload playback。

a)low latency playback:用于按键音、游戏背景音等对时延要求高的声音输出。音频文件是在AP侧解码成PCM数据,然后再经由Audio DSP送给codec芯片播放出来。

b)deep buffer playback:用于音乐等对时延要求不高的声音输出。音频文件是在AP侧解码成PCM数据,如果有音效的话会再对PCM数据处理(android audio framework中有effect音效模块,支持的音效有均衡器、低音增强、环绕声等),然后再经由Audio DSP送给codec芯片播放出来。

c)compressed offload playback:用于音乐等声音输出,但是音频解码部分的工作是在Audio DSP中完成,AP侧只负责把音频码流送到Audo DSP中,送出去后AP侧会进行休眠,Audo DSP中会分配一块较大的buffer去处理此数据,在Audo DSP中进行解码、音效的处理等工作,在Audo DSP解码器处理完数据之前,它会唤醒AP侧去送下一包数据。用这种模式播放音频能有效的降低功耗,是最为推荐的播放音乐的模式。但是在目前的主流的音乐播放APP中用的基本上都是deep buffer的播放模式,比如QQ音乐、网易云音乐和酷狗音乐等。看来系统平台厂商和APP厂商的做法是有差异的。至于哪些格式的音乐用这种模式播放,这需要在audioPolicy中去控制,我做的平台上是MP3(*.mp3)和AAC(*.m4a)用offload模式播放,因为这两种格式最主流。

综上low latency 模式和deep buffer模式都是在AP侧解码完后送PCM数据给Audio DSP,故音频数据流向类似,我将放在一起讲,而compressed offload模式是码流送给Audio DSP解码。播放系统音和游戏音用low latency 模式,播放音乐用deep buffer或者compressed offload模式,播放录音用deep buffer模式。接下来我们看看low latency /deep buffer和compressed offload两种模式下的音频数据流向。在音频播放时音频数据只经过AP和audio DSP。

1)low latency / deep buffer模式下的音频数据流向

从上图看出,音频文件先在AP上软解码得到PCM后经过AudioTrack/audioFlinger中的Mixer thread(有可能要做音效后处理)/audio HAL/tinyALSA后送给kernel,然后用IPC将PCM送给Audio DSP经重采样混音等后播放出来。由于在AP上已做解码和音效后处理,Audio DSP上就不需要做了。

2)compressed offload模式下的音频数据流向

从上图看出,音频码流经过AP上的AudioTrack/audioFlinger中的Offload thread(不需要做音效后处理)/audio HAL/tinyALSA后送给kernel,然后用IPC将码流送给Audio DSP经解码、后处理、重采样、混音等后播放出来。

2,音频录制

很多人喜欢把参加的重要会议或者演讲的音频录下来,以便重复听或者他用。下图就是录音时音频数据的流向。同音频播放一样,录音时音频数据也是只经过AP和audio DSP。

从上图看出,codec芯片采集到的PCM数据送给Audio DSP经重采样、前处理后送给AP的kernel,再经由tinyALSA/audio HAL /audioFlinger中的Record thread/audioRecord等后做软编码得到录音码流文件并保持起来。

3,语音通信

语音通信就是打电话啦。它同音频播放或者录制不一样,它是双向的,分上行(uplink,把采集到的语音发送给对方)和下行(downlink,把收到的语音播放出来),而音频播放或者录制是单向的。它音频数据流向也跟音频播放或者录制不一样,只经过audio DSP和CP,下图就是打电话时音频数据的流向。

从上图看出,在上行方向上codec芯片采集到的PCM数据送给Audio DSP经重采样、前处理(AEC/ANS/AGC等)、编码后得到码流,并将码流送给CP,CP处理后经过空口(air interface)送给对方。在下行方向上先从空口收对方送过来的语音数据,并做网络侧处理(jitter buffer等),然后送给Audio DSP,Audio DSP收到后做解码、后处理(ANS/AGC等)、重采样等,再把PCM数据经DMA/I2S送给codec芯片播放出来。

原文地址:https://www.cnblogs.com/talkaudiodev/p/8858470.html

时间: 2024-11-07 09:09:17

Android智能手机中各种音频场景下的audio data path的相关文章

Android平台中关于音频播放

Android平台中关于音频播放有以下三种方式: 1.SoundPool ---- 适合短促且对反应速度比较高的情况(游戏音效或按键声等) 2.MediaPlayer ---- 适合比较长且时间要求不高的情况 3.AudioTrack ---- 播放解码后的PCM码流 方法一:SoundPool 1)SoundPool简介 SoundPool类是Android用于管理和播放应用程序的音频资源的类.一个SoundPool对象可以看作是一个可以从APK中导入资源或者从文件系统中载入文件的样本集合.它

android XMl 解析神奇xstream 一: 解析android项目中 asset 文件夹 下的 aa.xml 文件

1.下载工具 xstream 下载最新版本地址: https://nexus.codehaus.org/content/repositories/releases/com/thoughtworks/xstream/ 下载完成后 把jar包导入到自己的android项目中 2.asset 文件夹 下的 aa.xml 文件 <?xml version="1.0" encoding="UTF-8"?><product>    <name>

asp.net core中负载均衡场景下http重定向https的问题

上周欣喜地发现,微软官方终于针对 asp.net core 在使用负载均衡的情况下从 http 强制重定向至 https 的问题提供了解决方法. app.UseForwardedHeaders(new ForwardedHeadersOptions { ForwardedHeaders = ForwardedHeaders.XForwardedProto }); var options = new RewriteOptions() .AddRedirectToHttpsPermanent();

在android工程中,res目录下又有anim、drawable、layout、menu、raw、values和xml文件夹,分别用来保存?

res目录主要是存放资源文件的!layout 布局 这个就是你经常看到的与用户交互的界面的 xml 文件,就是各个 view 的排列和嵌套,没什 么好说的啦 风格和主题. 风格主要是指 view 的显示风格 ;anim 一般是设置动画,画资源分为两种,一是实现图片的 translate.scale.rotate.alpha 四种变化.还可以设置 动画的播放特性:另一种是帧动画,逐帧播放设置的资源; drawable 主要是是存放所使用的图片的! menu:菜单 菜单即可以从代码中实现也可以在资源

SqlHelper中IN集合场景下的参数处理

我手头有个古老的项目,持久层用的是古老的ADO.net.前两天去昆明旅游,其中的一个景点是云南民族村,通过导游介绍知道了一个古老的民族——基诺族,这是我国的第56个民族.  项目里的ado.net和基诺族一样古老. 话说,项目里数据访问层,好多都是拼的sql,这给sql注入提供了可乘之机,为了系统安全,决定在有限的时间内,将它改成参数化. 其中,有个根据多个订单号查询支付单的方法,签名如下: public DataTable GetAlipayNotifyRecords(AlipayPaymen

web工程下的html中引用其他目录下的文件的path

如图:page目录下的video.html中引用到video目录下的001.mp4,在source标签中的src="../video/001.mp4" 效果: 总结: 以引用页video.html的目录为根目录,即: 1.先退出该目录(page):".." 2.进入video目录:"/video" 3.引用001.mp4:"/001.mp4"

Android程序中使用iconfont心得

1.关于iconfont iconfont既是icon又是font,具体来说应该是用font形式展现的icon.与传统图片格式的图标不同,这一种图标因为是以字体形式展现的,所以更改大小.颜色.背景颜色都非常方便. 2.使用方式 2.1 下载资源 资源来源:http://www.androidicons.com/ 根据引导找到下载链接.下载解压后找到iconfont/font,把里面的四个文件拷到Android项目中的assets目录下.找到glyphs/glyphs.html,因为之后会用到,所

android开发中,两个按下手机实体返回键,两个Activity反复来回跳转的问题

android开发中,对于用intent实现跳转的Ativity,有时候按下手机的返回键时,两个Activity之间会多次相互跳转,始终退出不了程序的情况.这是由于从Activity  A跳转到Activity  B时,A被压入Activity栈中:当从B返回时,默认又重新创建了一个Activity A对象,这样一来就有了多个Activity A对象.所以造成了无法退出情况. 解决办法是:在AndroidManifest.xml文件中找到Activity A项,在其属性中加入  android:

设计模式实例学习-单例模式(Android中的使用场景)

1.设计模式实例-单例模式 单例模式,故名思议,是指在一个类中通过设置静态使得其仅创造一个唯一的实例.这样设置的目的是满足开发者的希望--这个类只需要被实例化创建一次,同时因为其为静态的缘故,加载的速度也应该快于正常实例化一个类的速度(理论上). 在Android开发中,当我们需要创建一个Fragment的时候常常会用到这样的模式,没有代码的学习是虚无的,接下来亮代码学习: public class SelectFrame extends Fragment { private final sta