AliOS Things 声源定位应用演示

摘要: 1. 概述 利用麦克风阵列进行声源定位在智能降噪、语音增强、语音识别等领域有广泛应用和研究前景。本文介绍基于AliOS Things + STM32F413H Discovery开发板实现声源定位算法集成和功能演示。

  1. 概述
    利用麦克风阵列进行声源定位在智能降噪、语音增强、语音识别等领域有广泛应用和研究前景。本文介绍基于AliOS Things + STM32F413H Discovery开发板实现声源定位算法集成和功能演示。

声源定位算法
本案例集成了STMicroelectronics的Acoustic_SL声源定位算法。Acoustic_SL是STMicroelectronics开发的声源定位算法,支持XCORR、GCC-PHAT、BMPH三种不同算法类型。本案例使用GCC-PHAT算法类型,算法基于到达时间差(TDOA)原理实现,通过测量声音信号达到不同麦克风的时间差计算声源方向。GCC-PHAT算法作为应用最为广泛的声位算法,数据计算量和资源消耗较小,并且具有一定的抗噪和抗混响能力。

  1. 环境搭建
    开发板:STM32F413H Discovery(附带麦克风阵列板)
    手势传感器:Seeed Grove PAJ7620
    温湿度传感器:HTS221
    LED数码管:Seeed Grove LED Bar

硬件说明:
使用STM32F413H作为主控芯片,提供音频输入接口、I2C接口、GPIO控制接口、显示控制接口等。
STM32F413H内置的DFSDM模块可以支持最多同时5路PDM数字麦克数据录入,并经过硬件滤波将PDM数据转换成PCM数据,降低了音频软件的复杂度和资源消耗。

硬件连接:

  1. 软件编译
    软件:AliOS Things
    下载AliOS Things后,切换到developer分支。

执行如下命令编译Application:
aos make [email protected]

编译成功后,使用下面命令烧录镜像:
aos upload [email protected]

  1. 软件介绍
    AliOS Things
    AliOS Things是面向IOT领域的轻量级物联网嵌入式操作系统。AliOS Things启动过程中,依次完成内核初始化、硬件资源初始化、功能组件初始化、外设驱动初始化。系统就绪后,通过用户定义的application_start()函数进入应用程序。

创建声位和音量显示界面
在application_start()函数中调用display_init()创建LCD刷新任务、显存刷新任务、定义显示界面。

声位显示界面:

切换到该界面时,声位识别算法开始运行,屏幕上指示当前声音方位。测试时建议距离mic阵列水平距离30cm,高度和mic阵列尽量接近,可以获得最佳效果。

音量显示界面:

切换到该界面时,计算mic信号的大小并转换成音量在屏上显示音量指示条,即提供声音强度检测功能。

运行声位算法
<1> 在application_start()函数中创建声源定位task,在该task中继续调用acoustic_sl_start()执行声源定位功能。

<2> 在acoustic_sl_start()函数中调用DFSDM_Init()和HAL_DFSDM_FilterRegularStart_DMA()初始化并启动DFSDM录音程序。打开4路DFSDM滤波通道,获取4个麦克风的PDM数据,经过内部处理转换成PCM后通过DMA传输到缓存中。

<3> 调用acoustic_sl_init()库函数初始化Acoustic_SL算法。这一步需要设置算法参数,例如配置算法类型、channel number、麦克风阵列间距以及识别角度最小单位、声音检测门限。

<4> DFSDM录音程序每次分别从4个mic录入512个采样点的PDM数据数据,经过内部处理转换成PCM后通过DMA传输到缓存中。

<5> 缓存数据到达后,对PCM数据进行简单的High Pass滤波算法处理,然后调用AcousticSL_Data_Input()以每次16samples的大小送入算法后,触发外部中断,在中断函数中再调用AcousticSL_Process()进行算法处理和声位计算,得到代表声音方位的角度信息。

<6> 根据角度的范围可以确定麦克的位置,然后在显示任务fb_refresh_task中根据麦克位置更新显示界面。

麦克阵列采用2x2矩阵形式,通过这种布局方式可以实现360度声音方位的识别。

另外,AcousticSL算法提供声音检测门限和识别角度最小单位两个调试参数。可以根据需要修改参数,适应不同的环境条件和应用需求。

音量计算
通过手势切换到该界面后,首先对DFSDM输出的512个采样点的pcm数据先计算均值,再进行对数计算,得到对应pcm数据的音量信息,同时根据音量信息在显示任务fb_refresh_task刷新界面音量进度条。

  1. 应用演示
    视频观看:AliOS-Things声源定位应用演示
  2. 更多
    参考AliOS Things手势识别应用演示

原文链接

本文为云栖社区原创内容,未经允许不得转载。

原文地址:http://blog.51cto.com/13952056/2296298

时间: 2024-07-30 09:18:14

AliOS Things 声源定位应用演示的相关文章

人工智能领域中声源定位的研究与发展------第一章 绪论

1.1 引言 在人工智能领域中,听觉与视觉相比,仍旧处在一个初期阶段的研究课题.随着时代的发展,听觉已经成为人工智能领域中重要的研究课题.它是智能机器人的重要标志之一,也是实现人机交互,与环境交互的重要手段. 在之前机器人的导航主要使用测距传感器(如声纳),而跟踪和定位主要靠视觉.这种形式在视觉场景内被广泛作为定位目标的方式.但是像人和大部分动物那样,视觉场被限制在小于180度的范围内.在真实世界中,听觉能带来360度的"听觉场景".它能定位不在视觉场景内的声音目标,即定位由物体遮挡造

[转]基于TDOA声源定位算法仿真--MATLAB仿真

原文链接:https://blog.xxcxw.cn/2019/08/10/%e5%9f%ba%e4%ba%8etdoa%e5%a3%b0%e6%ba%90%e5%ae%9a%e4%bd%8d%e7%ae%97%e6%b3%95%e4%bb%bf%e7%9c%9f-matlab%e4%bb%bf%e7%9c%9f/ 转自:http://t.cn/AiTjYCqD 声源定位算法是利用麦克风阵列进行声音定位,属于宽带信号,传统的MUSIC和DOA算法并不适用该场景,本仿真主要用TDOA算法进行定位.

人工智能领域中声源定位的研究与发展------第二章 声源定位系统 (4)

版权声明:本文为博主原创文章,未经博主允许不得转载.

人工智能领域中声源定位的研究与发展------第三章 展望

版权声明:本文为博主原创文章,未经博主允许不得转载.

第八篇 CSS定位

CSS定位 CSS除了内外边距控制元素,还有定位,看到"定位"两个字,同学们应该就能清楚,它能够做什么. 在刚学习的时候,我也经常使用定位,来控制元素的位置,但是初学的同学可能会注意不到定位的一些"内涵"!所以会出现一些明显的错误,也不知道怎么去修正它,那么下面我们就来介绍一下,这个定位究竟怎么用才好呢. 因为是演示,老师的CSS会采用内联.内嵌,比较方便(同学们以后的项目中,一定要采用外联,高效安全). 定位属性:position 值:relative(相对定位)

Kinect开发学习笔记之(一)Kinect介绍和应用

Kinect开发学习笔记之(一)Kinect介绍和应用 [email protected] http://blog.csdn.net/zouxy09 一.Kinect简单介绍 Kinectfor Xbox 360,简称 Kinect,是由微软开发,应用于Xbox 360 主机的周边设备.它让玩家不须要手持或踩踏控制器,而是使用语音指令或手势来操作 Xbox360 的系统界面.它也能捕捉玩家全身上下的动作,用身体来进行游戏,带给玩家"免控制器的游戏与娱乐体验".其在2010年11月4日于

Kinect的学习笔记发展(一)Kinect引进和应用

Kinect的学习笔记发展(一)Kinect引进和应用 [email protected] http://blog.csdn.net/zouxy09 一.Kinect简单介绍 Kinectfor Xbox 360,简称 Kinect,是由微软开发,应用于Xbox 360 主机的周边设备.它让玩家不须要手持或踩踏控制器,而是使用语音指令或手势来操作 Xbox360 的系统界面.它也能捕捉玩家全身上下的动作,用身体来进行游戏,带给玩家"免控制器的游戏与娱乐体验". 其在2010年11月4日

2.5D Visual Sound:CVPR2019论文解析

论文链接: http://openaccess.thecvf.com/content_CVPR_2019/papers/Gao_2.5D_Visual_Sound_CVPR_2019_paper.pdf Video results: http://vision.cs. utexas.edu/projects/2.5D_visual_sound/ 摘要 双耳音频为听者提供了3D的声音感受,使其对场景有丰富的感知体验.然而,双耳录音几乎不可用,需要非平凡的专业知识和设备才能获得.本文建议利用视频将普

科大讯飞AIUI(1)

一直对语音机器人很感兴趣的我,在看到科大讯飞新发布的AIUI还是忍不住购买了评估版,进行测试和体验.AIUI 评估板搭载科大讯飞最新的人机智能交互解决方案.通过简单的连接和配置即可进行体验.确实是十分容易上手. 1. 安装 按如下图安装就ok了,基本和搭积木一样,也不需要说明说明书就可以轻轻松松把硬件弄好.因为AIUI的语义理解都是云端的,因此需要配置一下wifi,设置的 WIFI 热点: 名称(SSID): aiuiap 密码:12345678, 评估板启动后会自动连接 这个时候基本就可以体验