深度神经网络对脑电信号运动想象动作的在线解码

目录

  • 简介
  • 网络模型
  • 结果比较
  • 结论

本分享为脑机学习者Rose整理发表于公众号:脑机接口社区(微信号:Brain_Computer).QQ交流群:903290195

简介

近年来,深度学习方法的快速发展使得无需任何特征工程的端到端学习成为可能,这有利于BCI运动想象应用的发展。慕尼黑工业大学和澳大利亚研究发展团队(Research and Development, Integrated Research, Sydney 2060) 在论文中将深度学习方法与传统分类算法在数据集上进行了验证比较。

实时脑电信号解码和Katana机器人手臂控制的实时设置。P(L)和P(R)分别代表左手和右手移动的概率。

非侵入性脑机接口(BCI)是一种智能系统,让用户能够与外部设备(例如计算机或神经假体)进行通信,而无需周围神经和肌肉的参与。基于BCI的运动想象(MI)描述了这样一个心理过程,在该过程中,一个人仅想像要执行某种动作,例如伸开或收缩左手或右手而不执行左手或右手。这种类型的BCI可以让健康和严重瘫痪的人控制机械臂[1]或在轮椅上移动[2]。

先前在MI模式[3]上进行大量的研究也取得了良好的结果,但BCI性能的进步在过去十年中一直停滞不前。设计更稳定的分类方法面临着巨大的挑战。由于脑电信号具有高度的非平稳性和低信噪比(SNR),使得提取这些EEG特征变得十分困难。这也是分类性能停滞不前的主要原因。

近年来。深度学习方法的快速发展使得无需任何特征工程的端到端学习成为可能,这有利于BCI运动想象应用的发展。慕尼黑工业大学和澳大利亚研究发展团队的科研人员在论文中提出了三种深度学习模型:
(1)长短期记忆(LSTM);
(2)基于谱图的卷积神经网络模型(CNN);
(3)递归卷积神经网络(RCNN)。
将深度学习模型直接用于从原始EEG信号中解码运动想象,而无需任何人工特征工程。

研究者们为了记录MI-EEG数据,在实验中招募了20名健康的受试者(25.5~36.5岁)[右撇子], 进行了一系列的动觉性MI任务,共进行了750次试验。所有记录会话都在实验室进行,并且设置如图1所示。每节课4次,每次12分钟,中间休息10分钟,以避免精神疲劳。每次运行由几个MI任务组成,每个任务10 s长。在t=4.5 s时,显示一个指向左侧或右侧的箭头,并发出声音警告音(1 kHz,70 ms)。要求受试者根据显示的提示想象一个动作(向左或向右),持续4秒钟。MI任务之后是1.5s的放松期,这两个试验是分开的。在实验记录期间,未请求执行任何移动。数据记录和采样频率为256Hz,记录和采样系统为用g.tec和g.USBamp脑电系统,根据10/20系统定位32个活性电极。

研究人员在论文中详细介绍了三种深度学习模型(LSTM、pCNN、RCNN)对脑电信号想象手部动作的在线解码。并在论文里与文献中提出的两种模型(dCNN、sCNN)进行了比较。

网络模型

下面主要介绍pCNN、RCNN、dCNN、sCNN等的网络结构。
pCNN模型的体系结构:

模型参数:

pCNN模型的训练和验证损失:

蓝线和绿线分别代表训练和验证时在不同epoch对应的损失平均值。

研究人员发现,在epoch 62时(如上图所示),与训练损失的持续减少相反,验证损失开始增加。这表明过拟合问题,可以通过用于训练的少量数据来解释。因此,如上所述,可以选择较早时停止训练以保存最佳模型。

RCNN的网络模型结构参数

Deep CNN (dCNN) 的网络模型结构参数

Shallow CNN (sCNN) 的网络模型结构参数

结果比较

下图a中为传统分类算法的结果。总体而言,QLDA优于所有其他分类器,CSP和log-BP特征下的平均准确率分别为79.5%和78%。DT表现最差,平均准确率为67%。根据QLDA分类器的性能,将20名参与者分为三组:(G1)受试者S3和S14的平均准确率低于75%。(G2)受试者S1、S2、S4、S5、S7、S8、S9、S10、S11、S12、S13、S15、S16、S17、S19和S20的平均准确度在75%到79%之间。(G3)受试者S6和S18的平均准确率分别为80.52%和82.09%。值得注意的是,使用QLDA进行测试时,使用小波方法获得了75%的平均精度。

上图b对比了使用改进的神经分类器(RCNN、LSTM、pCNN)和Schirrmeister等人提出的另外两种模型dCNN和sCNN得到的分类精度。值得注意的是,dCNN和pCNN模型优于其他所有已开发的分类器,并且具有更高的准确性。

使用5个不同的分类器对9个受试者进行MI分类。极坐标柱状图显示了9个研究对象的5个模型的精度范围(平均标准偏差)。下面的面板包含了每种算法实现的9个平均精度,黑色条表示中值结果。

结论

总体而言,两种CNN架构(dCNN和pCNN)表现出了更好的性能,在20个参与者中获得了高于84%的平均准确率,RCNN模型获得了77.72%的平均准确率,LSTM模型获得了与最新结果相当的准确率。

参考
深度神经网络对脑电信号运动想象动作的在线解码

本文章由脑机学习者Rose笔记分享,QQ交流群:903290195
更多分享,请关注公众号

原文地址:https://www.cnblogs.com/RoseVorchid/p/12242414.html

时间: 2024-11-12 20:43:03

深度神经网络对脑电信号运动想象动作的在线解码的相关文章

深度学习与脑机接口_1(基于卷积神经网络的P300信号检测)

参考论文<Convolutional Neutral Networks for P300 Detection with Application to Brain-Computer Interfaces> Hubert Cecotti and Axel Gra¨ser ?1.所研究问题:检测单次刺激P300信号的有无(即不经过叠加平均) 以下四个图全部都包含P300波形: 我们只能从图1和4中观察出P300波形,图2和图3很难确定的说P300波形存在与否(然而实际上是有的) 提出问题:如何在叠加

AlphaGo论文的译文,用深度神经网络和树搜索征服围棋:Mastering the game of Go with deep neural networks and tree search

转载请声明 http://blog.csdn.net/u013390476/article/details/50925347 前言: 围棋的英文是 the game of Go,标题翻译为:<用深度神经网络和树搜索征服围棋>.译者简单介绍:大三,211,计算机科学与技术专业,平均分92分,专业第一.为了更好地翻译此文.译者查看了非常多资料.译者翻译此论文已尽全力,不足之处希望读者指出. 在AlphaGo的影响之下,全社会对人工智能的关注进一步提升. 3月12日,AlphaGo 第三次击败李世石

深度神经网络全面概述:从基本概念到实际模型和硬件基础

国内镜像:苏轶然-CSDN 论文地址:https://arxiv.org/pdf/1703.09039.pdf 原文地址:机器之心-深度神经网络全面概述:从基本概念到实际模型和硬件基础 目前,包括计算机视觉.语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks,DNN).DNN 在很多人工智能任务之中表现出了当前最佳的准确度,但同时也存在着计算复杂度高的问题.因此,那些能帮助 DNN 高效处理并提升效率和吞吐量,同时又无损于表现准确度或不会增加

[译]深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)

译自:http://sebastianruder.com/multi-task/ 1. 前言 在机器学习中,我们通常关心优化某一特定指标,不管这个指标是一个标准值,还是企业KPI.为了达到这个目标,我们训练单一模型或多个模型集合来完成指定得任务.然后,我们通过精细调参,来改进模型直至性能不再提升.尽管这样做可以针对一个任务得到一个可接受得性能,但是我们可能忽略了一些信息,这些信息有助于在我们关心的指标上做得更好.具体来说,这些信息就是相关任务的监督数据.通过在相关任务间共享表示信息,我们的模型在

谈谈如何训练一个性能不错的深度神经网络

谈谈如何训练一个性能不错的深度神经网络 深度学习大火,将各个数据集的state of the art不断地刷新,到了开源代码一放出,有种全民皆可刷排名的节奏. 不过可别把刷数据想的那么简单,不然大家去哪发paper,怎么混饭吃= = 但是我不想发paper就想占坑刷数据怎么办,看到cifar10都尼玛刷到了95%了,我这用caffe自带的小demo才得出78%的结果,caffe你确定不是在骗我? caffe确实没在骗你= =今天我给大家介绍一下如何刷出一个性能接近paper的神经网络 以CNN为

深度神经网络可视化工具集锦

深度神经网络可视化工具集锦 雷锋网按:原文作者zhwhong,载于作者的个人博客,雷锋网(公众号:雷锋网)经授权发布.  TensorBoard:TensorFlow集成可视化工具 GitHub官方项目:https://github.com/tensorflow/tensorflow/tree/master/tensorflow/tensorboard TensorBoard 涉及到的运算,通常是在训练庞大的深度神经网络中出现的复杂而又难以理解的运算. 为了更方便 TensorFlow 程序的理

从图像到知识:深度神经网络实现图像理解的原理解析

摘要:本文将详细解析深度神经网络识别图形图像的基本原理.针对卷积神经网络,本文将详细探讨网络中每一层在图像识别中的原理和作用,例如卷积层(convolutional layer),采样层(pooling layer),全连接层(hidden layer),输出层(softmax output layer).针对递归神经网络,本文将解释它在在序列数据上表现出的强大能力.针对通用的深度神经网络模型,本文也将详细探讨网络的前馈和学习过程.卷积神经网络和递归神经网络的结合形成的深度学习模型甚至可以自动生

深度学习实践系列(2)- 搭建notMNIST的深度神经网络

如果你希望系统性的了解神经网络,请参考零基础入门深度学习系列,下面我会粗略的介绍一下本文中实现神经网络需要了解的知识. 什么是深度神经网络? 神经网络包含三层:输入层(X).隐藏层和输出层:f(x) 每层之间每个节点都是完全连接的,其中包含权重(W).每层都存在一个偏移值(b). 每一层节点的计算方式如下: 其中g()代表激活函数,o()代表softmax输出函数. 使用Flow Graph的方式来表达如何正向推导神经网络,可以表达如下: x: 输入值 a(x):表示每个隐藏层的pre-acti

深度神经网络DNN的多GPU数据并行框架 及其在语音识别的应用

深度神经网络(Deep Neural Networks, 简称DNN)是近年来机器学习领域中的研究热点,产生了广泛的应用.DNN具有深层结构.数千万参数需要学习,导致训练非常耗时.GPU有强大的计算能力,适合于加速深度神经网络训练.DNN的单机多GPU数据并行框架是腾讯深度学习平台的一部分,腾讯深度学习平台技术团队实现了数据并行技术加速DNN训练,提供公用算法简化实验过程.对微信语音识别应用,在模型收敛速度和模型性能上都取得了有效提升--相比单GPU 4.6倍加速比,数十亿样本的训练数天收敛,测