ELM极限学习机

　　

极限学习机(Extreme Learning Machine) ELM，是由黄广斌提出来的求解神经网络算法。ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，ELM比传统的学习算法速度更快。

ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM 可以随机初始化输入权重和偏置并得到相应的输
出权重。对于一个单隐层神经网络，假设有个任意的样本，其中，。对于一个有个隐层节点的单隐层神经网络可以表示为

其中，为激活函数，为输入权重，为输出权重，是第个隐层单元的偏置。表示和的内积。

单隐层神经网络学习的目标是使得输出的误差最小，可以表示为

即存在，和，使得

可以表示为

其中是隐层节点的输出，为输出权重，为期望输出。

为了能够训练单隐层神经网络，我们希望得到和使得

其中，这等价于最小化损失函数

传统的一些基于梯度下降法的算法，如BP学习算法及其变种，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重和隐层的偏置被随机确定，隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定

其中，是矩阵的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

极限学习机的代码下载：点击打开链接

时间： 2024-10-10 04:40:08

ELM极限学习机的相关文章

ELM 极限学习机与SVM支持向量机

在上一篇<DeepLearning 的挑战: Extreme Learning Machine(超限学习机)?> 中介绍了一些ELM与DL 的一些比较,这篇主要介绍ELM的原理. 首先,ELM的核心就是将复杂的迭代过程转变为隐层参数随机产生. 其次,ELM 是一个神经网络,有输入层.隐藏层,输出层. 最后,ELM 的多分类效果优于SVM,而且速度贼快. 对于训练样本集{xi,ti}  i=1-N, 共有N各样本,其中每个样本xi 是一个d维列向量,ti是输出标签. ELM,的输出为: 其中,w

极限学习机（Extreme Learning Machine）学习笔记

最近研究上了这个一个东西--极限学习机. 在很多问题中,我大多会碰到两个问题,一个是分类,另一个就是回归.简单来说,分类是给一串数打个标签,回归是把一串数变为一个数. 在这里我们需要处理的数据一般维度都比较高,在处理这两类问题时最简单的方法就是加权.使那些对最终结果影响大的维度的数据的权设大点,影响小的权设小点.其实,影响小的这些维度的数据对于我们整个建立的模型也不是完全没有用的.至少它们保证了我们整个模型的稳定和鲁棒性. 直到现在我都没有说什么是ELM(极限学习机),因为,它本身还存在很大的争

简单易学的机器学习算法——极限学习机（ELM）

极限学习机的概念 ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM可以随机初始化输入权重和偏置并得到相应的输出权重. 对于一个单隐层神经网络,假设有N个任意的样本,其中, .对于一个有个隐层节点的单隐层神经网络可以表示为 其中,为激活函数,为输入权重, 为输出权重,是第个隐层单元的偏置. 单隐层神经网络的学习目标是使得输出的误差最小,可以表示为 即存在,和 ,使得 可以矩阵表述为. 其中,是隐层节点的输出,为输出权重,为期望输出. ,

极限学习机（ELM）的使用

极限学习机的理论 在传统的神经网络训练中,我们通常的做法是要通过梯度下降算法来不断的调整隐层与输出层,输出层与隐层之间的权值矩阵,以及偏置b.但是ELM算法指出,其实隐层的权值矩阵W和偏置b其实是没有必要调整的,在学习算法开始时,任意随机给定W和b的值,利用其计算出H(隐层节点的输出),并令其保持不变,需要确定的参数就只有β了.这是一个比较重要的理论基础. 单隐层前向神经网络(SLFN)结构 设前向神经网络的输入层节点数量为P,特征向量的维数与输入节点数量相同:hidden layer的节点数量

paper 102：极限学习机（Extreme Learning Machine）

原文地址:http://blog.csdn.net/google19890102/article/details/18222103 极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法.ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快. ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输 出权重.对于一个单隐层神经网络,假设有个任意

极限学习机

本质:训练前只需设置网络隐层节点和激励函数,训练过程中随机产生网络的输入权值向量和隐层节点偏置,引入矩阵广义逆的思想解析得到网络的输出权值向量,训练过程快速简单,参数选择容易且具有良好的全局搜索能力. 优化点: (1)设置网络隐层节点个数:目前都是经验公式,没有确定的 (2)选择激励函数:目前大多数用sig (3)随机产生网络的输入权值向量和隐层节点偏置:有文献优化

ELM

1.ELM训练函数elmtrain function [IW,B,LW,TF,TYPE] = elmtrain(P,T,N,TF,TYPE) % ELMTRAIN Create and Train a Extreme Learning Machine % Syntax % [IW,B,LW,TF,TYPE] = elmtrain(P,T,N,TF,TYPE) % Description % Input % P   - Input Matrix of Training Set  (R*Q) % T

基于局部感受野的极速学习机

说明 基于局部感受野的极速学习机 摘要内容 引言部分 回顾ELMCNN和HTM 极速学习机ELM ELM特征映射feature mapping ELM特征学习Learning 卷积神经网络CNN 卷积 池化 层级实时记忆HTM 基于局部感受野的极速学习机ELM-LRF A 全连接与局部连接Full and Local Connections B 基于局部感受野的ELM C 组合节点 局部感受野的实现 A ELM-LRF的特殊组合节点 B 随机输入权重 C 平方根池化squaresquare-ro

基于速度学习机的局部感受野

说明 基于速度学习机的局部感受野 摘要内容 引言部分 回想ELMCNN和HTM 极速学习机ELM ELM特征映射feature mapping ELM特征学习Learning 卷积神经网络CNN 卷积 池化 层级实时记忆HTM 基于局部感受野的极速学习机ELM-LRF A 全连接与局部连接Full and Local Connections B 基于局部感受野的ELM C 组合节点 局部感受野的实现 A ELM-LRF的特殊组合节点 B 随机输入权重 C 平方根池化squaresquare-ro