paper 102：极限学习机（Extreme Learning Machine）

原文地址：http://blog.csdn.net/google19890102/article/details/18222103

极限学习机(Extreme Learning Machine) ELM，是由黄广斌提出来的求解神经网络算法。ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，ELM比传统的学习算法速度更快。

ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM 可以随机初始化输入权重和偏置并得到相应的输
出权重。对于一个单隐层神经网络，假设有个任意的样本，其中，。对于一个有个隐层节点的单隐层神经网络可以表示为

其中，为激活函数，为输入权重，为输出权重，是第个隐层单元的偏置。表示和的内积。

单隐层神经网络学习的目标是使得输出的误差最小，可以表示为

即存在，和，使得

可以表示为

其中是隐层节点的输出，为输出权重，为期望输出。

为了能够训练单隐层神经网络，我们希望得到和使得

其中，这等价于最小化损失函数

传统的一些基于梯度下降法的算法，如BP学习算法及其变种，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重和隐层的偏置被随机确定，隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定

其中，是矩阵的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

极限学习机的代码下载：点击打开链接

时间： 2024-11-04 00:28:53

paper 102：极限学习机（Extreme Learning Machine）的相关文章

Deep Learning 的挑战： Extreme Learning Machine（超限学习机）？

序: 今天刚听了一个关于 Extreme Learning Machine (超限学习机)的讲座,讲员就是ELM的提出者 黄广斌 教授 .ELM的效果自然是比SVM,BP 算法优异很多.并且相对比 当下最火的 Deep Learning, 其有很大的优势: 运算速度非常快,准确率高,能Online Sequential Learning. 算法还没仔细研究,先上图吧. 正文: 总结: ELM确实相对于DL 有很大的探索空间,并且其有严谨的理论证明. 未完待续....

极限学习机（Extreme Learning Machine）学习笔记

最近研究上了这个一个东西--极限学习机. 在很多问题中,我大多会碰到两个问题,一个是分类,另一个就是回归.简单来说,分类是给一串数打个标签,回归是把一串数变为一个数. 在这里我们需要处理的数据一般维度都比较高,在处理这两类问题时最简单的方法就是加权.使那些对最终结果影响大的维度的数据的权设大点,影响小的权设小点.其实,影响小的这些维度的数据对于我们整个建立的模型也不是完全没有用的.至少它们保证了我们整个模型的稳定和鲁棒性. 直到现在我都没有说什么是ELM(极限学习机),因为,它本身还存在很大的争

ELM极限学习机

极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法.ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快. ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输出权重.对于一个单隐层神经网络,假设有个任意的样本,其中,.对于一个有个隐层节点的单隐层神经网络可以表示为 其中,为激活函数,为输入权重,为输出权重,是第个隐层单元的偏置.表示和

ELM 极限学习机与SVM支持向量机

在上一篇<DeepLearning 的挑战: Extreme Learning Machine(超限学习机)?> 中介绍了一些ELM与DL 的一些比较,这篇主要介绍ELM的原理. 首先,ELM的核心就是将复杂的迭代过程转变为隐层参数随机产生. 其次,ELM 是一个神经网络,有输入层.隐藏层,输出层. 最后,ELM 的多分类效果优于SVM,而且速度贼快. 对于训练样本集{xi,ti}  i=1-N, 共有N各样本,其中每个样本xi 是一个d维列向量,ti是输出标签. ELM,的输出为: 其中,w

The Brain as a Universal Learning Machine

The Brain as a Universal Learning Machine This article presents an emerging architectural hypothesis of the brain as a biological implementation of a Universal Learning Machine.  I present a rough but complete architectural view of how the brain work

简单易学的机器学习算法——极限学习机（ELM）

极限学习机的概念 ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM可以随机初始化输入权重和偏置并得到相应的输出权重. 对于一个单隐层神经网络,假设有N个任意的样本,其中, .对于一个有个隐层节点的单隐层神经网络可以表示为 其中,为激活函数,为输入权重, 为输出权重,是第个隐层单元的偏置. 单隐层神经网络的学习目标是使得输出的误差最小,可以表示为 即存在,和 ,使得 可以矩阵表述为. 其中,是隐层节点的输出,为输出权重,为期望输出. ,

Advice for Applying Machine Learning &amp; Machine Learning System Design----- Stanford Machine Learning（by Andrew NG）Course Notes

Adviceforapplyingmachinelearning Deciding what to try next 现在我们已学习了线性回归.逻辑回归.神经网络等机器学习算法,接下来我们要做的是高效地利用这些算法去解决实际问题,尽量不要把时间浪费在没有多大意义的尝试上,Advice for applying machine learning & Machinelearning system design 这两课介绍的就是在设计机器学习系统的时候,我们该怎么做? 假设我们实现了一个正则化的线性回

Setting up a Deep Learning Machine from Scratch (Software)

Setting up a Deep Learning Machine from Scratch (Software) A detailed guide to setting up your machine for deep learning research. Includes instructions to install drivers, tools and various deep learning frameworks. This was tested on a 64 bit machi

极限学习机（ELM）的使用

极限学习机的理论 在传统的神经网络训练中,我们通常的做法是要通过梯度下降算法来不断的调整隐层与输出层,输出层与隐层之间的权值矩阵,以及偏置b.但是ELM算法指出,其实隐层的权值矩阵W和偏置b其实是没有必要调整的,在学习算法开始时,任意随机给定W和b的值,利用其计算出H(隐层节点的输出),并令其保持不变,需要确定的参数就只有β了.这是一个比较重要的理论基础. 单隐层前向神经网络(SLFN)结构 设前向神经网络的输入层节点数量为P,特征向量的维数与输入节点数量相同:hidden layer的节点数量