极限学习机（Extreme Learning Machine）学习笔记

最近研究上了这个一个东西--极限学习机。

　　在很多问题中，我大多会碰到两个问题，一个是分类，另一个就是回归。简单来说，分类是给一串数打个标签，回归是把一串数变为一个数。

在这里我们需要处理的数据一般维度都比较高，在处理这两类问题时最简单的方法就是加权。使那些对最终结果影响大的维度的数据的权设大点，影响小的权设小点。其实，影响小的这些维度的数据对于我们整个建立的模型也不是完全没有用的。至少它们保证了我们整个模型的稳定和鲁棒性。

直到现在我都没有说什么是ELM(极限学习机)，因为，它本身还存在很大的争议。就我到现在的研究，从实验结果来说，所有变种的ELM，没有最原始的ELM的结果好，而这最好的结果也没有SVR(支持向量回归)好。

ELM的网络结构和单隐层的BP网络是一样的，只是他们内部神经元之间连接的权值的计算方法不一样的。

网络结构图如下：

时间： 2024-10-01 00:37:56

极限学习机（Extreme Learning Machine）学习笔记的相关文章

paper 102：极限学习机（Extreme Learning Machine）

原文地址:http://blog.csdn.net/google19890102/article/details/18222103 极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法.ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快. ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输出权重.对于一个单隐层神经网络,假设有个任意

Deep Learning 的挑战： Extreme Learning Machine（超限学习机）？

序: 今天刚听了一个关于 Extreme Learning Machine (超限学习机)的讲座,讲员就是ELM的提出者黄广斌教授 .ELM的效果自然是比SVM,BP 算法优异很多.并且相对比当下最火的 Deep Learning, 其有很大的优势: 运算速度非常快,准确率高,能Online Sequential Learning. 算法还没仔细研究,先上图吧. 正文: 总结: ELM确实相对于DL 有很大的探索空间,并且其有严谨的理论证明. 未完待续....

Coursera课程《Machine Learning》学习笔记（week1）

这是Coursera上比较火的一门机器学习课程,主讲教师为Andrew Ng.在自己看神经网络的过程中也的确发现自己有基础不牢.一些基本概念没搞清楚的问题,因此想借这门课程来个查漏补缺.目前的计划是先看到神经网络结束,后面的就不一定看了. 当然,看的过程中还是要做笔记做作业的,否则看了也是走马观花.此笔记只针对我个人,因此不会把已经会了的内容复述一遍,相当于是写给自己的一份笔记吧.如果有兴趣,可以移步<Machine Learning>仔细学习. 接下来是第一周的一些我认为需要格外注意的问题.

Learning Perl 学习笔记

1.文件读写与命令行参数 #!/usr/bin/perl use strict; if (@ARGV < 2){ die "USAGE: perl $0 inputfile outfile\n"; } my ($infile) = @ARGV[0]; my ($outfile) = @ARGV[1]; open my $infile_fh,'', "$infile" || die("Can't open the file!"); open

ELM极限学习机

极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法.ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快. ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输出权重.对于一个单隐层神经网络,假设有个任意的样本,其中,.对于一个有个隐层节点的单隐层神经网络可以表示为其中,为激活函数,为输入权重,为输出权重,是第个隐层单元的偏置.表示和

ELM 极限学习机与SVM支持向量机

在上一篇<DeepLearning 的挑战: Extreme Learning Machine(超限学习机)?> 中介绍了一些ELM与DL 的一些比较,这篇主要介绍ELM的原理. 首先,ELM的核心就是将复杂的迭代过程转变为隐层参数随机产生. 其次,ELM 是一个神经网络,有输入层.隐藏层,输出层. 最后,ELM 的多分类效果优于SVM,而且速度贼快. 对于训练样本集{xi,ti} i=1-N, 共有N各样本,其中每个样本xi 是一个d维列向量,ti是输出标签. ELM,的输出为: 其中,w

Machine Learning 学习笔记

Machine Learning 学习笔记在海军陆战队服役超过 10 年后,我于去年 7 月份退役了.随后在 8 月份找到了一份赌场的工作做公关,到今年 2 月中旬的时候又被辞退了.到 5 月中旬的时候我在 DE 协会找到了一份临时的"初级用户体验工程师"工作,而到了 8 月底我则成了正式的"用户体验工程师". 当我丢掉赌场的那份工作时,我就在想公关这行可能真的不适合我.我想做一名程序员.于是我开始节衣缩食学习编程.家人对我的情况非常担心.从 2 月份到 5 月份的

Deep Learning（深度学习）学习笔记整理系列七

Deep Learning(深度学习)学习笔记整理系列声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除. 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢. 4)阅读本文需要机器学习.计算机视觉.神经网络等等基础(如果没有也没关系了,没

Deep Learning（深度学习）学习笔记整理系列之（五）

Deep Learning(深度学习)学习笔记整理系列 [email protected] http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主