Deep Learning 的挑战: Extreme Learning Machine(超限学习机)?

序: 今天刚听了一个关于 Extreme Learning Machine (超限学习机)的讲座,讲员就是ELM的提出者 黄广斌 教授
。ELM的效果自然是比SVM,BP 算法优异很多。并且相对比 当下最火的 Deep Learning, 其有很大的优势: 运算速度非常快,准确率高,能Online Sequential Learning。

算法还没仔细研究,先上图吧。

正文:

总结: ELM确实相对于DL 有很大的探索空间,并且其有严谨的理论证明。

未完待续。。。。

时间: 2024-07-29 16:43:00

Deep Learning 的挑战: Extreme Learning Machine(超限学习机)?的相关文章

paper 102:极限学习机(Extreme Learning Machine)

原文地址:http://blog.csdn.net/google19890102/article/details/18222103 极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法.ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快. ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输 出权重.对于一个单隐层神经网络,假设有个任意

Deep attention tracking via Reciprocative Learning

文章:Deep attention tracking via Reciprocative Learning 出自NIPS2018 文章链接:https://arxiv.org/pdf/1810.03851.pdf 代码链接:https://github.com/shipubupt/NIPS2018 背景: 这篇论文是NIPS2018的一篇目标跟踪的论文,是由北京邮电大学,腾讯AI实验室和上海交通大学共同合作写的.现在目标跟踪使用的算法有两种:一种是使用单阶段回归框架,另外一种是使用两阶段分类框架

极限学习机(Extreme Learning Machine)学习笔记

最近研究上了这个一个东西--极限学习机. 在很多问题中,我大多会碰到两个问题,一个是分类,另一个就是回归.简单来说,分类是给一串数打个标签,回归是把一串数变为一个数. 在这里我们需要处理的数据一般维度都比较高,在处理这两类问题时最简单的方法就是加权.使那些对最终结果影响大的维度的数据的权设大点,影响小的权设小点.其实,影响小的这些维度的数据对于我们整个建立的模型也不是完全没有用的.至少它们保证了我们整个模型的稳定和鲁棒性. 直到现在我都没有说什么是ELM(极限学习机),因为,它本身还存在很大的争

Machine Learning - IX. Neural Networks Learning (Week 5)

http://blog.csdn.net/pipisorry/article/details/44119187 机器学习Machine Learning - Andrew NG courses学习笔记 Neural Networks Learning 神经网络学习 Neural Networks are one of the most powerful learning algorithms that we have today. Cost Function代价函数 Note: 对于multi-

Learning Notes: Morvan - Reinforcement Learning, Part 4: Deep Q Network

Deep Q Network 4.1 DQN 算法更新 4.2 DQN 神经网络 4.3 DQN 思维决策 4.4 OpenAI gym 环境库 Notes Deep Q-learning Algorithm This gives us the final deep Q-learning algorithm with experience replay: There are many more tricks that DeepMind used to actually make it work

Machine Learning - X. Advice for Applying Machine Learning (Week 6)

http://blog.csdn.net/pipisorry/article/details/44119187 机器学习Machine Learning - Andrew NG courses学习笔记 Advice for Applying Machine Learning对应用机器学习的建议 Deciding What to Try Next决定接下来尝试什么 Evaluating a Hypothesis假设评估 Model Selection and Train_Validation_Te

Machine Learning Techniques -1-Linear Support Vector Machine

1-Linear Support Vector Machine 我们将这种定义为margin,则之前判断最优划分的问题转化为寻找最大margain的问题. 对于待选的几个w所表示的线,问题转化成利用对应w比较相对距离的问题. 此时定义w为方向向量,b为之前的w0,即bia. 由于w就是所求点到直线的法线方向,问题转化为求投影的问题. 因为每个点对应符号yn只有在和距离表示的绝对值内部符号为+的时候才说明划分正确,所以可以乘上yn来去除abs() 这里的距离是一种容忍度,所以我们选其中最近的那个.

Machine Learning Techniques -3-Dual Support Vector Machine

For the naive thought to practise my academic English skill, the rest of my notes will be wrriten in my terrrible English.XD If you have any kind of uncomfortable feel, please close this window and refer to the original edition from Mr. Lin. I will b

斯坦福大学公开课机器学习:machine learning system design | data for machine learning(数据量很大时,学习算法表现比较好的原理)

下图为四种不同算法应用在不同大小数据量时的表现,可以看出,随着数据量的增大,算法的表现趋于接近.即不管多么糟糕的算法,数据量非常大的时候,算法表现也可以很好. 数据量很大时,学习算法表现比较好的原理: 使用比较大的训练集(意味着不可能过拟合),此时方差会比较低:此时,如果在逻辑回归或者线性回归模型中加入很多参数以及层数的话,则偏差会很低.综合起来,这会是一个很好的高性能的学习算法. 原文地址:https://www.cnblogs.com/chenwenyan/p/8326027.html