机器学习___ELM

一.带有随机隐藏节点的单隐层前馈神经网络

　1.相关条件：

• N个不同样本(xi,ti), xi=[xi1,xi2,xi3,........,xin]T, ti=[ti1,ti2,ti3,........,tim]T
• 第i个隐藏节点和输入节点间的权重向量：wi=[wi1,wi2,........win]T
• 第i个隐藏节点的阀值：bi=[bi1,bi2,........bin]T
• 第i个隐藏节点和输出节点间的权重向量：βi=[βi1,βi2,........βin]T
• 激活函数：g(x)

　2.方程改写：

• SLFNs ： ∑N‘i=1βig(wi?xj+bi) = tj, 简写成：Hβ=T
• 其中

  

　3.简易模型：

　4.两个相关定理(可以自行证明)：

• 定理 1： 给定一个具有N个隐藏节点以及在任何区间都无限可导的激活函数的标准SLFN。对N个任意不同样本，，SLFN在随机产生的情况下，形成的隐藏层输出矩阵H是可逆的，且
• 定理 2. 对于任意小的，及在任何区间都无限可导的激活函数，对N个任意不同样本，，总存在个隐节点的SLFN，使得在随机产生的情况下。

二.SLFNs的最小范数的最小二乘(LS)

1. 由定理1，2可知：只要激活函数无限可导，输入权重和隐藏层阀值可以随机分配, (即：可认为wi,βi已知)，因此训练SLFNs等价于找到Hβ=T的一个最小二乘解 β?
2. 其中根据相容方程组：β?=H+T 　 (H+是H的广义逆)

三.ELM算法

　给定训练样本集合N个不同样本(xi,ti)，激活函数g(x)和隐藏单元个数N?

1. 任意指定输入权值和阈值wi,bi(i=1,....N?)；
2. 计算隐藏层输出矩阵H；
3. 计算输出权重β: β?=H+T

   其中T=[t1,t2,.......tN]T