径向基函数

径向基函数是一个取值仅仅依赖于离原点距离的实值函数,也就是Φ(x)=Φ(‖x‖),或者还可以是到任意一点c的距离,c点称为中心点,也就是Φ(x,c)=Φ(‖x-c‖)。任意一个满足Φ(x)=Φ(‖x‖)特性的函数Φ都叫做径向基函数,标准的一般使用欧氏距离(也叫做欧式径向基函数),尽管其他距离函数也是可以的。在神经网络结构中,可以作为全连接层和ReLU层的主要函数。

解决问题

需要使用深度学习解决的问题有以下的特征:

深度不足会出现问题。

人脑具有一个深度结构。

认知过程逐层进行,逐步抽象。

核心思想

编辑

深度学习的核心思想

把学习结构看作一个网络,则深度学习的核心思路如下:

无监督学习用于每一层网络的pre-train;

②每次用无监督学习只训练一层,将其训练结果作为其高一层的输入;

③用自顶而下的监督算法去调整所有层

a). AutoEncoder

最简单的一种方法是利用人工神经网络的特点,人工神经网络(ANN)本身就是具有层次结构的系统,如果给定一个神经网络,我们假设其输出与输入是相同的,然后训练调整其参数,得到每一层中的权重,自然地,我们就得到了输入I的几种不同表示(每一层代表一种表示),这些表示就是特征,在研究中可以发现,如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度,甚至在分类问题中比目前最好的分类算法效果还要好!这种方法称为AutoEncoder。当然,我们还可以继续加上一些约束条件得到新的Deep Learning方法,如:如果在AutoEncoder的基础上加上L1的Regularity限制(L1主要是约束每一层中的节点中大部分都要为0,只有少数不为0,这就是Sparse名字的来源),我们就可以得到Sparse AutoEncoder方法。

由于输入和输出相同,所以中间层节点的输出值,就代表中间的特征。也就是这个输入的高层抽象特征。

来源:

http://baike.baidu.com/link?url=Rh3o0P84n7tOmoqlI-hhVLoxx3SqIBR6PXG7sLTnucQlweW733Lols7YmX6vvVpvV3x1-0Jbhlw2cXORsajValNOLHv0FPpn-3LKQhG1XjdaB5vhndg2QNvICyKEUogc

时间: 2024-10-13 16:10:18

径向基函数的相关文章

径向基函数网络

介绍 径向基函数网络(Radial Basis Function,RBF)是由三层构成的前向网络:第一层为输入层,节点数等于输入的维数:第二层为隐含层,节点个数视问题复杂度而定:第三层为输出层,节点数等于输出数据的维度.RBF的隐含层是非线性的,采用径向基函数作为基函数,从而将输入向量空间转换到隐含层空间,使原来的线性不可分问题变为线性可分,输出层则是线性的. 径向基神经网络可以分为正则化网络和广义网络,在实践中被广泛应用的是广义网络. 径向基函数 A radial basis function

径向基网络(RBF network)

来源:http://blog.csdn.net/zouxy09/article/details/13297881 1.径向基函数 径向基函数(Radical Basis Function,RBF)方法是Powell在1985年提出的.所谓径向基函数,其实就是某种沿径向对称的标量函数.通常定义为空间中任一点x到某一中心c之间欧氏距离的单调函数,可记作k(||x-c||),其作用往往是局部的,即当x远离c时函数取值很小.例如高斯径向基函数: 当年径向基函数的诞生主要是为了解决多变量插值的问题.可以看

转:径向基核函数

转:径向基核函数 (2011-05-20 16:53:54) 转载▼   分类: AboutResearch 所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数. 通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小. 最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) }

径向基神经网络初学

[径向基神经网络训练算法及其性能研究 2.1]-RBF定义:假设x,x0属于Rn,以x0为中心,x到x0的径向距离为半径形成的||x-x0||构成的函数系φ(||x-x0||)称为径向基函数.

径向基网络(RBF network)之BP监督训练

径向基网络(RBF network)之BP监督训练 转载:http://blog.csdn.net/zouxy09/article/details/13297881 分类: 机器学习 神经网络 C/C++编程2013-10-28 18:17 3083人阅读 评论(1) 收藏 举报 神经网络机器学习RBF 径向基网络(RBF network)之BP监督训练 [email protected] http://blog.csdn.net/zouxy09 之前看了流行学习的时候,感觉它很神奇,可以将一个

机器学习之径向基神经网络(RBF NN)

本文基于台大机器学习技法系列课程进行的笔记总结. 主要内容如下图所示: 首先介绍一下径向基函数网络的Hypothesis和网络的结构,然后介绍径向基神经网络学习算法,以及利用K-means进行的学习,最后通过一个实例加深对RBF神经网络认识和理解. RBF神经网络的Hypothesis和网络结构 我们从基于Gaussian kernel的support vector machine中在无限维度中进行特征转换来获取一个large margin的边界,这个Gaussian kernel就是一个Rad

径向基网络对蝴蝶花分类

1.径向基网络简介 径向基网络的拓扑结构图如下所示,其网络有三层构成,第一层是输入层,第二层是隐含层,第三层是输出层.采用径向基函数(常用高斯函数)作为基函数,将输入向量空间转换到隐含层空间,实现对原问题的线性可分.径向基网络核心是隐含层采用了径向基函数,它计算的是输入向量和基函数中心之间的欧式距离,而不是输入向量与权值的内积.基函数一般采用的是高斯函数. 2.径向基网络学习算法 径向基网络需要训练的有三个参数 隐含层中基函数的中心 隐含层中基函数的标准差 隐含层与输出层间的权值 算法核心步骤

径向基神经网络

预备知识: cover定理: 在复杂的模式分类问题中,将数据映射到高维空间比映射到低维空间更可能线性可分 径向基函数: 空间中的任意点到某一中心之间的欧式距离(也可以是其他的距离函数)的单调函数 径向基神经网络是由一个三层的结构组成,包括输入层,隐含层,输出层,隐含层的激活函数一般是非线性的径向基函数,输出层是线性函数或hardlim函数 普通径向基神经网络中,隐含层神经元的个数是样本的数量,径向基函数的中心是对应的样本,所求插值函数要求通过所有的样本点,即 F(Xp)=dp p表示样本个数,F

第五章 神经网络

读书笔记 周志华老师的<机器学习> 因为边看边记,所以写在随笔里,如果涉及版权问题,请您联系我立马删除,[email protected] 5.1 神经元模型 “神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应.” 神经元模型:生物神经网络中,每个神经元与其他神经元相连,当它“兴奋”时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位:如果某神经元的电位超过了一个“阈值”,那么它就会被激活,即“兴奋”起来,向其他神经