BP神经网络设计

1、网络层数

  大部分单个隐藏层即可

2、输入层神经元个数

  输入变量的个数通常都是由问题的外部描述所确定的。例如,如果有4个外部变量作为网络的输入,那么网络就有4个输入。但是,这是不是意味着输入层的神经元个数就为4呢?答案是否定的! 因为每个神经元的输入可以有无数个,所以,通常当输入变量较多的时候,输入层神经元个数是明显的少于输入变量的个数的!

3、隐藏层神经元个数

  较多的隐藏层神经元个数可以带来更好的性能,但会导致训练时间增加,有这么一些经验公式...

  (后续补充...)

4、输出层神经元个数

  输出层神经元的个数同样需要根据从实际问题中得到的抽象模型来确定。在模式分类问题中,如果共有n种类别,则输出可以采用n个神经元。

  也可以设计log2(n)个神经元,如4个输出,设计2个节点,00 01 10 11覆盖四种状态

5、激活函数的选取

  激活函数一般用在隐藏层,常选用sigmoid函数,也可选用其他的...(如tanh函数、ReLU函数、P-ReLU函数、ELU函数等)

6、初始权值的确定

  一般随机生成,较小的非零随机值

7、学习效率的设置

  学习速率的高低会影响单次循环训练所获取的权值增量。学习的速率太高有可能会直接引起系统的不稳固;而学习的速率过低又会引起训练用时大大的增加,从而可能产生非常慢的抑制速度。在过去的研究中,我们一般都会将学习速率的选取范围设在0.01-0.8的区间里,也就是说我们通常为了确保整个系统的稳定性而倾向于使用较小的学习速率。

  

确定以上参数后,将训练数据进行归一化处理,并输入网络中进行学习,若网络成功收敛,即可得到所需的神经网络。

时间: 2024-10-13 00:49:54

BP神经网络设计的相关文章

BP神经网络设计常用的基本方法和实用技术

尽管神经网络的研究和应用已经取得巨大成功,但在网络的开发设计方面至今仍没有一套完善的理论做指导,应用中采取的主要设计方法是,在充分了解待解决问题的基础上将经验与试探相结合,通过多次改进性试验,最终选出一个较好的设计方案.下面是在开发神经网络中常用的基本方法和实用技术. (1)  网络信息容量与训练样本数 多层神经网络的分类能力与网络信息容量相关,如果网络的权值和阈值总数nw表征网络信息容量,研究表明,训练样本数N与给定的训练误差ε之间应满足以下匹配关系: N = nw / ε. 上式表明网络的信

模式识别:三层BP神经网络的设计与实现

本文的目的是学习和掌握BP神经网络的原理及其学习算法.在MATLAB平台上编程构造一个3-3-1型的singmoid人工神经网络,并使用随机反向传播算法和成批反向传播算法来训练这个网络,这里设置不同的初始权值,研究算法的学习曲线和训练误差.有了以上的理论基础,最后将构造并训练一个3-3-4型的神经网络来分类4个等概率的三维数据集合. 一.技术论述 1.神经网络简述 神经网络是一种可以适应复杂模型的非常灵活的启发式的统计模式识别技术.而反向传播算法是多层神经网络有监督训练中最简单也最一般的方法之一

“程序设计与算法训练”课程设计:“BP神经网络的实现”(C++类封装实现)

一 题目: 71 BP神经网络的实现: 利用C++语言实现BP神经网络, 并利用BP神经网络解决螨虫分类问题: 蠓虫分类问题:对两种蠓虫(A与B)进行鉴别,依据的资料是触角和翅膀的长度,已知了9支Af和6支Apf 的数据如下:A: (1.24,1.27), (1.36,1.74),(1.38,1.64) , (1.38,1.82) , (1.38,1.90) , (1.40,1.70) , (1.48,1.82) , (1.54,1.82) ,(1.56,2.08).B: (1.14,1.82)

C#实现的bp神经网络并应用于综合评价

由于课程设计选的题目是基于神经网络的综合评价,利用暑假时间用C#实现的bp神经网络.其中用到的_Matrix类是C#实现的矩阵类http://blog.csdn.net/lanqiuchaoren/article/details/37738665.此bp神经网络包含1个隐藏层,其中输入层,隐藏层,输出层个数都可以根据需要更改. 具体bp神经网络代码如下 BP类: using Matrix_Mul; using Excel = Microsoft.Office.Interop.Excel; usi

字符识别OCR研究一(模板匹配&BP神经网络训练)

摘 要 在MATLAB环境下利用USB摄像头採集字符图像.读取一帧保存为图像.然后对读取保存的字符图像,灰度化.二值化,在此基础上做倾斜矫正.对矫正的图像进行滤波平滑处理,然后对字符区域进行提取切割出单个字符.识别方法一是採用模板匹配的方法逐个对字符与预先制作好的字符模板比較,假设结果小于某一阈值则结果就是模板上的字符:二是採用BP神经网络训练.通过训练好的net对待识别字符进行识别.最然后将识别结果通过MATLAB下的串口工具输出51单片机上用液晶显示出来. keyword: 倾斜矫正.字符切

BP神经网络的公式推导

如果感觉自己看不懂,那就看看我博客的梯度下降法,博文最后的感知机也算最简单的BP神经网络吧,用的也是反馈(w,b):典型梯度下降法 BP网络的结构 BP网络的结构如下图所示,分为输入层(Input),隐含层(Hidden),输出层(Output). 输入层的结点个数取决于输入的特征个数. 输出层的结点个数由分类的种类决定. 在输入层和输出层之间通常还有若干个隐含层,至于隐含层的个数以及每个隐含层的结点个数由训练工程师的经验来人为设定. 链接A曾提到由万能逼近定理,一般一个隐含层就足够了.且这个隐

《神经网络设计》读书笔记第一章

包括记忆在内的所有生物神经功能,都存储在神经元及其之间的连接上. 神经网络中关于学习的过程是 神经元之间建立新的连接或对已有连接进行修改的过程. 神经网络的起源:M-P模型   是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型. 同时研究证明了神经网络可以模拟任何复杂的函数, 双隐层感知器就足以解决任何复杂的分类问题. Neural Networks and Deep Learning: A visual proof that neural nets can compute an

BP神经网络—java实现

神经网络的结构 神经网络的网络结构由输入层,隐含层,输出层组成.隐含层的个数+输出层的个数=神经网络的层数,也就是说神经网络的层数不包括输入层.下面是一个三层的神经网络,包含了两层隐含层,一个输出层.其中第一层隐含层的节点数为3,第二层的节点数为2,输出层的节点数为1:输入层为样本的两个特征X1,X2. 图1 三层神经网络 在神经网络中每一个节点的都与上一层的所有节点相连,称为全连接.神经网络的上一层输出的数据是下一层的输入数据.在图中的神经网络中,原始的输入数据,通过第一层隐含层的计算得出的输

【转】漫谈ANN(2):BP神经网络

上一次我们讲了M-P模型,它实际上就是对单个神经元的一种建模,还不足以模拟人脑神经系统的功能.由这些人工神经元构建出来的网络,才能够具有学习.联想.记忆和模式识别的能力.BP网络就是一种简单的人工神经网络.我们的第二话就从BP神经网络开始漫谈吧. BP的来源 “时势造英雄”,一个伟大的人物的登场总是建立在历史的需求之下,所以我们剖析一个人,得先看看他的出身时代.同样的道理,在讲BP网络的特性和用途之前,我们需要先了解一下它的来源和诞生原因,以便理解它的重要性. 1.1 最简单的神经网络结构——感