神经网络模型
一、神经网络模型
对网络模型的研究始于20世纪40年代,作为一门交叉学科,它是人类基于对其大脑神经认识的基础上,人工构造实现某种功能的网络模型。经过将近70年的发展,神经网络模型已成为机器学习的典型代表,它不依照任何概率分布,而是模仿人脑功能进行抽象运算。神经网络(Neutral Network)是通过数学算法来模仿人脑思维的,它是数据挖掘中机器学习的典型代表。神经网络是人脑的抽象计算模型,我们知道人脑中有数以百亿个神经元(人脑处理信息的微单元),这些神经元之间相互连接,是的人的大脑产生精密的逻辑思维。而数据挖掘中的“神经网络”也是由大量并行分布的人工神经元(微处理单元)组成的,它有通过调整连接强度从经验知识中进行学习的能力,并可以将这些知识进行应用。
简单来说,“神经网络”就是通过输入多个非线性模型以及不同模型之间的加权互联(加权的过程在隐蔽层完成),最终完成一个输出模型。具体来说,”神经网络“是一组互相连接的输入/输出单元,其中每个连接都会与一个券种相关联。在学习阶段,通过调整这些连接的权重,就能够预测输入观测值的正确类标号。因此可以理解为人工神经网络是由大量神经网络元通过丰富完善的连接、抽样、简化和模拟而形成的一种信息处理系统。
二、神经网络模型原理
人工网络模型的结构大致分为两大类:前向型网络和反馈性网络。
具体来说,所谓前向型网络,是指传播方向是从输入端传向输出端,并且没有任何的反馈;所谓反馈性网络是指在传播方向上除了从输入端传向输出端之外,还有回环或反馈存在。这两种网络原理图如下图所示:
在上述的典型结构里,神经网络通过输入多个非线性模型,以及不同模型之间的加权互联,最终得到一个输出模型。具体来说,多元输入层是指一些自变量,这些自变量通过加权结合到中间的层次上,成为隐蔽层。隐蔽层主要包含的是非线性函数,页脚转换函数或压缩函数。隐蔽层就是所谓的黑箱部分,几乎没有人能在所有的情况下多难过隐蔽层中哪些非线性函数式如何对自变量进行组合的,这是计算机思考代替人类思考的一个典型案例。
由于“神经网络”拥有特有的大规模并行结构和信息的并行处理等特点,因此它具有良好的自适应性、自组织性和高容错性,并且具有较强的学习、记忆和识别功能。目前神经网络已经在信号处理、模式识别、专家系统、预测系统等众多领域得到广泛的应用。目前最主流的"神经网络"算法是反馈传播(Backpropagation),该算法在多层前向型(Multilayer Feed-Forward)神经网络上进行学习,而多层前向型神经网络又是由一个输入层、一个或多个隐蔽层以及一个输出层。”神经网络“技术在数据化运营中主要用途体现在:作为分类、预测问题的重要技术支持,在用户划分、行为预测、营销响应等诸多方面具有广泛的应用前景。
三、影响神经网络模型的5大因素
”神经网络“的主要特点就是其知识和结果的不可解释性,没有人知道隐蔽层离的非线性函数到底是如何处理自变量的,”神经网络“应用中产出物在很多时候让人看不清其中的逻辑关系。但是,他的这个缺点并没有影响该技术在数据化运营的广泛应用,甚至可以这样认为,正是因为其结果具有不可解释性,反而更可能促使我们发现新的没有认识到的规律和关系。在利用”神经网络“技术建模的过程中,有以下5个因素对买模型结果有着重大影响:
- 层数。对于一定的输入层和输出层,需要有多少个隐蔽层,这点无论是理论上还是实践上,都具有非常重要的意义。虽然没有不变的规律,但是有经验的数据分析师通常要尝试不用的是指,力求找到满意的模型结构。
- 每层中输入变量的数量。太多的自变量很可能会造成模型的过度拟合,使得模型搭建时看上去很稳定,可是一旦用到新数据中,模型的预测与实际结果却相差很大,这使得模型就是去了预测的价值和意义。所以,在使用神经网络建模之前,输入变量的挑选、精简非常重要。
- 联系的种类。联系网络模型中,输入变量可以有不同方式的结合,可以向前,可以向后,还可以平行。采用不同的结合方式,可能就会对模型结果产生不同的影响。
- 联系的程度。在每一层中,其元素可以与他层中的元素完全联系,也可以部分联系。部分联系可以减少模型过度拟合的风险,但是也可能减弱模型的预测能力。
- 转换函数,又称为激活函数或挤压函数,因为它能把从正无穷大到负无穷大的所有输入变量挤压为很小范围内的一个输入结构。这种非线性的函数关系有助于模型的稳定性和可靠性。选择转换函数的标准很简单,即在最短时间内提供最好的结果函数。常见的转换函数包括阀值逻辑函数、双曲正切函数、S曲线函数等。
四、前向型网络模型的设计原理
大部分神经网络模型的学习过程,都是通过不断地改变券种来使误差达到总误差的最小绝对值。比如,以常见的前向型网络模型为例,其设计原理如下:
- 隐蔽层的层数。从理论上讲,两层就够了;在实践中,经常是一层隐蔽层就够了。
- 每层内输入的变量。输入层的变量由具体分析背景来决定;隐蔽层的数量为输入数与输出数的乘积开平方;输入层的数量应该尽量精简,遵循少而精的原则。
- 联系的程度。一般都选择所有层次间全部联系。
- 转换函数。所有逻辑斯底函数为主要函数,因为所有逻辑斯底函数可以提供在最短时间内的最佳拟合。
- 模型的开发要足够充分,避免过度拟合现象发生。
五、神经网络的应用优势
的
六、神经网络模型的缺点及注意事项
的