【数据挖掘技术】神经网络模型

神经网络模型

一、神经网络模型

对网络模型的研究始于20世纪40年代,作为一门交叉学科,它是人类基于对其大脑神经认识的基础上,人工构造实现某种功能的网络模型。经过将近70年的发展,神经网络模型已成为机器学习的典型代表,它不依照任何概率分布,而是模仿人脑功能进行抽象运算。神经网络(Neutral Network)是通过数学算法来模仿人脑思维的,它是数据挖掘中机器学习的典型代表。神经网络是人脑的抽象计算模型,我们知道人脑中有数以百亿个神经元(人脑处理信息的微单元),这些神经元之间相互连接,是的人的大脑产生精密的逻辑思维。而数据挖掘中的“神经网络”也是由大量并行分布的人工神经元(微处理单元)组成的,它有通过调整连接强度从经验知识中进行学习的能力,并可以将这些知识进行应用。

简单来说,“神经网络”就是通过输入多个非线性模型以及不同模型之间的加权互联(加权的过程在隐蔽层完成),最终完成一个输出模型。具体来说,”神经网络“是一组互相连接的输入/输出单元,其中每个连接都会与一个券种相关联。在学习阶段,通过调整这些连接的权重,就能够预测输入观测值的正确类标号。因此可以理解为人工神经网络是由大量神经网络元通过丰富完善的连接、抽样、简化和模拟而形成的一种信息处理系统。

二、神经网络模型原理

人工网络模型的结构大致分为两大类:前向型网络和反馈性网络。

具体来说,所谓前向型网络,是指传播方向是从输入端传向输出端,并且没有任何的反馈;所谓反馈性网络是指在传播方向上除了从输入端传向输出端之外,还有回环或反馈存在。这两种网络原理图如下图所示:

在上述的典型结构里,神经网络通过输入多个非线性模型,以及不同模型之间的加权互联,最终得到一个输出模型。具体来说,多元输入层是指一些自变量,这些自变量通过加权结合到中间的层次上,成为隐蔽层。隐蔽层主要包含的是非线性函数,页脚转换函数或压缩函数。隐蔽层就是所谓的黑箱部分,几乎没有人能在所有的情况下多难过隐蔽层中哪些非线性函数式如何对自变量进行组合的,这是计算机思考代替人类思考的一个典型案例。

由于“神经网络”拥有特有的大规模并行结构和信息的并行处理等特点,因此它具有良好的自适应性、自组织性和高容错性,并且具有较强的学习、记忆和识别功能。目前神经网络已经在信号处理、模式识别、专家系统、预测系统等众多领域得到广泛的应用。目前最主流的"神经网络"算法是反馈传播(Backpropagation),该算法在多层前向型(Multilayer Feed-Forward)神经网络上进行学习,而多层前向型神经网络又是由一个输入层、一个或多个隐蔽层以及一个输出层。”神经网络“技术在数据化运营中主要用途体现在:作为分类、预测问题的重要技术支持,在用户划分、行为预测、营销响应等诸多方面具有广泛的应用前景。

三、影响神经网络模型的5大因素

”神经网络“的主要特点就是其知识和结果的不可解释性,没有人知道隐蔽层离的非线性函数到底是如何处理自变量的,”神经网络“应用中产出物在很多时候让人看不清其中的逻辑关系。但是,他的这个缺点并没有影响该技术在数据化运营的广泛应用,甚至可以这样认为,正是因为其结果具有不可解释性,反而更可能促使我们发现新的没有认识到的规律和关系。在利用”神经网络“技术建模的过程中,有以下5个因素对买模型结果有着重大影响:

  • 层数。对于一定的输入层和输出层,需要有多少个隐蔽层,这点无论是理论上还是实践上,都具有非常重要的意义。虽然没有不变的规律,但是有经验的数据分析师通常要尝试不用的是指,力求找到满意的模型结构。
  • 每层中输入变量的数量。太多的自变量很可能会造成模型的过度拟合,使得模型搭建时看上去很稳定,可是一旦用到新数据中,模型的预测与实际结果却相差很大,这使得模型就是去了预测的价值和意义。所以,在使用神经网络建模之前,输入变量的挑选、精简非常重要。
  • 联系的种类。联系网络模型中,输入变量可以有不同方式的结合,可以向前,可以向后,还可以平行。采用不同的结合方式,可能就会对模型结果产生不同的影响。
  • 联系的程度。在每一层中,其元素可以与他层中的元素完全联系,也可以部分联系。部分联系可以减少模型过度拟合的风险,但是也可能减弱模型的预测能力。
  • 转换函数,又称为激活函数或挤压函数,因为它能把从正无穷大到负无穷大的所有输入变量挤压为很小范围内的一个输入结构。这种非线性的函数关系有助于模型的稳定性和可靠性。选择转换函数的标准很简单,即在最短时间内提供最好的结果函数。常见的转换函数包括阀值逻辑函数、双曲正切函数、S曲线函数等。

四、前向型网络模型的设计原理

大部分神经网络模型的学习过程,都是通过不断地改变券种来使误差达到总误差的最小绝对值。比如,以常见的前向型网络模型为例,其设计原理如下:

  • 隐蔽层的层数。从理论上讲,两层就够了;在实践中,经常是一层隐蔽层就够了。
  • 每层内输入的变量。输入层的变量由具体分析背景来决定;隐蔽层的数量为输入数与输出数的乘积开平方;输入层的数量应该尽量精简,遵循少而精的原则。
  • 联系的程度。一般都选择所有层次间全部联系。
  • 转换函数。所有逻辑斯底函数为主要函数,因为所有逻辑斯底函数可以提供在最短时间内的最佳拟合。
  • 模型的开发要足够充分,避免过度拟合现象发生。

五、神经网络的应用优势

六、神经网络模型的缺点及注意事项

【数据挖掘技术】神经网络模型,布布扣,bubuko.com

时间: 2024-10-14 06:42:49

【数据挖掘技术】神经网络模型的相关文章

基于tensorflow的MNIST手写字识别(一)--白话卷积神经网络模型

一.卷积神经网络模型知识要点卷积卷积 1.卷积 2.池化 3.全连接 4.梯度下降法 5.softmax 本次就是用最简单的方法给大家讲解这些概念,因为具体的各种论文网上都有,连推导都有,所以本文主要就是给大家做个铺垫,如有错误请指正,相互学习共同进步. 二.卷积神经网络讲解 2.1卷积神经网络作用 大家应该知道大名鼎鼎的傅里叶变换,即一个波形,可以有不同的正弦函数和余弦函数进行叠加完成,卷积神经网络也是一样,可以认为一张图片是由各种不同特征的图片叠加而成的,所以它的作用是用来提取特定的特征,举

数据挖掘技术在税务系统中的深度应用

随着计算机技术的发展和数据挖掘应用的逐渐成熟,数据挖掘技术引起了越来越多的行业的重视.在国外,政府应用数据挖掘技术发现欺诈行为已经有了30多年的历史,如今,中国的各类政府机关在信息化的进程中也都不约而同的将数据挖掘应用提到了议事日程上来.税务征管需要以更新.更便捷.更有效的方法,对大量的征管数据进行分析.提取.挖掘其隐藏信息数据中的潜能.本文着重介绍了通过数据挖掘技术如何实现纳税评估选案,从而降低征管成本,提高管理效果.    一.税务征管发展基本状况我国和许多起他国家一样每年都会因为纳税人的偷

大数据金融数据分析GBDT模型、神经网络模型、违约预测模型视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

神经网络模型种类

神经网络模型种类 一般地,CNN的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征.一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来:其二是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等.特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数,使得特征映射具有位移不变性.此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数.卷积神经网络中的每一个卷积层

常用神经网络模型及其应用评述(转载)

神经网络是由大量处理单元(神经元)互相连接而成的网络,实际上ANN并不完全模拟了生物的神经系统,而是一种抽象.简化和模拟.神经网络的信息处理通过神经元的相互作用来实现,知识与信息的存贮表现在网络元件互连的分布式结构与联系,神经网络的学习和识别各神经元连接权系数的动态演化过程.实践中常用的基本神经网络模型有:感知器神经网络.线性神经网络.BP神经网络.径向基神经网络.自组织神经网络.反馈网络等.1.感知器神经网络: 是一个具有单层计算神经元的神经网络,网络的传递函数是线性阈值单元.原始的感知器神经

数据挖掘技术在信用卡业务中的应用及实例分析

信用卡业务具有透支笔数巨大.单笔金额小的特点,这使得数据挖掘技术在信用卡业务中的应用成为必然.国外信用卡发卡机构已经广泛应用数据挖掘技术促进信用卡业务的发展,实现全面的绩效管理.我国自1985年发行第一张信用卡以来,信用卡业务得到了长足的发展,积累了巨量的数据,数据挖掘在信用卡业务中的重要性日益显现. 一.数据挖掘技术在信用卡业务中的应用 数据挖掘技术在信用卡业务中的应用主要有分析型客户关系管理.风险管理和运营管理. 1.分析型CRM 分析型CRM应用包括市场细分.客户获取.交叉销售和客户流失.

自然语言处理的神经网络模型初探

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 深度学习(Deep Learning)技术对自然语言处理(NLP,Natural Language Processing)领域有着巨大的影响. 但作为初学者,您要从何处开始学习呢? 深度学习和自然语言处理都是较为广阔的领域,但每个领域重点研究些什么?在自然语言处理领域中,又是哪一方面最受深度学习的影响呢? 通过阅读本文,您会对自然语言处理中的深度学习有一个初步的认识. 阅读这篇文章后,您可以知道: 对自然语言处理领域影响最为深远的神经网络结

从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (一)

本文属于图神经网络的系列文章,文章目录如下: 从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (一) 从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (二) 从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (三) 笔者最近看了一些图与图卷积神经网络的论文,深感其强大,但一些Survey或教程默认了读者对图神经网络背景知识的了解,对未学过信号处理的读者不太友好.同时,很多教程只讲是什么

【数据挖掘技术】回归

回归(Regression)分析包括线性回归(Linear Regression),这里主要是指多元线性回归和逻辑斯蒂回归(Logistic Regression).其中,在数据化运营中更多的使用逻辑斯蒂回归,它包括响应预测.分类划分等内容. 多元线性回归主要描述一个因变量如何随着一批自变量的变化而变化,其回归公式(回归方程)就是因变量和自变量关系的数据反映.因变量的变化包括两部分:系统性变化与随机性变化,其中,系统性变化是由自变量引起的(自变量可以解释的),随机变化是不能由自变量解释的,通常也