神经网络(6)---一些神经网络学习复杂非线性问题的例子(2)

如何实现逻辑非(negation)

上次我们实现了逻辑与与逻辑或运算,现在来看看逻辑非运算的实现

  

如左上图所示,我们只有一个x1输入,还有一个bias unit(+1),如果我们将weights设为10,-20的话,则我们的hΘ(x)=g(10-20x1)。计算右上角的表格可以得出函数的值与逻辑非函数的值是一至的。

cells include negation的基本思想是将你想要取反的那个变量的weight设为很大的负,如上例所示的用-20去乘x1,则会对x1取反.

右边的一个图为逻辑运算(NOT x1) AND (NOT x2)

实现XNOR(同或)

我们可以通过组合x1 AND x2, (NOT x1) AND (NOT x2) , x1 OR x2这三个单个的神经系统来组成x1 XNOR x2.

x1 XNOR x2的正负取值如最右上的那个坐标系所示,很显然如果要将它的正负取值分割开来的话,它的分割曲线是nonlinear的。

如左下图所示,我们将第一个神经单元用红色的表示,这个红色的是一个逻辑与,得到中间hidden layer层的a1(2),第二个单元用蓝色的表示的,是一个(NOT x1) AND (NOT x2),输出是a2(2),第三个单元是用绿色的表示的,是一个x1 OR x2,最后的输出设备是hΘ(x)的值与XNOR的值一至。这样我们一层一层的运算,从input layer到hidden layer再到output layer计算出了XNOR所要得到的效果。这说明当我们将几个简单的神经元进行组合时能组成complex function,一层一层递进的compute more complex function

上图是一个较复杂的神经网络,layer2得到比layer1复杂的features,layer3得到比layer2复杂的features,layer 4进行logistiv regression得到最后的output即hΘ(x),这就是我们之前提到的forward propagation(传播)

总结

神经网络可以由简单的神经元组合,通过一层一层的forward propagation,来处理复杂的非线性问题,如之前介绍的对手写数字(图片)的识别

,

时间: 2024-10-22 23:25:19

神经网络(6)---一些神经网络学习复杂非线性问题的例子(2)的相关文章

DeepLearning (六) 学习笔记整理:神经网络以及卷积神经网络

神经网络 神经网络模型 前向传播 反向传播 Neural Networds Tips and Tricks Gradient Check Regularization 激活函数 sigmoid 函数 Tanh Relu 稀疏编码 卷积神经网络 卷积 局部感知 权值共享 多通道卷积 卷积输出大小计算公式 池化pooling后的平移不变性 Dropout Learning rate AdaGrad python 实现 caffe 中的学习率 参考文献 [原创]Liu_LongPo 转载请注明出处[C

开源的人工神经网络计算库 FANN 学习笔记 1

开源的人工神经网络计算库 FANN 学习笔记 1 这年头机器学习非常的火,神经网络算是机器学习算法中的比较重要的一种.这段时间我也花了些功夫,学了点皮毛,顺便做点学习笔记. 介绍人工神经网络的基本理论的教科书很多.我正在看的是蒋宗礼教授写的<人工神经网络导论>,之所以选这本书,主要是这本比较薄,太厚的书实在是啃不动.这本书写的也比较浅显,用来入门正合适. 看书的同时也在网上找了找人工神经网络的库代码.感觉 FANN 这个库还不错,就顺道学了学这个库的使用方法. FANN 是个开源的 C 语言实

Python神经网络算法与深度学习视频教程人工智能算法机器学习实战视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

RBF神经网络和BP神经网络的关系

作者:李瞬生链接:https://www.zhihu.com/question/44328472/answer/128973724来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. BP Neural Network - 使用 Automatic Differentiation (Backpropagation) 进行导数计算的层级图模型 (layer-by-layer graphical model) 只要模型是一层一层的,并使用AD/BP算法,就能称作 BP Ne

神经网络以及卷积神经网络(CNN)初始

1 人工神经网络 1.1 神经元 神经网络由大量的神经元相互连接而成.每个神经元接受线性组合的输入后,最开始只是简单的线性加权,后来给每个神经元加上了非线性的激活函数,从而进行非线性变换后输出.每两个神经元之间的连接代表加权值,称之为权重(weight).不同的权重和激活函数,则会导致神经网络不同的输出. 举个手写识别的例子,给定一个未知数字,让神经网络识别是什么数字.此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义.在通过非线性激活函数进行非线性变换后,神经元被激活然后被传递

机器学习(一):梯度下降、神经网络、BP神经网络

这几天围绕论文A Neural Probability Language Model 看了一些周边资料,如神经网络.梯度下降算法,然后顺便又延伸温习了一下线性代数.概率论以及求导.总的来说,学到不少知识.下面是一些笔记概要. 一. 神经网络 神经网络我之前听过无数次,但是没有正儿八经研究过.形象一点来说,神经网络就是人们模仿生物神经元去搭建的一个系统.人们创建它也是为了能解决一些其他方法难以解决的问题. 对于单一的神经元而言,当生物刺激强度达到一定程度,其就会被激发,然后做出一系列的反应.模仿这

神经网络1: 人工神经网络 VS 生物神经网络

https://www.youtube.com/watch?v=lAaCeiqE6CE&list=PLXO45tsB95cJ0U2DKySDmhRqQI9IaGxck 人工神经网络 VS 生物神经网络  两者是不一样的 生物神经网络是大自然经过千亿年进化而成,目前最先进人工智能神经网络无法达到 人工神经网络 :通过正反馈和负反馈创建或删除神经元 生物神经网络  :通过刺激产生新的链接,信号通过新的链接传递产生反馈, 目前最先进人工智能神经网络无法模拟生物神经网络 卷积神经网络 CNN (深度学习

机器学习及其matlab实现竞争神经网络与SOM神经网络进阶与提高视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

程序员如何学习书本上的例子

身为程序员,明白一件事:“看懂”书上的例子与实际动手做过有巨大差别,但是人的惰性会让自己懒得再去敲例子代码.这就形成了一个矛盾:一方面知道敲代码的重要性,另一方面却由于自感“理解了例子"而不想去敲,觉得即使敲了也只不过是复制了书本例子,没啥意义.问题的关键就在这里:如果你把书本上的例子原原本本地敲下来,确实是一点意义都没有,纯粹的复制而已.也许你会说,那就不要看着书的情况下敲下例子.我认为这种行为本质上还是复制,只不过披了一件”背诵"的外衣而已,毫无意义. 两全其美(不要理解为折中)的