【神经网络】BP算法解决XOR异或问题MATLAB版

第一种

%%
%用神经网络解决异或问题

clear
clc
close
ms=4;%设置4个样本
a=[0 0;0 1;1 0;1 1];%设置输入向量
y=[0,1,1,0];%设置输出向量
n=2;%输入量的个数
m=3;%隐层量的个数
k=1;%输出层的个数
w=rand(n,m);%为输入层到隐层的权值赋初值
v=rand(m,k);%为隐层到输出层的权值赋权值
yyuzhi=rand(1,m);%为输入层到隐层的阈值赋初值
scyuzhi=rand(1,1);%为隐层到输出层的阈值赋权值
maxcount=10000;%设置最大的计数
precision=0.0001;%设置精度
speed=0.2;%设置训练率
count=1;%设置计数器的初始值

while(count<=maxcount)
    cc=1;%cc为第几个样本
    %样本数少于ms=4时执行
    while(cc<=ms)
    %计算第cc个样本的输出层的期望输出
        for l=1:k
            o(l)=y(cc);
        end
    %获得第cc个样本的输入的向量
        for i=1:n
            x(i)=a(cc,i);
        end
    %%
    %计算隐层的输入输出
    %b(j)为隐层的输出,转移函数为logsig函数
        for j=1:m
            s=0;
            for i=1:n
                s=s+w(i,j)*x(i);
            end
            s=s-yyuzhi(j);
            b(j)=1/(1+(exp(-s)));
        end

    %%
    %计算输出层的输入输出
    %b(j)为输出层的输入,c为输出层的输出,转移函数为logsig函数
    %for t=1:k 此处k为1,所以循环不写
        for t=1:k
            ll=0;
            for j=1:m
                ll=ll+v(j,t)*b(j);
            end
            ll=ll-scyuzhi(t);
        end
    %c(t)=l/(1+exp(-l))引文k为1,所以直接用下式
%     c=l/(1+exp(-ll));
    if ll<0
        c=0;
    else
        c=1;
    end

    %%
    %计算误差
    errort=(1/2)*((o(l)-c)^2);
    errortt(cc)=errort;
    %计算输出层各单元的一般化误差
    scyiban=(o(l)-c)*c*(1-c);
    %计算隐层的一般化误差
    for j=1:m
        e(j)=scyiban*v(j)*b(j)*(1-b(j));
    end

    %修正隐层到输出层连接权值和输出层各阈值
    for j=1:m
        v(j)=v(j)+speed*scyiban*b(j);
    end
    scyuzhi=scyuzhi-speed*scyiban;
    %修正输入层到中间层的权值和阈值
    for i=1:n
        for j=1:m
            w(i,j)=w(i,j)+speed*e(j)*x(i);
        end
    end
    for j=1:m
        yyuzhi(j)=yyuzhi(j)-speed*e(j);
    end
    cc=cc+1;
    end

    %%
    %计算count一次后的误差
        tmp=0;
    for i=1:ms
        tmp=tmp+errortt(i)*errortt(i);
    end
    tmp=tmp/ms;
    error(count)=sqrt(tmp);
    %判断是否小于误差精度
    if(error(count)<precision)
        break;
    end
    count=count+1;
end
errortt
count
p=1:count-1;
plot(p,error(p))

 第二种

%%用matlab工具箱实现异或
p=[0 0 1 1;0 1 0 1];%p为输入
t=[0 1 1 0];%t为理想输出
%隐含层有2个神经元,输出层有1个神经元,隐含层的传输函数为logsig函数
%输出层的传输函数为purelin函数
net=newff(minmax(p),[2,1],{‘logsig‘,‘purelin‘},‘trainlm‘);
net.trainParam.epochs=1000;%训练的最大次数为1000
net.trainParam.goal=0.0001;%训练的精度为0.0001
LP.lr=0.1;%训练的学习率为0.1
net.trainParam.show=20;%显示训练的迭代过程
net=train(net,p,t);%开始训练
out=sim(net,p);%用sim函数仿真验证

  

时间: 2024-11-05 12:33:49

【神经网络】BP算法解决XOR异或问题MATLAB版的相关文章

多层神经网络BP算法 原理及推导

首先什么是人工神经网络?简单来说就是将单个感知器作为一个神经网络节点,然后用此类节点组成一个层次网络结构,我们称此网络即为人工神经网络(本人自己的理解).当网络的层次大于等于3层(输入层+隐藏层(大于等于1)+输出层)时,我们称之为多层人工神经网络. 1.神经单元的选择 那么我们应该使用什么样的感知器来作为神经网络节点呢?在上一篇文章我们介绍过感知器算法,但是直接使用的话会存在以下问题: 1)感知器训练法则中的输出 由于sign函数时非连续函数,这使得它不可微,因而不能使用上面的梯度下降算法来最

第5章 实现多层神经网络BP算法

前言 神经网络是一种很特别的解决问题的方法.本书将用最简单易懂的方式与读者一起从最简单开始,一步一步深入了解神经网络的基础算法.本书将尽量避开让人望而生畏的名词和数学概念,通过构造可以运行的Java程序来实践相关算法. 关注微信号"javaresearcher"来获取本书的更多信息. 上一章我们讨论了神经网络的表达能力的数学原理,这一章我们就来实现一个神经网络以及训练算法. 我们今天讨论类似下面的全连接多层单向神经网络: 我们把输入也看作一层,上图中一共有三层.输入和输出层是由问题的输

机器学习之神经网络bp算法推导

这是一篇学习UFLDL反向传导算法的笔记,按自己的思路捋了一遍,有不对的地方请大家指点. 首先说明一下神经网络的符号: 1. nl 表示神经网络的层数. 2. sl 表示第 l 层神经元个数,不包含偏置单元. 3. z(l)i 表示第 l 层第 i 个神经元的输入:a(l)i 表示第 l 层第 i 个神经元的输出. 4. W(l)ij 表示第 l 层第 j 个神经元连接到第 l+1 层第 i 个神经元的权重,因此权值矩阵 W 的维数为 sl+1 x sl 第二层各神经元的计算方法如下: a(2)

多层神经网络BP算法

Principles of training multi-layer neural network using backpropagation The project describes teaching process of multi-layer neural network employing backpropagation algorithm. To illustrate this process the three layer neural network with two input

(转)神经网络和深度学习简史(第一部分):从感知机到BP算法

深度|神经网络和深度学习简史(第一部分):从感知机到BP算法 2016-01-23 机器之心 来自Andrey Kurenkov 作者:Andrey Kurenkov 机器之心编译出品 参与:chenxiaoqing.范娜Fiona.杨超.微胖.汪汪.赵巍 导读:这是<神经网络和深度学习简史>第一部分.这一部分,我们会介绍1958年感知机神经网络的诞生,70年代人工智能寒冬以及1986年BP算法让神经网络再度流行起来. 深度学习掀起海啸 如今,深度学习浪潮拍打计算机语言的海岸已有好几年,但是,

stanford coursera 机器学习编程作业 exercise4--使用BP算法训练神经网络以识别阿拉伯数字(0-9)

在这篇文章中,会实现一个BP(backpropagation)算法,并将之应用到手写的阿拉伯数字(0-9)的自动识别上. 训练数据集(training set)如下:一共有5000个训练实例(training instance),每个训练实例是一个400维特征的列向量(20*20 pixel image).用 X 矩阵表示整个训练集,则 X 是一个 5000*400 (5000行 400列)的矩阵 另外,还有一个5000*1的列向量 y ,用来标记训练数据集的结果.比如,第一个训练实例对应的输出

今天开始学Pattern Recognition and Machine Learning (PRML),章节5.2-5.3,Neural Networks神经网络训练(BP算法)

转载请注明出处:Bin的专栏,http://blog.csdn.net/xbinworld 这一篇是整个第五章的精华了,会重点介绍一下Neural Networks的训练方法--反向传播算法(backpropagation,BP),这个算法提出到现在近30年时间都没什么变化,可谓极其经典.也是deep learning的基石之一.还是老样子,下文基本是阅读笔记(句子翻译+自己理解),把书里的内容梳理一遍,也不为什么目的,记下来以后自己可以翻阅用. 5.2 Network Training 我们可

深度学习基础--神经网络--BP反向传播算法

BP算法: 1.是一种有监督学习算法,常被用来训练多层感知机.  2.要求每个人工神经元(即节点)所使用的激励函数必须可微. (激励函数:单个神经元的输入与输出之间的函数关系叫做激励函数.) (假如不使用激励函数,神经网络中的每层都只是做简单的线性变换,多层输入叠加后也还是线性变换.因为线性模型的表达能力不够,激励函数可以引入非线性因素) 下面两幅图分别为:无激励函数的神经网络和激励函数的神经网络 如图所示,加入非线性激活函数后的差异:上图为用线性组合逼近平滑曲线来分割平面,下图为使用平滑的曲线

神经网络和BP算法C及python代码

以上仅给出了代码.具体BP实现原理及神经网络相关知识请见:神经网络和反向传播算法推导 首先是前向传播的计算: 输入: 首先为正整数 n.m.p.t,分别代表特征个数.训练样本个数.隐藏层神经元个数.输出 层神经元个数.其中(1<n<=100,1<m<=1000, 1<p<=100, 1<t<=10). 随后为 m 行,每行有 n+1 个整数.每行代表一个样本中的 n 个特征值 (x 1 , x 2 ,..., x n ) 与样本的 实际观测结果 y.特征值的