神经网络学习（一）

这个系列的文章主要记录学习《神经网络设计》这本书的收获与总结。

第一部分主要介绍三种网络：

• 感知机
• Hamming
• Hopfield

感知机

采用对称硬极限传输函数hardlims的单层感知机

两输入感知机,w11 = -1, w22 = 1如下

a = hardlims(n) = hardlims([-1 1]p + b)

Hamming

Hamming网络的目标时判定哪个标准向量最接近输入向量。

判定结果由递归层的输出表示。

1. R为样本空间维数
2. S为神经元个数

• 前馈层

前馈层用于实现每个标准模式和输入模式之间的相关检测或求内积。

为了使得前馈层能够完成其功能，可以用标准模式设置其权值矩阵的行，该权值矩阵用连接矩阵W1表示。

之所以称该网络为Hmming网，是因为在前馈层中具有最大输出的神经元正好对应于输入模式Hamming距离最近的标准模式。

• 递归层

该层的神经元用前馈层的输出进行初始化，此输出指出标准模式和输入向量之间的关系。

描述竞争的等式为

  a2(0) = a1                    （初始条件）
a2(t+1) = poslin(W2a2(t))       （迭代）

Hopfield网络

这个网络利用输入向量对网络中的神经元进行初始化，然后网络不断迭代直至收敛。

如果网络运行正确，那么最终的输出结果将是一个标准的向量。

描述等式为

    a(0) = p
a(t + 1) = satlins(Wa(t) + b)

结束语

个人对三种网络的理解如下

• 感知机是bp前馈网络的一个单元，并不涉及到反馈。通过反馈机制可以从数据中学习得到相关的参数。适合处理那些线性可分的问题。
• Hamming计算出已存储的标准模式和输入模式之间的测度距离，通过竞争决定哪一个神经元表示的标准模式最接近于输入模式。
• Hopfield主要用于联想存储中，其存储的数据能由相关的输入数据回忆出来，而无需用一个地址对其访问。即让数据收敛到我希望的值（联想存储），而无需实际的分配地址空间去存储该值。