Hopfield神经网络

Hopfiled神经网络是一种递归神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global minimum）的情况也可能发生。Hopfiled网络也提供了模拟人类记忆的模型。^[1] 

离散Hopfield网络是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态（1或－1），即当该神经元所受的刺激超过其阀值时，神经元就处于一种状态（比如1），否则神经元就始终处于另一状态（比如 －1）。 整个网络有两种工作方式：即异步方式和同步方式。

联想记忆功能是离散Hopfield网络的一个重要应用范围。要想实现联想记忆，反馈网络必须具有两个基本条件：

① 网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息；

② 具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息。 离散Hopfield网络实现联想记忆的过程分为两个阶段：学习记忆阶段和联想回忆阶段。在学习记忆阶段中，设计者通过某一设计方法确定一组合适的权值，使网络记忆期望的稳定平衡点。联想回忆阶段则是网络的工作过程。

离散Hopfield网络用于联想记忆有两个突出的特点：即记忆是分布式的，而联想是动态的。 离散Hopfield网络局限性，主要表现在以下几点：

① 记忆容量的有限性；

② 伪稳定点的联想与记忆；

③ 当记忆样本较接近时，网络不能始终回忆出正确的记忆等。另外网络的平衡稳定点并不可以任意设置的，也没有一个通用的方式来事先知道平衡稳定点。

与连续Hopfield 网络相比，离散Hopfield 网络[Hopf1982]的主要差别在于神经元激活函数使用了硬极限函数（连续Hopfield 网使用Sigmoid 激活函数），且一般情况下离散Hopfield网络没有自反馈，即。因此，离散Hopfield 网络是一种二值神经网络， 即每个神经元的输出只取1 和－1 这两种状态（分别表示激活和抑制）。

一个具有4 个神经元的离散Hopfield 网络的结构图如图5.4 所示，图中的-1 z 表示

单位时延算子，其它连接权值和偏移均可与图5.1 的电路形式的连续Hopfield 网对应。离散Hopfield 网络工作时，各神经元将在外部输入和初始状态作用下，产生不断的状态变化然后每个神经元的输出反馈到其它神经元的输入，从而产生新的输出。如果网络是稳定的，则这种反馈过程将一直叠代下去，直至到达稳定平衡状态。对于有i 个神经元的Hopfield 网络，每次叠代时，第i 个神经元按以下方式计算：

其中为符号函数。当然，根据需要，式（5.30）也可取1和0两种状态。离散Hopfield 网络表示的状态是有限的。对于图5.4 的4 个神经元的网络，它的输出层就是4 位二进制数，每一个4 位二进制数就是一种网络状态，从而共有个网络状态。同理，对于个神经元的离散Hopfield 网络，它有个网络状态。 离散Hopfield 网有串行和并行两种工作方式：在串行方式中，任意时刻只有一个神经元（一般随机选择）按硬极限函数改变状态，其余单元状态不变；在并行方式中，任意时刻所有神经元同时改变状态。不管哪种运行方式，在达到稳定后，网络的状态就不再发生变化，此时有

外积法和正交化法区别：

外积存储规则原理：

设有m个样本存储向量x₁，x₂，…，x_m

X_1={X_11,X_21,..._,X_m1}

X_2={X_12,X_22,...,X_m2}

X_m={X_m1,X_m2,...,X_mm}

把这m个样本向量存储人Hopfield网络中，则在网络中第i，j两个节点之间权系数的值为：

其中：k为样本向量X_k的下标，k=1，2，…m；i，j分别是样本向量X_k的第i，j分量X_i，X_j的下标；i，j=1，2，…n。

正交化的权值设计满足下面4个要求：

1） 保证系统在异步工作时的稳定性，即它的权值是对称的。

2） 保证所有要求记忆的稳定平衡的都能收敛到自己；

3） 使伪稳定点的数目尽可能少

使稳定点吸引域尽可能大。