自适应谐振理论
该网络由Stephen Grossberg和Gail Carpenter于1987年开发。它基于竞争并使用无监督学习模型。自适应谐振理论(ART)网络,顾名思义,总是开放于新的学习(自适应),而不会丢失旧的模式(谐振)。基本上,ART网络是一个向量分类器,它接受一个输入向量并将其分类到一个类别中,这取决于它与哪个存储模式最相似。
工作原理
ART分类的主要操作可以分为以下阶段:
识别阶段 - 将输入向量与输出层每个节点上呈现的分类进行比较。如果神经元的输出与应用的分类最匹配,则其输出变为“1”,否则变为“0”。
比较阶段 - 在此阶段,将输入向量与比较层向量进行比较。重置的条件是相似度小于警戒参数。
搜索阶段 - 在此阶段,网络将搜索上述阶段中完成的重置和匹配。因此,如果没有重置并且匹配相当好,则分类结束。否则,将重复该过程,并且必须发送其他存储模式以找到正确的匹配。
ART1
这是一种ART类型,旨在对二元向量进行聚类。我们可以通过其架构来了解这一点。
ART1的架构
它包含以下两个单元:
计算单元 - 它由以下部分组成:
输入单元 (F1 层) - 它进一步包含以下两个部分:
F1(a) 层 (输入部分) - 在ART1中,除了只有输入向量之外,此部分不会进行任何处理。它连接到F1(b)层(接口部分)。
F1(b) 层 (接口部分) - 此部分将来自输入部分的信号与F2层的信号组合。F1(b)层通过自下而上的权重bij连接到F2层,F2层通过自上而下的权重tji连接到F1(b)层。
聚类单元 (F2 层) - 这是一个竞争层。选择具有最大净输入的单元来学习输入模式。所有其他聚类单元的激活都设置为0。
重置机制 - 此机制的工作基于自上而下的权重和输入向量之间的相似性。现在,如果这种相似度小于警戒参数,则不允许聚类学习模式,并且会发生重置。
补充单元 - 实际上,重置机制的问题在于,F2层必须在某些条件下被抑制,并且在发生某些学习时也必须可用。这就是为什么添加了两个补充单元,即G1和G2以及重置单元R。它们被称为增益控制单元。这些单元接收并向网络中存在的其他单元发送信号。“+”表示兴奋性信号,“-”表示抑制性信号。
使用的参数
使用以下参数:
n - 输入向量中分量的数量
m - 可以形成的集群的最大数量
bij - 从F1(b)到F2层的权重,即自下而上的权重
tji - 从F2到F1(b)层的权重,即自上而下的权重
ρ - 警戒参数
||x|| - 向量x的范数
算法
步骤1 - 初始化学习率、警戒参数和权重,如下所示:
$$\alpha\:>\:1\:\:and\:\:0\:<\rho\:\leq\:1$$
$$0\:<\:b_{ij}(0)\:<\:\frac{\alpha}{\alpha\:-\:1\:+\:n}\:\:and\:\:t_{ij}(0)\:=\:1$$
步骤2 - 当停止条件不为真时,继续步骤3-9。
步骤3 - 对于每个训练输入,继续步骤4-6。
步骤4 - 设置所有F1(a)和F1单元的激活,如下所示
F2 = 0 和 F1(a) = 输入向量
步骤5 - 将来自F1(a)到F1(b)层的输入信号发送,如下所示:
$$s_{i}\:=\:x_{i}$$
步骤6 - 对于每个被抑制的F2节点
$y_{j}\:=\:\sum_i b_{ij}x_{i}$ 条件是 yj ≠ -1
步骤7 - 当重置为真时,执行步骤8-10。
步骤8 - 找到J,对于所有节点j,yJ ≥ yj
步骤9 - 再次计算F1(b)上的激活,如下所示:
$$x_{i}\:=\:sitJi$$
步骤10 - 现在,在计算向量x和向量s的范数之后,我们需要检查重置条件,如下所示:
如果||x||/ ||s|| < 警戒参数ρ,则抑制节点J并转到步骤7
否则,如果||x||/ ||s|| ≥ 警戒参数ρ,则继续。
步骤11 - 可以对节点J进行权重更新,如下所示:
$$b_{ij}(new)\:=\:\frac{\alpha x_{i}}{\alpha\:-\:1\:+\:||x||}$$
$$t_{ij}(new)\:=\:x_{i}$$
步骤12 - 必须检查算法的停止条件,它可能是:
- 权重没有任何变化。
- 未对单元执行重置。
- 达到最大迭代次数。