自适应谐振理论



该网络由Stephen Grossberg和Gail Carpenter于1987年开发。它基于竞争并使用无监督学习模型。自适应谐振理论(ART)网络,顾名思义,总是开放于新的学习(自适应),而不会丢失旧的模式(谐振)。基本上,ART网络是一个向量分类器,它接受一个输入向量并将其分类到一个类别中,这取决于它与哪个存储模式最相似。

工作原理

ART分类的主要操作可以分为以下阶段:

  • 识别阶段 - 将输入向量与输出层每个节点上呈现的分类进行比较。如果神经元的输出与应用的分类最匹配,则其输出变为“1”,否则变为“0”。

  • 比较阶段 - 在此阶段,将输入向量与比较层向量进行比较。重置的条件是相似度小于警戒参数。

  • 搜索阶段 - 在此阶段,网络将搜索上述阶段中完成的重置和匹配。因此,如果没有重置并且匹配相当好,则分类结束。否则,将重复该过程,并且必须发送其他存储模式以找到正确的匹配。

ART1

这是一种ART类型,旨在对二元向量进行聚类。我们可以通过其架构来了解这一点。

ART1的架构

它包含以下两个单元:

计算单元 - 它由以下部分组成:

  • 输入单元 (F1 层) - 它进一步包含以下两个部分:

    • F1(a) 层 (输入部分) - 在ART1中,除了只有输入向量之外,此部分不会进行任何处理。它连接到F1(b)层(接口部分)。

    • F1(b) 层 (接口部分) - 此部分将来自输入部分的信号与F2层的信号组合。F1(b)层通过自下而上的权重bij连接到F2层,F2层通过自上而下的权重tji连接到F1(b)层。

  • 聚类单元 (F2 层) - 这是一个竞争层。选择具有最大净输入的单元来学习输入模式。所有其他聚类单元的激活都设置为0。

  • 重置机制 - 此机制的工作基于自上而下的权重和输入向量之间的相似性。现在,如果这种相似度小于警戒参数,则不允许聚类学习模式,并且会发生重置。

补充单元 - 实际上,重置机制的问题在于,F2层必须在某些条件下被抑制,并且在发生某些学习时也必须可用。这就是为什么添加了两个补充单元,即G1G2以及重置单元R。它们被称为增益控制单元。这些单元接收并向网络中存在的其他单元发送信号。“+”表示兴奋性信号,“-”表示抑制性信号。

Supplement Unit

Units

使用的参数

使用以下参数:

  • n - 输入向量中分量的数量

  • m - 可以形成的集群的最大数量

  • bij - 从F1(b)到F2层的权重,即自下而上的权重

  • tji - 从F2到F1(b)层的权重,即自上而下的权重

  • ρ - 警戒参数

  • ||x|| - 向量x的范数

算法

步骤1 - 初始化学习率、警戒参数和权重,如下所示:

$$\alpha\:>\:1\:\:and\:\:0\:<\rho\:\leq\:1$$

$$0\:<\:b_{ij}(0)\:<\:\frac{\alpha}{\alpha\:-\:1\:+\:n}\:\:and\:\:t_{ij}(0)\:=\:1$$

步骤2 - 当停止条件不为真时,继续步骤3-9。

步骤3 - 对于每个训练输入,继续步骤4-6。

步骤4 - 设置所有F1(a)和F1单元的激活,如下所示

F2 = 0 和 F1(a) = 输入向量

步骤5 - 将来自F1(a)到F1(b)层的输入信号发送,如下所示:

$$s_{i}\:=\:x_{i}$$

步骤6 - 对于每个被抑制的F2节点

$y_{j}\:=\:\sum_i b_{ij}x_{i}$ 条件是 yj ≠ -1

步骤7 - 当重置为真时,执行步骤8-10。

步骤8 - 找到J,对于所有节点jyJ ≥ yj

步骤9 - 再次计算F1(b)上的激活,如下所示:

$$x_{i}\:=\:sitJi$$

步骤10 - 现在,在计算向量x和向量s的范数之后,我们需要检查重置条件,如下所示:

如果||x||/ ||s|| < 警戒参数ρ,则抑制节点J并转到步骤7

否则,如果||x||/ ||s|| ≥ 警戒参数ρ,则继续。

步骤11 - 可以对节点J进行权重更新,如下所示:

$$b_{ij}(new)\:=\:\frac{\alpha x_{i}}{\alpha\:-\:1\:+\:||x||}$$

$$t_{ij}(new)\:=\:x_{i}$$

步骤12 - 必须检查算法的停止条件,它可能是:

  • 权重没有任何变化。
  • 未对单元执行重置。
  • 达到最大迭代次数。
广告