人工神经网络中的学习规则类型

---

ANN 或人工神经网络是从生物神经网络（以人脑为主要单元）中获得灵感而开发的计算系统。这些神经网络借助遵循某种学习规则的训练来实现功能。

ANN 中的学习规则不过是一组指令或数学公式，有助于强化模式，从而提高神经网络的效率。神经网络广泛使用 6 种此类学习规则进行训练。

赫布学习规则

赫布学习规则由唐纳德·赫布于 1949 年提出，是一种无监督学习规则，其工作原理是根据两个神经元激活的乘积来调整它们之间的权重。

根据此规则，如果两个神经元朝相反方向工作，则它们之间的权重会降低，反之亦然。但是，如果信号之间没有相关性，则权重保持不变。至于权重所带的符号，当两个节点均为正或均为负时，它为正。但是，如果一个节点为正或为负，则权重带有负号。

公式

Δw = αxiy

其中，

• Δw 是权重的变化

• α 是学习率

• xi 是输入向量，并且，

• y 是输出

感知器学习规则

感知器学习规则由罗森布拉特提出，是一种误差修正规则，用于单层前馈网络。与赫布学习规则一样，它也是一种监督学习规则。

此规则通过查找实际输出和期望输出之间的差异并根据该差异调整权重来工作。自然地，该规则需要输入一组向量以及权重，以便它可以产生输出。

公式

w = w + η(y -ŷ)x

• w 是权重

• η 是学习率

• x 是输入向量

• y 是输入向量的实际标签

• ŷ 是输入向量的预测标签

相关学习规则

与赫布规则的原理类似，校正规则也根据两个神经元的相位来增加或减少权重。

如果神经元彼此处于相反的相位，则权重应朝负方向，如果它们彼此处于相同的相位，则权重应朝正方向。使此规则与赫布学习规则不同的唯一一点是它本质上是监督的。

公式

Δw = αxitj

• Δw 是权重的变化

• α 是学习率

• xi 是输入向量，并且，

• tj 是目标值

竞争学习规则

竞争学习规则本质上是无监督的，顾名思义，它基于节点之间的竞争原则。这就是为什么它也被称为“赢家通吃”规则。

在此规则中，所有输出节点都表示输入模式，最佳节点（即输出数量最多的节点）为获胜者。然后将此获胜节点分配值为 1，而其他失败的节点保持为 0。自然地，一次只有一个神经元保持活跃。

公式

∆w_ij = η * (x_i - w_ij)

其中，

• ∆w_ij 是第 i 个输入神经元和第 j 个输出神经元之间权重的变化

• η 是学习率

• x_i 是输入向量

• w_ij 是第 i 个输入神经元和第 j 个输出神经元之间的权重

Delta 学习规则

Delta 学习规则由伯纳德·维德罗和马西恩·霍夫提出，是一种具有连续激活函数的监督学习规则。

此规则的主要目的是最小化训练模式中的误差，因此它也被称为最小均方误差方法。这里使用的原理是无限梯度下降，权重的变化等于误差和输入的乘积。

公式

Δw_ij = η * (d_j - y_j) * f'(h_j) * x_i

其中，

• ∆w_ij 是第 i 个输入神经元和第 j 个输出神经元之间权重的变化

• η 是学习率

• d_j 是目标输出

• y_j 是实际输出

• f'(h_j) 是激活函数的导数

• x_i 是第 i 个输入

Out Star 学习规则

Out Star 学习规则由格罗斯伯格提出，是一种监督学习规则，它与网络层中排列的一对节点一起工作。

根据此规则，连接到给定节点的权重等于该特定链接上的目标输出。此外，还有一层神经元的输出层，其中每个神经元都是输入向量的一个簇。此算法主要用于模式和与聚类相关的任务。

公式

Δw_ij = η * (x_i - w_j) * f(w_j)

其中，

• Δw_ij 是权重的变化

• η 是学习率

• x_i 是输入模式

• w_j 是权重向量

• f(w_j) 是激活函数

结论

尽管人工神经网络中的每种学习规则都有其自身的优缺点，但您应该使用的规则取决于正在使用的任务和数据类型。ANN 学习规则的良好应用领域包括图像识别、模式匹配、预测建模和自然语言处理等。可以探索的其他 ANN 学习规则包括反向传播、Q 学习、Hopfield 学习和进化算法等。