玻尔兹曼机

这些是具有递归结构的随机学习过程，是ANN早期优化技术的基础。玻尔兹曼机由Geoffrey Hinton和Terry Sejnowski于1985年发明。Hinton对玻尔兹曼机的论述可以提供更清晰的理解。

“这个网络的一个令人惊讶的特点是它只使用局部可用的信息。权重的变化只取决于它连接的两个单元的行为，即使这种变化优化的是一个全局度量” - Ackley, Hinton 1985。

关于玻尔兹曼机的一些重要点：

玻尔兹曼机的目标

玻尔兹曼机的主要目的是优化问题的解决方案。玻尔兹曼机的工作是优化与特定问题相关的权重和数量。

下图显示了玻尔兹曼机的架构。从图中可以清楚地看出，它是一个二维单元阵列。这里，单元之间互连上的权重为–p，其中p > 0。自连接的权重由b给出，其中b > 0。

众所周知，玻尔兹曼机具有固定的权重，因此不需要训练算法，因为我们不需要更新网络中的权重。但是，要测试网络，我们必须设置权重以及找到共识函数 (CF)。

玻尔兹曼机有一组单元U_i和U_j，并且在它们之间具有双向连接。

玻尔兹曼机的主要目标是最大化共识函数 (CF)，其关系如下所示

$$CF\:=\:\displaystyle\sum\limits_{i} \displaystyle\sum\limits_{j\leqslant i} w_{ij}u_{i}u_{j}$$

现在，当状态从1变为0或从0变为1时，共识的变化可以通过以下关系给出：

$$\Delta CF\:=\:(1\:-\:2u_{i})(w_{ij}\:+\:\displaystyle\sum\limits_{j\neq i} u_{i} w_{ij})$$

这里u_i是U_i的当前状态。

系数 (1 - 2u_i) 的变化由以下关系给出：

$$(1\:-\:2u_{i})\:=\:\begin{cases}+1, & U_{i}\:当前处于关闭状态\\-1, & U_{i}\:当前处于开启状态\end{cases}$$

通常，单元U_i不会改变其状态，但如果改变，则信息将驻留在单元的本地。随着这种变化，网络的共识也会增加。

网络接受单元状态变化的概率由以下关系给出：

$$AF(i,T)\:=\:\frac{1}{1\:+\:exp[-\frac{\Delta CF(i)}{T}]}$$

这里，T是控制参数。当CF达到最大值时，它会减小。

步骤1 - 初始化以下内容以开始训练：

步骤2 - 当停止条件不为真时，继续步骤3-8。

步骤3 - 执行步骤4-7。

步骤4 - 假设其中一个状态改变了权重，并将整数I, J选择为1和n之间的随机值。

步骤5 - 计算共识变化如下：

$$\Delta CF\:=\:(1\:-\:2u_{i})(w_{ij}\:+\:\displaystyle\sum\limits_{j\neq i} u_{i} w_{ij})$$

步骤6 - 计算网络接受状态变化的概率

$$AF(i,T)\:=\:\frac{1}{1\:+\:exp[-\frac{\Delta CF(i)}{T}]}$$

步骤7 - 接受或拒绝此更改，如下所示：

情况一 - 如果R < AF，则接受更改。

情况二 - 如果R ≥ AF，则拒绝更改。

这里，R是0到1之间的随机数。

步骤8 - 按如下方式减少控制参数（温度）：

T(new) = 0.95T(old)

步骤9 - 测试停止条件，例如：

打印页面