深度学习中的深度信念网络 (DBN)

---

简介

深度信念网络 (DBN) 是一种深度学习架构，它结合了无监督学习原理和神经网络。它们由多层受限玻尔兹曼机 (RBM) 组成，这些 RBM 是逐层以无监督的方式进行训练的。一个 RBM 的输出被用作下一个 RBM 的输入，最终输出用于监督学习任务，例如分类或回归。

深度信念网络

DBN 已被应用于各种应用，包括图像识别、语音识别和自然语言处理。它们在许多任务中都取得了最先进的结果，并且是目前最强大的深度学习架构之一。

由于它们不像 RBM 那样使用原始输入，因此 DBN 也与其他深度学习算法（如自动编码器和受限玻尔兹曼机 (RBM)）有所不同。它们反而在一个输入层上操作，该输入层为每个输入向量设置一个神经元，并在到达最终层之前经过多个层，在最终层中使用从先前层获得的概率生成输出。

DBN 的架构

DBN 的基本结构由几层 RBM 组成。每个 RBM 都会学习输入数据的概率分布，这是一个生成模型。DBN 的初始层学习数据的基本结构，而后续层学习更高级别的特征。DBN 的最后一层用于监督学习任务，如分类或回归。

DBN 中的每个 RBM 都使用对比散度进行独立训练，这是一种无监督学习方法。可以使用此方法来近似 RBM 参数的数据对数似然的梯度。然后，通过将训练好的 RBM 堆叠在一起，将一个训练好的 RBM 的输出用作下一个 RBM 的输入。

在 DBN 训练完成后，可以通过使用监督学习技术（如反向传播）调整最后一层的权重，在其上执行监督学习任务。此微调过程可以提高 DBN 在其训练的特定任务上的性能。

DBN 的发展

最早一代的神经网络，称为感知器，非常强大。根据我们的反馈，它们可以帮助我们识别图像中的物体或衡量我们对某种食物的喜爱程度。但它们也有局限性。它们通常一次只考虑一个信息，难以理解周围环境的上下文。

一种第二代神经网络。反向传播是一种技术，它将接收到的输出与预期结果进行比较，并降低误差值，直到误差值为零，这意味着每个感知器最终都将达到其理想状态。

有向无环图 (DAG)，通常称为信念网络，是下一步，有助于解决推理和学习问题。它比以往任何时候都更能让我们控制数据。

最后，深度信念网络 (DBN) 可用于创建公平的值，然后我们可以将其存储在叶节点中，确保无论在此过程中发生什么，我们始终掌握正确的解决方案。

DBN 的工作原理

为了直接获取像素输入信号，我们必须训练一个属性层。然后，通过将这些竞争利益集团的值视为像素，我们发现了最初获得的特征的特性。我们添加到网络中的每一新的地块子种姓或特征都会提高训练数据集对数似然的较低界限。

以下是深度信念网络的操作流程：

• 我们首先在顶部的两层隐藏层中执行多次吉布斯采样迭代。顶部的两层隐藏层定义了 RBM。因此，此步骤成功地从中移除了一个样本。

• 之后，通过模型的其余部分运行单次祖先采样传递，以从可见单元生成样本。

• 我们将采用单一的自下而上的方法来确定每一层中潜在变量的值。贪婪预训练从最低层的一个观察到的数据向量开始。然后它反向调整生成权重。

DBN 的优点

DBN 的主要优点之一是它能够以无监督的方式从数据中学习特征。这意味着它们不需要标记数据，而标记数据可能既困难又费时。DBN 还可以学习数据的层次表示，每一层学习越来越复杂的特征。对于图像识别等应用，早期层可以捕捉到诸如边缘之类的基本细节，这种层次表示非常有用。然而，后期的层能够学习更复杂的特征，例如形状和物体。

此外，DBN 已被证明能够抵抗过拟合，这是深度学习中的一个主要问题。这是由于 RBM 在其无监督预训练期间对模型正则化的贡献。在微调阶段仅使用少量标记数据可以最大限度地减少过拟合的风险。

DBN 可以用来初始化其他深度学习架构的权重，例如卷积神经网络 (CNN) 和循环神经网络 (RNN)。因此，这些架构可以从一组可靠的初始权重开始，这可以提高它们的性能。

DBN 处理缺失数据的能力是另一个优势。在许多实际应用中，一些数据可能会损坏或缺失。传统的需要协助才能处理缺失数据的神经网络，因为它们是针对完整且正确的数据设计的。但是，通过使用称为“dropout”的技术，可以训练 DBN 学习不受缺失数据存在影响的鲁棒特征。

DBN 还可以用于生成任务，例如文本和图像的生成。由于 RBM 的无监督预训练，DBN 可以学习数据的概率分布，并且可以生成类似于训练数据的新样本。这在诸如计算机视觉之类的程序中可能很有用，这些程序可以根据标签或其他特性生成新的图像。

梯度消失问题是深度神经网络训练中的主要挑战之一。随着网络层数的增加，用于更新训练期间权重的梯度可能会变得非常小，从而难以有效地训练网络。由于 RBM 的无监督预训练，DBN 可以解决这个问题。在预训练期间，每个 RBM 学习数据的表示，该表示相对稳定，并且不会随着权重的微小变化而发生剧烈变化。这意味着当 DBN 被优化用于监督任务时，用于更新权重的梯度要大得多，从而提高了训练效率。

除了标准的深度学习任务外，DBN 还已成功应用于各种行业，包括生物信息学、药物开发和金融预测。在生物信息学中，DBN 已被用于发现基因表达数据中的模式，这些模式暗示着疾病，这可以用于开发新的诊断工具。在药物发现中，DBN 已被用于发现可能被开发成药物的新化合物。在金融行业，DBN 已被用于预测股票价格和其他金融变量。

结论

总之，DBN 是一种强大的深度学习架构，可以应用于各种任务。它们由以无监督方式训练的 RBM 层组成，最后一层应用监督学习。DBN 是目前最强大的深度学习架构之一，已被证明在各种任务中能够产生最先进的结果。它们可以从数据中无监督地学习特征，对过拟合具有鲁棒性，并且可以用来初始化其他深度学习架构的权重。