受限玻尔兹曼机是什么?


介绍

受限玻尔兹曼机 (Restricted Boltzmann Machine, RBM) 由 Geoffrey Hinton 于 1985 年提出,它是一个对称互联的网络系统,其功能类似于神经元,并进行随机决策。在 Netflix 竞赛中,RBM 作为一种无监督的机器学习模型,被用作信息检索策略来预测电影的评分和评论,并超越了大多数竞争对手,从而获得了广泛关注。它对协同过滤、特征学习、降维、回归、分类和特征学习非常有用。

让我们深入了解受限玻尔兹曼机。

受限玻尔兹曼机

受限玻尔兹曼机具有随机的两层神经网络,可以通过重构输入来自动识别数据中的潜在模式。它们是基于能量模型的一个子集。它们有两层,其中一层是隐藏层。隐藏层由节点组成,这些节点创建可见层并从数据中收集特征信息。它们没有任何输出节点,这可能看起来很奇怪,并且它们没有典型的二元输出,这使得学习模式成为可能。它们有所不同,因为如果没有这种能力,学习就无法进行。我们不关心隐藏节点;我们只关心输入节点。

RBM 用于许多实时商业用例,包括:

  • 由于难以理解手写文字或随机模式,因此 RBM 用于模式识别应用中的特征提取。

  • 推荐引擎:RBM 经常用于信息检索方法中,以预测应该向客户提出的推荐,以便客户能够享受使用特定应用程序或平台。例如,书籍和电影都推荐。

  • 雷达目标识别:在这种情况下,RBM 用于在具有高噪声水平和极低信噪比的雷达系统中定位脉冲内信息。

受限玻尔兹曼机的特点

玻尔兹曼机的一些关键特征是:

  • 它们采用对称和循环结构。

  • RBM 的学习过程旨在将低能量状态与最高概率状态连接起来,反之亦然。

  • 层之间没有连接。

  • 它使用缺乏标记响应的输入数据来生成推断;这使其成为一种无监督学习算法。

在本节中,我们将对比玻尔兹曼机和受限玻尔兹曼机。每种算法都有两层:可见层和隐藏层。玻尔兹曼机连接每一层的每个神经元,以及可见层中的每个神经元到隐藏层中的每个神经元。但是,RBM 与玻尔兹曼机的先前示例不同,因为层中的神经元没有连接。即,没有层内通信,使彼此独立,更容易实现,因为条件独立性意味着研究人员只需要确定微不足道的概率,这更容易计算。

RBM 的运作

如前所述,无监督学习方法受限玻尔兹曼机如何在不需要任何输出数据的情况下学习?隐藏层神经元向从可见层神经元接收到的输入数据添加偏差值,将结果乘以一些权重,然后产生输出。然后,隐藏层神经元的输出值成为新的输入,它乘以相同的权重,并添加可见层的偏差以创建新的输入。重构或反向传播是此过程的两个名称。然后将原始输入和新生成的输入进行比较,以查看它们是否匹配。

RBM 的训练

使用吉布斯采样和对比散度来训练 RBM。

如果输入由 v 表示,隐藏值由 h 表示,则预测为 p(h|v)。当已知隐藏值时,P(v|h) 用于预测再生输入数据。让我们想象一下,在该过程执行 k 次后,在 k 轮结束时从输入值 v0 获得 vk。

对比散度是一种粗略的最大似然学习策略,用于逼近梯度,梯度是网络权重与其误差之间关系的图形斜率。当我们无法直接评估函数以及概率集,并且需要逼近算法的学习斜率并确定前进方向时,使用对比散度。

RBM 的应用

例如,罪证、工作场所计算机化、支票验证和数据输入等现代应用都需要手写字符识别,这在当今是一个常见问题。其他问题包括不一致的书写风格、大小和形状变化,以及改变数字拓扑的图像噪声。在这里,混合 RBM-CNN 技术用于数字识别。首先,使用 RBM 深度学习技术提取特征。然后将为分类获得的特征发送到 CNN 深度学习系统。

结论

简而言之,受限玻尔兹曼机是两层无监督神经模型,它们从输入分布中学习。RBM 及其用于学习和优化的算法已经过多次修改和改进。使用对比散度来训练它们,训练后,它们可以从训练数据集中生成新样本。无限 RBM 和模糊 RBM 是对原始 RBM 进行的改进,以提高其有效性和表示能力的两个示例。

更新于:2022-12-27

530 次浏览

启动你的职业生涯

完成课程获得认证

开始学习
广告