概率分布在生成模型中的作用



机器学习(ML)和深度学习(DL)的进步使机器能够从过去的数据中学习,甚至可以预测未见过的数据。其中一项进步就是生成模型,它能够捕捉数据的底层分布,并生成与原始训练数据相当的新数据。但它们是如何做到的呢?

正是借助概率分布,生成模型才能处理数据中的不确定性和变化。阅读本章,了解概率分布、其类型、其在生成建模中的用途及其应用。

什么是概率分布?

概率分布是一个数学函数,它表示随机变量在给定范围内不同可能值的概率。我们可以使用图表或概率表来描述概率分布。

例如,想象一下抛硬币,有一个概率分布告诉我们得到正面或反面的概率。下表描述了它:

结果 概率
正面 0.5
反面 0.5

概率分布是频率分布(FD)的理论表示。在统计学中,FD描述的是数据集中变量出现的次数。另一方面,概率分布除了变量出现的次数外,还为它们分配概率。

我们知道概率,它表示某事发生的可能性是一个介于0(表示不可能)和1(表示确定)之间的数字。这就是为什么一个值的概率越高,它在样本中的频率就越高的原因。

概率分布类型

概率分布分为两种类型:

  • 离散概率分布
  • 连续概率分布

让我们更仔细地看看这两种类型的概率分布。

离散概率分布

离散概率分布是描述来自离散或分类随机变量的不同事件概率的数学函数。

离散概率分布只包含具有可能概率的值。简单来说,它不包含任何概率为零的值。例如,5.5不是掷骰子的可能结果,因此它不包含在掷骰子的概率分布中。

离散概率分布中所有可能值的概率之和始终为一。

让我们看看一些**常见的离散概率分布**:

离散概率分布 解释 例子
伯努利分布 它描述了单次实验中成功(1)或失败(0)的概率。 单次抛硬币的结果。
二项分布 它模拟了在n次固定试验中,以p概率成功的次数。 抛10次硬币时正面朝上的次数。
泊松分布 它预测在固定的时间或空间间隔内发生的k个事件的数量。 每天收到的电子邮件数量。
几何分布 它表示在一系列试验中达到第一次成功所需的试验次数。 抛硬币直到正面朝上所需的次数。
超几何分布 它计算从有限总体中抽取特定数量成功的概率。 从一个装有混合颜色球的袋子中抽取的红球数量。

连续概率分布

顾名思义,连续概率分布是描述在连续值范围内不同事件概率的数学函数。

连续概率分布包含无限多个可能的值。例如,在区间[4, 5]中,4和5之间有无限多个值。

让我们看看一些常见的连续概率分布:

连续概率分布 解释 例子
连续均匀分布 它为大小相等的区间内的所有值分配相同的概率。 身高在5到6英尺之间的人。
正态(高斯)分布 它形成一个钟形曲线,描述了围绕均值聚集且对称的尾部的数据。 智商分数
指数分布 它模拟泊松过程中事件之间的时间,其中事件以恒定速率发生。 直到下一个客户到达的时间。
对数正态分布 它表示在对数刻度上绘制时右偏的数据。 股票价格、收入分配等。
贝塔分布 它描述了限制在有限区间内的随机变量。它经常用于贝叶斯统计。 二项试验中成功的概率。

概率分布在生成建模中的应用

概率分布在生成建模中起着至关重要的作用。让我们来看看概率分布在生成建模中的一些重要用途:

  • **数据分布** - 生成模型旨在捕捉数据的底层概率分布,这些数据是从中抽取样本的。
  • **生成新样本** - 一旦理解了数据分布,生成模型就可以生成与原始数据集相当的新数据。
  • **评估和训练** - 概率分布用于评估和训练生成模型。似然、困惑度和Wasserstein距离等评估指标用于评估与原始数据集相比,生成样本的质量。
  • **变异性和不确定性** - 概率分布用于查找数据中存在的变异性和不确定性。生成模型可以使用此信息来生成独特且逼真的样本。

概率分布的应用

在各个领域的各种生成建模任务中,都广泛使用了概率分布,其中一些列在下面:

  • **图像生成** - 生成对抗网络(GAN)和变分自动编码器(VAE)等生成模型使用概率分布从头开始生成逼真的图像。这在计算机图形学、创意设计和内容生成方面具有应用。
  • **文本合成** - 语言模型,如OpenAI的ChatGPT,使用概率分布根据给定的提示或输入生成相关的文本输出。这在聊天机器人、虚拟助手和自动化内容生成系统中具有应用。
  • **异常检测** - 生成模型通过学习正常数据的底层概率分布,可以用于异常检测和数据集中异常值的识别。这在欺诈检测、网络安全和医学诊断方面具有应用。

结论

在本章中,我们解释了概率分布在生成建模中的关键作用。我们首先介绍了概率分布是什么以及它们的类型,离散概率分布和连续概率分布。

离散概率分布描述来自离散或分类随机变量的不同事件的概率,而连续概率分布描述在连续值范围内不同事件的概率。我们还重点介绍了一些属于离散和连续概率分布的常见概率分布。

我们演示了数据分布、生成新样本、评估和训练是如何在生成建模中使用概率分布来生成新样本的一些重要方式。我们还重点介绍了概率分布在生成建模任务中的各种应用,例如图像生成、文本合成和异常检测。

广告