数据结构
网络
关系型数据库管理系统
操作系统
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 语言编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会学
服装设计
法律研究熵和信息增益的区别
熵和信息增益是信息论、数据科学和机器学习等领域的关键概念。信息增益是在特定决策或行动中获得的知识量，而熵是衡量不确定性或不可预测性的指标。人们在深入理解这些原理的基础上，能够在各个领域处理复杂情况并做出明智的判断。例如，在数据科学中，熵可以用来评估数据集的多样性或不可预测性，而信息增益可以帮助识别最适合纳入模型的特征。本文将探讨熵和信息增益之间的主要区别，以及它们如何影响机器学习。
什么是熵？
“熵”一词源于热力学，描述了系统的混乱程度或不可预测性。在机器学习的背景下，熵是衡量数据集纯度的指标。本质上，它是一种计算给定数据集中不确定性程度的方法。
计算熵使用以下公式：
$$\mathrm{Entropy(S) = -p1log2p1 - p2log2p2 - … - pnlog2pn}$$
其中，S 是数据集，p1 到 pn 是数据集中不同类别的百分比。由于此方法中使用的以 2 为底的对数很常见，因此结果熵值以比特表示。
为了理解这个公式，考虑一个包含两个类别 A 和 B 的数据集。如果 80% 的数据属于类别 A，20% 属于类别 B，则熵可以计算如下：
$$\mathrm{Entropy(S) = -0.8log20.8 - 0.2log20.2 = 0.72 bits}$$
这意味着数据集不纯度较高，熵为 0.72 比特。
什么是信息增益？
信息增益是一种统计指标，用于评估特征在数据集中适用性。它是机器学习中的一个重要概念，通常用于决策树算法。信息增益通过比较特征分割前后数据集的熵来估计。信息增益越大，特征对数据分类的相关性就越高。
信息增益计算基于特征分割后数据集的熵减少量。此指标衡量了特征提供了多少关于类别的信息。最大化信息增益的目标是帮助选择提供关于类别最多信息的特征。
计算信息增益使用以下公式：
$$\mathrm{Information Gain(S, A) = Entropy(S) – ∑ (|Sv| / |S|) * Entropy(Sv)}$$
其中，S 是数据集，A 是一个特征，Sv 是 S 的子集，其中特征 A 取值为 v，|Sv| 表示 Sv 中元素的数量，|S| 表示 S 中元素的总数。
为了更好地理解这个公式，考虑一个包含两个特征 X 和 Y 的数据集。如果要根据特征 X 对数据进行分割，则信息增益可以计算如下：
$$\mathrm{Information Gain(S, X) = Entropy(S) – [(3/5) * Entropy(S1) + (2/5) * Entropy(S2)]}$$
其中，S1 是特征 X 取值为 0 的数据子集，S2 是特征 X 取值为 1 的数据子集。这两个子集的熵，Entropy(S1) 和 Entropy(S2)，可以使用我们之前介绍的公式计算得出。
由此得到的信息增益将显示基于特征 X 分割数据集的程度。
熵和信息增益的关键区别
熵 |
信息增益 |
|---|---|
熵是衡量一组事件的无序性或不纯度的指标。它确定了对从集合中取出的样本进行分类所需的平均信息量。 |
信息增益是衡量根据特征分割一组实例所带来的熵减少量的指标。它衡量了特征提供了多少关于示例类别的信息。 |
通过计算集合中每个类别的概率，并在熵计算中使用这些信息，可以计算出一组示例的熵。 |
通过根据特征分割实例集合并计算结果子集的熵，可以确定每个特征的信息增益。因此，原始集合的熵与子集熵的加权和之间的差异就是信息增益。 |
熵量化了一组实例中存在的无序性或不纯度，并通过确定最佳分割来力求最小化。 |
信息增益的目标是通过选择具有最大信息增益的特征来最大化特征在分类中的效用。 |
决策树通常会考虑熵来确定最佳分割。 |
决策树通常使用信息增益作为选择最佳分割特征的标准。 |
熵通常偏好导致平衡子组的分割。 |
信息增益通常偏好产生具有纯净类别的非平衡子集的分割。 |
熵可以通过将连续特征离散化为区间来控制连续特征。 |
通过选择最大化信息增益的分割点，也可以处理连续特征。 |
确定熵需要计算概率和对数，这在计算上可能代价很高。 |
为了获得信息，必须计算熵和加权平均值，这在计算上可能代价很高。 |
熵是一种通用的不纯度指标，可应用于各种分类问题。 |
对于二元分类问题，信息增益是有效的特征效用特定度量。 |
熵以比特为单位，计算了对示例进行分类所需的平均数据量。 |
信息增益也以比特为单位，表示了基于特征分割所获得的不确定性减少量。 |
如果特征过多或树过深，熵可能会导致过拟合。 |
如果树过深或存在过多不相关的特征，信息增益可能会导致过拟合。 |
结论
熵和信息增益是机器学习中两个基本且相互关联的概念。熵衡量数据集的不纯度或不确定性，而信息增益评估通过在特定属性上分割数据可以实现的不确定性减少。信息增益使用熵计算，在构建决策树时，它用于选择分割数据集的最佳特征。理解这两个概念之间的区别对于构建准确高效的机器学习模型至关重要。
10K+ 浏览量
