数字通信 - 信息论

---

---

信息是通信系统的来源，无论是模拟的还是数字的。信息论是一种对信息编码以及信息量化、存储和通信的研究的数学方法。

事件发生的条件

如果我们考虑一个事件，它有三种发生的条件。

• 如果事件尚未发生，则存在不确定性的条件。

• 如果事件刚刚发生，则存在惊喜的条件。

• 如果事件在一段时间前已经发生，则存在具有某些信息的条件。

这三个事件发生在不同的时间。这些条件的差异有助于我们了解事件发生概率的知识。

熵

当我们观察事件发生的可能性时，它会多么令人惊讶或不确定，这意味着我们试图了解事件来源信息的平均内容。

熵可以定义为每个信源符号的平均信息量的度量。克劳德·香农，“信息论之父”，为此提供了一个公式，如下所示：

$$H = - \sum_{i} p_i \log_{b}p_i$$

其中p_i是给定字符流中第i个字符出现的概率，b是所用算法的基数。因此，这也称为香农熵。

在观察信道输出后，关于信道输入剩余的不确定性量称为条件熵。用$H(x \mid y)$表示。

互信息

让我们考虑一个输出为Y、输入为X的信道。

设先验不确定性的熵为X = H(x)

（这假设在输入应用之前）

为了了解输入应用后输出的不确定性，让我们考虑条件熵，假设Y = y_k

$$H\left ( x\mid y_k \right ) = \sum_{j = 0}^{j - 1}p\left ( x_j \mid y_k \right )\log_{2}\left [ \frac{1}{p(x_j \mid y_k)} \right ]$$

对于$H(X \mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H(X \mid y = y_k)$，这是一个随机变量，其概率分别为$p(y_0) \: ... \: ... \: ... \: ... \: p(y_{k-1})$。

对于输出字母y，$H(X \mid y = y_k)$的平均值为：

$H\left ( X\mid Y \right ) = \displaystyle\sum\limits_{k = 0}^{k - 1}H\left ( X \mid y=y_k \right )p\left ( y_k \right )$

$= \displaystyle\sum\limits_{k = 0}^{k - 1} \displaystyle\sum\limits_{j = 0}^{j - 1}p\left (x_j \mid y_k \right )p\left ( y_k \right )\log_{2}\left [ \frac{1}{p\left ( x_j \mid y_k \right )} \right ]$

$= \displaystyle\sum\limits_{k = 0}^{k - 1} \displaystyle\sum\limits_{j = 0}^{j - 1}p\left (x_j ,y_k \right )\log_{2}\left [ \frac{1}{p\left ( x_j \mid y_k \right )} \right ]$

现在，考虑到这两种不确定性条件（应用输入之前和之后），我们了解到，差异，即$H(x) - H(x \mid y)$必须表示通过观察信道输出而解决的关于信道输入的不确定性。

这称为信道的互信息。

将互信息表示为$I(x;y)$，我们可以将整个内容写成一个方程式，如下所示：

$$I(x;y) = H(x) - H(x \mid y)$$

因此，这是互信息的方程表示。

Explore our latest online courses and learn new skills at your own pace. Enroll and become a certified expert to boost your career.

互信息的性质

这些是互信息的性质。

• 信道的互信息是对称的。

  $$I(x;y) = I(y;x)$$

• 互信息是非负的。

  $$I(x;y) \geq 0$$

• 互信息可以用信道输出的熵来表示。

  $$I(x;y) = H(y) - H(y \mid x)$$

  其中$H(y \mid x)$是条件熵。

• 信道的互信息与信道输入和信道输出的联合熵有关。

  $$I(x;y) = H(x)+H(y) - H(x,y)$$

  其中联合熵$H(x,y)$定义为

  $$H(x,y) = \displaystyle\sum\limits_{j=0}^{j-1} \displaystyle\sum\limits_{k=0}^{k-1}p(x_j,y_k)\log_{2} \left ( \frac{1}{p\left ( x_i,y_k \right )} \right )$$

信道容量

到目前为止，我们已经讨论了互信息。在离散无记忆信道传输时，信令间隔瞬间的最大平均互信息，数据最大可靠传输速率的概率，可以理解为信道容量。

用C表示，以每信道使用比特为单位测量。

离散无记忆信源

一个信源，其数据在连续的间隔内发出，并且独立于先前的值，可以称为离散无记忆信源。

该信源是离散的，因为它不被认为是在连续的时间间隔内，而是在离散的时间间隔内。该信源是无记忆的，因为它在每个时间点都是新鲜的，而不考虑先前的值。