数字通信 - 信息论
信息是通信系统的来源，无论是模拟的还是数字的。信息论是一种对信息编码以及信息量化、存储和通信的研究的数学方法。
事件发生的条件
如果我们考虑一个事件，它有三种发生的条件。
如果事件尚未发生，则存在不确定性的条件。
如果事件刚刚发生，则存在惊喜的条件。
如果事件在一段时间前已经发生，则存在具有某些信息的条件。
这三个事件发生在不同的时间。这些条件的差异有助于我们了解事件发生概率的知识。
熵
当我们观察事件发生的可能性时，它会多么令人惊讶或不确定，这意味着我们试图了解事件来源信息的平均内容。
熵可以定义为每个信源符号的平均信息量的度量。克劳德·香农，“信息论之父”，为此提供了一个公式，如下所示：
$$H = - \sum_{i} p_i \log_{b}p_i$$
其中pi是给定字符流中第i个字符出现的概率，b是所用算法的基数。因此，这也称为香农熵。
在观察信道输出后，关于信道输入剩余的不确定性量称为条件熵。用$H(x \mid y)$表示。
互信息
让我们考虑一个输出为Y、输入为X的信道。
设先验不确定性的熵为X = H(x)
（这假设在输入应用之前）
为了了解输入应用后输出的不确定性，让我们考虑条件熵，假设Y = yk
$$H\left ( x\mid y_k \right ) = \sum_{j = 0}^{j - 1}p\left ( x_j \mid y_k \right )\log_{2}\left [ \frac{1}{p(x_j \mid y_k)} \right ]$$
对于$H(X \mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H(X \mid y = y_k)$，这是一个随机变量，其概率分别为$p(y_0) \: ... \: ... \: ... \: ... \: p(y_{k-1})$。
对于输出字母y，$H(X \mid y = y_k)$的平均值为：
$H\left ( X\mid Y \right ) = \displaystyle\sum\limits_{k = 0}^{k - 1}H\left ( X \mid y=y_k \right )p\left ( y_k \right )$
$= \displaystyle\sum\limits_{k = 0}^{k - 1} \displaystyle\sum\limits_{j = 0}^{j - 1}p\left (x_j \mid y_k \right )p\left ( y_k \right )\log_{2}\left [ \frac{1}{p\left ( x_j \mid y_k \right )} \right ]$
$= \displaystyle\sum\limits_{k = 0}^{k - 1} \displaystyle\sum\limits_{j = 0}^{j - 1}p\left (x_j ,y_k \right )\log_{2}\left [ \frac{1}{p\left ( x_j \mid y_k \right )} \right ]$
现在，考虑到这两种不确定性条件（应用输入之前和之后），我们了解到，差异，即$H(x) - H(x \mid y)$必须表示通过观察信道输出而解决的关于信道输入的不确定性。
这称为信道的互信息。
将互信息表示为$I(x;y)$，我们可以将整个内容写成一个方程式，如下所示：
$$I(x;y) = H(x) - H(x \mid y)$$
因此，这是互信息的方程表示。
互信息的性质
这些是互信息的性质。
信道的互信息是对称的。
$$I(x;y) = I(y;x)$$
互信息是非负的。
$$I(x;y) \geq 0$$
互信息可以用信道输出的熵来表示。
$$I(x;y) = H(y) - H(y \mid x)$$
其中$H(y \mid x)$是条件熵。
信道的互信息与信道输入和信道输出的联合熵有关。
$$I(x;y) = H(x)+H(y) - H(x,y)$$
其中联合熵$H(x,y)$定义为
$$H(x,y) = \displaystyle\sum\limits_{j=0}^{j-1} \displaystyle\sum\limits_{k=0}^{k-1}p(x_j,y_k)\log_{2} \left ( \frac{1}{p\left ( x_i,y_k \right )} \right )$$
信道容量
到目前为止，我们已经讨论了互信息。在离散无记忆信道传输时，信令间隔瞬间的最大平均互信息，数据最大可靠传输速率的概率，可以理解为信道容量。
用C表示，以每信道使用比特为单位测量。
离散无记忆信源
一个信源，其数据在连续的间隔内发出，并且独立于先前的值，可以称为离散无记忆信源。
该信源是离散的，因为它不被认为是在连续的时间间隔内，而是在离散的时间间隔内。该信源是无记忆的，因为它在每个时间点都是新鲜的，而不考虑先前的值。