信息论

信息是通信系统的源头，无论是模拟的还是数字的。信息论是研究信息编码以及信息量化、存储和通信的一种数学方法。

事件发生的条件

如果我们考虑一个事件，它有三种发生的条件。

• 如果事件没有发生，则处于不确定性状态。

• 如果事件刚刚发生，则处于惊讶状态。

• 如果事件发生了一段时间，则处于拥有某些信息的状态。

因此，这三种状态发生在不同的时间。这些状态的差异有助于我们了解事件发生概率的知识。

熵

当我们观察一个事件发生的可能性时，无论它是多么令人惊讶或不确定，这意味着我们试图了解来自事件源的平均信息量。

熵可以定义为每个信源符号的平均信息量的度量。信息论之父克劳德·香农给出了一个公式：

$$H = -\sum_{i} p_i\log_{b}p_i$$

其中$p_i$是给定字符流中第i个字符出现的概率，b是所用算法的基数。因此，这也称为香农熵。

观察信道输出后，关于信道输入剩余的不确定性量称为条件熵。它用$H(x \arrowvert y)$表示。

离散无记忆信源

一个数据以连续间隔发出，且与先前值无关的信源，可以称为离散无记忆信源。

这个信源是离散的，因为它不是在连续时间间隔内考虑的，而是在离散时间间隔内考虑的。这个信源是无记忆的，因为它在每一时刻都是新的，而不考虑先前的值。

信源编码

根据定义，“给定一个熵为$H(\delta)$的离散无记忆信源，任何信源编码的平均码字长度$\bar{L}$都满足$\bar{L}\geq H(\delta)$”。

简单来说，码字（例如：QUEUE的摩尔斯电码是 -.- ..- . ..- .）总是大于或等于信源码（例子中的QUEUE）。这意味着码字中的符号大于或等于信源码中的字母。

信道编码

通信系统中的信道编码引入了带控制的冗余，以提高系统的可靠性。信源编码减少冗余以提高系统的效率。

信道编码包括两个部分的操作。

• 映射输入数据序列到信道输入序列。

• 逆映射信道输出序列到输出数据序列。

最终目标是使信道噪声的整体影响最小化。

映射由发送器在编码器的帮助下完成，而逆映射由接收器中的解码器完成。