对香农三大定理的分析与探讨摘要本文针对香农三大定理的内容，进行理论分析，探讨了无失真信源编码、有噪信道编码和保真度准则下的信源编码定理。
通过对离散信源熵的分析，延伸到了对扩展信源的理解，同时结合著名的香农公式和信息论与编码的发展史，指出了香农三大定理的意义。
一、香农第一定理香农第一定理主要研究信息的测度，对应的是无失真信源编码定理。
采用无失真最佳信源编码，可以使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值，超过了这一极限就不可能实现无失真的译码。
1.1 离散信源熵1.1.1 信源的概念信源发出消息，消息载荷信息，而消息又具有不确定性，故而可以用随机变量或随机矢量来描述信源输出的消息。
从随机变量出发来研究信息，这正是香农信息论的基本假说。
而离散信源指的是这类信源输出的消息常以一个符号、一个符号的形式出现，这些符号的取值是有限的或者是可数的。
单符号离散信源只涉及一个随机事件，多符号离散信源则涉及多个随机事件。
1.1.2 信源熵的概念及其性质在度量信息的各种方法中，香农提出了解决信息度量问题的方法——熵，这是香农信息论最基本的，也是最重要的概念[1]。
信源熵，即信源的信息熵，又称香农熵、无条件熵，简称熵。
信源各个离散消息的自信息量的数学期望是信源的平均信息量，实质上是无记忆信源平均不确定度的度量。
信源熵表示在信源输出消息前，信源的平均不确定度，也表示在信源输出消息后，平均每个离散消息所提供的信息量，能够反映变量的随机性。
当消息出现的概率相同时，猜测每一个消息发生错误的概率均相同，说明等概率信源的不确定性最大，具有最大熵[2]。
1.2 无失真离散信源编码1.2.1 信源编码的概念信源编码处于通信系统的前端，直接对信源发出的信号进行变换处理。
通过压缩每个信源符号的平均比特数或信源的码率，以较少的码率来传送同样多的信息，增加单位时间内传送的平均信息量，来压缩信源的冗余度，从而提高通信的有效性。
