鉴于最近各种调制方法如PCM 和PPM 这些改变信噪比的频带宽度的发展已经增强了对通信一般理论的兴趣。这个科目的理论基础包含在尼奎斯特定理1和哈特利2的重要文件上。在这个文章中，我们将要把这个理论延伸到包含一些新的因素中，特别是信道中的噪声的效果，并保存可能的原始信息的统计结构和信息的最终目的。
通信的基本问题是把一个点的或精确或模糊的信息复制到挑选出来的另一个点。最近这个信息已经有了意义，那就是它们涉及根据一些具有一定的物理或者概念的实体的系统相关。这些通信的语言方面与工程问题无关。重要的方面是实际的信息是从一组可能的信息中选择的一个。系统必须被设计为每一个可能的选择运行，而不仅仅是实际上被选择的那个，因为这在设计的时候是不确定的
如果组合中的信息的编号是有限的，那么这些编号或者这些编号的任何单调功能就可以被认为是测量产生信息的一种方法，当一个消息被从组合中选择出来时，所以的选择都是等可能的。正如哈特利所指出的最自然的选择是对数功能。虽然当我们考虑信息统计的影响并有一个连续的信息幅度的时候，这种定义必须被广泛地推广，我们将要在所有的情况中运用一个本质的对数方法。
对数方法是更方便的有多方面的原因：
1 事实上它更加有用。工程信息的参数，如时间、带宽继电器的数目等等，在对数的可能性上趋向于呈线性改变。例如，给一个组增加一个继电器将会使继电器的可能状况增加一倍。它给以2为底的对数增加了1。增加一倍的时间大概使可能的信息得以平方，或者使对数增加一倍等等。
2 就本身的方法而言，这更接近我们的直觉。与普通的标准相比，当我们通过直线凭直觉测量实体时，它与（1）紧密相关。有一股感觉，比如，两个穿孔卡片应该是一个的信息容量的两倍，两个完全一样的信道是一个的信息传输能力的两倍。
3 他在数学上更加适用。许多的限制性操作按照对数更加简单，但是根据可能性的数量，这些操作需要笨拙的重复。
一个对数底的测量相当于选择一个消息测量单元。如果2被用作底，则结果被称为二进制数，或者更多简要位——J. W. Tukey 建议的一个词语。一个有两个稳定位置的装置，如一个继电器或者一个触发器电路，可以储存一个字节的信息。N 个这样的装置可以储存N 个的字节，因为总共的可能的情况数量是2N 和2log 2N ，如果在这个单元中以10为底，则结果被称为小数位数。因为
2log M =10log M /10log 2
=33210log M
图1通信系统的原理图
一个十进制数大概13
1字节，一个桌面计算器的数字车有十个稳定的位置，因此有一个十进制数的容量。在综合和区分的分析任务中e 这个底是经常有用的，它的结果单元就称为自然单元。从底a 边为底b 只不过是进行log b a 的运算。当提到一个通信系统我们将意味着图1中提到的系统，它由五个基本单位组成
1 一个产生信息或者被用于与接收端进行交流的单一信息的信源。这个信息可能有各种各样的类型。（a ）一系列像电报打字系统的电报一样的字母；（b ）一个像收音机和电话一样的单一时间函数()f t ；(c)像黑白电视机一样的时间或者其他变量的函数，这里的信息可以被认为是由两个空间坐标系和一个时间坐标系组成的函数(),,f x y t ，在(),x y 处是表示光强度和在拾像管金属板上的时间t;(d)两个或者更多的时间函数，比如说()f t 、()g t 、
()h t ，
这是声音传输的三维案例，或者系统打算被用于服务多路传输中的几个个人通道；（e ）几个多变量函数，在彩色电视机中，这个消息由三个定义在一个三维闭合集中的函数(),,f x y t 、(),,g x y t 、(),,h x y t 组成，我们也可以认为这三个函数是定义在一个区域中的矢量分量；（f ）不同的组合也会发生，比如在有相关音轨的电视机中
2 一个应用于在某些方面产生一个适合在信道中传输的信号的信息的发报机。在电话上，这些操作仅仅是把电压强变为成比例的电流，在电报中，我们有一种在与信息相一致的信道上产生一系列的点、破折号和空格的编码操作。在多路传输PCM 系统中，不同的言语功能必须被抽样、压缩、量化和编码，最终交叉存取以适当地组成信号。声音合成机、电视机、调频器都是获得信号信息的复杂操作的例子。
3信道仅仅是把信号从发送端传输到接收端的媒介。它可能是一对电线、一个同轴电缆、一组无线电频率或者一束光，等等。
4 接收端通常执行与发送端相反的操作，把信号变回为信息。
5 目的地是信息打算去的的人或物
我们希望当涉及通信系统时考虑确定一般问题，为此，当涉及数学实体时，首先必须做的就是描述不同的原理，从它们的物理相对物种寻求适当地的理想化。我们可以粗略地把通信系统分为三类：离散的、连续的和混合的。所谓的离散系统就是指信息和信号都是一系列的离散的符号。一个典型的例子就是电报，它的信息就是一系列的字母，它的信号就是一系列的点、破折号和空格。所谓连续系统就是它的信息和信号都是连续函数，比如说收音机和电视机。混合的就是既有离散变量又有连续变量出现，比如说PCM 语言传输机。
我们首先考虑离散的案例，它不仅通信理论方面有应用，在计算机理论、电话交换台的设计以及其他领域都有应用。此外，离散的案例也是将在下半部分介绍的连续和混合的案例的基础。
第一部分：离散无噪声系统
1 离散无噪声系统
电传打字机和电报机是传输信息的离散信道的两个简单的例子。一般而言，离散信道意味着凭借着从可以从一个地点传送到另一个地点的一个基本符号集1S …n S 选择的一组序列的系统。每一个符号i S 都假设有一个确定的时间i t 秒（不必每一个i S 的时间都相同，比如说电报上的点和破折号）。它不要求i S 中的所有可能序列都可以再系统中被传输。因此在这个电报中假设符号是：（1）由一开一闭的线组成的点；（2）由三闭一开的线组成的破折号；
（3）由三段线组成的字母空间；（4）由六段线组成的单词空间。我们可以将许可的序列加以约束使得没有空间跟随着其他的（比如说如果两个字母空间是相邻的，它就和一个单词空间一样了）。我们现在考虑的问题是如何测量这样一个传输信息的信道的容量。
在电传打字机中，所有的符号都是相同的连续，而且这32个符号的任何序列都是允许的，所以很简单。每个符号代表5个字节的信息。如果这个系统每秒传输n 个符号，则自然可以说这个信道的容量是5n 每秒。但这不表示这个电传打字机的信道允许以这样的速率传输信息——这是最大的可能速率，而且这个真实的速率能否达到最大值取决于信道提供的信源，因此会出现延迟。
在有不同的符号长度和允许序列的约束的更普通的案例中，我们做如下的定义： log ()T N T C Lim T
→∞= 这里的N(T)表示允许的连续信号T 的数量
显而易见的是在电传打字机案例中，这个被归纳为上一个结果。这就可以解释在大多数情况下问题的限制将以数量的限定而存在。假设符号的1S …n S 所有序列都是被允许的，而且这些序号都有连续时间1t …n t 。那么信道容量呢？如果N(t)代表连续t 的数量，我们就有：
N(t)=N （t -1t ）+N （t -2t ）+…+N(t -n t )
总数等于截止于1S …n S 的序列数的数量，而且这里分别有N （t -1t ）、N （t -2t ）、…、
N(t -n t )。根据众所周知的在有限的区别中的结果，然后N(t)渐近于大t 到o t X ，其中0X 是典型问题12t 1n t t X X X ---+++= 最大解决方案，因此0log C X =。
假设在允许序列有限制，我们仍然可以获得这种类型的差分方程并且从差分方程中发现C 。在上述的电报案例中，N （t ）=N(t-2)+N(t-4)+N （t-5）+N(t-7)+N(t-8)+N(t-10)。正如我们通过最后或者靠近最后的符号事件的计数序列看到的。因此，C 是-log 0u ,这里的0u 是1=2457810+u u u u u u ++++d 的正根。解决了这些我们发现C=0.539.
一个非常普通的被强加于允许序列的限制类型是这样的：我们想象一些可能的情况1a ，2a …n a ，每一个情况仅仅是在1S …n S 中可以被传输的确定的符号（不同的子集代表不同的情况）。当这些中的一个被传送了，情况就根据旧的情况和被传送的特殊字符改变为新的情况，电报机就是这样的一个简单的例子。如果是这样的话，那么只有一个点和一个破折号可以被送到下一个，并且情况总是在改变。如果不是这样的话，任何符号都可以被传送，而且当一个空格被传送时情况会改变，否则情况将不会改变。这样的情况可以用一个像图2一样的线状图表示。节点与情况相一致，并且线表示可能在一个状态或结果状态的符号。在附录1中它表示如果允许序列的情况可以以这样的形式被表示，C 将存在并且可以依照以下的结果被计算：
()||0s ij b ij s W
δ--=∑
这里如果i=j ，则ij δ=1，如果是其他情况，则ij δ=0.
比如，在电报机中，行列式是 ()()
243-6241=01W W W W W W -----+-++-（）、 开拓这个导致这个案例的上面所给的方程式。
2 离散信源
我们已经看到在非常普通的情况下，离散信道中的可能信号的对数数量与时间成线性增加。通过给定这些增加的速率，可以休息传送容量，每秒位数需要指定特殊的使用信号。
我们现在考虑信源。一个信源如何用数学表示，在一个给定的信源中每秒有多少位的信息产生。争论的主要点是如何通过适当地信息编码减少信源对信道容量的要求的统计知识。比如，在电报中字母序列组成信息用于传输。然而，这些序列不是完全的随机的。总之，它们组成句子并且有英文的统计结构。E 比Q 出现的频率要高，TH 比XP 出现的频率要高，等等。这些结构的存在允许我们通过适当地将信息序列编码变为信号序列去及时地保存（或者信道容量）。这些已经通过使用最短的信道符号——用点代表最普通的英语字母E ——实现了信道范围的限制，而不常见的字母Q 、X 、Z 是用更长的点和破折号表示的。这些想法还可以应用到更广泛的商业编码上，这里普通的单词和短语可以用4到5个保存在相当大的平均时间中的字母代码组表示。标准的问候和周年电报现在被用于扩展这些到把一个或者两个句
子编码为一个相当短的字母序列。
我们可以把离散信源看成一个产生信息的象征符号。它将根据通常依赖于在之前的选择，比如讨论中的特殊符号的某一可能，来选择练习符号。一个产生这样一个被一系列可能性支配的符号序列的物理系统或者数学模型系统被称为随机过程。因此，我们考虑一个以随机过程为代表的离散信源。相反，任何产生从一个被认为可能是离散信源的子集的离散序列符号的随机过程。这些包含以下案例：
1 本来的书写语言，如英语、德语、中文。
2 通过一些量化过程，一些已经被认为是离散的连续信源。比如，从一个PCM 发报机中量化的语言，或者一个量化的视频信号。
3 我们只定义产生一系列符号的抽象随机过程的数学案例。以下就是这些最新的来源类型
（A ）假设我们有5个字母A 、B 、C 、D 、E ，独立的连续选择之下每一个有0.2的选择可能性。这些将产生以下一系列的典型例子：
B D
C B C E C C C A
D C B D D A A
E C E E A
A B B D A E E C A C E E B A E E C B C E A D.
这些将会产生一个随机数字表
（B ）用着相同的五个字母通过连续独立的选择产生分别为0.4,0.1,0.2,0.2,0.1的可能性，从这些来源中的一个典型信息是：
A A A C D C
B D
C E A A
D A D A C
E D A
E A D C A B E D A D D C E C A A A A A D.
（C ）一个更加完整的结构是如果这些连续信号不是独立的选择，而是它们的几率由之前的字母决定。这个类型的一个最简单的例子是选择仅仅由前一个字母决定，而与更前面的没有关系。然后一个统计结构就可以通过一组转移概率()i p j 描述，这个使得i 的可能性跟随着j 。目录i 和j 包括所有可能符号。结构说明的第二等价方法是给这个双字母组合
(),p i j 的可能性，也就是这个双字母组合的相关频率。字母频率()p i （字母i 的频率）
，转移概率()i p j 和双字母组合概率(),p i j 都是由以下的公式描述：
()()()()(),,j
j j j
p j p i j p i j p j p i ===∑∑∑ (),p i j =()p i ()i p j
()()(),,1i
j i i j
p j p i p i j ===∑∑∑ 假设有三个如附录中可能性的字母A,B,C 的特殊例子
一个从这些来源的信息如下：
A B B A B A B A B A B A B A B B B A B B B B B A B A B A B A B A B B B A C A C
A B B A B B B B A B B A B A C B B B A B A.
下一个增加复杂性将包含三线形频率，但是不能再多了。一个字母的选择将依赖于它的前两个字母，但是与更前面的没有关系。一组三线形频率(),,p i j k ，或者一组被要求的相等转移频率(),i j p k ，继续以这种方式将相继获得更加复杂的随机过程。总而言之， n 模型包括一组n 模型的可能性()12p ,,,n i i i ，或者属于被要求指定统计结构的转移概率()121,,,p n i i i n i -
.10 A .16 BEBE .11 CABED .04 DEB
.04 ADEB .04 BED .05 CEED .15 DEED
.05 ADEE .02 BEED .08 DAB .01 EAB
.01 BADD .05 CA .04 DAD .05 EE
假设连续的单词“words ”是被独立的选择的，而且被空格所分开，一个典型的信息可能是
DAB EE A BEBE DEED DEB ADEE ADEE EE DEB BEBE BEBE BEBE ADEE BED DEED DEED CEED ADEE A DEED DEED BEBE CABED BEBE BED DAB DEED ADEB
如果所有的单词都是有限长度，这些过程相当于之前的类型之一，但是按照单词结构和可能性会更加简单。我们也可以在这里概况和引进单词间的转移概率，等等。 这些人工语言在构造简单的问题和例子去说明不同的可能性方面更加有用。我们也可以依靠一系列简单的人工语言使之接近自然语言，通过独立地以相同的概率选择所有的字母可以实现零阶接近。近似值是通过选择独立地选择可能字母获得，但是每一个字母有相同的可能性，这样就有自然语言。因此，在英语中的近似值，E 以0.12的概率被选择（它在标准英语中的频率），W 的可能性是0.02但是邻近的字母之间么有影响，而且没有组成优先双字母组合如TH 、ED 等的趋向。在二阶趋近中，双字母组合被引进。在一个字母被选择之后，下一个字母的选择都与第一个字母之后的各个字母的频率相一致。这些需要一些双字母选择频率()i p j 。在三阶趋近中，三线形结构被引入，每一个字母都根据之前的两个字母随机选择。
3 一连串的英语近似值
为了给出一个这一系列过程是如何接近语音的形象想法，典型的语音近似值序列已经被建立并且在下面将给出。在所有的案例中，我们有一个假定的有27个符号的字母表——26个字母和一个空格。
1 零级接近（独立等概率符号）
XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZL- HJQD.
2 一级接近（独立但是概率与英文本有关的符号）
OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVA NAH BRL.
3 二级接近（英语中的双字母组合结构）
ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVE TU- COOWE AT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.
4 三级接近（英语中的三线形结构）
IN NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONS-
TURES OF THE REPTAGIN IS REGOACTIONA OF CRE
5 一级单词接近。与其继续做四边形，…，n 边形，在这个点跳到单词单位更容易，更好。这里的单词以合适的概率独立选择。
REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NAT- URAL HERE HE THE A IN CAME THE TO OF TO EXPERT GRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE.
6 二级单词接近。单词的转移概率是正确的，但是不再包括结构
THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHAR- ACTER OF THIS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED
与英语文本的相似之处在以上各个步骤中显著地增加了，注意到以上的例子有很好的结构，大概有两倍的范围被考虑到他的句子中。因此在（3）中为两个字母的序列确保了合理的文本，但是例子中的四个字母的文本经常被纳入好的句子中。在（6）中，四个或者更多的单词可以很容易地用句子代替，而没有异常或勉强的结构。十个单词的特殊序列“attack on an English writer that the character of this ”一点也不会不合理，它是一个充分复杂的随机过程，将会给一个离散信源一个满意的表示法。
开始的两个例子通过使用一本与一组字母频率相结合的随机数（如例2）构造的。自从双字母、三线形和单词频率表被使用之后，这些方法可能在（3）（4）（5）中有继续，但是一个更简单的方法被使用。
以结构（3）为例，当随机地打开一本书并随机地选择该页上的一个字母并记录下这个字母，再把这本书翻到其他页并阅读，直到再次遇到这个字母，然后记录下这个字母后面的字母，翻到其他页，找到这个字母并记录其后的字母，等等。在（4）（5）（6）中使用相同的过程。如果更进一步的接近可以被构造将会更有趣，但是下一阶段的劳动将会变得非常的庞大。
4 图示马尔科夫过程
如上所述的这种类型的随机过程被称为数学上的马尔科夫过程，而且已经被在文献中广泛地研究。普通的案例可以被如下描述：在这里存在在一个系统中“states ”一个有限数量，12s ,,n s s 。此外，这里有一组转移概率。()i p j 是系统在s i 情况下走向s j 的可能性。为了使马尔科夫过程变成一个信源，我们只要假设当一个情况变成另外一个时会产生一个字母，这个情况与前一个字母的残留影响相一致。
这个情形可以用图3、4、5生动地表示.这个情形是在这个图中的连接点，并且可能性和转移产生的字母给在相应线的旁边。图3是第2章节的B 例，而图4是C 例。在图3中只有一个情形，因为连续字母是独立的。在图4中字母和情形一样多，如果构建一个三线形结构，将会最多有2
n 个情形与之前被选择的可能字母对相一致。图5 是属于D 例的图表， 这里的S 相当于“space”符号。、
图3 与B 例相一致的图表
图4 与C 例相一致的图表
5 遍历和最大信源
正如我们在上文所指出的，我们目的的离散信源可以用一个马尔科夫过程表示。在合适的离散马尔科夫过程中有一组在通信理论中有重要意义的特殊性能。这些特殊阶级组成了遍历过程，并且我们应该称相应的源为遍历源。虽然严格的遍历定义有点介入，这个普通的定义更加简单。在遍历过程中，通过这个过程产生的每一个序列都与统计特性相同。因此，字母频率、双字母组合频率等等，都是通过特殊的序列获得的，因此，随着序列长度的增加都接近于一定范围的独立特殊序列。事实上不是所有的序列而是一组，因此有零概率是错误的。遍历性粗略地代表着统计均一性。
以上所有人工语言的例子都是遍历的，这些性质与通信图表的结构相关，如果这个图表具有以下两个性能，这个相应的过程就是遍历的
1 这个图表不是由两个孤立的部分A 和B 组成，这样它就可能沿着图表中线的箭头的方向从A 部分的链接点到B 部分的链接点，并且可能从从B 部分的连接点到A 部分的连接点。
2 图表中的封闭的一组线，它的线上的所有箭头指向一个方向，这些线就被称为回路。回路的长度是它中间线的数量。因此图5中序列BEBES 就是一个长度为5的回路。第二个性质要求图表中的所有回路的长度的最大公约数是1
如果第一个条件满足，而最大公约数等于1d >而违法了第二个条件，这个序列有一个确定的周期性结构类型。不同的序列分成d 个不同的类型，在统计学上源的改变是相分离的（也就是序列的字母叫做字母1）。通过从0变到d-1任何序列可以在统计上相当于其他的。一个d=2的简单例子如下：这里有三个可能的字母a 、b 、c ，在字母a 之后字母b 和字母c 分别有13和23
的可能性，b 或c 总是跟随在字母a 之后，因此一个典型的序列是 a b a c a c a c a b a c a b a b a c a c
这个情况的类型对我们的工作没有多大的作用
如果图表的第一个条件不满足，可以将它分为每个个都满足第一个条件的子图。我们可以假设每一个子图都满足第二个条件。在这种情况下，我们可以称之为由一些纯部分组成的混合源，这些部分与子图相一致。如果1L ，2L ，3L …是这些部分的源，我们可以写出
112233p L L p L p L =+++
这里的p i 是部分源i L 的概率
物理上的情形表现如下：这里有不同的源1L ，2L ，3L …，每一个都是齐次的统计结构（也就是，它们是遍历的）。之前我们不知道哪个会被用到，但是一旦这个序列在一个纯部分i L 中开始，它在那个部分中将根据统计结构继续不确定。作为一个例子，它可以获得两个在上面定义的过程，并且假定1p =0.2, 2p =0.8.一个混合源的序列中
20.20.8i L L L =+
将会通过0.2和0.8的概率选择第一个是1L 还是2L 来获得，在这些选择之后，无论哪个序列都将产生一个序列
除了当反面规定了，我们应该一个源是遍历的。这个假设使得当一个序列的平均值超过
了全体可能序列的平均值时（相差的概率是零），我们可以鉴定这个平均值。比如，有一个可能，就是在一个特殊的无穷序列中字母A 的相对频率等于它在全体序列中的相对频率。如果p i 是情形i 的概率，p ()i j 是情形j 的转移概率，则对静止过程而言很明显p i 必须满足平衡条件
()p j i i
i
p p j =∑ 在遍历案例中，可以表明在任何开始条件中，N 符号之后j 情形的概率是()j p N ，当 N →∞趋近于平均值
6 选择、不确定性和熵
我们已经用马尔科夫过程描述了一个离散信源。那么我们能定义一个在某种意义上测量有多少信息由这样一个过程产生甚至这个信息以多大的速率传输的一个数量吗？
假设我们有一些发生概率是12,,,n p p p 可能事件，这些可能性之可知的，但是我们所知的所有就是什么事情将要发生，但是我们能找到可以测量在这些选择事件中有多少可供选择，或者在这些结果中有多少不确定吗？
如果有这样一个测量方法()12,,,n H p p p ，这时有理由要求它遵循以下性能： 1 H 在i p 中应该是连续的
2如果所有的i p 是相等的，即i p =1n
，则H 应该是n 的单调增加函数。对于等概率事件这里有更多的选择或不确定性，当这里有更多的可能事件时
3 如果一个选择被分解成两个连续选择，原来的H 应该是各个H 价值的加权和。这个的
意义阐明在图6中，在左边有三个概率123111,,236
p p p =
==，在右边两个可能性之间的概率是12，而且如果第二个选择发生将使得其他的选择概率变为23，13。最后的结果与之前的概率相同。我们要求在这个特殊的案例中 11111121,,,,23622233H H H ??????=+
? ? ??????? 系数12
是因为第二个选择仅仅发生一半的时间 在附录2中，以下的结果是已确定的
定理2：唯一的H 以这样的形式满足以上三个假设
1log n i
i i H K p p ==-∑
这里的K 是一个正常数
这个定理和它的假设需要证明，而且绝不是目前理论的需要。它首先考虑到为后来的定义提供一个确定的理由。然而，它的真正理由存在于它的蕴含式中。许多
1log n
i i i H K p p ==-∑的形式（这里的常数K 仅仅相当于一个计量单位）
，在信息理论中测量信息、选择和不确定性时起到中心作用。H 的形式将会被认为是定义在统计力学的确定规划的熵，这里的i p 是一个系统在单元格i 的相位空间的概率。例如，H 是波尔兹曼的著名H 理论。我们将称1log n i
i i H K p p ==-∑为集合概率12,,,n p p p 的熵。如果x 是一个机会变
量，我们可以为它的熵写一个()H x ，因此x 不是一个函数自变量，而是一个数字的标号，使之与机会变量y 的熵()H y 分开
这个案例中两个概率p 和q=1-p 的熵，也就是
()log log H p p q q =-+
在图7中根据p 描绘出来了
H 的数量在进一步证实它是一个合理的测量选择或信息的方面有一些有趣的性质 1 当且仅当所有的i p 中只有一个是0的时候H=0，这个是有价值的个体。因此，只有当结果确定的时候H 为0，否则H 是正的
2 对于一个给定的n ，当所有的i p 相等时（比如等于1n
）时H 是最大的，并且等于log n 。这也是不确定的直观情况。
3 假设有两个事件x 和y ，考虑它们的概率分别是m 和n ，使(),p i j 成为第一个发生i 次、第二个发生j 次的联合概率，联合事件的熵是
()()(),,,log ,i j
H x y p i j p i j n =-∑
当 ()()()(),,log ,,i j j
H x p i j p i j p i j n =-∑∑
()()()(),,log ,,i j i
H y p i j p i j p i j n =-∑∑
显然 ()()(),H x y H x H y ≤+
只有当事件时独立的时候等式成立（比如()()(),p i j p i p j =），联合事件的不确定性小于或等于独立事件不确定性的和
4 任何使12,,,n p p p 趋向同等化的改变都会增加H 的值。因此，如果我们增加1p ，
减少2p 使它们趋向于相等，则H 的值增加。更普遍的情况是，如果我们在i p 上执行任何以下形式的求平均值操作
'i ij j j
p a p =
∑ 这里的1ij ij
j i a a ==∑∑，并且所有的0ij a ≥，则H 的值增加（除非这里的转变仅仅相当于j p 的置换，这时H 当然保持不变）
5 假设这里有像3中的两个随机事件，不一定是独立的。对x 的任何特殊值i ，可以假定这里有一个条件概率()i p j ，y 有特殊值j ，通过()()()
,,i j
p i j p j p i j =∑获得。 我们定义y 的条件熵，()x H y 作为x 的值y 的熵的平均值，由通过获得特殊值x 的概率计算。即
()()()
,,i j
p i j p j p i j =∑ 这些数是测量当我们知道x 时，平均有多少y 不确定。代入()i p j 的值，可以得到 ()()()()(),x H x H y H x y H x H y +≥=+
当x 知道后y 的不确定性永远不会增加，只有当x 和y 是独立事件时它将减少，在这个案例中它不会改变。
7 信源熵
考虑以上所述的有限情况类型的离散信源。每一个情况i 在产生不同的可能信号j 时都将有一组概率()i p j 。因此，每一个情况都有一个熵i H 。信源熵将被定义为按照已测量的在这个问题中情况的发生概率i H 的平均值。
i i
i
H PH =∑ =()()i ,log i i
i j
P p j p j -∑ 这些是文本中每一个信号的信源熵，如果马尔科夫过程是一个在一定的时间速率上的过程，这里也有每秒熵
'i
i i H f H =∑
这里的i f 是情况i 的平均频率（每秒发生的频率）。明显的
'
H mH =
这里的m 是每秒产生信号的平均数，H 和H ’测量信源每个信号或者每秒产生的信息。
如果对数的底是2，它就表示每个信号或者每秒一比特。
如果连续信号是独立的，则H 仅仅是i log i p p ∑这里的i
p 是i 的概率。假设在这个案例中我们考虑有N 个信号的一个长信息，它包含在第一个信号中1p N 发生、在第二个信号中2p N 发生等等，有高可能性。因此，这些特殊信息的概率是粗略的
1212n p N p N p N n p p p p =
或者
log log i i
i
p N p p =∑ log p NH =- 1
log p
H N =
因此，H 近似等于一个长序列被这个序列中信号的数量相除的概率的倒数的对数，相同的结果适用于任何信源。在更加精确的定义（附录3中）中，我们有：
定理3 假定任何0ε>、0δ>，我们可以找到一个0N ，使得序列中的任何长度N>0N 分成两个部分
1 一组的总概率小于ε
2 其余的，它们的数量的概率满足一下不等式： 1
log p H N
δ--< 也就是说，我们几乎确定有一个当N 足够大时非常接近于H 的1
log p N
-。再次考虑序列长度N ，并且让它们按照概率减小的顺序排列。我们定义一个n （q ）为我们必须减少这些从最可能的一个开始的组的数量，为了累积一个总概率q 使他发生。
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)
信息论与编码 《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面： 首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编 码、加密编码。= 理论上传输的最少信息量 编码效率实际需要的信息量。 接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加 性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合 熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定 性，极值性。 接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。
《信息论与编码》课程教学大纲、课程基本信息 二、课程内容及基本要求 第一章绪论 课程内容：
1 ?信息论之父--香农；信息论与香农信息论的形成与发展；香农信息论的中心 问题及其局限性； 2．信息、消息、信号、信息的本质、信息的广义性； 3．通信系统基本模型：信源、信宿、信道、干扰、噪声、信源编码、信道编码。基本要求：1．了解信息论之父---Shannon（香农）和香农信息论的基本思想及其局限性；了解信息论的形成与发展过程；了解香农信息论的基本思想（中心问题）及其适用范围；2．理解消息、信息与信号的含义；理解消息、信息与信号之间的联系与区别；3．熟悉通信系统的基本模型及各模块的主要功能。 本章重点香农信息论的中心问题、通信系统模型 本章难点：信息、消息与信号的联系与区别；香农信息论的局限性第二章信源、信息量和信息熵 课程内容： 1．无记忆信源与有记忆信源、离散信源与连续信源、离散序列信源、马尔可夫信源、离散无记忆信源、离散无记忆序列信源； 2．非平均信息量、信源熵、条件信息量、条件熵、噪声熵、损耗熵、联合熵、非平均互信息、平均互信息； 3．熵的性质、离散无记忆信源的序列熵、离散有记忆信源的序列熵；4．数据处理中信息的变化、连续信源熵；5．凸函数、互信息量的凸性，冗余度。 基本要求： 1．了解并掌握信源的分类与特点； 2．理解并掌握非平均信息量、信源熵、互信息量、条件熵、联合熵、非平均互信息量、平均互信息的概念，计算；理解并掌握信源熵、信宿熵、噪声熵、损耗熵、平均
互信息之间的关系； 3．理解马尔可夫信源的概念、理解离散序列信源熵的概念； 4．理解熵的性质、熵的唯一性原理；理解连续信源的熵及连续熵的性质； 5．理解凸函数的含义和性质；了解凸函数在信息论中的应用。 本章重点：非平均自信息量、条件信息量、互信息量、条件互信息量、熵、条件熵、熵的性质 本章难点：平均互信息量、熵、离散序列信源熵、马尔可夫信源、条件熵、噪声熵、损耗熵第三章信源编码 课程内容： 1．编码的定义与分类；奇异码与非奇码；唯一可译码与非唯一可译码；即时码与非即时码；克拉夫特不等式；码树；平均码长的计算；信息传输速率；2．无失真信源编码；定长码与定长编码定理；变长码与变长编码定理；最佳变长码编码定理；香农编码及其过程；费诺编码及其过程；哈夫曼编码及其过程；3．限失真信源编码；常用信源编码--- 游程编码、算术编码、预测编码、变换编码。 基本要求： 1．理解并掌握编码的分类及特点；掌握平均码长的计算；掌握码树的使用； 2．理解无失真信源编码的含义；掌握定长码的特点与编码原理；掌握不定长编 码的特点与编码原理； 3．掌握离散无记忆信源的等长编码及不等长编码；掌握香农编码原理、掌握费 诺编码原理；掌握哈夫曼编码原理； 4．了解常用限失真信源编码方法—算术编码、游程编码、预测编码及变换编码的编码原理。
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
《信息论与编码》课程论文 ——通过信息论对已有知识产生的新认识 马赛 1143031014 《信息论与编码》课程是通信专业的一门基础课。其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。 通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。 在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。下文中，列举了两个问题，同时使用信息论的角度去进行解释。 一、计算机的存储容量与信息量的联系 当今的计算机已经十分普及。存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？ 这是计算机科学的基本知识：“8 bit = 1 byte”。bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？ 在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。 我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。信息的一种解释是：对于不确定性的消除。信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。这是香农信息论对于信息量的定义。 计算机存储的依然是信息，只是信息的存储形式是01二进制数字。如果说计算机中的bit只是二元数字的话，那么这个单位就丧失了“信息”这个定义了。 用户通过互联网下载各种资料，下载的资料需要占用本地的存储空间，这是一个众所周知的例子。其实这个过程就是一个消除不确定性的过程。我们一般常识中的“空”硬盘，实际上是没有存储信息，而空间就在那里，空间中的信息有不确定，有不确定度；写入信息，实际上就是在消除不确定性，让空间中的信息确定，让其有序。这就是一种典型的信息传递过程。 计算机是2元存储结构，一个二进制符号代表1bit，根据实际计算，一个二进制符号的最大信息量即H0(X) = log22 = 1bit，这是一个将符号等同于无记忆的，每个符号之间没有联系，达到了信息量的最大值。这是最为简化的处理结果，也是最为可行的处理结果。如果严格按照信息论的角度去分析，其实每个符号之间是有联系的——各种编码、指令，如果01只是随机出现，那么只是一盘散沙。当然这是严格的理论解释，如果实际应用到存储信息的计量，那么将是不可行，计算机界的先驱是非常有远见的。 二、关于称硬币问题的思考
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
互信息函数),(Q P I 的性质2的证明。 对于确定的条件概率矩阵Q 互信息函数),(Q P I 是概率矢量空间S 上的上凸函数。 （其中S ={P ：P =（1p , 2p …, K p ）, ,,...2,1,10K k p k =≤≤而∑==K k k p 1 1}） 证明：首先由定义知：),(Y X I =)(Y H -)(X Y H 其中 )(Y H =∑=- J j j j b p b p 1 )(log )( =∑∑∑===- J j k j K k k j k K k a b p a p b a p 11 1)()(log ),( =∑∑∑===- J j k j K k k k j k K k a b p a p a b p a p 1 1 1 )()(log )()( )(X Y H = ∑∑ ==-J j k j j k K k a b p b a p 1 1)/(log ),( =∑∑==- J j k j k j k K k a b p a b p a p 1 1 )/(log )()( 可知对于确定的Q ，)(Y H 和)(X Y H 都是S 上的函数，且)(X Y H 关于P 是线性的。 下面将证明)(Y H 是S 上的上凸函数。即对?1P ),...,,(11211K p p p =， 2P ),...,,(22221K p p p =∈S ，及λ，λ，.1,10λλλ-=≤≤ 成立 ∑∑∑ ===++-J j k j k k k k K k k j k k k j k k K k a b p a p a p a b p a p a b p a p 1 211 211 ) ()]()([log )]/()()()([λλλλ≥ ∑∑∑ ===-J j k j K k k k k j k k K k a b p a p a b p a p 1 1 111) ()(log )()(λ
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
第二章 信源熵 一、自信息量 1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定 义为其发生概率对数的负值。若随机事件发生i a 的概率为)(i a p ，那么它的自信 息量为：)(log )(2i i a p a I -= （bit ） 2. 性质：在事件发生前，)(i a I 表示该事件发生的不确定性。 在事件发生后，)(i a I 表示事件发生所提供的信息量。 二、信源熵 1. 定义： 已知单符号离散无记忆信源的数学模型 我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信 源的平均信息量： )(log )(])(1[log )]([)( 212i n i i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别 两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值， 。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。 3. 最大离散熵定理：信源X 中包含n 个不同离散消息时，信源熵H(X)有： n X H 2log )(≤ 当且仅当X 中各个消息出现的概率全相等时，上式取等号。 4. 扩展信源的信源熵：N 次扩展信源的信源熵：)()(X NH X H N = )(,),(,),(),( , , , , ,)( 2121? ?????=??????n i n i a p a p a p a p a a a a X P X
信息论基础理论与应用考试题 一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。 （考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q
（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。 （考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。 （考点：连续信道和波形信道的信道容量） 二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无 记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则 称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力 劣于分组码。（错）（考点：卷积码的纠错能力） 三、名词解释（每题3分，共12分） 1 .信源编码
《信息论与编码》课程小结 《信息论与编码》课程小结信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。 关于信息论的基本理论体系，1948年，香农在贝尔系统技术杂志
上发表“通信的数学理论”。在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。 对信息论的研究内容一般有以下三种理解： (1) 狭义信息论，也称经典信息论。它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。 (2) 一般信息论，主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容以美国科学家维纳为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。 (3) 广义信息论。广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题，是新兴的信息科学理论。 信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。现代信息论又是数学概率论下的一个分支，与遍历性理论、大偏差理论以及统计力学等都有密切关系。 关于信息论与编码课程的特点，信息论课程中运用了大量的数学知识。例如：在讨论纠错编码中生成矩阵和一致校验矩阵的关系时，需要用到矩阵的运算和性质；在讨论连续信源熵时，需要对连续信源概率密度进行积分运算；在讨论离散信源熵的最大值或信道容量的最大值时，要计算多元函数的条件极值。此外，信息论与编码中很多定理都伴随着复杂的数学证明，其中最明显的就是香农三定理（无失真信源编码定理、有
信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==
1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士