信息论与编码理论习题答案
LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵
八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此
每个码字的信息量为 28log=23=6 bit
因此，信息速率为 61000=6000 bit/s
掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
)(ap=366=61
得到的信息量 =)(1logap=6log= bit
(2) 可能的唯一，为 {6，6}
)(bp=361
得到的信息量=)(1logbp=36log= bit
经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(ap=!521
信息量=)(1logap=!52log= bit
(b)
花色任选种点数任意排列13413!13
)(bp=1352134!13A=1352134C
信息量=1313524loglogC= bit
随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(YZH、)|(YXH、),|(YXZH、)|,(YZXH、)|(XZH。
解：令第一第二第三颗骰子的结果分别为321,,xxx，1x，2x，3x相互独立，则1xX，21xxY，321xxxZ
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
信息论与编码理论
第4章 无失真信源编码
习题及其参考答案
4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F
（1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码；
（3）对所有唯一可译码求出其平均码长。
?X??s1
4-2 设信源????p(s)P(X)???1s6?
p(s2)?p(s6)??
?
s2
?p(s)?1。对此次能源进行m元唯一
i
i?1
6
可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式）
?s ?X??1
4-3设信源为??1?
?p(X)???2?
（1）信源的符号熵； （2）这种码的编码效率；
s2
14s3s411816s5132s6s7s8?
，编成这样的码：（000，001，111???64128128?
010，011，100，101，110，111）。求
（3）相应的仙农码和费诺码。 4-4求概率分布为(,
11122
信)源的二元霍夫曼编码。讨论此码对于概率分布为3551515
11111
(,,,,)的信源也是最佳二元码。 55555
4-5有两个信源X和Y如下：
1
信息论与编码理论
s2s3s4s5s6s7??X??s1
??p(X)??0.200.190.180.170.150.100.01?
????s2s3s4s5s6s7s8s9??Y??s1??p(Y)??0.490.140.140.070.070.040.020.020.01?
《信息论与编码技术》复习提纲
复习题纲
第0章 绪论
题纲：
I. 什么是信息？
II. 什么是信息论？
III. 什么是信息的通信模型？
IV. 什么是信息的测度？
V. 自信息量的定义、含义、性质
需掌握的问题：
1. 信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）
2. Shannon信息论中信息的三要素是什么？
3. 通信系统模型图是什么？每一部分的作用的是什么？
4. 什么是信息测度？
5. 什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？
6. 自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？
第1章 信息论基础
㈠《离散信源》题纲：
I. 信源的定义、分类
II. 离散信源的数学模型
III. 熵的定义、含义、性质，联合熵、条件熵 IV. 离散无记忆信源的特性、熵
V. 离散有记忆信源的熵、平均符号熵、极限熵
VI. 马尔科夫信源的定义、状态转移图
VII. 信源的相对信息率和冗余度
需掌握的问题：
1. 信源的定义、分类是什么？
2. 离散信源的数学模型是什么？
3. 信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？
4. 单符号离散信源最大熵是多少？信源概率如何分布时能达到？
5. 信源的码率和信息率是什么，如何计算？
6. 什么是离散无记忆信源？什么是离散有记忆信源？
7. 离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？
8. 离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？
9. 什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？
10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？
11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？
《信 息 论》
讲 义
204教研室
2005年11月
1 主要内容：
第一章 绪论
第二章 离散信源及其信息测度
第三章 离散信道及其信道容量
第四章 无失真信源编码
第五章 有噪信道编码
2 第一章 绪论
信息论——人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
奠基人——香农
1948年发表了著名的论文——《通信的数学理论》，为信息论奠定了理论基础。
1.1 信息的概念
人类离不开信息，信息的接收、传递、处理和利用时时刻刻都在发生。
如：“结绳记事”、“烽火告警”，信息的重要性是不言而喻的。
什么是信息？——信息论中最基本、最重要的概念。
信息与“消息”、“情报”、“知识”、“情况”等的区别：
“情报”——人们对于某个特定对象所见、所闻、所理解而产生的知识。是一类特定的信息。
“知识”——人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的有价值的、人们所需的信息。是一种具有普遍和概括性质的高层次的信息。
“消息”——以文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，表达客观物质运动和主观思维活动的状态。
消息包含信息，是信息的载体。二者既有区别又有联系。
“信号”——消息的运载工具。
香农从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。
收信者：
收到消息前，发送者发送的消息——1、描述的是何种事物运动状态的具体消息；2、描述的是这种消息还是那种消息；3、若存在干扰，所得消息是否正确与可靠。
存在“不知”、“不确定”或“疑问”
收到消息后，知道消息的具体内容，原先的“不知”、“不确定”或“疑问”消除或部分消除了。
消息传递过程——从不知到知的过程；从知之甚少到知之甚多的过程；从不确定到部分确定或全部确定的过程。
通信过程——消除不确定性的过程。
不确定性的消除，就获得了信息。
