下载文档原格式
第二章 信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I +=2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告)()|(log );(xi q yj xi Q y x I =知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p 即：得：114)(113)(114)(210===s p s p s p 0.25（bit/符号）=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 2.8一个马尔可夫信源，已知：试画出它的0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 香农线图，并求出信源熵。
![信息论基础第2章离散信源及其信息度量[83页]](https://img.taocdn.com/s1/m/a8bfc380a32d7375a5178051.png)
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
第二章信源与信息度量习题-精品2020-12-12【关键字】方案、空间、系统、平稳、合理、规律、稳定、需要、标准、关系、设置1. 某大学设置五个学院，每个学院的学生数分别为学院： 数学 物理 外语 外贸 医学人数： 300 400 500 600 200问“某学生王某是外语学院学生”这一消息提供的信息量是多少？2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1） 事件“2和5同时呈现”的自信息量；（2） 事件“两个4同时呈现”的自信息量；（3） 事件“至少呈现一个1”的自信息量。
3. 字母“e ”在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。
4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。
有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。
6. 试求：（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。
（2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。
7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。
试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。
8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：（1） 该消息的自信息量；（2） 该消息平均每个符号携带的信息量。
第二章 信源与信息度量 习题解答1. 某大学设置五个学院，每个学院的学生数分别为学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200问“某学生王某是外语学院学生”这一消息提供的信息量是多少？解：总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：5000.252000= 同理计算其它学院学生概率后，得信源的概率空间为：12345()0.150.20.250.30.1X x x x x x p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭“学生王某是外语学院学生”这一消息提供的信息量：33()lb ()lb 0.252I x p x =-=-=比特2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。
解：（1）事件“2和5同时呈现”的概率：1()18p A =，该事件的自信息量： 1()lb ()lb4.170 bit 18I A p A =-=-= （2）事件“两个4同时呈现”的概率：1()36p B =，该事件的自信息量：1()lb ()lb 5.170 bit 36I B p B =-=-=（3）事件“至少呈现一个1”的概率：11()36p C =，该事件的自信息量：11()lb ()lb 1.711 bit 36I C p C =-=-=3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。
解：（1）字母“e ”的自信息量：()lb ()lb0.103 3.279 bit I e p e =-=-=（2）字母“c ”的自信息量：()lb ()lb0.022 5.506 bit I c p c =-=-=（3）字母“x ”的自信息量：()lb ()lb0.0019.966 bit I x p x =-=-=4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。
有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？ 解：因为()0.2,()0.3p B p C ==，()()p B p C <以及 消息提供的信息量与其出现概率倒数的对数成正比，所以B C I I >，即“现在完成一台仪器B ”提供的信息量大于“现在完成一台仪器C ”提供的信息量。
规律：(1) 出现概率为零的消息可略去。
(2) 概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。
5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。
解：根据题意，35%的女孩上大学，一个女孩身高超过1.6米的概率是50%，得两个信源概率空间：==()0.350.65X x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦1大学生2非大学生，== 1.6m ()0.50.5Y y y p Y <⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦1身高>1.6m2身高，根据65%的女大学生身高超过1.6米，知：11(/)0.65p y x =，消息：某一个身高超过1.6米的女孩是大学生的概率为：111111(/)()0.650.35(/)0.455()0.5p y x p x p x y p y ⨯===该消息的信息量：1111(/)lb (/)lb0.455 1.136bitI x y p x y =-=-=6. 试求：（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。
（2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。
解：(1)()lb54 5.76H X == 比特/每张牌 (2),1,2,A K ⋅⋅⋅出现的概率为：454，王出现的概率为：254，信源的概率空间为： 1234567891044444444444442()5454545454545454545454545454J Q K xx x x x x x x x x x x x x X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪⎪⎩⎭王 4422()13lb 1lb 3.7954545454H X =-⨯-⨯=比特/每张牌。
7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。
试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。
解：天气预报：4211()08888xx x x x X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪⎪⎩⎭雨冰雹晴多云雪 44221111()lb lb lb lb 1.7588888888H X =----=比特/每次预报老农预报：71()88xx X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪⎪⎩⎭雨晴7711()lb lb 0.548888H X =--=比特/每次预报。
天气预报给出更详细的消息及其概率分布，消息数更多，平均信息量更大。
8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：（1） 该消息的自信息量；（2） 该消息平均每个符号携带的信息量。
解：（1）根据信源概率空间，计算得到每个符号的自信息量：()11(0)lb ()lb 3/8 1.415 bit I x p x ==-=-= ()22(1)lb ()lb 1/4 2 bit I x p x ==-=-= ()33(2)lb ()lb 1/4 2 bit I x p x ==-=-= ()44(3)lb ()lb 1/8 3 bit I x p x ==-=-=该消息序列各符号相互独立，其自信息量等于各符号自信息量之和：123414(0)13(1)12(2)6(3)87.810 bit I I x I x I x I x ==+=+=+==（2）该消息平均每个符号携带的信息量： 87.81/45 1.951 bit/symbol I ==比较该离散信源的熵：33111111()lblb lb lb 1.906 bit/symbol 88444488H X =----=，可见，该特定的消息符号序列平均每个符号携带的信息量仅仅是近似于离散信源熵，而不等同于信源熵，因为其每个消息出现的概率并不等同于信源概率空间各符号的概率分布。
9. 若每帧电视图像由3×105个像素组成，且像素是独立变化的。
每个像素取128个不同的亮度电平，并设亮度电平等概率出现。
（1） 问每帧图像含有多少信息量？（2） 若现有一广播员在约10，000个汉字的字汇中选1，000个字来口述此电视图像，问广播员描述此图像所播出的信息量是多少？（假设，10，000个汉字字汇等概率分布，并彼此无依赖）（3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？ 解：（1）每帧图像含有的信息量：56()()310lb128 2.110NH X NH X ==⨯⨯=⨯ 比特 （2）广播员描述此图像所播出的信息量：''4()()1000lb10000 1.32910N H Y N H Y ==⨯=⨯ 比特（3）平均每个汉字的信息量：()lb1000013.288H Y == 比特/汉字 广播员描述此图像所需的汉字数：''65()/()2.110N N H X H Y ==⨯⨯/13.288=1.58010 个汉字10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关，（1） 问该信源是否是平稳信源？（2） 计算2()H X ，312()/H X X X 和lim ()N N H X →∞；（3） 计算4()H X ，并写出4X 信源中所有可能的符号序列。
解：（1）信源发出各符号的概率与时间无关，因此为平稳信源。
（2）离散无记忆信源熵：()0.04lb0.040.06lb0.060.971H X =--= 比特/符号 因为是无记忆信源，前后符号无相关性，因此：2()2() 1.942H X H X == 比特/两个符号3123(/)()()0.971H X X X H X H X === 比特/符号12lim ()lim()lim()()0.97111N N N N N H X H X X X H X H X N NN →∞→∞→∞==== 比特/符号（3）4()4() 3.884H X H X == 比特/四个符号4X 信源中所有可能的符号序列：0000 0001 0010 0011 0100 0101 0110 0111 10001001 1010 1011 1100 1101 1110 1111，共16种符号序列。
11. 有一二元数字通信系统，传送“0”和“1”的概率分别为1/4和3/4。
（1） 计算此系统的信源熵和其冗余度。
（2） 为了可靠地传输消息，对每个符号重复传输3次，试求其冗余度为多少；如果采用重复传输4次的方案呢？这样做是否合理？解：（1）0113()44X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪⎪⎩⎭信源熵 1133()lb lb 0.8114444H X =--=比特/消息 二元信源的最大熵 max ()lb 21H X ==比特/消息 冗余度 max ()0.8111118.9%()1H X E H X =-=-=（2）重复三次信源熵 13()0.811()0.27033H X H X ===比特/消息 冗余度 13max ()0.2701173.0%()1H X E H X =-=-= 重复四次信源熵 14()0.811()0.20344H X H X ===比特/消息 冗余度 14max ()0.2031179.7%()1H X E H X =-=-= 重复四次不合理，因为当错误两个码元即2比2时，就不能采用最大似然法判决译码。
12. 黑白电视消息只有黑色()B 和白色()W 两种，即信源(,)X B W =，设黑色出现的概率为()0.3p B =，白色出现的概率()0.7p W =。
