下载文档原格式
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯其他15个组合的概率是18161612=⨯⨯ symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特 2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论与编码第二版答案第六章曹雪虹【篇一：信息论与编码-曹雪虹-课后习题答案】lass=txt>第二章2.1一个马尔可夫信源有3个符号?u1,u,2u?3，转移概率为：p?u1|u1??1/2，p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为： ?1/2?p?1/3??1/3?1/202/30??2/3?0??设状态u1，u2，u3稳定后的概率分别为w1，w2、w311?1w1?w2?w3?w110??233w1???2512???wp?w?w1?w3?w29?由?得?2计算可得?w2? 325?w1?w2?w3?1?2??w2?w36?3w3???25???w1?w2?w3?12.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。
画出状态图，并计算各状态的稳态概率。
解：p(0|00)?p(00|00)?0.8 p(0|01?)pp(0|11)?p(10|11)?0.2p(0|10?)pp(1|00)?p(01|00)?0.2p(1|01?)pp(1|11)?p(11|11)?0.8 p(1|10?)p(10?|01) (00?|10) (11?|01)(01?|10)?0.8?0于是可以列出转移概率矩阵：p???0.5??00.200.5000.500.20??0.5? 0??0.8?状态图为：设各状态00，01，10，11的稳态分布概率为w1,w2,w3,w4 有5?w1??14?0.8w1?0.5w3?w1???w2?10.2w1?0.5w3?w2?wp?w????470.5w2?0.2w4?w3 得计算得到 ???wi?11?0.5w2?0.8w4?w4???w3??i?1??7w1?w2?w3?w4?1???5?w4?14?2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.p p ==(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()log log 1.415()3I x bit p x ===同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
本文部分内容来自网络整理，本司不为其真实性负责，如有异议或侵权请及时联系，本司将立即删除！== 本文为word格式，下载后可方便编辑和修改！ ==信息论与编码第二版答案篇一：信息论与编码(第二版)曹雪虹(最全版本)答案《信息论与编码（第二版）》曹雪虹答案第二章2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：0??1/21/2??p??1/302/3? ?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W311?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2W2?由?得?2计算可得? 3?25?W1?W2?W3?1?2?6?W2?W3?W3?3??25???W1?W2?W3?12.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。
画出状态图，并计算各状态的稳态概率。
解：p(0|00)?p(00|00)?0.8 p(0|01)?p(10|01)?0.5p(0|11)?p(10|11)?0.2p(0|10)?p(00|10)?0.5 p(1|00)?p(01|00)?0.2p(1|01)?p(11|01)?0.5 p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.50??0.80.20??000.50.5? 于是可以列出转移概率矩阵：p???0.50.500???000.20.8??状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有5?W1??14?0.8W1?0.5W3?W1??0.2W1?0.5W3?W2?W2?1?WP?W????47 0.5W2?0.2W4?W3 得计算得到????0.5W2?0.8W4?W4?W3?1??Wi?1?i?1??7???W1?W2?W3?W4?15?W4?14?2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
信息论与编码部分习题解答（对应曹雪虹清华版教材）(谢正光，2009-05-28，于江苏南通)作业及解答(谢正光，2008-02-28，于江苏南通)2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎞⎜⎟=⎜⎟⎜⎟⎝⎠设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩P(j/i)=解方程组求得W=2-2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎞⎜⎟⎜⎟=⎜⎟⎜⎟⎝⎠状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP WW ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2-3(4)2-4 设在一只布袋中装有100个用手角摸感觉完全相同的木球，每个球上涂有一种颜色。
信息论编码与基础课后题(第二章)————————————————————————————————作者：————————————————————————————————日期：第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。
当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ）的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。
2.1一个马尔可夫信源有3个符号1,23,uuu，转移概率为：11|1/2puu，21|1/2puu，31|0puu，12|1/3puu，22|0puu，32|2/3puu，
13|1/3puu，23|2/3puu，33|0puu，画出状态图并求出各符号稳态概率。
解：状态图如下
状态转移矩阵为： 1/21/201/302/31/32/30p
设状态u1，u2，u3稳定后的概率分别为W1，W2、W3
由1231WPWWWW得1231132231231112331223231WWWWWWWWWWWW计算可得1231025925625WWW
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。
画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8pp (0|01)(10|01)pp
(0|11)(10|11)0.2pp (0|10)(00|10)pp (1|00)(01|00)0.2pp (1|01)(11|01)pp (1|11)(11|11)0.8pp (1|10)(01|10)0.5pp
u1u2
u3
1/21/2
1/32/32/31/3于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p 状态图为： 0001
10110.8
0.2
0.50.50.50.5
0.20.8
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有
411iiWPWW
得 13113224324412340.80.50.20.50.50.20.50.81WWWWWWWWWWWWWWWW 计算得到12345141717514WWWW
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, „ , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解： (1)
bitxpxIxpiii 170.4181log)(log)(18161616161)(
(2) bitxpxIxpiii 170.5361log)(log)(3616161)(
(3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66
共有21种组合： 其中11，22，33，44，55，66的概率是3616161
其他15个组合的概率是18161612 symbolbitxpxpXHiii/ 337.4181log18115361log3616)(log)()( (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
symbolbitxpxpXHXPXiii/ 274.3 61log61365log365291log912121log1212181log1812361log3612 )(log)()(36112181111211091936586173656915121418133612)(
(5) bitxpxIxpiii 710.13611log)(log)(3611116161)(
2-4 2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X代表女孩子学历 X x1（是大学生） x2（不是大学生）
P(X) 0.25 0.75
设随机变量Y代表女孩子身高 Y y1（身高>160cm） y2（身高<160cm）
P(Y) 0.5 0.5
已知：在女大学生中有75%是身高160厘米以上的 即：bitxyp 75.0)/(11 求：身高160厘米以上的某女孩是大学生的信息量
即：bitypxypxpyxpyxI 415.15.075.025.0log)()/()(log)/(log)/(11111111
2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：
1）因圆点之和为3的概率1()(1,2)(2,1)18pxpp
该消息自信息量()log()log184.170Ixpxbit 2）因圆点之和为7的概率 1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6pxpppppp
该消息自信息量()log()log62.585Ixpxbit
2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8XxxxxP （1）求每个符号的自信息量 （2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量
解：122118()loglog1.415()3Ixbitpx
同理可以求得233()2,()2,()3IxbitIxbitIxbit 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81IIxIxIxIxbit
平均每个符号携带的信息量为87.811.9545bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量symbolbitnXH/ 24loglog)(1
八进制脉冲的平均信息量symbolbitnXH/ 38loglog)(2 二进制脉冲的平均信息量symbolbitnXH/ 12loglog)(0 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9 “－” 用三个脉冲 “●”用一个脉冲
(1) I(●)=Log4()2 I(－)＝Log430.415
(2) H= 14Log4()34Log430.811 2-10 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)=
2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵 解：令X表示指针指向某一数字，则X={1,2,……….,38} Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}
Y是X的函数，由题意可知()()ijipxypx
（1）3112381838()()loglog2log1.24()3823818jjjHYpypybit/符号 （2）2(,)()log385.25HXYHXbit/符号 （3）(|)(,)()()()5.251.244.01HXYHXYHYHXHYbit/符号 2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率,ijijrxyr为 111213
212223313233
7/241/2401/241/41/2401/247/24rrrrrrrrr
（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ （3） 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
解：联合概率(,)ijpxy为
22221(,)(,)log(,)724112log4log24log4247244ijijij
HXYpxypxy
=2.3bit/符号 X概率分布 21()3log31.583HYbit/符号
(|)(,)()2.31.58HXYHXYHY Y概率分布是 =0.72bit/符号 Y y1 y2 y3 P 8/24 8/24 8/24
Y X y1 y2 y3
x1 7/24 1/24 0 x2 1/24 1/4 1/24 x3 0 1/24 7/24
X x1 x2 x3 P 8/24 8/24 8/24
