信息与编码理论课后习题答案
- 格式：pdf
- 大小：320.66 KB
- 文档页数：30
1 二章-信息量和熵习题解
2.1 莫尔斯电报系统中，若采用点长为0.2s，1划长为0.4s，且点和划出现的概率分别
为2/3和1/3，试求它的信息速率(bits/s)。
解: 平均每个符号长为:
154
4.0
31
2.0
32
=×+×秒
每个符号的熵为9183.03log
31
23
log
32
=×+×比特/符号 所以，信息速率为444.3
415
9183.0=×比特/秒
2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每
秒产生1000个码字，试求其信息速率(bits／s)。
解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；
所以，信息速率为600010006=×比特/秒
2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a) 7；(b) 12。
试问各得到了多少信息量?
解: (a)一对骰子总点数为7的概率是366
所以，得到的信息量为 585.2)
366
(log
2= 比特
(b) 一对骰子总点数为12的概率是361
所以，得到的信息量为 17.5
361
log
2= 比特
2.4 经过充分洗牌后的一付扑克(含52张牌)，试问：
(a) 任何一种特定排列所给出的信息量是多少?
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?
解: (a)任一特定排列的概率为
!521
,
所以，给出的信息量为 58.225
!521
log
2=− 比特
(b) 从中任取13张牌,所给出的点数都不相同的概率为 1313
1313
525213!44
AC×
= 2 所以，得到的信息量为 21.13
4log
1313
52
2=C
比特.
2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点
出现时所给出的信息量，并求掷一次平均得到的信息量。
解:易证每次出现i点的概率为
21i
,所以
比特比特比特比特比特比特比特
398.2
21log
21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,
21log)(
26
12
=−==============−==
∑
=ii
XHxIxIxIxIxIxIii
ixI
i
2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12棵树可随机地排列，
且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关
于树的排列的信息?
解: 可能有的排列总数为
27720
!5!4!3!12
=
没有两棵梧桐树相邻的排列数可如下图求得，
Y X Y X Y X Y X Y X Y X Y X Y
图中X表示白杨或白桦，它有
37
种排法，Y表示梧桐树可以栽种的位置，它有
58
种排法，
所以共有
58
*
37
=1960种排法保证没有两棵梧桐树相邻，
因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为
1960log27720log
22−=3.822 比特
2.7 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来
自本市，而落榜考生中有10％来自本市，所有本市的考生都学过英语，而外地落榜考生中
以及被录取的外地考生中都有40%学过英语。
(a) 当己知考生来自本市时，给出多少关于考生是否被录取的信息? 3 (b) 当已知考生学过英语时，给出多少有关考生是否被录取的信息?
(c) 以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，x、y和z
取值为0或1。试求H(X)，H(Y|X)，H(Z|YZ)。
解: X=0表示未录取，X=1表示录取；
Y=0表示本市，Y=1表示外地；
Z=0表示学过英语，Z=1表示未学过英语，由此得
31
(0),(1),
44
(0)(0)(00)(1)(01)
31111
,
410425
14
(1)1,
55
(0)(0)(00)(1)(01)
144013
,
5510025
1312
(1)1,
2525pxpx
pypxpyxpxpyx
py
pzpypzypypzy
pz====
=====+===
=×+×=
==−=
=====+===
=+×=
==−=
22
221313
()(00)(00)(0)/(0)/
10458
1115
(10)(01)(1)/(0)/
2458
(00)(10)
(;0)(00)log(10)log
(0)(1)
35
3588loglog
3188
44
0.4512apxypyxpxpy
pxypyxpxpy
pxypxy
IXypxypxy
pxpx========×=
========×=
====
====+==
==
=+
=比特
4 ()(00)
((00,0)(00)(01,0)(10))(0)/(0)
19431369
()/
101010425104
(10)
((00,1)(01)(01,1)(11))(1)/(0)
11211335
()/
225425104
(;bpxz
pzyxpyxpzyxpyxpxpz
pxz
pzyxpyxpzyxpyxpxpz
IX==
======+=======
=+××=
==
======+=======
=+××=
22
22
22
22(00)(10)
0)(00)log(10)log
(0)(1)
6935
6935104104loglog
31104104
44
0.02698
341
()()loglog40.8113
434
()(0)(00)log(00)(0)(10)log(1pxzpxz
zpxzpxz
pxpx
cHX
HYXpxpyxpyxpxpyxpyx====
====+==
==
=+
=
=+=
======+=====比特比特
22
22220)
(1)(01)log(01)(1)(11)log(11)
3139101111
log10loglog2log2
41041094242
0.6017pxpyxpyxpxpyxpyx=====+=====
=×+×+×+×
=比特
2.8 在A、B两组人中进行民意测验，组A中的人有50%讲真话(T)，30%讲假话(F)，
20%拒绝回答(R)。而组B中有30%讲真话，50%讲假话和20%拒绝回答。设选A组进
行测验的概率为p，若以I(p)表示给定T、F或R条件下得到的有关消息来自组A或组
B的平均信息量，试求I(p)的最大值。
解:令{}{}RFTYBAX,,,,==，则
5 比特得令同理
03645.0)()(5.0,0
2.03.0)2.05.0(
log2.0)()2.05.0(log)2.05.0()2.03.0(log)2.03.0(5.0log5.03.0log3.0)5log)1(2.02log)1(5.0log)1(3.05log2.0log3.02log5.0(2.0log2.0)2.05.0(log)2.05.0()2.03.0(log)2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(
5.0max2'222222310
22310
22222
==∴==
+−
=−−−++−+=−+−+−+++−−−−−++−=−===−=+=−×+=+=
=ppIpIp
pp
pIppppppppppppppXYHYHYXIpIRPpFPpppBPBTPAPATPTP
2.9 随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一和第二颗骰子
抛掷的点数之和，以Z表示三颗骰子的点数之和。试求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)
和H(Z|X)。
解:令X=X1,Y=X1+X2,Z=X1+X2+X3,
H(X1)=H(X2)=H(X3)=6log
2 比特
H(X)= H(X1) =6log
2=2.585 比特
H(Y)= H(X2+X3) =
6log
61
)
536
log
365
436
log
364
336
log
363
236
log
362
36log
361
(2
222222+++++
= 3.2744比特
H(Z)= H(X1+X2+X3)
)
27216log
21627
25216log
21625
21216log
2162115216log
21615
10216log
21610
6216log
2166
3216log
2163216log
2161(2
22222222
++++++=
= 3.5993 比特
所以
H(Z/Y)= H(X3)= 2.585 比特
H(Z/X) = H(X2+X3)= 3.2744比特
H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特
H(Z/XY)=H(Z/Y)= 2.585比特
H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特
