信息论、编码与密码学课后复习题答案
- 格式:doc
- 大小:1.87 MB
- 文档页数:48
《信息论、编码与密码学》课后习题答案
第1章 信源编码
1.1
考虑一个信源概率为{0.30,0.25,0.20,0.15,0.10}的DMS 。求信源熵H (X )。
解: 信源熵 ∑=-=5
1
2)(log )
(k k k p p X H
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)
故得其信源熵H(X)为2.228bit
1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解: 若二元离散信源的统计特性为
P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值,由dH(X)/d(P)=0可得
2
11
10
1log =
=-=-p p
p
p p
可知当概率P=Q=1/2时,有信源熵)(1)(max bit X H =
对于三元离散信源,当概率
3
/1321===P P P 时,信源熵
)(585.1)(m ax bit X H =,
此结论可以推广到N 元的离散信源。
1.3 证明不等式ln 1x x ≤-。画出曲线1ln y x =和21y x =-的平面图以表明上述不
等式的正确性。 证明:
max ()ln 1(0)
1
()()01001()0()0ln 1
1ln 1ln 1f x x x x f x x
f x x x x f x f x f x x x x x x x =-+>'=
''==>∴<≤>≤=≤-≥≤-≤-令,又有时此时也即当时同理可得此时综上可得证毕
绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4 证明(;)0I X Y ≥。在什么条件下等号成立?
11
11
(,)(,)
(,)(,)log
()()
n m
i j i j i j n m
i j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑(X ;Y )=当和相互独立时等号成立。
1.5 有一个信源X ,它有无穷多个可能的输出,它们出现的概率为P (Xi )=2i-1,i=1,2,3,….,这个信源的平均自信息H (X )是什么?
解:因为 P (Xi )=2i-1,i=1,2,3,…
所以 H (X )= -1()log ()n
i i i p x p x =∑
=-log2(2+2.22+3.23+…..+n.2n )
=2-(1-n )2n+1
1.6 考虑另一个几何分布的随机变量X ,满足P (Xi )=P (1-P )i-1
i=1,2,3,…..,
这个信源的 平均自信息H (X )是什么? 解:因为 P (Xi )= P (1-P )i-1,i=1,2,3, 所以H (X )= -1()log ()n
i i i p x p x =∑
=-logp(1-p)[p(1-p)+2p(1-p)2+3p(1-p)3+…….+np(1-p)n ]
=(1-n)(1-p)n+1
-2
(1)p p
- 1.7 考虑一个只取整数值的随机变量X ,满足()n
An n X P 2log 1
=
=,其中
∑
∞
==22
log 1
n n
n A ,∞=,...,3,2n 。求熵()X H 。
解:为了方便计算,设n n B 2
log =,则∑
∞
==2
1n B A ,()AB n X P 1==; 根据公式计算自信息量为:()()()AB X P X I log 1log =⎪⎪⎭
⎫
⎝⎛=;
则熵为:()()()()()∑∑∑∑∑∑∞
=∞=∞
=∞
=∞=∞=⋅⎪⎭⎫ ⎝⎛⋅====2
2222211log log log 1n n n n n n B
B B B AB AB AB AB X I X P X H =?
1.8 计算概率分布函数为
()()⎩
⎨⎧≤≤=-否则001a x a x p
的均匀分布随机变量X 的微分熵()X H 。画出()X H 相对于参数()101.0< 解:根据公式(1-21)可知,微分熵为:()()()⎰+∞ ∞--=dx x p x p X H log 当a x ≤≤0时,()1-=a x p ,则 ()[]a a a a x a a dx a a X H a a log log log 1log 00 11=⋅=⋅⋅= -=⎰-- 当0 根据得到的结果可以画出相应的平面图,由图可以看到随着a 的增加,即()x p 的减小,微分熵()X H 相应的增加。 1.9考虑一个信源的概率为{}05.0,15.0,20.0,25.0,35.0的DMS 。 (1)给出此信源的霍夫曼码。 (2)计算出这些码子的平均码长R 。 (3)这个码的效率η是多少? 解:1)依题意,由霍夫曼编码的规则,得: X H