信息论习题答案Word版
- 格式：doc
- 大小：304.50 KB
- 文档页数：7
下载文档原格式
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1．设信源⎭⎬
⎫⎩⎨⎧=⎥⎦⎤⎢⎣
⎡4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y 1, y 2 }，信道转移矩阵为⎥
⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165，求：
(1) 信源X 中事件x 1和事件x 2分别包含的自信息量；
(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。
解： 1)
bit x p x I bit
x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-=
2)
bit
y p x y p y x I bit
y p x y p y x I bit
y p x y p y x I bit
y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04
.04
/3log )()/(log );( 263.16.04
/1log )()/(log );( 263.14.06
/1log )()/(log );( 474.06.06
/5log )()/(log );(4
.04
3
4.0616.0)/()()/()()(6
.041
4.0656.0)/()()/()()(22222
2221212122212221211121122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=
3)
symbol
bit y p y p Y H symbol bit x p x p X H j
j j i
i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑
4)
symbol
bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol
bit x y p x y p x p X Y H i
j
i j i j i / 715.0971.0715.0971.0 )()/()()/()
/()()/()(/ 715.0 10
log )4
3
log 434.041log 414.061log 616.065log 656.0( )
/(log )/()()/(2=-+=-+=∴+=+=⨯⨯+⨯+⨯+⨯-=-=∑∑
5)
symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=
2．设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢
⎢⎢⎣⎡32313132
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解： 1)
symbol
bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol
bit x y p x y p x p X Y H symbol
bit x p X H j
j i
j
i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()
/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167
.03
2
413143)/()()/()()()()(5833.031
413243)/()()/()()()()(/ 918.0 10
log )3
2
lg 324131lg 314131lg 314332lg 3243( )
/(log )/()()/(/ 811.0)41
log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=
+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑
2)
21
)(/ 082.010log )3
2
lg 3231lg 31(2log log );(max 222=
=⨯++=-==i mi x p symbol
bit H m Y X I C
3．黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵H(X)；
(2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H 2(X);
解： (1)
symbol bit x p x p X H i
i i / 881.0)7.0log 7.03.0log 3.0()(log )()(=+-=-=∑
(2)