信息论与编码理论习题答案
LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵
八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此
每个码字的信息量为 28log=23=6 bit
因此，信息速率为 61000=6000 bit/s
掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
)(ap=366=61
得到的信息量 =)(1logap=6log= bit
(2) 可能的唯一，为 {6，6}
)(bp=361
得到的信息量=)(1logbp=36log= bit
经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(ap=!521
信息量=)(1logap=!52log= bit
(b)
花色任选种点数任意排列13413!13
)(bp=1352134!13A=1352134C
信息量=1313524loglogC= bit
随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(YZH、)|(YXH、),|(YXZH、)|,(YZXH、)|(XZH。
解：令第一第二第三颗骰子的结果分别为321,,xxx，1x，2x，3x相互独立，则1xX，21xxY，321xxxZ
36
第一章
信息、消息、信号的定义？三者的关系？
通信系统的模型？各个主要功能模块及作用？
第二章
信源的分类？
自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、 噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？ 计算方法？
冗余度？
具有概率为p（x）的符号x自信息量：I（X）- -iogp（x）
条件自信息量：|（Xi = —log p（Xi yi）
平均自信息量、平均不确定度、信源熵： H（X）二-為p（x）log p（x）
i
H(XY)=送 p(Xi,yj)|(Xi yj) 一瓦
ij ij
联合熵： H(XY)=：Z p(Xi,yj)I(Xi,yj^Z p(Xi,yj)log p(Xi,yj)
ij ij
互信息： 弋 pyx)亍 pyx)
l(X;Y)=W p(Xi, y.)log =S p(Xi)p(y. Xi)log
j入儿 p(yj) j入儿入 p(yj)
熵的基本性质：非负性、对称性、确定性
2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求:
（1） “3和5同时出现”这事件的自信息；
（2） “两个1同时出现”这事件的自信息；
（3） 两个点数的各种组合（无序）对的熵和平均信息量；
（4） 两个点数之和（即2, 3, , , 12构成的子集）的熵；
（5） 两个点数中至少有一个是1的自信息量。
解: （1）
I (xj =-log p(xj 工「log 丄 4.170 bit 18
1 l(xj - - log p(xj - - log 5.170 bit条件熵: p(Xi,yj)logp(Xi yj)
p(Xi) 1111
6 6 6 6 1
18
1 p(x"6 1
36 (1 1 11、 H(X)=—E p(Xj )log p(xj = — 6汉 一log — +15 汉一log— 丨=4.337 bit/symbol i < 36 36 18 18 丿
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：
(1)“3和5同时出现”这事件的自信息量。
(2)“两个1同时出现”这事件的自信息量。
(3)两个点数的各种组合（无序对）的熵或平均信息量。
(4)两个点数之和（即2，3，…，12构成的子集）的熵。
(5)两个点数中至少有一个是1的自信息。
解：
(1)
bitxpxIxpiii 170.4181log)(log)(18161616161)(
(2)
bitxpxIxpiii 170.5361log)(log)(3616161)(
(3)
两个点数的排列如下：
11 12 13 14 15 16
21 22 23 24 25 26
31 32 33 34 35 36
41 42 43 44 45 46
51 52 53 54 55 56
61 62 63 64 65 66
共有21种组合：
其中11，22，33，44，55，66的概率是3616161
其他15个组合的概率是18161612
symbolbitxpxpXHiii/ 337.4181log18115361log3616)(log)()(
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： symbolbitxpxpXHXPXiii/ 274.3 61log61365log365291log912121log1212181log1812361log3612 )(log)()(36112181111211091936586173656915121418133612)((5)
bitxpxIxpiii 710.13611log)(log)(3611116161)(
第二章信息的度量
2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量
2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？
答：kkkxiqxiqXHilog1log1)(log)()(
2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(YZXIYXIYZXI
2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？
答：互信息量)()|(log);(xiqyjxiQyxI，若互信息量取负值，即Q(xi|yj)
知的是xi出现的可能性更小了。从通信角度看，视xi为发送符号，yi为接收符号，Q(xi|yj)
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：
由图示可知：
43)|(41)|(32)|(31)|(41)|(43)|(
222111110201
sxpsxpsxpsxpsxpsxp
即：
43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(
222120121110020100
sspsspsspsspsspsspsspsspssp
可得：
1)()()()(43)(31)()(31)(41)()(41)(43)(
210212101200
spspspspspspspspspspspsp
得：
114)(113)(114)(
210
spspsp
)]|(log)|()|(log)|()[()]|(log)|()|(log)|()[()]|(log)|()|(log)|()[(
