2.3 一副充分洗乱的牌（含52张），试问：
（1）任一特定排列所给出的不确定性是多少？
（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为
526752528.06610P =!≈?
因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A 为任一特定排列，则其发
生概率为
()681
1.241052P A -=≈?!
可得，该排列发生所给出的信息量为
()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit
（2）设事件B 为从中抽取13张牌，所给出的点数互不相同。
扑克牌52张中抽取13张，不考虑排列顺序，共有13
52C 种可能的组合。13张牌点数
互不相同意味着点数包括A ，2，…，K ，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为13
4。因为每种组合都是等概率发生的，所以
()131341352441339 1.05681052P B C -?!!
==≈?!
则发生事件B 所得到的信息量为
()()13
21352
4log log 13.208I B P B C =-=-≈ bit
3.976≈ dit
2.5 设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：
(1) 红色球和白色球各50只； (2) 红色球99只，白色球1只； (3) 红，黄，蓝，白色各25只。
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令
R ——“取到的是红球”，W ——“取到的是白球”， Y ——“取到的是黄球”，B ——“取到的是蓝球”。 （1）若布袋中有红色球和白色球各50只，即
()()501
1002P R P W ==
= 则 ()()221
log log 212
I R I W ==-== bit
（2）若布袋中红色球99只，白色球1只，即
()99
0.99100
P R =
= ()10.01100P W ==
则 ()()22log log 0.990.0145I R P R =-=-= bit ()()22log log 0.01 6.644I W P W =-=-= bit
（3）若布袋中有红，黄，蓝，白色各25只，即
()()()()2511004
P R P Y P B P W ====
= 则 ()()()()21
log 24
I R I Y I B I W ====-= bit
2.7 设信源为
1
234560.20.190.180.170.160.17X X x x x x x x P ????=?????
???
求()()62
log i
i
i
P x P x -
∑，井解释为什么()()622
log log
6i i i
P x P x ->∑，不满足信源熵的
极值性。
解： ()()6
2
log i
i
i
P x P x -
∑
()2222220.2log 0.20.19log 0.190.18log 0.180.17log 0.170.16log 0.160.17log 0.17=-+++++
2.657= bit/symbol
()()6
22log log 6 2.585i i i P x P x ->=∑
不满足极值性的原因是
()6
1.071i
i
P x =>∑，不满足概率的完备性。
2.8 大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位
男同志是否为红绿色盲，他回答“是”或“否”。
（1）这二个回答中各含多少信息量? （2）平均每个回答中含有多少信息量?
（3）如果你问一位女同志，则答案中含有的平均信息量是多少?
解：对于男性，是红绿色盲的概率记作()17%P a =，不是红绿色盲的概率记作
()293%P a =，这两种情况各含的信息量为
()()1212100
log 1log 3.837
I a P a ===???? bit ()()2222100
log 1log 0.10593
I a P a ===???? bit 平均每个回答中含有的信息量为
()()()1122()()H A P a I a P a I a =+
793
3.830.105100100
=
?+? 0.366= bit/回答
对于女性，是红绿色盲的概率记作()10.5%P b =，不是红绿色盲的记作
()299.5%P b =，则平均每个回答中含有的信息量为
()()()1122()()H B P b I b P b I b =+
22
510009951000
log log 100051000995
=
?+? 0.045= bit/回答 ()()H A H B >
联合熵和条件熵
2.9 任意三个离散随机变量X 、Y 和Z ，求证：
()()()()H XYZ H XY H XZ H X -≤-。
证明：
方法一：要证明不等式()()()()X H X Z H Y X H Y X H -≤-,,Z ,,成立，等
价证明下式成立：
()()()()0,,,,≤+--X H Z X H Y X H Z Y X H 根据熵函数的定义
()()()()
()()()()
()()()()
()()()()()
()()()()()(),,,,log logp log log log
log 1(z i j k i j k i j k i j X
Y
Z
X
Y
Z
i j k i k i j k i X
Y
Z
X
Y
Z
i j k i i j k X
Y
Z
i j i k i j i k i j k X Y Z i j k i H X Y Z H X Y H X Z H X p x y z p x y z p x y z x y p x y z p x z p x y z p x p x y z p x p x y z p x y p x z p x y p x z e p x y z p x y p x --+=-++-=-??
≤?-??????
∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑信息论不()()()()()()()()()()()()()()()()()()()
)
log log |log 110,,Z ,,i j i k i j k X Y Z X Y Z i j i i k i j k X Y Z X Y Z i j i k i i j k p x y p x z e p x y z p x e p y x p x z p x y z e H X Y H X Y H X Z H X p x y p x z p x p x y z ??=?-??
????
??
=?-??
??
=?-=-≤-=∑∑∑∑∑∑∑∑∑∑∑∑等式所以
等号成立的条件为
得证
方法二：因为
()()(|)H XYZ H XY H Z XY =+
()()(|)H XZ H X H Z X =+
所以，求证不等式等价于
(|)(|)H Z XY H Z X ≤
因为条件多的熵不大于条件少的熵，上式成立，原式得证。
2.11 设随机变量12{,}{0,1}X x x ==和12{,}{0,1}Y y y ==的联合概率空间为
11122122(,)(,)(,)(,)183381XY XY x y x y x y x y P ????=?????
???
定义一个新随机变量Z X Y =?（普通乘积）。
（1）计算熵()H X 、()H Y 、()H Z 、()H XZ 、()H YZ 以及()H XYZ ；
（2）计算条件熵(|)H X Y 、(|)H Y X 、(|)H X Z 、(|)H Z X 、(|)H Y Z 、(|)H Z Y 、(|)H X YZ 、(|)H Y XZ 以及(|)H Z XY ；
（3）计算互信息量(;)I X Y 、(;)I X Z 、(;)I Y Z 、(;|)I X Y Z 、(;|)I Y Z X 以及(;|)I X Z Y ；
解 （1）()()()131
00,00,1882
p x p x y p x y ====+===+=
()()1
1102
p x p x ==-==
()()()log 1i i i
H X P x P x =-=∑ bit/symbol
()()()13100,01,0882
p y p x y p x y ====+===+= ()()11102
p y p y ==-==
()()()log 1j j j
H Y p y p y =-=∑ bit/symbol
1337
(0)(00)(01)(10)8888
P z P xy P xy P xy ===+=+==++=
71
(1)1(0)188
P z P z ==-==-=
可得Z XY =的概率空间如下
07()8
z Z P Z =????
=?????
? 118z =?
??? 2
7
711()()log log )0.544/8888k K
H Z p bit symbol z ??=-=-+= ???∑
由()()()p xz p x p z x =得
11
(0,0)(0)(00)122
p x z p x p z x =======?=
1
(0,1)(0)(10)00
2
3
(1,0)(1)(01)(1)(01)(1,0)81
(1,1)(1)(11)(1)(11)(1,1)8p x z p x p z x p x z p x p z x p x p y x p x y p x z p x p z x p x p y x p x y =======?=============================
1
13311()()log log log 1.406/228888i k i k
H XZ p x z bit symbol ??=-=-++= ???∑∑
由对称性可得
() 1.406/H YZ bt symbol ==
()()(),()1p xyz p xy p z xy p z xy =由又或者等于，或者等于0.
1
(0,0,0)(0,0)(00,0)(0,0)18
p x y z p x y p z x y p x y ============?=
1
(0,0,1)(0,0)(10,0)00
83(0,1,0)(0,1)(00,1)(0,1)18
3
(0,1,1)(0,1)(10,1)00
8
3(1,0,0)(1,0)(01,0)(1,0)18
(p x y z p x y p z x y p x y z p x y p z x y p x y p x y z p x y p z x y p x y z p x y p z x y p x y p ==========?=============?===========?=============?=3
1,0,1)(1,0)(11,0)00
81
(1,1,0)(1,1)(01,1)00
81(1,1,1)(1,1)(11,1)(1,1)18
x y z p x y p z x y p x y z p x y p z x y p x y z p x y p z x y p x y ==========?===========?=============?= 2()()log ()
1
1333311log log log log 1.811/8
8888888i j k i j k i
j
k
H XYZ p x y z p x y z bit symbol
∴=-=??=-+++= ???∑∑∑
（2） H ()=XY -symbol bit /811.181log 8183log 8383log 8381log
81=??
?
??+++ H ()Y X /=H ()XY -H () 1.81110.811/Y bit symbol =-= 根据对称性，
H ()X Y /=H ()|X Y 0.811/bit symbol =
H ()Z X /=H ()XZ -H ()symol bit Z /862.0544.0406.1=-= H ()X Z /=H ()XZ -H ()symol bit X /406.01406.1=-= 根据对称性，
H ()Z Y /=H ()Z X /0.862/bit symbol = H ()Y Z /=H ()X Z /0.406/bit symol =
H ()YZ X /=H ()XYZ -H ()symol bit YZ /405.0406.1811.1=-= 根据对称性，把X 和Y 互换得
H ()XZ Y /=H ()YZ X /0.405/bit symbol =
H ()XY Z /=H ()XYZ -H ()symol bit XY /0811.1811.1=-=
(3)
()()();/10.8110.189/I X Y H X H X Y bit symbol =-=-= ()()();/10.8620.138/I X Z H X H X Z bit symbol =-=-=
根据对称性，得
()();;0.138/I Y Z I X Z bit symbol ==
()()();///0.8620.4050.457/I X Y Z H X Z H X YZ bit symbol =-=-= ()()();///0.8110.4050.406/I Y Z X H Y X H Y XZ bit symbol =-=-=
根据对称性得
()();/;/0.406/I X Z Y I Y Z X bit symbol ==
2.17 设信源发出二次扩展消息i i
x y ,其中第一个符号为A 、B 、C 三种消息，第二个符号为D 、E 、F 、G 四种消息，概率
()i p x 和
()
i i p y x 如下：
求二次扩展信源的联合熵(,)H X Y 。
解：联合概率为
(,)(|)()
i j j i i p x y p y x p x = 可得X,Y
所以
(,)()log () 3.415/i i i i XY
H X Y p x y p x y =-=∑比特扩展消息
2.19 设某离散平稳信源X ，概率空间为
01211364914X P ????=???? ????
并设信源发出的符号只与前一个相邻符号有关，其联合概率为
(,)
i j p a a 如下表所示：
解：边缘分布为
3
1
()()
i i j j p a p a a ==∑
条件概率
()()()
j i j i i p a a p a a p a =如下表：
所以信源熵为
3
1
1141
()()log ()(
,,) 1.542/3694i i i H X p a p a H bit symbol ==-==∑
条件熵：
3
3
2111121()()log ()
()()
0.87i j j i i j bit sym H X X p a a p a a H X H X X ol
====+=∑∑
可知
21()()
H X X H X <
因为无条件熵不小于条件熵，也可以得出如上结论。 联合熵：
33
1211
121(,)()log ()
()()
2.41i j i j i j bit H X X p a a p a a H X H X X ===-=+=∑∑二个符号
说明：
（1）符号之间的相互依赖性造成了信源的条件熵21()
H X X 比信源熵)H
X （少。 （2）联合熵
12(,)
H X X 表示平均每两个信源符号所携带的信息量。平均每一个信源符号所
携带的信息量近似为
2
121
=(,) 1.205()2bit H X H X X H X =<符号（）
原因在于
2H X （）
考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符
号相关性的不确定度。
2.20 黑白气象传真图的消息只有黑色（B ）和白色（W ）两种，即信源{}X =B ，W ，设黑色出现的概率为()0.3P =B ，白色的出现概率为()0.7P =W 。
（1）假设图上黑白消息出现前后没有关联，求熵)(X H
（2）假设图上黑白消息出现前后有关联，其依赖关系为(|)0.9P =W W ，(|)0.1P =B W ，(|)0.2P =W B ，(|)0.8P =B B ，求此一阶马尔可夫信源的熵)(2X H 。
（3）分别求上述两种信源的剩余度，并比较)(X H 和)(2X H 的大小，试说明其物理意义。
解：（1）假设传真图上黑白消息没有关联，则等效于一个DMS ，则信源概率空间为
()1()..x
X p x P x ????= =????????∑B
W 0307
信源熵为
2
1
()()log ()
(0.3,0.7)
0.7log 0.70.3log 0.30.881i j i symbol
H X p a p a H ==-==--≈∑bit
（2）该一阶马尔可夫信源的状态空间集为
{},S W B =
根据题意可得状态的一步转移矩阵
0.90.10.20.8W B
W B
??????
状态极限概率(),()p W p B 满足
1)( ,)|()()(==
∑∑∈∈S
S i S
S j i j
j i j S p S S P S
p S p
即
()(|)()(|)()0.9()0.2()()(|)()(|)()0.1()0.8()()()1
p W p W W p W p W B p B p W p B p B p B W p W p B B p B p W p B p W p B =+=+=+=++= 可以解得
2()3p W =
，1()3
p B = 该一阶马尔可夫信源的熵为
2()(|)j
j j S H p S H X S =∑
[][](-0.2log0.20.8log0.8(-0.9log0.90.1log0.1p p =-+-B ）W ）
12
(0.2,0.8)(0.9,0.1)33H H =+ 12
0.7720.4690.55333
≈?+?≈ bit/symbol （3）黑白消息信源的剩余度为
1()0.881
=110.119log 2log 2H X γ-
≈-≈ 一阶马尔可夫信源的剩余度为
220.553
110.447log 2log 2
H γ=-
≈-≈ 由前两小题中计算的()H X 和2H 比较可知
212)H X H γγ> <（即
该结果说明：当信源的消息（符号）之间有依赖时，信源输出消息的不确定性降低。所以，
信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵反映了信源的平均不确定性的大小。而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大，信源消息之间依赖关系就越大。
2.23 设信源为
[
][
]
4
341=21x x P X X
试求：
（1）信源的熵、信息含量效率以及冗余度； （2）求二次和三次扩展信源的概率空间和熵。 解：（1）
134
()log 4log 0.811/443
H X bit =+=符号
0.811
81.1%log 2
η=
= 10.189γη==
（2）假设X 为DMS ，则
1212()()()P x x P x P x = 123123()()()()P x x x P x P x P x =
可得二次扩展信源的概率空间
[]
2211212122
339116161616
X x x x x x x x x X P ??
=??????
2次扩展信源的熵为
2()2() 1.622/H X H X bit ==2元符号
三次扩展信源的概率空间及熵为
[]
33111112121
122
2112122212223393992716464646464646464
X x x x x x x x x x x x x x x x x x x x x x x x x X P ??
=??????
3()3() 2.433/3H X H X bit ==元符号
2.18 设有一个信源，它产生0，1符号的信息。它在任意时间而且不论以前发生过什么符号，均按 (0)0.4,(1)0.6p p ==的概率发出符号。
（1）试问这个信源是否是平稳的？
（2）试计算2
()H X ,312()H X X X 及H ∞；
（3）试计算4()H X 并写出4
X 信源中可能有的所有符号。
解：
（1） 该信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间起
点无关，因此这个信源是平稳信源。又因为信源发出的符号之间彼此独立。所以该信源也是离散无记忆信源。
（2）
2()2()2H(0.4,0.6)
2(0.4log0.40.6log0.6) 1.942H X H X bit symbol
==?=-?+=