一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，
()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下
状态转移矩阵为：
1/21/2
01/302/31/32/30p ?? ?= ? ???
设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3
由1231WP W W W W =??++=?得1231132231231
112331223
231W W W W W W W W W W W W ?++=???+=???=???++=?
计算可得1231025925625W W W ?=???
=??
?=??
由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =，
(1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态
的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==
(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
于是可以列出转移概率矩阵：0.80.20
0000.50.50.50.5000
00.20.8p ?? ?
?= ? ?
?? 状态图为：
设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有
41
1i i WP W W ==???=??∑ 得 131
132
24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=??+=??+=??+=?+++=?? 计算得到123451417175
14W W W W ?
=??
?=???=???=
?
设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====????
=
? ?????
（1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：12
2118
()log log 1.415()3
I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为
87.81
1.9545
=bit/符号
有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
（1）如果仅对颜色感兴趣，则计算平均不确定度
（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵
解：令X 表示指针指向某一数字，则X={1,2, (38)
Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = （1）3
1
12381838
()()log
log 2log 1.24()3823818
j j j H Y p y p y ==
=+?=∑bit/符号 （2）2(,)()log 38 5.25H X Y H X ===bit/符号
（3）(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为
1112
132122233132337/241/2401/241/41/2401/247/24r r r r r r r
r r ????
? ?= ? ? ? ?????
（1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少
（2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少
（3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少 解：联合概率(,)i j p x y 为
2
2221(,)(,)log (,)
72411
2log 4log 24log 4247244
i j i j ij
H X Y p x y p x y ==?
+?+∑ =符号
X 概率分布 21
()3log 3 1.583
H Y =?=bit/符号
(|)(,)() 2.3 1.58
H X Y H X Y H Y =-=- Y 概率分布是 =符号
黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝，白色出现的概率p(白)＝。
（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图
（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝，P(黑|白)＝，P(白|黑)＝，P(黑|黑)＝，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。 （3）比较两种信源熵的大小，并说明原因。 解：（1）221010
()0.3log 0.7log 0.881337
H X =+=bit/符号 P(黑|白)=P(黑)
P(白|白)＝P(白)
P(黑|黑)＝P(黑)
P(白|黑)＝P(白)
（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝不随时间变化，P(黑)＝不随时 间变化）
212
222
2
1()(|)(,)log (,)
111
0.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.2
10.80.3log 0.8
i j i j ij
H X H X X p x y p x y ∞===?+?+?+?∑ ＝符号
给定语音信号样值X 的概率密度为1()2
x
p x e λλ-=,x -∞<<+∞,求H c (X)，并证明它小于同样方差的正态变量的连续熵。 解：
201()()log ()()log 21
()log ()()log 211log log ()2211
1log log ()log
()222
11
log 2log 22x
c x x x x x x
x x
H X p x p x dx p x e dx
p x dx p x x edx
e e x dx
e e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞
--∞-∞+∞
+∞
-∞-∞+∞
--∞
+∞
--∞+∞-=-=-=---=-+=-+?-+=-+???????
?0
1log log (1)212log log log
2x x dx
e x e e e λλλλλλ
+∞
-??=--+??=-+=
2
2
()0,()E X D X λ==
,221214()log 2log ()22e H X e H X ππλλ=
==>=
有一个一阶平稳马尔可夫链1,2,,,
r X X X ,各X r 取值于集合{}1,2,3A a a a =,已知起始
概率P(X r )为1231/2,1/4p p p ===，转移概率如下图所示
(1) 求123(,,)X X X 的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵
(3) 求012,,H H H 和它们说对应的冗余度 解：（1）
12312132,112132(,,)()(|)(|)
()(|)(|)
H X X X H X H X X H X X X H X H X X H X X =++=++
1111111
()log log log 1.5/224444
H X bit =---=符号
X 1，X 2的联合概率分布为
212()()j i j i
p x p x x =∑
X 2的概率分布为
那么
2111
(|)log 4lo
48
H X X =+=符号
X 2X 3的联合概率分布为
那么
32771535535
(|)log 2log 4log 4log log3log log3244883627236272
H X X =
++++++ =符号
123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号
所以平均符号熵3123 3.969
(,,) 1.3233
H X X X bit =
=／符号 （2）设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为11
12442
103321033
P ?? ? ?
?= ? ? ? ???
由1i WP W W =???=??∑ 得到 123132123122123311431W W W W W W W W W ?++=???+=??++=???计算得到12347314314W W W ?=??
?=??
?=??
又满足不可约性和非周期性
3
1
4111321
()(|)(,,)2(,,0) 1.2572441433
i i i H X W H X W H H bit ∞===
+?=∑/符号 (3)0log3 1.58H bit ==/符号 1 1.5H bit =/符号 2 1.5 1.209
1.3552
H bit +=
=/符号 00 1.25110.211.58γη=-=-=11 1.25110.6171.5γη=-=-= 22 1.25
110.0781.355
γη=-=-=
一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为（0，1，2）。
（1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H ∞进行比较