【2.1】设有12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？
解：从信息论的角度看，
“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1 ；
12
“假币的重量比真的轻，或重”该事件发生的概率为P 1 ；
2
为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有
I log12 log 2 log 24 比特
而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天
3
平每一次消除的不确定性为I log 3 比特
因此，必须称的次数为
I
1
log 24
I 2 log 3
2.9 次
因此，至少需称3 次。
【延伸】如何测量？分3 堆，每堆4 枚，经过3 次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和4”时，试问这三种情况分别获得多少信息量？解：
“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，
因此该种情况发生的概率为P 1 1
6 61 ，该事件的信息量为：36
I log 36 5.17 比特
“两骰子总点数之和为8”共有如下可能：2 和6、3 和5、4 和4、5 和3、6 和2，概
率为P 1 1 5
6 6 5 ，因此该事件的信息量为：
36
I log
36
5
2.85 比特
“两骰子面朝上点数是3 和4”的可能性有两种：3 和4、4 和3，概率为P 因此该事件的信息量为：1 1
2
1 ，6 6 18
I log18 4.17 比特
【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？
解：
如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为
P 1 ，因此此时从答案中获得的信息量为
7
I log 7 2.807 比特
而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
【2.4】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6 米以上的，而女孩中身高1.6 米以上的占总数一半。假如我们得知“身高1.6 米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设A 表示女孩是大学生，P( A) 0.25 ；
B 表示女孩身高1.6 米以上，P( B| A) 0.75 ，P( B) 0.5
“身高1.6 米以上的某女孩是大学生”的发生概率为
P( A | B)P( AB) P( A) P(B | A) 0.25 0.75
0.375 P( B) P( B) 0.5
已知该事件所能获得的信息量为
I log 1
0.375
1.415 比特
X
【2.5 】设离散无记忆信源a1 0 a2 1 a3 2 a43，其发出的消息为
P( x) 3 / 8 1/ 4 1 / 4 1/ 8 （202120130213001203210110321010021032011223210），求
（1）此消息的自信息是多少？
（2）在此消息中平均每个符号携带的信息量是多少？
解：
信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：
I (a
I (a
1
I (a
2
I (a
30) log
8
3
1) log 4
2) log 4
3) log 8
1.415 比特
2 比特
2 比特
3 比特
在发出的消息中，共有14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”符号，则得到消息的自信息为：
I 14 1.415 13 2 12 2 6 3 87.81 比特
45 个符号共携带87.81 比特的信息量，平均每个符号携带的信息量为
I 87.81
45
1.95 比特/符号
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得
H ( X ) P( x) log P( x) 1.91比特/符号
【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B ，分别以等概率落入任一方格内， 且它们的坐标分别为（X A ,Y A ）和（X B ,Y B ），但 A 和 B 不能落入同一方格内。 （1） 若仅有质点 A ，求 A 落入任一个格的平均自信息量是多少？
（2） 若已知 A 已落入，求 B 落入的平均自信息量。
（3） 若 A 、B 是可分辨的，求 A 、B 同都落入的平均自信息量。 解：
（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一
格的概率空间为：
X a 1 a 2 a 3 L a 48
1 P
48 1 1 L 1
48 48 48
平均自信息量为
H ( A ) log 48 5.58 比特/符号
（2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A ) 。
1
A 已落入，
B 落入的格可能有 47 个，条件概率 P (b j | a i ) 均为 47
。平均自信息量为
H ( B | A )
48 47
i 1 j 1
P (a i )P (b j | a i ) log P (b j | a i )
log 47
5.55 比特/符号
（3）质点 A 和 B 同时落入的平均自信息量为
H ( AB ) H ( A ) H (B | A ) 11.13 比特/符号
【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果
你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这 两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志， 则答案中含有的平均自信息量是多少？ 解：
男同志红绿色盲的概率空间为：
X a
1 a 2
P 0.070.93问男同志回答“是”所获昨的信息量为：
I log 1
0.07
3.836 比特/符号问男同志回答“否”所获得的信息量为：
I log 1
0.93
0.105 比特/符号
男同志平均每个回答中含有的信息量为
H ( X ) P( x) log P( x) 0.366 比特/符号同样，女同志红绿色盲的概率空间为
Y b
1 b 2
P 0.0050.995问女同志回答“是”所获昨的信息量为：
I log 1
0.005
7.64 比特/符号问女同志回答“否”所获昨的信息量为：
I log 1
0.995
7.23 10 3 比特/符号
女同志平均每个回答中含有的信息量为
H (Y ) P( x) log P( x) 0.045 比特/符号
【2.8】设信源X
P( x)a
1
0.2
a
2
0.19
a
3
0.18
a
4
0.17
a
5
0.16
a
6
0.17
，求此信源的熵，并解释为什
么H ( X ) log 6 ，不满足信源熵的极值性。
解：
H ( X )P( x) log P( x) 2.65log 6
原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。
【2.9 】设离散无记忆信源S 其符号集A{a
1 , a
2
,..., a
q
} ，知其相应的概率分别为
(P
1 , P
2
,..., P
q
) 。设另一离散无记忆信源S ，其符号集为S 信源符号集的两倍，
A {a
i
, i1,2,...,2q} ，并且各符号的概率分布满足
P i (1e) P
i
i 1,2,..., q
P i e P
i
i q 1, q2, (2)
试写出信源S 的信息熵与信源S 的信息熵的关系。解：
H (S )P( x) log P( x)
(1 e) P
i log(1e)P
i
eP
i
log eP
i
(1 e) P
i log(1 e)(1 e) P
i
log P
i
e P
i
log e e P
i
log P
i
(1 e) log(1 e) e log e H (S )
H (S )H (e,1 e)
【2.10】设有一概率空间，其概率分布为{p
1 , p
2
,..., p
q
} ，并有p
1
p
2
。若取p
1
p
1
e ，
p 2 p
2
e ，其中0 2e p
1
p
2
，而其他概率值不变。试证明由此所得新的概率空间的
熵是增加的，并用熵的物理意义加以解释。解：
设新的信源为X ，新信源的熵为：
H ( X ) p
i log p
i
( p
1
e) log( p
1
e) ( p
2
e) log( p
2
e) L p
q
log p
q
原信源的熵
H ( X ) p
i log p
i
p
1
log p
1
p
2
log p
2
L p
q
log p
q
因此有，
H ( X ) H ( X) ( p
1e) log( p
1
e) ( p
2
e) log( p
2
e)p
1
log p
1
p
2
log p
2
令f ( x) ( p
1x) log( p
1
x) ( p
2
x) log( p
2
x) ，x0, p1 p2 ，则
2
f ( x) log
p
2
x
p
1
x
L 1
2
即函数 f ( x ) 为减函数，因此有 f (0) f (e ) ，即
( p 1 e ) log( p 1 e ) ( p 2 e ) log( p 2 e )
p 1 log p 1 p 2 log p 2
因此 H ( X ) H ( X ) 成立。
【解释】
当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
L
【2.11】试证明：若
p i i 1
m
1，
q j
p L ，则
j 1
H ( p , p
,K, p
, q , q
,K , q )
H ( p , p
,K, p
, p ) p H ( q 1 , q 2 ,K, q m ) 1 2 L 1 1 2 m 1 2 L 1 L
p L p L p L
并说明等式的物理意义。
解：
H ( p 1 , p 2 ,K, p L 1 , q 1 , q 2 ,K , q m )
p 1 log p 1 p 1 log p 1 q 1 log q 1 p 2 log p 2 p 2 log p 2 q 2 log q 2 K p L 1 log p L 1 K p L 1 log p L 1 K q m log q m
q 1 log q 1 p L log p L q 2 log q 2 K p L log p L
q m log q m
p 1 log p 1 q 1 log q 1 p 1 log p 1 p 2 log p 2 q 2 log q 2 p 2 log p 2 K p L 1 log p L 1 K q m log q m K p L 1 log p L 1 p L log p L
p L log p L
(q 1 q 2 q 3 L q m ) log p L q log q 1
p L
q log q 2 p L
K q m log q m p L
p 1 log p 1 p 2 log p 2 K p L 1 log p L 1 p L log p L p L (
q 1 log q 1 q 2 log q 2 K q m log q
m ) p L p L
p L p L p L p L
H ( p 1 , p 2
,K, p L 1
, p L )
p L H m
( q 1 , q 2 ,K, q m ) p L p L p L
【意义】
将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的 概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。 【2.12】（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 5×105 个
像素和 10 个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送 30
帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 30 个不同的色
彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大 2.5 倍。 解：
每个像素的电平取自 10 个不同的电平，每一个像素形成的概率空间为：
X a 1 a 2 L a 10
1 P
10 1 L 1
10 10
这样，平均每个像素携带的信息量为：
H ( X ) log10 3.32 比特/像素
现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：
H ( X N ) NH ( X ) 5 105 log10 1.66 106 比特/帧
按每秒传输 30 帧计算，每秒需要传输的比特数，即信息传输率为：
30 H ( X N ) 4.98 107 比特/秒
除满足黑白电视系统的要求外，还需 30 个不同的色彩度，不妨设每个色彩度等概率出
现，则其概率空间为：
Y b 1 b 2 L b 30 1 P
30 1 L 1
30 30
其熵为 log 30 比特/符号，由于电平与色彩是互相独立的，因此有
H ( XY ) H ( X ) H (Y ) log 300
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
H ( XY ) H ( X )
log 300 log10
2.5
【2.13】每帧电视图像可以认为是由 3×105 个像素组成，所以像素均是独立变化，且每一
像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述此电视图像，试问广播员描 述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当 地描述此图像，广播员在口述中至少需用多少汉字？ 解：
每个像素的电平亮度形成了一个概率空间，如下：
X a 1 a 2 L a 128
1 P
128 1
128 L
1 128
平均每个像素携带的信息量为：
H ( X ) log128 7 比特/像素
每帧图像由 3×105 个像素组成，且像素间是独立的，因此每帧图像含有的信息量为：
H ( X N ) NH ( X ) 2.1 106 比特/帧
如果用汉字来描述此图像，平均每个汉字携带的信息量为 H (Y ) log10000 13.29 比特
/汉字，选择 1000 字来描述，携带的信息量为
H (Y N ) NH (Y ) 1.329 104 比特
如果要恰当的描述此图像，即信息不丢失，在上述假设不变的前提下，需要的汉字个
数为：
H ( X N ) 2.1106
1.58 105 字
H (Y ) 13.29
【2.14】为了传输一个由字母 A 、B 、C 和 D 组成的符号集，把每个字母编码成两个二元 码脉冲序列，以 00 代表 A ，01 代表 B ，10 代表 C ，11 代表 D 。每个二元码脉冲宽度为 5ms 。
（1） 不同字母等概率出现时，计算传输的平均信息速率？
（2）若每个字母出现的概率分别为p
A 平均速率？
解：1 ，p
5 B
1 ，p
4 C
1 ，p
4 D
3 ，试计算传输的
10
假设不同字母等概率出现时，平均每个符号携带的信息量为
H ( X ) log 4 2 比特
每个二元码宽度为5ms，每个字母需要2 个二元码，则其传输时间为10ms，每秒传送n 100 个，因此信息传输速率为：
R nH ( X ) 100 2 200 比特/秒
当不同字母概率不同时，平均传输每个字母携带的信息量为
H ( X )1
log 5
1
log 4
1
log 4
3
log
10
1.985 比特/符号5 4
此时传输的平均信息速度为
4 10 3
R nH ( X ) 1.985 102 比特/秒
【2.15】证明离散平稳信源有H ( X
3 | X
1
X
2
)H ( X
2
| X
1
) ，试说明等式成立的条件。
解：
H ( X
3 | X
1
X
2
)P( x
1
x
2
x
3
) log P( x
3
| x
1
x
2
)
X 1 X 2
X 1 X 2
P( x
1
x
2
)
X 3
P( x
1
x
2
)
X 3
P( x
3
| x
1
x
2
) log P( x
3
| x
1
x
2
)
P( x
3
| x
1
x
2
) log P( x
3
| x
2
)
H ( X
3
| X
2
)
根据信源的平稳性，有H ( X
3 | X
2
)H ( X
2
| X
1
) ，因此有H ( X
3
| X
1
X
2
)H ( X
2
| X
1
) 。
等式成立的条件是P( x
3 | x
1
x
2
)P( x
3
| x
2
) 。
【2.16】证明离散信源有H ( X
1 X
2
L X
N
)H ( X
1
)H ( X
2
) L H ( X
N
) ，并说明等式成立
的条件。证明：
3 H ( X 1 X 2 L X N ) H ( X 1 ) H ( X 2 | X 1 ) L H ( X N | X 1 X 2 L X N 1 )
而
H ( X N | X 1 X 2 L X N 1 )
L
X 1 X 2 X N
P ( x 1 x 2 L x N ) log P ( x N | x 1 x 2 L x N 1 )
X 1 X 2
X 1 X 2
L
X N 1
L
X N 1
P ( x 1 x 2 L x N 1 ) X N
P ( x 1 x 2 L x N 1 ) X N
P ( x N | x 1 x 2 L x N 1 ) log P ( x N | x 1 x 2 L x N 1 )
P ( x N | x 1 x 2 L x N 1 ) log P ( x N )
H ( X N )
即
H ( X 2 | X 1 )
H ( X 2 )
代入上述不等式，有
H ( X 3 | X 1 X 2 )
……
H ( X 3 )
H ( X 1 X 2 L X N ) H ( X 1 ) H ( X 2 ) L H ( X N )
等号成立的条件是：
P ( x N | x 1 x 2 L x N 1 ) P ( x N )
P ( x N 1 | x 1 x 2 L x N 2 ) P ( x N 1 )
……
P ( x 2 | x 1 )
P ( x 2 )
即离散平稳信源输出的 N 长的随机序列之间彼此统计无依赖时，等式成立。
【2.17】设有一个信源，它产生 0、1 序列的消息。它在任意时间而且不论以前发生过什么
符号，均按 P (0) 0.4 ， P (1) 0.6 的概率发出符号。
（1） 试问这个信源是否是平稳的？
（2） 试计算 H ( X 2 ) 、 H ( X | X 1 X 2 ) 及 lim H N N
( X ) 。
（3） 试计算 H ( X 4 ) 并写出 X 4 信源中可能有的所有符号。
解：
该信源任一时刻发出 0 和 1 的概率与时间无关，因此是平稳的，即该信源是离散平稳
信源。其信息熵为
H ( X )
P ( x ) log P ( x ) 0.971 比特/符号
信源是平稳无记忆信源，输出的序列之间无依赖，所以
H ( X 2 ) 2H ( X ) 1.942 比特/符号
H ( X 3 | X 1 X 2 ) H ( X ) 0.971 比特/符号
lim H N N
( X )
lim N 1
H ( X X N 1 2
L X N )
H ( X ) 0.971比特/符号
H ( X 4
)
4H ( X ) 3.884 比特/符号
X 4 信源中可能的符号是所有 4 位二进制数的排序，即从 0000~1111 共 16 种符号。
【2.18】设有一信源，它在开始时以 P (a )
1 0.6 ， P (b ) 0.3 ， P (c ) 0.1的概率发出 X 1 。如
1
果 X 1 为 a 时，则 X 2 为 a 、b 、c 的概率为 3 ；如果为 b 时，则 X 2 为 a 、b 、c 的概率为 3 ；
如果 X 为 c 时，则 X 为 a 、b 的概率为 1
，为 c 的概率为 0。而且后面发出 X 的概率只与 1 2
2 i
X i 1 有关，又当 i 3 时， P ( X i | X i 1 ) P ( X 2 | X 1 ) 。试用马尔克夫信源的图示法画出状态
转移图，并计算此信源的熵 H 。 解：
信源为一阶马尔克夫信源，其状态转换图如下所示。
a : 1
a : 1
: 1 3
根据上述状态转换图，设状态极限概率分别为 P (a ) 、P (b ) 和 P (c ) ，根据切普曼—柯尔
莫哥洛夫方程有
Q (a )
Q (b ) Q (c ) 1 Q (a ) 3 1 Q (a ) 3 1 Q (a ) 3 1
Q (b ) 3 1
Q (b )
3 1 Q (b )
3
1
Q (c ) 2 1
Q (c ) 2
Q (a ) Q (b ) Q (c ) 1
解得：
Q (a )
Q (b )
3 ， Q (c ) 1 8 4
得此一阶马尔克夫的信息熵为：
H
Q ( E i )H ( X | E i ) 1.439 比特/符号
p
p
【2.19】一阶马尔克夫信源的状态图如右图所示， p
信源 X 的符号集为{0,1,2} 并定义 p 1 p 。 （1） 求 信 源 平 稳 后 的 概率 分 布 P (0) 、 P (1) 和
P (2) ；
（2） 求此信源的熵 H ；
（3） 近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵 H ( X )
并与 H 进行比较；
（4） 对一阶马尔克夫信源 p 取何值时， H 取最大值，又当 p 0 和 p 1 时结果如何？
解：
根据切普曼—柯尔莫哥洛夫方程，可得
P (0) P (1)
P (2)
pP (0)
p P (0) 2 p
P (0)
2
p P (1) 2 pP (1) p P (1) 2 p
P (2)
2 p P (2)
2 pP (2) P (0) P (1) P (2) 1
0 1 2 1 1 1 3 3 3
解得： P (0)
P (1) P (2) 1
3
该一阶马尔克夫信源的信息熵为：
H
Q ( E i ) H ( X | E i )
p log p p log p p 比特/符号
当信源为无记忆信源，符号的概率分布等于平稳分布，此时信源的概率空间为：
X P
此时信源的信息熵为 H ( X ) log 3 1.585 比特/符号
由上述计算结果可知： H ( X ) H ( ) 。
求一阶马尔克夫信源熵 H 的最大值， H
p log p p log p p ，有
dH log
2(1 p ) dp
p
可得，当 p 2 时， H 达到最大值，此时最大值为 log 3 3
1.585 比特/符号。
当 p 0 时， H
0 比特/符号； p 1 时， H
1比特/符号
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源 X {黑,白} ，设黑色出现的
概率为 P (黑) 0.3 ，白色出现的概率为 P (白) 0.7 。
（1） 假设图上黑白消息出现前后没有关联，求熵 H ( X ) ；
（2） 假设消息前后有关联，其依赖关系为 P (白|白) 0.9 ，P (黑 |白) 0.1 ，P (白| 黑) 0.2 ，
P (黑 | 黑) 0.8 ，求此一阶马尔克夫信源的熵 H 2 。
（3） 分别求上述两种信源的冗余度，并比较 H ( X ) 和 H 2 的大小，并说明其物理意义。
解：
如果出现黑白消息前后没有关联，信息熵为：
H ( X )
p i log p i 0.881 比特/符号
当消息前后有关联时，首先画出其状态转移图，如下所示。
设黑白两个状态的极限概率为Q(黑) 和Q(白) ，根据切普曼—柯尔莫哥洛夫方程可得：
Q(黑) Q(白)0.8Q(黑)
0.2Q(黑)
0.1Q(白)
0.9Q(白)
解得：
Q(黑)Q(白) 1
此信源的信息熵为：
Q(黑) 1 2
，Q(白)
3 3
H Q( E
i
) H( X| E
i
)0.553 比特/符号
两信源的冗余度分别为：
g 1 1
H ( X )
log 2
0.119
g 11
H
log 2
0.447
结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言，当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是反映信源的平均不确定的大小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。
1 1
第三章课后习题
【3.1】 设信源
X x 1 x 2 P ( x )
0.6 0.4
通过一干扰信道，接收符号为 Y [ y 1 , y 2 ] ，信道传递概率如下图所示，求
（1）信源 X 中事件 x 1 和 x 2 分别含有的自信息；
x 1
（2）收到消息 y j ( j
息量；
1,2) 后，获得的关于 x i (i 1,2) 的信
x 2
（3）信源 X 和信源 Y 的信息熵；
（4）信道疑义度 H ( X | Y ) 和噪声熵 H (Y | X ) ；
（5）接收到消息 Y 后获得的平均互信息。 解：
（1）信源 X 中事件 x 1 和 x 2 分别含有的自信息分别为：
I ( x 1 )
log
1
P ( x 1 )
log 0.6 0.737 比特
I ( x 2 ) log
1
P ( x 2 )
log 0.4 1.32 比特
（2）根据给定的信道以及输入概率分布，可得
P ( y 1 )
P ( y 2 )
P ( x i ) P ( y 1 | x i ) X
P ( x i ) P ( y 2 | x i ) X
0.8
0.2
所求的互信息量分别为：
I ( x ; y )
log P ( y 1 | x 1 ) log 5 / 6 log 25
0.059 比特
P ( y 1 )
0.8 24
P ( x 1 , y 1 ) P ( y 1 | x 1 )P ( x 1 )
0.5 5 P ( y 1 ) P ( y 1 ) 0.8 8 P ( x 1 , y 2 ) P ( y 2 | x 1 ) P ( x 1 )
0.6 / 6 1 P ( y 2 ) P ( y 2 ) 0.2 2 I ( x 2
; y 1 ) log
P ( y 1 | x 2 ) P ( y 1 )
log 3 / 4 0.8 log 15
16
0.093 比特
I ( x 1 ; y 2 ) log
P ( y 2 | x 1 ) P ( y 2 )
log 1/ 6
0.2 log 5
6 0.263 比特
I ( x 2
; y 2 ) log
P ( y 2 | x 2 )P ( y 2 )
log 1 / 4
0.2 log 5 4 0.322 比特
（3）信源 X 以及 Y 的熵为：
H ( X )
H (Y )
P ( x ) log P ( x )
X
P ( y ) log P ( y )
Y
0.6 log 0.6
0.8 l og 0.8 0.4 log 0.4
0.2 log 0.2 0.971比特/符号
0.722 比特/符号
（4）信道疑义度 H ( X | Y )
P ( x )
X
Y
P ( y | x ) log P ( x | y )
而相关条件概率 P ( x | y ) 计算如下：
P ( x 1
P ( x 2 | y 1 )
3
| y 1 )
8
P ( x 1 | y 2 )
P ( x 2 1
| y 2 )
2
由此计算出信道疑义度为：
H ( X | Y )
0.6 5 log 5 1 log
1
0.4 3 log 3 1 log 1
0.9635 比特/符号
6 8 6 2
4 8 4 2
噪声熵为：
H (Y | X )
P ( x ) P ( y | x ) log P ( y | x )
0.6
5 log 5
1 log
1
0.4 3 log 3
1 log
1 6 6 6 6 4 4 4 4
0.7145比特 / 符号
（5）接收到信息 Y 后获得的平均互信息为：
I ( X ;Y ) H ( X ) H ( X | Y ) 0.0075 比特/符号
【3.2】 设 8 个等概率分布的消息通过传递概率为 p 的 BSC 进行传送，8 个消息 相应编成下述码字：
M 1=0000，M 2=0101，M 3=0110，M 4=0011
M 5=1001，M 6=1010，M 7=1100，M 8=1111
试问：
（1）接收到第一个数字 0 与 M 1 之间的互信息；
（2）接收到第二个数字也是 0 时，得到多少关于 M 1 的附加互信息； （3）接收到第三个数字仍为 0 时，又增加了多少关于 M 1 的互信息；
（4）接收到第四个数字还是 0 时，再增加了多少关于 M 1 的互信息。 解：
各个符号的先验概率均为 1
8
（1）根据已知条件，有
P ( y 1
0 | M 1 ) P ( y 1 0 | 0000) P ( y 1
0 | x 1 0) p
P ( y 1 0)
P (M i M i
1 ) P (0 | M i )
2
因此接收到第一个数字 0 与 M 1 之间的互信息为：
I (M
1 ; y 1
0) log
P ( y 1 P ( y 1 0 | M 1 ) 0)
log p 1/ 2 1 log p 比特
（2）根据已知条件，有
P ( y 1 y 2 00 | M 1 ) P ( y 1 y 2 00 | 0000) p 2
P ( y 1 y 2
00) P (M i M i
)P (00 | M i ) 1 2 p
2
8
4 pp 2 p 2
1
4
因此接收到第二个数字也是 0 时，得到多少关于 M 1 的互信息为：
2
3
I (M 1 ; y 1 y 2 00) log P ( y 1 y 2 00 | M 1 ) log p
2 2 log p 比特/符号
P ( y 1 y 2 00) 1/ 4
得到的附加信息为：
I (M 1 ; y 1 y 2 00) I (M 1 ; y 1 0) 1 log p 比特/符号
（3）根据已知条件，有
P ( y 1 y 2 y 3 000 | M 1 ) P ( y 1 y 2 y 3 000 | 000) p
P ( y 1 y 2 y 3
000) P (M i M i
)P (000 | M i ) 1 p 3 8
3 pp 2
3 p 2 p p 3
1
8
因此接收到第三个数字也是 0 时，得到多少关于 M 1 的互信息为：
I (M ; y y y
000) log P ( y 1 y 2 y 3 000 | M 1 ) log
p 3 3log p 1 1 2
3 P ( y 1 y 2 y 3 000)
1/ 8 此时得到的附加信息为：
I (M 1 ; y 1 y 2 y 3 000) I (M 1 ; y 1 y 2 00) 1 log p 比特/符号
（4）根据已知条件，有
P ( y 1 y 2 y 3 y 4 0000 | M 1 ) P ( y 1 y 2 y 3 y 4 0000 | 0000) p 4
P ( y 1 y 2
y 3 y 4
0000) P (M i M i
)P (0000 | M i ) 1 p 8
6 p 2 p 2 p 4
因此接收到第四个符号为 0 时，得到的关于 M 1 的互信息为
I (M ; y y y
0000) log P ( y 1 y 2 y 3 y 4 0000 | M 1 )
1 1 2
3
log
P ( y 1 y 2 y 3 y 4 p 4
0000) 1 p 4 8
6 p 2 p 2
p 4 3 4 l og p log p 6 p 2 p 2 p 4
此时得到的附加信息为
I (M 1 ; y 1 y 2 y 3 y 4 000) I (M 1 ; y 1 y 2 y 3 000) log p log p 6 p 2 p 2 p 4
【3.3】 设二元对称信道的传递矩阵为
2 1
3 3 1 2 3
3
（1）若 P(0)=3/4，P(1)=1/4，求 H ( X ) ， H ( X | Y ) ， H (Y | X ) 和 I ( X ;Y ) ； （2）求该信道的信道容量及其达到信道容量时的输入概率分布。 解：
（1）根据已知条件，有
H ( X )
P ( x i ) log P ( x i ) X
3 log 3 1 log 1
4 4 4 4 0.811比特 / 符号
P ( y 0)
P ( y 1)
P ( x ) P ( y X
P ( x ) P ( y X
0 | x )
3 2
4 3
1 | x )
5 12
1 1 7 4 3 12
3 2
P ( x
P ( x
0 | y 0)
1 | y 0)
P ( x
1 7
0) P ( y P ( y 0 | x 0) 0) 4 3 6
7 /12 7 3 1
P ( x
P ( x
0 | y 1)
1 | y 1)
P ( x
2 5 0)P ( y P ( y 1 | x 0) 1) 4
3 3
5 /12 5 H (Y | X )
P ( x )
X
Y
P ( y | x ) log P ( y | x )
3 2 log 2 1 log 1
1 1 1
2 log 2
4 3 3 3 3 4 3 3 3 3
0.918比特 / 符号
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ）
模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求
和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8.二元无记忆信源，有求： （1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？
（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量： ， ，10.已知一（3，1，3）卷积码编码器，输入输出关系为：
试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？
一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。
第二章 信息量与熵 2、2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2、3 掷一对无偏骰子,告诉您得到的总的点数为:(a) 7; (b) 12。问各得到多少信息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =)(1log a p =6log =2、585 bit (2) 可能的唯一,为 {6,6} )(b p =36 1 得到的信息量=)(1log b p =36log =5、17 bit 2、4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量就是多少？ (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量？ 解:(a) )(a p =! 521 信息量=) (1log a p =!52log =225、58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =1352 134!13A ?=135213 4C 信息量=1313524log log -C =13、208 bit 2、9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一与第二颗骰子的点数之与,Z 表 示3颗骰子的点数之与,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则 1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2、585 bit )|(X Z H =)(32x x H +=)(Y H =2?(361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3、2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1、8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1、8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2、585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1、8955+2、585=4、4805 bit
一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(YZ); 3、I(X;Y)、I(Y;Z); 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵 1. 绘制状态转移图; 2、 求该马尔科夫信源的稳态分布; 3、 求极限熵 ; 三、在干扰离散对称信道上传输符号1与0,已知P(0)=1/4,P(1)=3/4,试求: 1. 信道转移概率矩阵P 2、信道疑义度 3、信道容量以及其输入概率分布 四、某信道的转移矩阵?? ????=1.006.03.001.03.06.0P ,求信道容量,最佳输入概率分布。 五、求下列各离散信道的容量(其条件概率P(Y/X)如下 :) 六、求以下各信道矩阵代表的信道的容量
答案 一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(XY)、H(YZ); 3、I(X;Y)、I(Y;Z); 解:1、 2 i 11111H Y P y logP y log log 2222i i =??=-+????∑（）=-（）（）=1bit/符号 Z=YX 而且X 与Y 相互独立 ∴ 1(1)(1)(1)P P X P Y P X ?=+=-?=-（Z =1）=P(Y=1)= 1111122222 ?+?= 2(1)(1)(1)P P X P Y P X ?=-+=-?=（Z =-1）=P(Y=1)= 1111122222 ?+?= 故H(Z)= i 2i 1(z )log (z )i P P =- ∑=1bit/符号 2、从上式可以瞧出:Y 与X 的联合概率分布为:
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间：
bit x H 32.436log 36 16236log 36215)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θ
一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：
4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ，通过一个二进制对称信道（BSC ）。其失真函数ij d 与信道转移概率ij p 分别定义为 j i j i d ij =≠???=,0,1 ，j i j i p ij =≠? ??-=,1,εε 试求失真矩阵d 和平均失真D 。 解：由题意得， 失真矩阵为d ??????=0110d ，信道转移概率矩阵为P ?? ????--=εεεε11)(i j 平均失真为ε εεεε=?-+?+?+?-= =∑0)1(211211210)1(21),()()(,j i d i j p i p D j i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为 ????? ???????=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。 解：由题意，得 0min =D 则symbol bit X H R D R /24log )()0()(2min ==== 这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为
????? ???????=1000 010*********)j (i P ∑===30 3,2,1,0max ),()(min i j j i d i p D ，，14 1141041141141141141041min{?+?+?+??+?+?+?= }04 1141141141141041141141?+?+?+??+?+?+?， 43}43,43,43,43min{== 则0)(max =D R 此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为????? ???????=0001000100010001)(i j P
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；
信息论试卷题目及答案
————————————————————————————————作者：————————————————————————————————日期： 2
中国海洋大学2008—2009学年第一学期 一、填空题（每空2分，共20分） 1、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。 4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。 5、信道输入与输出间的平均互信息是信道转移概率的 下凸 函数，是输入概率的 上凸 函数。 6、信道矩阵??????10002/12/1代表的信道的信道容量C=符号/1bit ，达到信道容量的条件是输入符号等概分布。 7、 设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 0.517比特/符号 ，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。。 二、判断题（每题2分，共10分） 1、必然事件和不可能事件的自信息量都是0 。（错） 2、最大后验概率准则与最大似然准则是等价的。（错） 3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。（对） 4、连续信源和离散信源的熵都具有非负性。（错） 5、相同功率的噪声中，高斯噪声使信道容量最小。（对） 三、简答题（第1、2题各6分，第三题10分，共22分） 1、简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是什么？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 (3分) 最大熵值为 m H 2max log = (3分) 2、对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证：因为)|()|(Y X H YZ X H ≤ ，(3分) 所以： ) |()|()|() |,() |()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分)
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
《信息论基础》模拟试卷 一、填空题（共15分，每空1分） 1、信源编码的主要目的是 ，信道编码的主要目的是 。 2、信源的剩余度主要来自两个方面，一是 ，二是 。 3、三进制信源的最小熵为 ，最大熵为 。 4、无失真信源编码的平均码长最小理论极限制为 。 5、当 时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为 和 。 7、根据是否允许失真，信源编码可分为 和 。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是 时，信源具有最大熵，其值为值 。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ） H(X)+H(X/Y) H(Y)+H(X)。 （2）()() 1222 H X X H X = ()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。 三、（16分）已知信源 1234560.20.20.20.20.10.1S s s s s s s P ????=???????? （1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分） （3）计算编码信息率R ';（2分） （4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。（2分） 四、（10分）某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s μ。计算： （1）信息传输速率t R 。（5分） （2）将这些数据通过一个带宽为B=2000kHz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为 6010W n Hz -=。试计算正确传输这些数据最少需要的发送功率P 。（5分）
第三章 3.1 设二元对称信道的传递矩阵为? ?????????32313132 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?= +=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2) 2221122 max (;)log log 2(lg lg )log 100.082 /3333 mi C I X Y m H bit symbol ==-=++?=其最佳输入分布为1 ()2 i p x = 3-2某信源发送端有2个符号，i x ，i ＝1，2；()i p x a =，每秒发出一个符号。接受端有3 种符号i y ，j ＝1，2，3，转移概率矩阵为1/21/201/21/41/4P ?? =? ? ?? 。 （1） 计算接受端的平均不确定度； （2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量。
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
第二章 1 ■一阶齐次马尔柯夫信源消息集X ∈{321,,a a a }，状态集S ∈{321,,S S S }。且令3,2,1,==i a S i i , 符号条件转移概率为[] ??? ?????=21414141214113131)/(i j S a P (1) 画出该信源的状态转移图；(2)解：（1） []11 13331114 241114 42 (|)j i p S S ????=?????? （2）111123 1344111 1232324111 12333421 231w w w w w w w w w w w w w w w ++=??++=??++=??++=?3 11142114 311 w w w =??=??=? H(X|S 1)=H (1/3,1/3,1/3)=1.58bit/符号 H(X|S 2)=H (1/4,1/2,1/4)=1.5bit/符号= H(X|S 3) 3 34 11111 ()(|) 1.58 1.52 1.52i i i H X w H X S ∞===?+??=∑bit/符号 2 如果你确定你的朋友是6月的生日，但是不知道具体是哪一天。那么你问你的朋友“你的生日是6月哪一天?”，则答案中含有的信息量为4.91bit ； 3p42 2-12 4 p42 2-13 5 p43 2-19 6 p44 2-29 第三章 1. ■设信道的转移概率矩阵为P ＝0.90.10.10.9?? ???? （1）若p(x 0)=0.4，p(x 1)=0.6，求H(X ），H(Y ），H(Y|X ）和I(X ；Y ）；
2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为： 对应的状态图如右图所示。设各符号稳定概率为：1p ，2p ，3p 则可得方程组： 1p = 211p +312p +313p 2p =211p +323p 3p =3 22p 1p +2p +3p =1 解得各符号稳态概率为： 1p = 2510，2p =259，3p =25 6 2-2.解：该马尔可夫信源的符号条件概率矩阵为： 状态转移概率矩阵为： 对应的状态图如右图所示。
设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为： 1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W 4W =0.52W +0.84W 1W +2W +3W +4W =1 解得稳定分布的概率为: 1W = 145，2W =142，3W =142，4W =14 5 2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)= 18 1 故其自信息量为： I(3,5)=-㏒2 18 1 =4.17bit （2）“两个1同时出现”事件的概率为： p(1,1)= 36 1 故其自信息量为： I(1,1)=- ㏒2 36 1 =5.17bit （3）两个点数的各种组合构成的信源，其概率空间为： 则该信源熵为： H(x 1)=6× 36 1 lb36+15×181lb18=4.337bit/事件 （4）两个点数之和构成的信源，其概率空间为：
则该信源的熵为： H(x 2)=2× 361 lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+6 1lb6 =3.274bit/事件 （5）两个点数中至少有一个是1的概率为： p(1)= 36 11 故其自信息量为： I(1)= -㏒2 36 11 =1.7105bit 2-7.解：（1）离散无记忆信源的每个符号的自信息量为 I(x 1)= -㏒2 83 =1.415bit I(x 2)= -㏒241 =2bit I(x 3)= -㏒241 =2bit I(x 4)= -㏒28 1 =3bit （2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符 号序列的自信息量为： I(x)= -㏒2( 8 3)14 (41)25 (81)6 =87.81bit 平均每个符号携带的信息量为： L H (x)= 45 ) (x I =1.95bit/符号 2-10 解：用1x 表示第一次摸出的球为黑色，用2x 表示第一次摸出的球为白色，用1y 表示第二次摸出的球为黑色，用2y 表示第二次摸出的球为白色，则 (1)一次实验包含的不确定度为： H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=- 13lb 13-23lb 2 3 =0.92 bit (2)第一次实验X 摸出的球是黑色，第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x ) = - 27lb 27-57lb 57 = 0.86 bit (3)第一次实验X 摸出的球是白色，第二次实验Y 给出的不确定度:
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
1．设信源?? ????=????? ?4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y 1, y 2 }，信道转移矩阵为? ?????????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑