信息论与编码课后习题答案详解
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：
四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表
示2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ 八进制脉冲的平均信息量
H X( 2) = log n = log8 = 3 bit symbol/
二进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和3 倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X 代表女孩子学历
X x1（是大学生）x2（不是大学生）
P(X) 0.25 0.75
设随机变量Y 代表女孩子身高
Y y1（身高>160cm）y2（身高<160cm）
P(Y) 0.5 0.5
已知：在女大学生中有75%是身高160 厘米以上的即：
p y( 1 / x1) = 0.75 bit
求：身高160 厘米以上的某女孩是大学生的信息量
p x p y( 1) ( 1 / x1 ) log 0.25×0.75
=1.415 bit即：I
x( 1 / y1 ) = ?log p x( 1 / y1 ) = ?log = ?
p y( 1 ) 0.5
2.3 一副充分洗乱了的牌（含52张牌），试问
(1)任一特定排列所给出的信息量是多少？
·1·
·2·
(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？
解：
(1) 52 张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：p
x ( i ) =
I x ( i ) =?log p x ( i ) = log52!= 225.581 bit
(2) 52 张牌共有4 种花色、13 种点数，抽取13 张点数不同的牌的概率如下：
413
p x ( i ) =
5213
413
I x ( i ) = ?log p x ( i ) = ?log
C 5213 =13.208 bit
2.4 设离散无记忆信源???P X (X )??? = ???x 31
/=80
x 2 =1 x 3 = 2 x 4 = 3??，其发出的信息为1/4 1/4 1/8 ?
(202120130213001203210110321010021032011223210)，求
(1) 此消息的自信息量是多少？
(2) 此消息中平均每符号携带的信息量是多少？解：
(1) 此消息总共有14 个0、13 个1、12 个2、6 个3，因此此消息发出的概率是：
p = ??3??14 ×?? 1 ??25 ×??1??6
?8? ? 4? ?8?
此消息的信息量是：I =?log p =87.811 bit
(2) 此消息中平均每符号携带的信息量是：I n / = 87.811/ 45 =1.951 bit
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：
p x ( Y ) = 7%
I x ( Y ) = ?log p x ( Y ) = ?log0.07 = 3.837 bit
·3· p x ( N ) = 93%
I x ( N ) = ?log p x ( N ) = ?log0.93 = 0.105 bit
H X (
) p x ( )log p x ( ) (0.07log0.07
0.93log0.93)0.366 bit symbol /
i 女士：
H X (
) p x ( )log p x ( )
(0.005log0.0050.995log0.995)0.045 bit symbol /
?P X ( )?? ??0.2 0.19 0.18
0.17 0.16 0.17??
? H(X) > log6不满足信源熵的极值性。
解：
H X
p x p x
i =?(0.2log0.2 + 0.19log0.19 + 0.18log0.18+ 0.17log0.17 + 0.16log0.16 + 0.17log0.17)= 2.657 bit symbol /
H X ( ) >log 62 = 2.585
不满足极值性的原因是
。
i
2.7 证明：H(X 3/X 1X 2) ≤ H(X 3/X 1)，并说明当X 1, X 2, X 3是马氏链时等式成立。证明：
H X ( 3 / X X 1 2 ) ?H X ( 3 / X 1)
= ?∑∑∑ p x x x ( i 1 i 2i 3 )log p x ( i 3 / x x i 1 i 2 ) + ∑∑ p x x ( i 1 i 3 )log p x ( i 3 / x i 1)
i 1 i 2 i 3 i 1 i 3 = ?∑∑∑ p x x x ( i 1 i 2i 3 )log p x ( i 3 / x x i 1 i 2 ) + ∑∑∑ p x x x ( i 1 i 2i 3 )log p x ( i 3 / x i 1)
i 1 i 2 i 3 i 1 i 2 i 3 p x ( i 3 / x i 1)
= ∑∑∑i 1 i 2 i 3 p x x x ( i 1 i 2 i 3 )log p x ( i 3 / x x i 1 i 2 )
? p x ( i 3 / x i 1) 1???log 2 e i ?X ? ? x 2.6 设
信源= 1 x 2 x 3 x 4 x 5
x 6 ?，求这个信源的熵，并解释为什么
≤ ∑∑∑i1 i2 i3 p x x x( i1 i2 i3 )???p x( i3 / x x i1 i2 ) ??
= ??∑∑∑ p x x( i1 i2 ) (p x i3 / x i1) ?∑∑∑ p x x x( i1 i2i3 )??log2 e
?i1 i2 i3 i1 i2 i3 ?
????
= ??∑∑ p x x( i1 i2 )?∑ p x( i3 / x i1)??1??log2 e
?i1 i2 ?i3 ??
= 0
∴H X( 3 / X X1 2) ≤ H X( 3 / X1)
p x( i3 / x i1) 1 0时等式等等当
? = p x( i3 / x x i1 2i )
? p x( i3 / x i1) = p x( i3 / x x i1 2i )
? p x x( i1 2i ) (p x i3 / x i1) = p x( i3 / x x i1 2i ) (p x x i1 2i )
? p x( i1) (p x i2 / x i1) (p x i3 / x i1) = p x x x( i1 2 3i i )
? p x( i2 / x i1) (p x i3 / x i1) = p x x( i2 3i / x i1)
∴等式等等的等等是X1, X2, X3是马氏链_
2.8证明：H(X1X2 。。。X n) ≤ H(X1) + H(X2) + … + H(X n)。证明：
H X X( 1 2...X n ) = H X( 1)+ H X(2 / X1)+ H X( 3
/ X X1 2 )+...+ H X( n / X X1 2...X n?1 )
I X( 2 ;X1 ) ≥ 0 ? H X( 2 ) ≥ H X( 2
/ X1 ) I X( 3;X X1 2 ) ≥ 0 ? H X( 3 ) ≥ H X(
/ X X1 2 )
3
...
I X( N;X X1 2...X n?1) ≥ 0 ? H X( N ) ≥ H X( N / X X1 2...X n?1)
∴H X X( 1 2...X n) ≤ H X( 1)+H X( 2)+H X( 3)+ +... H X( n)
2.9 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1)试问这个信源是否是平稳的？
(2)试计算H(X2), H(X3/X1X2)及H∞；
(3)试计算H(X4)并写出X4信源中可能有的所有符号。
解：
·4·
(1)
这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……”
(2)
H X(2 ) = 2H X() = ?2×(0.4log0.4+ 0.6log0.6) =1.942 bit symbol/
H X( 3 / X X1 2 ) = H X( 3 ) = ?∑ p x( i )log p x( i ) = ?(0.4log0.4+
0.6log0.6) = 0.971 bit symbol/
i
H∞ = lim H X( N / X X1 2...X N?1 ) = H X( N ) = 0.971 bit symbol/
N?>∞
(3)
H X(4 ) = 4H X() = ?4×(0.4log0.4+ 0.6log0.6) = 3.884 bit symbol/
X 4的所有符号：
0000 0001 00100011
0100 0101 01100111
1000 1001 10101011
1100 1101 11101111
2.10 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。 (1)
求平稳后信源的概率分布；
(2) 求信源的熵H∞。
解：
(1)
?p e( 1 ) = p e p e( 1 ) ( 1 /e1 ) + p e( 2 ) (p e1 /e2 )
?
?p e( 2 ) = p e( 2 ) (p e2 /e2 ) + p e( 3 ) (p e2 /e3 )
?
?p e( 3 ) = p e( 3 ) (p e3 /e3 ) + p e p e( 1 ) ( 3 /e1 )
?p e( 1 ) = p p e?( 1 ) + p p e?( 2 )
??
·5·
·6· p p p p p p log 1 log 1 log 1 log 1 log 1 log 1 3 1 ? ?
? ? ? ? ? ? ? ? ? ? + + + + =? + ? ?p e ( 2 ) = p p e ?( 2 ) + p p e ? ( 3 )
???p e ( 3 ) = p p e ?( 3 ) + p p e ?
( 1 )
?p e ( 1 ) = p e ( 2 ) = p e ( 3 )
?
?p e ( 1 ) + p e ( 2 ) + p e ( 3 ) =1
?p e ( 1 ) =1/3
?
?p e ( 2 ) =1/3
??p e ( 3 ) =1/3
?p x ( 1 ) = p e ( 1 ) (p x 1 /e 1 ) + p e ( 2 ) (p x 1 /e 2 ) = p p e ?( 1 ) + p p e ?( 2 ) = (p + p )/3 =1/3
??
?p x ( 2 ) = p e ( 2 ) (p x 2 /e 2 ) + p e ( 3 ) (p x 2 /e 3 ) =p p e ?( 2 ) + p p e ?( 3 ) = (p + p )/3 =1/3
???p x ( 3 ) = p e ( 3 ) (p x 3 /e 3 ) + p e p x ( 1 ) ( 3 /e 1 ) = p p e ?
( 3 ) + p p e ? ( 1 ) = (p + p )/3 =1/3 ?X ? ? 0 1 2 ? ?P X ( )?? = ??1/3 1/3 1/3??
?
(2)
H
p e p e ( ) ( /e )log p e ( j /e i ) i j
= ???13 p e ( 1 /e 1)log p e ( 1 /e 1) + 13 p e ( 2 /e 1)log p e ( 2 /e 1) + 13 p e ( 3 /e 1)log p
e ( 3 /e 1) ?
1
1 1 ? + 3 p e (
/e )log p e ( 1 /e 3) + 3 p e ( 2 /e 3)log p e ( 2 /e 3) + 3 p e ( 3 /e 3)log p e ( 3 /e 3)??
3 3 p p 3 p p 3 3 p p 3 ???
·
7· ?
= ?(p ?log p + p ?log p bit symbol )
/
2.11黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。设黑色出现的概率为 P(黑) = 0.3，白色出现的概率为P(白) = 0.7。
(1) 假设图上黑白消息出现前后没有关联，求熵H(X)；
(2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) =
0.2，
P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H 2(X);
(3) 分别求上述两种信源的剩余度，比较H(X)和H 2(X)的大小，并说明其物理含义。解：
(1)
H X ( ) =?∑ p x ( i )log p x ( i ) =?(0.3log0.3+ 0.7log0.7) = 0.881 bit symbol /
i
(2)
?p e ( 1 ) = p e p e ( 1 ) ( 1 /e 1 )+ p e ( 2 ) (p e 1 /e 2 )
?
?p e ( 2 ) = p e ( 2 ) (p e 2 /e 2 )+ p e p e ( 1 ) ( 2 /e 1 )
?p e ( 1 ) = 0.8 (p e 1 )+ 0.1 (p e 2 )
?
?p e ( 2 ) = 0.9 (p e 2 )+ 0.2 (p e 1 )
?p e ( 2 ) = 2 (p e 1 ) ?
?p e ( 1 )+ p e ( 2 ) =1 ?p e ( 1 ) =1/3
?
?p e ( 2 ) = 2/3
H ∞ = ?∑∑ p e p e ( i ) ( j /e i )log p e ( j /e i )
i j
= ???1×0.8log0.8+ 1×0.2log0.2+ 2 ×0.1log0.1+ 2 ×0.9log0.9??
?3 3 3 3 ?
0.553 = bit symbol /
(3)
η 1 = H 0 ?H ∞ = log2?0.881 =11.9%
H 0 log2
44.7%
H(X) > H2(X)
表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，
能够进行较大程度的压缩。
2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1)“3和5同时出现”这事件的自信息；
(2)“两个1同时出现”这事件的自信息；
(3)两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … ,
12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。解：
(1)
p x( i ) =× + ×
=
I x( i ) = ?log p x( i ) = ?log = 4.170 bit
(2)
p x( i ) =× =
I x( i ) = ?log p x( i ) = ?log = 5.170 bit
(3)
两个点数的排列如下：
11 12 13 14 15 16
21 22 23 24 25 26
31 32 33 34 35 36
41 42 43 44 45 46
51 52 53 54 55 56
61 62 63 64 65 66
共有21 种组合：其中11，22，33，44，55，66 的概
率是
其他15 个组合的概率是
·8·
·9·
H X (
) = ?∑ p x ( i )log p x ( i ) = ???6× 361 log361 +15×181 log181 ???= 4.337 bit symbol / i
? (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
??P X (X )???=
?????
1214 195 3656 176 3685 919 10121 18111 12361 ??????
H X () = ?∑i p x ( i )log p x ( i )
= ???2× 1 log 1 + 2× 1 log 1 + 2× 1 log 1 + 2× 1log1 + 2× 5 log 5 + 1log 1??
? 36 36 18 18 12 12 9 9 36 36 6
6?
3.274 = bit symbol /
(5) p x ( i ) =
× ×11=
I x ( i ) = ?log p x ( i ) = ?log
=1.710 bit
2.13 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。
(1) 求符号的平均熵；
(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）
的自信息量的表达式；
(3) 计算(2)中序列的熵。
解：
(1)
H X (
) = ?∑ p x ( i )log p x ( i ) = ???14log 14 + 43log 34???= 0.811 bit symbol / i
? (2)
·10·
p x ( i ) = ?? 14???m ×???34???100?m =
100100?m ?
3100?m
I x ( i ) = ?log p x ( i ) = ?log
4100= 41.5+1.585m bit
(3) H X ( 100) =100H X () =100×0.811= 81.1 bit symbol /
2.14 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：
(1) 忙闲的无条件熵；
(2) 天气状态和气温状态已知时忙闲的条件熵； (3)
从天气状态和气温状态获得的关于忙闲的信息。
解：
(1)
根据忙闲的频率，得到忙闲的概率分布如下： ?X
? ??x 1忙闲x 2 ?? ?P X (
)?? = ???10363 10340 ???
? H X ( ) = ?∑2 p x ( i )log p x ( i ) = ??
?10363 log10363 +10340 log10340
???= 0.964 bit symbol / i
? (2)
设忙闲为随机变量X ，天气状态为随机变量Y ，气温状态为随机变量Z
H XYZ () = ?∑∑∑ p x y z ( i jk )log p x y z ( i
j k )
i j k = ???12 log 12 + 8 log 8 + 27 log 27 + 16 log 16
若把这些频度看作概率测度，求：
?103 103 103 103 103 103 103 103
+ 8 log 8 + 15 log 15 + log 5 + 12 log 12 ?
?5
103 103 103 103 103 103 103 103?
= 2.836 bit symbol/
H YZ( ) = ?∑∑ p y z( j
k
)log p y z( j k ) j k
= ??? 20 log 20 + 23 log 23 + 32 log 32 + 28 log 28 ??
?103 103 103 103 103 103 103 103?
1.977 = bit symbol/
H X YZ( / ) = H XYZ( ) ?H YZ( ) = 2.836?1.977 = 0.859 bit symbol/
(3)
I X YZ( ; ) = H X( )?H X YZ( / ) = 0.964?0.859 = 0.159 bit symbol/
2.15 有两个二元随机变量X和Y，它们的联合概率为
并定义另一随机变量Z = XY（一般乘积），试计算：
(1)H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；
(2)H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
p x
p x y p x y p x
·11·
p x y p x y
H X() =?∑ p x( i )log p x( i ) =1 bit symbol/
i
p y
p x y p x y p y
p x y p x y
H Y( ) =?∑ p y( j )log p y( j ) =1 bit symbol/
j
Z = XY 的概率分布如下：
?Z ???z1 = 0 z2 =1??
??P Z( )??=??? 18 ???
H Z( ) =?∑k2 p z( k ) =????78 log 87+ 81log18???= 0.544 bit symbol/
·12·
·13·
p x ( 1) = p x z ( 1 1)+ p x
z ( 1 2) p x z ( 1 2) = 0 p x z ( 1
1) = p x ( 1) = 0.5 p z ( 1) =
p x z ( 1 1)+ p x z ( 2 1)
p z ( 2) = p x z ( 1 2)+
p x z ( 2 2)
H XZ ( ) =?
∑∑ p x z ( ik )log p x z ( ik ) =???12log 12 + 83log83 + 81log81???=1.406 bit symbol / i k ?
·14·
p y ( 1) = p y z ( 1 1)+ p y z ( 1 2) p y z ( 1 2) = 0 p y z ( 1 1) = p y ( 1) = 0.5 p z ( 1) = p y z ( 1 1)+ p y z ( 2 1)
p z ( 2) = p y z ( 1 2)+ p y z ( 2 2)
H YZ ( ) =?∑∑
k p y z ( j k )log p y z ( j k ) =???12log 12 + 83log83 +
81log18???=1.406 bit symbol / j ?
p x y z ( 1 1 2) = 0 p x y z ( 1 2 2) = 0 p x y z ( 2 1 2) = 0 p x y z ( 1 1 1)+
p x y z ( 1 1 2) = p x y ( 1 1) p x y
z ( 1 1 1) = p x y ( 1 1) =1/8 p x y
z ( 1 2 1)+ p x y z ( 1 1 1) = p x z ( 1 1)
p x y z ( 2 1 1)+ p x y z ( 2 1 2) = p x y ( 2 1)
·15·
p x y z ( 2 2 1) = 0
p x y z ( 2 2 1)+ p x y z ( 2 2 2) = p x y ( 2 2)
H XYZ ( ) =?∑∑∑ p x y z ( i
jk )log 2 p x y z ( i j k )
i j k
=???1log 1 + 3log 3 + 3log 3 + 1log 1??=1.811 bit symbol /
?8 8 8 8 8 8 8 8?
(2)
H XY ( ) =?
∑∑ p x y ( ij )log 2 p x y ( ij ) ==???18log 18 + 83log83 + 83log83 + 81log81???=1.811 bit symbol / i j ?
H X Y (
/ ) = H XY ( )?H Y ( ) =1.811 1? = 0.811 bit symbol / H Y X (
/ ) = H XY ( )?H X ( ) =1.811 1? = 0.811 bit symbol / H X Z (
/ ) = H XZ ( )?H Z ( ) =1.406?0.544 = 0.862 bit symbol / H Z X (
/ ) = H XZ ( )?H X ( ) =1.406? =1 0.406 bit symbol /
H Y Z (
/ ) = H YZ ( )?H Z ( ) =1.406?0.544 = 0.862 bit symbol /
·16·
H Z Y (
/ ) = H YZ ( )?H Y ( ) =1.406? =1 0.406 bit symbol / H X YZ ( / ) = H XYZ ( )?H YZ (
) =1.811 1.406? = 0.405 bit symbol / H Y XZ ( / ) = H XYZ ( )?H XZ ( ) =1.811 1.406? = 0.405 bit symbol /
H Z XY ( / ) = H XYZ ( )?H XY ( ) =1.811 1.811? = 0 bit symbol /
(3)
I X Y ( ; ) = H X (
)?H X Y ( / ) = ?1 0.811= 0.189 bit symbol /
I X Z ( ;
) = H X ()?H X Z ( / ) = ?1 0.862 = 0.138 bit symbol /
I Y Z ( ;) = H Y ( )?H Y Z ( / ) = ?1 0.862 = 0.138 bit symbol / I X Y Z ( ; / ) = H X Z ( / )?H X YZ ( /
) = 0.862?0.405 = 0.457 bit symbol /
I Y Z X ( ; / ) = H Y X ( / )?H Y XZ ( / ) = 0.862?0.405 = 0.457 bit
symbol / I X Z Y ( ; / ) = H X Y ( / )?H X YZ ( / ) = 0.811?0.405 = 0.406
bit symbol /
2.16 有两个随机变量X 和Y ，其和为Z = X + Y （一般加法），若X 和Y 相互独立，求证：H(X)
≤ H(Z), H(Y) ≤ H(Z)。
证明：
Z = X +Y
∴ p z ( k / x i ) = p z ( k ?x i ) = ??p y ( j ) (z k ?x i )∈Y
?0 (z k ?x i )?Y
H Z X ( / ) = ?∑∑i k p x z ( i k )log p z ( k / x i ) = ?∑i p x ( i )???∑k
p z ( k / x i )log p z ( k / x i )???
? ?
= ?∑ p x ( i )?∑ p y ( j )log 2 p y ( j )?= H Y ( ) i ?j
?
H Z ( ) ≥ H Z X ( / )
∴H Z ( ) ≥ H Y ( ) 同理可
得H Z ( ) ≥ H X ( )。
1 ?λx 2.17 给定声音样值X 的概率密度为拉普拉斯分布p x ( ) = λe ,?∞ 并证 2 明它小于同样方差的正态变量的连续熵。解： ·17· H c Xp x p x dx p x ?λ| |x dx p x dx p x e | |x dx log = ? e e | |x dx log = ? e e x dx 其中： e e x dx = e ?λx log 2 e ?λ x 0+∞ ?∫0+∞e ?λx d (log e ?λx )= ????e ?λx 0+∞ ???log 2 e = log 2 e 2 2e ∴H c (X ) = log +log 2 e = log / λ λ m E X p x xdx x xdx e y d y y ydy y ydy x xdx = 0 E x m E x p x x dx x dx e x dx = ?∫0+∞x de 2?λx = ????e ?λx x 2 0+∞ ?∫0+∞e ?λx dx 2 ??? = ∫0+∞e ?λx dx 2 = 2∫0+∞e ?λx xdx = ? 2 ∫0+∞xde ?λx = ?λ 2 ??? e ?λx x 0+∞ ?∫0+∞e ?λx dx ???λ λ ∴H c (X 正态) = πσe 2 = log 2 πe >H c (X ) = log 2e ·18· 2 λ λ ??12 x 2 + y 2 ≤r 2 ，求H(X), H(Y), 2.18 连续随机变量X 和Y 的联合概率密度为：p x y ( , ) =?πr ??0 其他 H(XYZ)和I(X;Y)。 （提示： xdx ） 解： r 2?x 2 r 2?x 2 1 2 r 2 ?x 2 p x ( ) = ∫?r 2?x 2 p xy dy ( ) = ∫?r 2?x 2 πr 2 dy = πr 2 (?r ≤ x ≤ r ) H c X p x p x dx ( )log dx = ? ( )log dx p x r 2 x dx 2 πr log p x r 2 x dx 2 log e ∫ ? =? ? 2 2 2 2 π r r x px r r ·19· l og r log e bit symbol / 其中： p x r 2 x dx 2 r 2 x dx 2 ∫ ∫ ∫ ∫ ∫ ∫ ∫ ? + ? = + = = =? = 2 0 2 0 2 0 2 2 0 2 2 0 2 0 2 2 2 2 0 2 2 2 2 logsin 2 4 cos2 1 2 cos2 1 log 4 logsin sin 4 log sin 4 sin logsin 4 sin logsin 4 cos logsin sin ) (4 cos π π π π π π π θθ θ π θ θ π θ θθ π θθ π θ θθ π θ θθ π θ θ θ π θ π d d r d rd d r r d r r r r dr r x r r x r xdx r 令 ·20· e 其中： = π ????sin 2 logsin θ θπ02 ?∫0π2 sin 2θd logsin θ???? π θ 2 π 2 cos 2 θθd = ?πlog 2 e ∫0 = ?π 2 log 2 e ∫0π2 1+ cos22 θd θ = ?π 1 log e π2 d θ?1 log 2 e ∫0π2 cos2θθd 2 ∫0 π 1 1 π = ? 2 e ?πlog 2 e sin 2θ 02 e r 2?y 2 1 2 r 2 ?y 2 = ∫p xy dx ( ) = ∫?r 2?y 2 πr 2 dx = πr 2 (?r ≤ y ≤ r ) p y ( ) = p x ( ) p y ( ) d e 2 0 2 sin cos log 2 s in cos 1 =? ∫ π θ θ θθ r y r y 2 2 2 2 ? ? ? 1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声 一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： 一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下： 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3 《信息论与编码》教学大纲 一课程简介 课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课 学时：32 学分：2 开课学期：第六学期 开课对象：通信、电子专业 先修课程：概率论与数理统计、信号与系统、随机信号原理。 参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月 二课程性质、目的与任务 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。 内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。 三教学基本内容与基本要求 本课程总学时为32。其中理论教学为28，实验学时为4。 主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。 实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。 四教学内容与学时分配 第3章离散信源无失真编码 第6章网络信息论 （教学要求：A—熟练掌握；B—掌握；C—了解） 五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时 要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时 要求用Matlab编写程序，用软件完成循环码的编译码算法。 六教学方法与手段 常规教学与多媒体教学相结合。 信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分） 第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知， 一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。 信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以 比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得 《信息论与编码（第二版）》曹雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =? ? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出 状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是 ，它属于狭义信息论。 2、信号是 的载体，消息是 的载体。 3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。 4、某离散无记忆信源X ，其概率空间和重量空间分别为1 234 0.50.250.1250.125X x x x x P ????=??? ?????和1234 0.5122X x x x x w ???? =??????? ? ，则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面，一是 ，二是 。 6、平均互信息量与信息熵、联合熵的关系是 。 7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件：一、 ； 二、 。 9、若某信道矩阵为????? ????? ??01000 1 000001 100，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为 和 。 11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。（填 短码或长码） 12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。 14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为 。 16、对于密码系统安全性的评价，通常分为 和 两种标准。 17、单密钥体制是指 。 18、现代数据加密体制主要分为 和 两种体制。 19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。 20、时间戳根据产生方式的不同分为两类：即 和 。 二、选择题（每小题1分，共10分） 1、下列不属于消息的是（ ）。 A. 文字 B. 信号 C. 图像 D. 语言 2、设有一个无记忆信源发出符号A 和B ，已知4341)(,)(==B p A p ，发出二重符号序列消息的信源， 无记忆信源熵)(2X H 为（ ）。 A. 0.81bit/二重符号 B. 1.62bit/二重符号 C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。 A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit 4、 二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是（ ）。 A. H(X/Y) B. H(Y/X) C. H( X, Y) D. H(XY) 5、一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ ）。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、 下面哪一项不属于熵的性质： （ ） A ．非负性 B ．完备性 C ．对称性 D ．确定性 信息论与编码 信息论与编码 信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴== 1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士 模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按发出符 号，求和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8.二元无记忆信源，有求： （1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？ （2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量： ，， 10.已知一（3，1，3）卷积码编码器，输入输出关系为： 试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求： （1）最佳概率分布？ （2）当，时，求平均互信息信道疑义度 （3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此 3.设线性分组码的生成矩阵为，求： （1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。 （2）求其对应的一致校验矩阵H。 （3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。 （4）若接收码字为000110，用伴随式法求译码结果。 4.二元对称信道的信道矩阵为，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问： （1）试计算能否在10秒内将信源消息序列无失真传送完？ （2）若信源概率分布为，求无失真传送以上信源消息序列至少需要多长时间？ 5.已知（7，4）循环码的生成多项式，求： （1）求该码的编码效率？ （2）求其对应的一致校验多项式 信息论与编码课后习题答案详解 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表 示2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ 八进制脉冲的平均信息量 H X( 2) = log n = log8 = 3 bit symbol/ 二进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/ 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和3 倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x1（是大学生）x2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y1（身高>160cm）y2（身高<160cm） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160 厘米以上的即： p y( 1 / x1) = 0.75 bit 求：身高160 厘米以上的某女孩是大学生的信息量 p x p y( 1) ( 1 / x1 ) log 0.25×0.75 =1.415 bit即：I x( 1 / y1 ) = ?log p x( 1 / y1 ) = ?log = ? p y( 1 ) 0.5 2.3 一副充分洗乱了的牌（含52张牌），试问 (1)任一特定排列所给出的信息量是多少？ (2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52 张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： p x( i ) = 1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 " 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 一、概念简答题（每题5分，共40分） 二、1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 6.由得，则 7.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 8.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 9. 10.8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 11.2）因为失真矩阵中每行都有一个0，所以有，而。答案~信息论与编码练习
信息论与编码试卷与答案
信息论与编码试题集与答案(2014)
信息论与编码试卷及答案(多篇)
信息论与编码课后习题答案
《信息论与编码》教学大纲
信息论与编码期中试卷及答案
信息论与编码理论习题答案
信息论与编码试题集与答案
信息论与编码理论课后习题答案高等教育出版社
信息论与编码(第二版)曹雪虹(最全版本)答案
信息论与编码课后答案
信息理论与编码期末试卷A及答案
信息论与编码习题参考答案(全)
信息论与编码试题
信息论与编码陈运主编答案完整版
信息论与编码课后习题答案
信息论与编码试题集与答案(新)
信息论与编码试卷及答案
相关主题
文本预览