2012.信息论.第2章.习题答案

Z
X
Y
I ( X ;Y ) H ( X ) H ( X /Y ) 1 0.811 0.189 bit I ( X ; Z ) H ( X ) H ( X / Z ) 1 0.862 0.138 bit I (Y ; Z ) H (Y ) H (Y / Z ) 1 0.862 0.138 bit I ( X ;Y Z ) H ( X / Z ) H ( X /YZ ) 0.862 0.405 0.457 bit I (Y ; Z X ) H (Y / X ) H (Y / XZ ) 0.862 0.405 0.457 bit I ( X ; Z Y ) H ( X /Y ) H ( X /YZ ) 0.811 0.405 0.406 bit
Y
H (Y / X ) H ( XY ) H ( X ) 1.811 1 0.811 bit
H ( X / Z ) H ( XZ ) H (Z ) 1.406 0.544 0.862 bit
H (Z / X ) H ( XZ ) H ( X ) 1.406 1 0.406 bit
i
p( y1)
p(x1 y1)
p(x2 y1)
1 8
3 8
1 2
p( y2 )
p(x1 y2 )
p(x2 y2 )
3 8
1 8
1 2
H (Y ) p( y j ) log2 p( y j ) 1 bit / symbol
j
(1) H(Z)
Z = XY的概率分布如下：
Z P(Z
)
z1
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。
I (xi; y j ) log
p( xi / y j ) p( xi )
p( xi y j )
n
p( xi y j )
i 1
p( xi ) p( y j
/ xi )
p(u3 / x0 )
p(u3) p( x0 / u3) 1/ 8 1/ 6 p(ui ) p( x0 / ui ) 3 / 4
进制代
码组 x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1
P(ui) 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。 求在给定x0条件下，各消息与y1之间的条件互信息量。 求在给定x0y1条件下，消息u3与z1之间的条件互信息量。 求消息u3与代码组之间的互信息量。
I (xi;
y
j)
log
p( xi / y p( xi )
j)
p(xi y j ) p( xi ) p( y j / xi )
n
p( xi y j )
i 1
p(u0 / x0 )
p(u0 ) p( x0 / u0 )
1/ 4
1/ 3
p(ui ) p(x0 / ui ) 1/ 4 1/ 4 1/ 8 1/ 8
p( x1z2 ) 0
p(
x2
z1
)
3 8
p(
x2
z2
)
1 8
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
z1 0 z2 1
7
1
8
8
H ( XZ )
p( xi zk ) log2 p( xi zk )
ik
(
1 2
log2
1 2
3 8
log2
百度文库
3 8
1 8
H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
y1=0 1/8 3/8
y2=1 3/8 1/8
H ( XY )
p( xi y j ) log2 p( xi y j )
ij
1 8
log2
1 8
3 8
log2
3 8
3 8
log2
3 8
1 8
log2
1 8
1.811
bit
Z
H ( X /Y ) H ( XY ) H (Y ) 1.8111 0.811 bit X
• 2.3 在布袋中放入81个硬币，它们的外形完全相同。已 知有一个硬币的重量与其他81个硬币的重量不同，但 不知这一个硬币是比其他硬币重还是轻。问确定随意 取出的一个硬币恰好是重量不同的一个硬币所需要的 信息量是多少？若要进一步确定它比其他硬币是重一 些还是轻一些所需要的信息量是多少？
p( A) 1/ 81 I ( A) log P( A) 6.34(bit)
解：(1) H(X), H(Y)
p( x1 )
p(x1 y1)
p(x1 y2 )
1 8
3 8
1 2
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
p(x2 )
p(x2 y1)
p(x2 y2 )
3 8
1 8
1 2
H ( X ) p(xi ) log2 p(xi ) 1 bit / symbol
H (Y / Z ) H (YZ ) H (Z ) 1.406 0.544 0.862 bit
H (Z /Y ) H (YZ ) H (Y ) 1.406 1 0.406 bit
H ( X /YZ ) H ( XYZ ) H (YZ ) 1.8111.406 0.405 bit
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。
7
8
0
z2
1
1
8
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
2
H(Z)
k
p(
zk
)
7 8
log2
7 8
1 8
log2
1 8
0.544
bit / symbol
(1) H(XZ), H(YZ)
p( x1) p( x2 ) 0.5
p( x1z1) 0.5
p p( A) p(B) 1/ 811/ 2 I log(1/ 811/ 2) 7.34(bit)
• 习题2.4 居住在某地区的女孩中有25%是大学生，在女 大学生中有75%是身高1.6米以上的，而女孩中身高1.6 米以上的占总数一半。假如我们得知“身高1.6米以上 的某女孩是大学生”的消息，问可获得多少信息量？
log 2
1 18
4.170
bit
(2)
p( xi
)
1 6
1 6
1 36
I (xi )
log 2
p(xi )
log 2
1 36
5.170
bit
(3)
p( xi
)
1
5 6
5 6
11 36
I ( xi ) log2
p( xi
)
log2
11 36
1.710
bit
• 2.2 设在一只布袋中装有100只对人手的感觉完全相同的木球， 每只球上涂有一种颜色。100只球的颜色有下列三种情况：
解： 设随机变量X代表女孩子学历
X P(X)
x1（是大学生）
0.25
x2（不是大学生）
0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm）
P(Y)
0.5
0.5
已知：在女大学生中有75%是身高160厘米以上的
即：p(y1/ x1) = 0.75
解： 设随机变量X代表女孩子学历
H (Y / XZ ) H ( XYZ ) H ( XZ ) 1.8111.406 0.405 bit
H (Z / XY ) H ( XYZ ) H ( XY ) 1.8111.811 0 bit
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6， 求： (1) “3和5同时出现”这件事的自信息量； (2) “两个1同时出现”这件事的自信息量； (3) 两个点数中至少有一个是1的自信息量。
解： (1)
p( xi
)
1 6
1 6
1 6
1 6
1 18
I (xi )
log 2
p(xi )
log2
1) 8
1.406
bit / symbol
（1）H(XYZ)；
p( x1 y1z2 ) 0, p( x1 y2 z2 ) 0
p( x2
y1z2
)
0,
p( x2
y2 z2
)
1 8
p(
x1
y1z1
)
1/
8,
p(
x1
y2
z1
)
3 8
p( x2
y1 z1 )
3 8
,
p( x2
y2 z1)
0
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
习题2.26：已知信源U包含8个数字消息0,1,2,3,4,5,6,7。为了 在二进制信道上传输，用信源编码器把这8个十进制数编成 三位二进制代码组，信源各消息（符号）的先验概率及相应 的代码组如下：
信息 0 1 2 3 4 5 6 7
三位二 000 001 010 011 100 101 110 111
i
I (u3;
x0 )
log
p(u3 / x0 ) p(u3 )
log 1/ 6 1/8
log
4 3
0.415(bit)
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
z1 0 z2 1
7
1
8
8
H ( XYZ )
p( xi y j zk ) log2 p( xi y j zk )
i jk
1 8
log
2
1 8
3 8
log
2
3 8
3 8
log
2
3 8
1 8
log
2
1 8
1.811
bit
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), Y X x1=0 x2=1
i
I (u0;
x0 )
log
p(u0 / x0 ) p(u0 )
log
1/ 3 1/ 4
0.415(bit)
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。
p(u3 / x0 y1)
X P(X)
x1（是大学生）
0.25
x2（不是大学生）
0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm）
P(Y)
0.5
0.5
已知：在女大学生中有75%是身高160厘米以上的
即：p(y1/ x1) = 0.75
求：身高160厘米以上的某女孩是大学生的信息量,即：
I
（1）红色球和白色球各50只；
（2）红色球99只，白色球1只；
（3）红、黄、蓝、白色各25只；
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。
(1) p(R) p(W ) 50 /100 1/ 2 I (R) I (W ) log 2 1(bit) (2) p(R) 99 /100 0.99 p(W ) 1/100 0.01 I (R) log100 / 99 0.0145(bit) I (W ) log100 6.644(bit) (3) p(R) p(Y ) p(B) p(W ) 25/100 1/ 4 I (R) I (W ) I (W ) I (W ) log 4 2(bit)
(
x1
/
y1 )
log
p(
x1
/
y1
)
log2
p(
x1
) p( y1 p( y1)
/
x1 )
log2
0.25 0.75 0.5
1.415
bit
2.18 有两个二元随机变量X和Y，它们的联合概率为
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。