当前位置：文档之家 › 信息论与编码理论习题答案

信息论与编码理论习题答案

  • 格式：docx
  • 大小：562.38 KB
  • 文档页数：19

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此

每个码字的信息量为 28log=23=6 bit

因此，信息速率为 61000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

)(ap=366=61

得到的信息量 =)(1logap=6log=2.585 bit

(2) 可能的唯一，为 {6，6}

)(bp=361

得到的信息量=)(1logbp=36log=5.17 bit

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：(a) )(ap=!521

信息量=)(1logap=!52log=225.58 bit

(b)

花色任选种点数任意排列13413!13

)(bp=1352134!13A=1352134C

信息量=1313524loglogC=13.208 bit

2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(YZH、)|(YXH、),|(YXZH、)|,(YZXH、)|(XZH。

解：令第一第二第三颗骰子的结果分别为321,,xxx，1x，2x，3x相互独立，则1xX，21xxY，321xxxZ )|(YZH=)(3xH=log6=2.585 bit

)|(XZH=)(32xxH=)(YH

=2(361log36+362log18+363log12+364log9+365log536)+366log6

=3.2744 bit

)|(YXH=)(XH-);(YXI=)(XH-[)(YH-)|(XYH]

而)|(XYH=)(XH，所以)|(YXH= 2)(XH-)(YH=1.8955 bit

或)|(YXH=)(XYH-)(YH=)(XH+)|(XYH-)(YH

而)|(XYH=)(XH ，所以)|(YXH=2)(XH-)(YH=1.8955 bit

),|(YXZH=)|(YZH=)(XH=2.585 bit

)|,(YZXH=)|(YXH+)|(XYZH=1.8955+2.585=4.4805 bit

2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：

);(YXI=)(YH-)|(XYH

因为输入等概，由信道条件可知，

即输出等概，则)(YH=log10

)|(XYH=)|(log)(ijjjiixypyxp

=)|(log)(ijjijixypyxp偶-)|(log)(ijjijixypyxp奇

=0-)|(log)(ijjijixypyxp奇

= -)|(log)|()(97,5,3,1iiiiiixypxypxp，-)|(log)|()(97531ijjiiijixypxypxp，，，，＝

=10121log25+1012141log845

=4341=1 bit

);(YXI=)(YH-)|(XYH=log10 -1=log5=2.3219 bit

2.11 令{821,,uuu，}为一等概消息集，各消息相应被编成下述二元码字

1u=0000，2u=0011，3u=0101，4u=0110， 5u=1001，6u=1010，7u=1100，8u=1111

通过转移概率为p的BSC传送。求：

(a)接收到的第一个数字0与1u之间的互信息量。

(b)接收到的前二个数字00与1u之间的互信息量。

(c)接收到的前三个数字000与1u之间的互信息量。

(d)接收到的前四个数字0000与1u之间的互信息量。

解：

即)0;(1uI，)00;(1uI，)000;(1uI，)0000;(1uI

)0(p=4)1(81p+481p=21

)0;(1uI=)0()|0(log1pup=211logp=1+)1log(p bit

)00(p=]2)1(4)1(2[8122pppp=41

)00;(1uI=)00()|00(log1pup=4/1)1(log2p=)]1log(1[2p bit

)000(p=])1(3)1(3)1[(813223pppppp=81

)000;(1uI=3[1+)1log(p] bit

)0000(p=])1(6)1[(814224pppp

)0000;(1uI=42244)1(6)1()1(8logppppp bit

2.12 计算习题2.9中);(ZYI、);(ZXI、);,(ZYXI、)|;(XZYI、)|;(YZXI。

解：根据题2.9分析

)(ZH=2(216log2161+3216log2163+6216log2166+10216log21610+

15216log21615+21216log21621+25216log21625+27216log21627)

=3.5993 bit

);(ZYI=)(ZH-)|(YZH=)(ZH-)(XH=1.0143 bit

);(ZXI=)(ZH-)|(XZH=)(ZH-)(YH=0.3249 bit );,(ZYXI=)(ZH-)|(XYZH=)(ZH-)(XH=1.0143 bit

)|;(XZYI=)|(XZH-)|(XYZH=)(YH-)(XH=0.6894 bit

)|;(YZXI=)|(YZH-)|(XYZH=)(XH-)(XH=0 bit

2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立

(a))|,(XZYH)|(XYH+)|(XZH，给出等号成立的条件

(b))|,(XZYH=)|(XYH+),|(YXZH

(c)),|(YXZH)|(XZH

证明：(b) )|,(XZYH=-xyzxyzpxyzp)|(log)(

=-xyzxyzpxypxyzp)]|()|(log[)(

=-xyzxypxyzp)|(log)(-xyzxyzpxyzp)|(log)(

=)|(XYH+)|(XYZH

(c) ),|(YXZH=-xyzxyzpxyzp)|(log)(

=xyxyp)([-zxyzpxyzp)|(log)|(]

xyxyp)([-zxzpxzp)|(log)|(]

=-xyzxzpxyzp)|(log)(

=)|(XZH

当)|(xyzp=)|(xzp，即X给定条件下，Y与Z相互独立时等号成立

(a) 上式(c)左右两边加上)|(XYH，可得

)|(XYH+),|(YXZH)|(XYH+)|(XZH

于是)|,(XZYH)|(XYH+)|(XZH

2.28

令概率空间21,211,1X，令Y是连续随机变量。已知条件概率密度为

其他,022,41)|(xyxyp，求： (a)Y的概率密度)(y

(b));(YXI

(c) 若对Y做如下硬判决

求);(VXI，并对结果进行解释。

解：(a) 由已知，可得

)1|(xyp=elsey01341

)1|(xyp=elsey03141

)(y=)1(xp)1|(xyp+)1(xp)1|(xyp

=elseyyy0318111411381

(b) )(YHC=11134log4128log81=2.5 bit

)|(XYHC=13)1|(log)1|()1(dyxypxypxp

=dydy311341log412141log4121 =2 bit

);(YXI=)(YHC-)|(XYHC=0.5 bit

(c) 由)(y可得到V的分布律

V -1 0 1

p 1/4 1/2 1/4

再由)|(xyp可知

V -1 0

1

p(V|x=-1) 1/2 1/2 0

p(V|x=1) 0 1/2 1/2

5.14log2412log21)(VH bit 2]2log212log21[21)|(XVH=1 bit

);(VXI=)|()(XVHVH= 0.5 bit

2.29 令)(1xQ和)(2xQ是同一事件集U上的两个概率分布，相应的熵分别为1)(UH和2)(UH。

(a)对于10，证明)(xQ=)(1xQ+)1()(2xQ是概率分布

(b))(UH是相应于分布)(xQ的熵，试证明)(UH1)(UH+)1(2)(UH

证明：(a) 由于)(1xQ和)(2xQ是同一事件集U上的两个概率分布，于是

)(1xq0，)(2xq0

dxxqx)(1=1，dxxqx)(2=1

又10，则

)(xq=)(1xq+)1()(2xq0

dxxqx)(=dxxqx)(1+dxxqx)()1(2=1

因此，)(xQ是概率分布。

(b) )(UH=dxxqxqxqxqx)]()1()(log[)]()1()([2121

合集下载

信息论与编码课后习题答案

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x1|x1)=2/3，p(x2|x1)=1/3，p(x1|x2)=1，p(x2|x2)=0，试画出该信源的香农线图，并求出信源熵。

解：该信源的香农线图为：

1/3

○ ○

2/3 (x1) 1 (x2)

在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和 x2 的概率)(1xp和)(2xp

立方程：)()()(1111xpxxpxp+)()(221xpxxp

=)()(2132xpxp

)()()(1122xpxxpxp+)()(222xpxxp

=)(0)(2131xpxp

)()(21xpxp=1 得431)(xp 412)(xp

马尔可夫信源熵H = IJijijixxpxxpxp)(log)()( 得 H=0.689bit/符号

2．设有一个无记忆信源发出符号A和B，已知4341)(.)(BpAp。求：

①计算该信源熵；

②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率；

③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。

解：①XiixpxpXH)(log)()( =0.812 bit/符号

②发出二重符号序列消息的信源,发出四种消息的概率分别为

1614141)(AAp 1634341)(ABp

1634143)(BAp 1694343)(BBp

用费诺编码方法 代码组 bi

信息论与编码理论习题答案

信息论与编码理论习题答案

第二章 信息量和熵

八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此

每个码字的信息量为 28log=23=6 bit

因此，信息速率为 61000=6000 bit/s

掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

)(ap=366=61

得到的信息量 =)(1logap=6log= bit

(2) 可能的唯一，为 {6，6}

)(bp=361

得到的信息量=)(1logbp=36log= bit

经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：(a) )(ap=!521

信息量=)(1logap=!52log= bit

(b)

花色任选种点数任意排列13413!13

)(bp=1352134!13A=1352134C

信息量=1313524loglogC= bit

随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(YZH、)|(YXH、),|(YXZH、)|,(YZXH、)|(XZH。

解：令第一第二第三颗骰子的结果分别为321,,xxx，1x，2x，3x相互独立，则1xX，21xxY，321xxxZ

)|(YZH=)(3xH=log6= bit

)|(XZH=)(32xxH=)(YH

信息论与编码(陈运)习题答案

信息论与编码(陈运)习题答案

· 1 · 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}

二进制脉冲可以表示2个不同的消息，例如：{0, 1}

假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量symbolbitnXH/ 24loglog)(

1

八进制脉冲的平均信息量symbolbitnXH/ 38loglog)(

2

二进制脉冲的平均信息量symbolbitnXH/ 12loglog)(

0

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女

孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大

学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

X x1（是大学生） x2（不是大学生）

P(X) 0.25 0.75

设随机变量Y代表女孩子身高

Y y1（身高>160cm） y2（身高<160cm）

P(Y) 0.5 0.5

已知：在女大学生中有75%是身高160厘米以上的

即：bitxyp 75.0)/(

11

求：身高160厘米以上的某女孩是大学生的信息量 即：bit

ypxypxp

yxpyxI 415.1

5.075.025.0

log

)()/()(

log)/(log)/(

1111

1111



2.3 一副充分洗乱了的牌（含52张牌），试问

(1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？

解：

(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

!521

)(

信息论与编码-曹雪虹-课后习题答案

信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案

第二章

2.1一个马尔可夫信源有3个符号1,23,uuu，转移概率为：11|1/2puu，21|1/2puu，31|0puu，12|1/3puu，22|0puu，32|2/3puu，13|1/3puu，23|2/3puu，33|0puu，画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为：

1/21/201/302/31/32/30p

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

由1231WPWWWW得1231132231231112331223231WWWWWWWWWWWW计算可得1231025925625WWW

u1u2u31/21/21/32/32/31/3

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8pp (0|01)(10|01)0.5pp

(0|11)(10|11)0.2pp (0|10)(00|10)0.5pp

(1|00)(01|00)0.2pp (1|01)(11|01)0.5pp

(1|11)(11|11)0.8pp (1|10)(01|10)0.5pp

于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p

状态图为：

000110110.80.20.50.50.50.50.20.8