信息论与编码理论习题答案全解

格式：doc
大小：6.44 MB
文档页数：32

信息论与编码理论习题答案全解

第二章信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此

每个码字的信息量为 28log=23=6 bit

因此，信息速率为 61000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

)(ap=366=61

得到的信息量 =)(1logap=6log=2.585 bit

(2) 可能的唯一，为 {6，6}

)(bp=361

得到的信息量=)(1logbp=36log=5.17 bit

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：(a) )(ap=!521

信息量=)(1logap=!52log=225.58 bit

(b)

花色任选种点数任意排列13413!13

)(bp=1352134!13A=1352134C

信息量=1313524loglogC=13.208 bit

即)0;(1uI，)00;(1uI，)000;(1uI，)0000;(1uI

)0(p=4)1(81p+481p=21

)0;(1uI=)0()|0(log1pup=211logp=1+)1log(p bit

)00(p=]2)1(4)1(2[8122pppp=41

)00;(1uI=)00()|00(log1pup=4/1)1(log2p=)]1log(1[2p bit

)000(p=])1(3)1(3)1[(813223pppppp=81

)000;(1uI=3[1+)1log(p] bit

)0000(p=])1(6)1[(814224pppp

)0000;(1uI=42244)1(6)1()1(8logppppp bit

2.12 计算习题2.9中);(ZYI、);(ZXI、);,(ZYXI、)|;(XZYI、)|;(YZXI。

解：根据题2.9分析

)(ZH=2(216log2161+3216log2163+6216log2166+10216log21610+

15216log21615+21216log21621+25216log21625+27216log21627)

=3.5993 bit

);(ZYI=)(ZH-)|(YZH=)(ZH-)(XH=1.0143 bit

);(ZXI=)(ZH-)|(XZH=)(ZH-)(YH=0.3249 bit

);,(ZYXI=)(ZH-)|(XYZH=)(ZH-)(XH=1.0143 bit

)|;(XZYI=)|(XZH-)|(XYZH=)(YH-)(XH=0.6894 bit

)|;(YZXI=)|(YZH-)|(XYZH=)(XH-)(XH=0 bit

2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立

(a))|,(XZYH)|(XYH+)|(XZH，给出等号成立的条件

(b))|,(XZYH=)|(XYH+),|(YXZH

(c)),|(YXZH)|(XZH

证明：(b) )|,(XZYH=-xyzxyzpxyzp)|(log)(

=-xyzxyzpxypxyzp)]|()|(log[)(

=-xyzxypxyzp)|(log)(-xyzxyzpxyzp)|(log)(

=)|(XYH+)|(XYZH

=xyxyp)([-zxyzpxyzp)|(log)|(]

xyxyp)([-zxzpxzp)|(log)|(]

=-xyzxzpxyzp)|(log)(

=)|(XZH

当)|(xyzp=)|(xzp，即X给定条件下，Y与Z相互独立时等号成立

(a) 上式(c)左右两边加上)|(XYH，可得

)|(XYH+),|(YXZH)|(XYH+)|(XZH

于是)|,(XZYH)|(XYH+)|(XZH

2.28

令概率空间21,211,1X，令Y是连续随机变量。已知条件概率密度为

其他,022,41)|(xyxyp，求：

(a)Y的概率密度)(y

(b));(YXI

1,111,01,1yyyV

求);(VXI，并对结果进行解释。

解：(a) 由已知，可得

)1|(xyp=elsey01341

)1|(xyp=elsey03141

)(y=)1(xp)1|(xyp+)1(xp)1|(xyp

=elseyyy0318111411381

(b) )(YHC=11134log4128log81=2.5 bit

)|(XYHC=13)1|(log)1|()1(dyxypxypxp

31)1|(log)1|()1(dyxypxypxp

=dydy311341log412141log4121 =2 bit

);(YXI=)(YHC-)|(XYHC=0.5 bit

V -1 0 1

p 1/4 1/2 1/4

再由)|(xyp可知

V -1 0 1

p(V|x=-1)

1/2

1/2 0

p(V|x=1) 0 1/2

1/2

5.14log2412log21)(VH bit

2]2log212log21[21)|(XVH=1 bit

);(VXI=)|()(XVHVH= 0.5 bit

2.29 令)(1xQ和)(2xQ是同一事件集U上的两个概率分布，相应的熵分别为1)(UH和2)(UH。

(a)对于10，证明)(xQ=)(1xQ+)1()(2xQ是概率分布

(b))(UH是相应于分布)(xQ的熵，试证明)(UH1)(UH+)1(2)(UH

证明：(a) 由于)(1xQ和)(2xQ是同一事件集U上的两个概率分布，于是

)(1xq0，)(2xq0

dxxqx)(1=1，dxxqx)(2=1

又10，则

)(xq=)(1xq+)1()(2xq0

dxxqx)(=dxxqx)(1+dxxqx)()1(2=1

因此，)(xQ是概率分布。

(b) )(UH=dxxqxqxqxqx)]()1()(log[)]()1()([2121

=dxxqxqxqx)]()1()(log[)(211

dxxqxqxqx)]()1()(log[)()1(212

xdxxqxq)(log)(11xdxxqxq)(log)()1(22 （引理2）

=1)(UH+)1(2)(UH

第三章信源编码——离散信源无失真编码

3.1 试证明长为N的D元等长码至多有1)1(DDDN个码字。

证：①在D元码树上，第一点节点有D个，第二级有2D，每个节点对应一个码字，若最长码有N，则函数有NiiD1=DDDN1)1(=1)1(DDDN，此时，所有码字对应码树中的所有节点。

②码长为1的D个；码长为2的2D个，…，码长为N的ND个

∴总共NiiD1=1)1(DDDN个

3.2 设有一离散无记忆信源996.0,004.0,21aaU。若对其输出的长为100的事件序列中含有两个或者少于两个1a的序列提供不同的码字。

(a) 在等长编码下，求二元码的最短码长。

(b) 求错误概率（误组率）。

解: (a)不含1a的序列 1个

长为100的序列中含有1个1a的序列 1100C=100个

长为100的序列中含有2个1a的序列 2100C=4950个

∴所需提供码的总数M=1+100+4950=5051

于是采用二元等长编码DMNloglog =12.3，故取N=13

(b)当长度为100的序列中含有两个或更多的1a时出现错误，

因此错误概率为

eP=11000100)996.0(C-991100)996.0)(004.0(C9822100)996.0()004.0(C

=310775.7

3.3 设有一离散无记忆信源，U=43,41,21aa，其熵为)(UH。考察其长为L的输出序列，当0LL时满足下式

)()(UHLuIPLr

(a)在=0.05，=0.1下求0L

(b)在=310，=810下求0L

(c)令T是序列Lu的集合，其中

)()(UHLuIL

试求L=0L时情况(a)(b)下，T中元素个数的上下限。

解：)(UH=kkpplog=34log434log41=0.81 bit

)]([kaIE =)(UH

2I=})]()({[2UHaIEk=])([2kaIE-)(2UH

=kkkUHpp)()(log22

=0.471

则根据契比雪夫大数定理

22)()(LUHLuIPILr

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H(X) 来度量；在有失真的信源中，信源输出由

R(D) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，

然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)CWSNR；当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为 -1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M；C)就越大。

5. 已知n＝7的循环码42()1gxxxx，则信息位长度k为 3 ，校验多项式

h(x)= 31xx 。

6. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0) = d(1，1) = 0，d(0，1) =2，d(1，0) = 1，则Dmin＝ 0 ，R(Dmin)＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x)]＝1001；Dmax＝ 0.5 ，R(Dmax)＝

0 ，相应的编码器转移概率矩阵[p(y/x)]＝1010。

7. 已知用户A的RSA公开密钥(e,n)=(3,55)，5,11pq,则()n 40 ，他的秘密密钥(d,n)＝(27,55) 。若用户B向用户A发送m=2的加密消息，则该加密后的消息为 8 。

二、判断题

1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（ ）

2. 线性码一定包含全零码。（ ）

信息论与编码试卷08B答案

《信息论与编码》考试卷（B卷）第1页（共2页）河南理工大学万方学院 2008-2009 学年第 1 学期

《信息论与编码》考试卷（B卷）

考试方式：闭卷本试卷考试分数占学生总评成绩的 80 %

复查总分总复查人

一、填空题（共20 分，每空2分）

1．信息的基本概念在于它的不确定性。

2．按照信源发出的消息在时间和幅度上的分布情况，可将信源分成离散信源和连续信源两大类。

3．一个随机事件的自信息量定义为其出现概率对数的负值。

4．按树图法构成的码一定满足即时码的定义。

5．有扰离散信道编码定理称为香农第二极限定理。

6．纠错码的检、纠错能力是指检测、纠正错误码元的数目。

7．信道一般指传输信息的物理媒介，分为有线信道和无线信道。

8．信源编码的主要目的是提高通信系统的有效性。

二、选择题（共10 分，每题2分）

1. 给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj /xi)，（D） A．数量上不等，单位不同 B．数量上不等，单位相同

C．数量上相等，单位不同 D．数量上相等，单位相同

2. 条件熵和无条件熵的关系是：（C）

A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)

3. 根据树图法构成规则，（D）

A．在树根上安排码字 B．在树枝上安排码字

C．在中间节点上安排码字 D．在终端节点上安排码字

4. 下列说法正确的是：（C）

A．奇异码是唯一可译码 B．非奇异码是唯一可译码

C．非奇异码不一定是唯一可译码 D．非奇异码不是唯一可译码

信息论与编码试题集与答案(新) 2

1. 在无失真的信源中，信源输出由 H(X) 来度量；在有失真的信源中，信源输出由

R(D) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，

然后_____加密____编码，再______信道_____编码，最后送入信道。

4. 保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M；C)就越大。

5. 已知n＝7的循环码42()1gxxxx，则信息位长度k为 3 ，校验多项式

h(x)= 31xx 。

0 ，相应的编码器转移概率矩阵[p(y/x)]＝1010。

7. 已知用户A的RSA公开密钥(e,n)=(3,55)，5,11pq,则()n 40 ，他的秘密密钥(d,n)＝(27,55) 。若用户B向用户A发送m=2的加密消息，则该加密后的消息为 8 。

二、判断题

1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（ ）

2. 线性码一定包含全零码。（ ）

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x1|x1)=2/3，p(x2|x1)=1/3，p(x1|x2)=1，p(x2|x2)=0，试画出该信源的香农线图，并求出信源熵。

解：该信源的香农线图为：

1/3

○ ○

2/3 (x1) 1 (x2)

在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和 x2 的概率)(1xp和)(2xp

立方程：)()()(1111xpxxpxp+)()(221xpxxp

=)()(2132xpxp

)()()(1122xpxxpxp+)()(222xpxxp

=)(0)(2131xpxp

)()(21xpxp=1 得431)(xp 412)(xp

马尔可夫信源熵H = IJijijixxpxxpxp)(log)()( 得 H=0.689bit/符号

2．设有一个无记忆信源发出符号A和B，已知4341)(.)(BpAp。求：

①计算该信源熵；

②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率；

③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。

解：①XiixpxpXH)(log)()( =0.812 bit/符号

②发出二重符号序列消息的信源,发出四种消息的概率分别为

1614141)(AAp 1634341)(ABp

1634143)(BAp 1694343)(BBp

用费诺编码方法代码组 bi

下载提示

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

信息论与编码理论习题答案全解

合集下载

信息论与编码试题集与答案(新)

信息论与编码试卷08B答案

信息论与编码试题集与答案(新) 2

信息论与编码课后习题答案

文档推荐

最新文档