当前位置：文档之家 › 信息论与编码试卷及答案(DOC)

信息论与编码试卷及答案(DOC)

  • 格式：pdf
  • 大小：342.01 KB
  • 文档页数：16

1一、（11’）填空题（1）1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编码 。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关

3、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而

女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分）四、（5）证明：平均互信息量同信息熵之间满足

I(X;Y)=H(X)+H(Y)-H(XY)证明：2

（2分）

YXHXHyxpyxpxpyxpxpyxpyxpYXIXXYjijiYijiXYijiji







logloglog;

同理 （1分）XYHYHYXI;

则



YXIYHXYH;

因为 （1分）XYHXHXYH

故YXIYHXHXYH;

即 （1分）XYHYHXHYXI;

五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：

1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；XH

2） 假设黑白消息出现前后有关联，其依赖关系为 ，，，，求其熵。XH

3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。

解：1）信源模型为 （1分）3

2）由题意可知该信源为一阶马尔科夫信源。 （2分）由

（4分）得极限状态概率

（2分）

（3分）

3） （1分）119.02log)(121

XH

（1分）447.02log)(122

XH

。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是12



反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）六、（18’）.信源空间为

，试分别构造二元香农码和二元霍夫1234567()0.20.190.180.170.150.10.01XxxxxxxxPX







曼码，计算其平均码长和编码效率（要求有编码过程）。4

14.3)(71iiilapL831.014.361.2)(LXHR5

七（6’）.设有一离散信道，其信道传递矩阵为，并设，试分别



2/16/13/13/12/16/16/13/12/141)(21)(41)(321xpxp

xp

按最大后验概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。 1）（3分）最小似然译码准则下，有，

2）（3分）最大后验概率准则下，有，

八（10）.二元对称信道如图。

1）若，，求、和；430p4

1

1pXHYXH|YXI;

2）求该信道的信道容量。

解：1）共6分

2）， （3分）此时输入概率分布为等概率分布。（1分）九、（18）设一线性分组码具有一致监督矩阵



110101100110111000H

1）求此分组码n=?,k=?共有多少码字？2）求此分组码的生成矩阵G。3）写出此分组码的所有码字。4）若接收到码字（101001），求出伴随式并给出翻译结果。

解：1）n=6,k=3,共有8个码字。（3分）

符号/749.0|bitYXH6

2）设码字由得012345CCCCCCC

r

TTHC0

（3分）





0000135034012CCCCCCCCCC

令监督位为，则有012CCC

（3分）





340451352

CCCCCC

CCC

生成矩阵为 （2分）

101100110010011001

3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分）4）由得TTHRS

，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为101S

（101001）（1分） 一、填空题（本题10空,每空1分,共10分）1、必然事件的自信息量是____0____，不可能事件的自信息量是___无穷______。2、一信源有五种符号{a，b，c，d，e}，先验概率分别为Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.0625。符号“a”的自信息量为___1_____bit，此信源的熵为__1.875______bit/符号。3、如某线性分组码的最小汉明距dmin=6，最多能纠正___2___个随机错。4、根据密码算法所使用的加密密钥和解密密钥是否相同，可将密码体制分成___对称（单密钥）_____和___非对称（双密钥）____。5、平均互信息量I(X;Y)与信源熵和条件熵之间的关系是__I(X:Y)=H(X)-H(X/Y)______。6、克劳夫特不等式是唯一可译码__存在_______的充要条件。{00，01，10，11}是否是唯一可译码？___是______。三、单项选择题(本题共10小题；每小题2分，共20分)1、对连续集的熵的描述不正确的是（A）A 连续集的熵和离散集的熵形式一致，只是用概率密度代替概率，用积分代替求和B 连续集的熵值无限大C 连续集的熵由绝对熵和微分熵构成D 连续集的熵可以是任意整数7

2、设信道输入为xm，输出为y，若译码准则是当P(y | xm’)≥P(y | xm)，对所有m≠m’时，将y判为m’，则称该准则为（D）A 最大后验概率译码准则B 最小错误概率准则C 最大相关译码准则D 最大似然译码准则3、线性分组码不具有的性质是（C）A 任意多个码字的线性组合仍是码字B 最小汉明距离等于最小非0重量C 最小汉明距离为3D 任一码字和其校验矩阵的乘积cmHT=04、关于伴随式的描述正确的是（A）A 伴随式s与传送中信道出现的错误图样e有关B 通过伴随式s可以完全确定传送中信道出现的错误图样eC 伴随式s与发送的具体码字有关D 伴随式s与发送的具体码字有关，与传送中信道出现的错误图样e也有关5、率失真函数的下限为（B）AH(U) B0 CI(U; V) D没有下限6、纠错编码中，下列哪种措施不能减小差错概率（D）A 增大信道容量B 增大码长C 减小码率D 减小带宽7、已知某无记忆三符号信源a,b,c 等概分布，接收端为二符号集，其失真矩阵为,则信源的最大平均失真度Dmax 为（ D）A 1/3 B 2/3 C 3/3 D 4/38、一珍珠养殖场收获240 颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1 颗。一人随手取出3 颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6 次能找出，结果确是如此，这一事件给出的信息量（ A）。A 0bit B log6bit C 6bit D log240bit9、已知随机噪声电压的概率密度函数 p(x) =1/2，x 的取值范围为－1V 至+1V，若把噪声幅度从零开始向正负幅度两边按量化单位为0.1V 做量化，并且每秒取10 个记录，求该信源的时间熵（B ）A 21.61bit/s B 43.22bit/s C 86.44 bit /s D 以上都不对10、彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64 种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25 帧图像所需要的信道容量（C ）A 50.106 B 75.106 C 125.106 D 250.106第7章 线性分组码

1. 已知一个(5, 3)线性码C的生成矩阵为：

合集下载

信息论与编码理论习题答案

信息论与编码理论习题答案

资料范本本资料为word版本，可以直接编辑和打印，感谢您的下载信息论与编码理论习题答案地点：__________________时间：__________________说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为 2=23=6 bit因此，信息速率为 61000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ==得到的信息量 ===2.585 bit(2) 可能的唯一，为 {6，6}=得到的信息量===5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) =信息量===225.58 bit(b)==信息量==13.208 bit2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。

解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，==6=2.585 bit===2(36+18+12+9+)+6=3.2744 bit=-=-[-]而=，所以= 2-=1.8955 bit或=-=+-而= ，所以=2-=1.8955 bit===2.585 bit=+=1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。

奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

(完整word版)答案~信息论与编码练习(word文档良心出品)

(完整word版)答案~信息论与编码练习(word文档良心出品)

1、有一个二元对称信道，其信道矩阵如下图所示。

设该信道以1500个二元符号/秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。

问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。

则该消息序列含有的信息量＝14000(bit/symbol)。

下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。

2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？3 、已知随即变量X 和Y 的联合分布如下所示：01100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。

信息论与编码陈运主编答案完整版

信息论与编码陈运主编答案完整版


p x x( i1 i3 )log p x( i3 / xi1)
i1 i2 i3
i1 i3
∑∑∑ ∑∑∑ = −
p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) +
p x x x( i1 i2i3 )log p x( i3 / xi1)
i1
i2 i3 i1 i2 i3 p x( i3 / xi1)
( 1)
⎧p e( 1 ) = p e( 2 ) = p e( 3 )
⎨
⎩p e( 1 ) + p e( 2 ) + p e( 3 ) =1 ⎧p e( 1 ) =1/3 ⎪ ⎨p e( 2 ) =1/3 ⎪⎩p e( 3 ) =1/3
⎧p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e⋅( 1 ) + p p e⋅( 2 ) = (p + p)/3 =1/3 ⎪⎪ ⎨p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e⋅( 2 ) + p p e⋅( 3 ) = (p + p)/3 =1/3
四进制脉冲的平均信息量 H X( 1) = logn = log4 = 2 bit symbol/ 八进制脉冲的平均信息量
H X( 2) = logn = log8 = 3 bit symbol/
二进制脉冲的平均信息量 H X( 0) = logn = log2 =1 bit symbol/
所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。
2.9 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生过什么符号， 均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算 H(X2), H(X3/X1X2)及 H∞； (3) 试计算 H(X4)并写出 X4 信源中可能有的所有符号。
信息论与编码第二章答案

信息论与编码第二章答案

第二章 信息的度量2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。

2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数； 若信源给定，I(X;Y)是q(y|x)的下凸形函数。

2.3 熵是对信源什么物理量的度量？答：平均信息量2.4 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。

答：)|;();();(Y Z X I Y X I YZ X I +=2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log);(xi q yj xi Q y x I =，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。

从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。

2.7 一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。

答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100=========s s p s s p s s p s s p s s p s s p s s p s s p s s p可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200=+++=+=+=s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210===s p s p s p=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8 一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。