无失真信源编码题与答案

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

四、计算题1.已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol(),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol2.某系统（7，4）码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ 01X Y011/31/301/3（1）求对应的生成矩阵和校验矩阵； （2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9?）判断题（1）信息就是一种消息。

（?）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。

（?）（3）概率大的事件自信息量大。

（?）（4）互信息量可正、可负亦可为零。

（?）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。

（?）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。

（?）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。

（?）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。

（?）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? )三、（5?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）2. 线性码一定包含全零码。

（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。

信息论与编码理论-第4章无失真信源编码-习题解答-20071202信息论与编码理论第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长。

?X??s14-2 设信源????p(s)P(X)???1s6?p(s2)?p(s6)???s2?p(s)?1。

对此次能源进行m元唯一ii?16可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。

（提示：用kraft不等式）?s?X??14-3设信源为??1??p(X)???2?（1）信源的符号熵；（2）这种码的编码效率；s214s3s411816s5132s6s7s8?，编成这样的码：（000，001，111???64128128?010，011，100，101，110，111）。

求（3）相应的仙农码和费诺码。

4-4求概率分布为(,11122信)源的二元霍夫曼编码。

讨论此码对于概率分布为355151511111(,,,,)的信源也是最佳二元码。

555554-5有两个信源X和Y如下：1信息论与编码理论s2s3s4s5s6s7??X??s1??p(X)??0.200.190.180.170.150.100.01?????s2s3s4s5s6s7s8s9??Y??s1??p(Y)??0.490.140.140.070.070.040.020.02 0.01?????（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X和Y进行编码，并计算其平均码长和编码效率；（2）从X，Y两种不同信源来比较三种编码方法的优缺点。

4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样霍夫曼码的信源的所有概率分布。

4-7设信源为?码。

第10章信源编码一、填空题1．若信号m（t）的频带范围为0～108kHz，则无失真恢复信号的最小抽样频率为______。

【答案】f s＝2f H＝216kHz【解析】由奈奎斯特抽样定理可知无失真恢复原信号的条件是f s≥2f H，即抽样频率f s 应不小于f H的2倍，故此时的最小抽样频率应为f s＝2f H＝216kHz。

2．改善弱信号的信号量噪比，通常可采用______技术。

【答案】压扩【解析】压扩技术在“发端”实行压缩，即对小信号值进行放大，对大信号进行压缩，以满足量化信噪比要求；在“收端’’实行扩张，压与扩相互补偿以保证放大系数为1，即信号不失真，从而改善弱信号的信号量噪比。

3．已知采用13折线A律编码的PCM码组为11101100，最小量化间隔为1个量化单位，则该码组相对应的译码电平为______量化单位。

【答案】912【解析】PCM码组为1234567811101100c c c c c c c c=。

由11c=知，信号样值为正值；由段落码234110c c c=，即信号样值位于第7段，起始电平为512，量化间隔为512/16＝32单位；由段内码56781100c c c c =，即信号样值的段内序号为12； 故译码器输出为512＋32×12＋32/2＝912单位。

4．已知输入抽样脉冲值为－753个量化单位，采用13折线A 律PCM 编码，则此时编码器的输出码组为______，量化误差为______。

【答案】01100111；17个量化单位 【解析】设编码输出为12345678c c c c c c c c 7530s I =-<，故极性码为10c =；512＜||s I ＜1024，故段落序号为7，段落码为234110c c c =；第7段中总电平单位数为512，则量化间隔512/16＝32，因753＝512＋32×7＋17，故段内码56780111c c c c =；综上，－753单位的抽样脉冲值对应的13折线A 律编码为01100111。

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。

3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。

4.数据处理过程中信息具有（不增性）。

5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。

6.单符号连续信道的信道容量取决于（信噪比）。

7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。

8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。

9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。

10.立即码指的是（接收端收到一个完整的码字后可立即译码）。

11.算术编码是（非）分组码。

12.游程编码是（无）失真信源编码。

13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。

14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。

15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。

16.卷积码的自由距离决定了其（检错和纠错能力）。

（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。

（错）3、马尔可夫信源是离散无记忆信源。

（错）4、不可约的马尔可夫链一定是遍历的。

（对）5、单符号连续信源的绝对熵为无穷大。

（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。