第三章：信源、熵率及冗余度

信息论与编码试题集与答案（新）1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为-1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）2. 线性码一定包含全零码。

（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。

信息论习题集第二章2.1同时掷2颗骰子，事件A、B、C分别表示：(A)仅有一个骰子是3; ( B)至少有一个骰子是4;(C)骰子上点数的总和为偶数。

试计算A、B、C发生后所提供的信息量。

2.3 —信源有4种输出符号X，i =0，1，2, 3,且p(Xj=1/4。

设信源向信宿发出X3，但由于传输中的干扰，接收者收到X3后，认为其可信度为0.9。

于是信源再次向信宿发送该符号 (X3 )，信宿准确无误收到。

问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？2.5 一信源有6种输出状态，概率分别为p(A) =0.5，p(B)=0.25，p(C)=0.125，p(D)= p(E)=0.05，p(F)=0.025试计算H(X)。

然后求消息ABABBA和FDDFDF的信息量(设信源先后发出的符号相互独立) ，并将之与长度为6的消息序列信息量的期望值相比较。

2.6中国国家标准局所规定的二级汉字共6763个。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个16 16的二元点阵显示，试计算显示方阵所能表示的最大信息量。

显示方阵的利用率是多少？2.7已知信源发出6和a2两种消息，且p(aj = p(a2)=1/2。

此消息在二进制对称信道上传输，信道传输特性为p(bi |aj = p(b2 la?) =1 - ；，p(b | a?) = p(b21 aj =；。

求互信息量I 佝4)和I 佝；b?)。

2.8已知二维随机变量XY的联合概率分布p(X i y j)为：p(0,0) = p(1,1)=1/8，p(0,1) =p(1,0) -3/8，求H (X |Y)。

2.13有两个二元随机变量X和Y，它们的联合概率分布如表 2.5所列，同时定义另一随机变量Z二X|_Y (一般乘积)。

试计算：(1)熵H(X),H(Y),H(Z), H(XZ),H(YZ), H(XYZ)；(2)条件熵H(X |Y),H(Y|X),H(X |Z),H(Z|X),H(Y|Z), H(Z|Y), H(X|YZ), H (Y | XZ)和H(Z | XY);(3)互信息I (X;Y), I (X;Z), I (Y; Z), I(X;Y| Z),I(Y;Z| X)和I (X ;Z |Y)。

信息性社论名词解释消息(或称为符号)：信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型。

自信息量:一个随机事件发生某一结果后所带来的信息量成为自信息量，定义为其发生概率对数的负值。

平均互信息:表达平均互信息量的熵I(X：Y)：是确定通过信道的信息量的多少﹐因此称它为信道传输率或传信率。

I(X：Y)就是接收到符号Y后平均每个符号获得的关于后平均每个符号获得的关于x的信息量――平均意义上每传送一个符号流经信道的平均信息量。

离散平稳无记忆信源：假定随机变量欲裂的长度是有限的，如果信源输出地信息序列中，符号之间的无相互依赖关系，则称这类信源为离散平稳无记忆信源。

信源冗余度信源嫡的相对率为信源实际的信息嫡与同样符号数的最大嫡的比值:η=H无穷/H0，定义信源的冗余度为1减去信源嫡的相对率η，即§=1-η。

信道容量:信道在单位时间上能够传输的最大信息量。

平稳信源：概率分布函数与时间起点无关，平稳信源是有记忆的，记忆的长度有限。

香农信息：信息是事物运动状态或存在方式的不确定性的描述。

无记忆信道：在某一时刻信道的输出消息仅与当时的信道输入消息有关，而与前面时刻的信道输入或输出消息无关。

有记忆信道：在任意时刻信道的输出消息不仅与当时信道的输入消息有关，而且还与以前时刻的信道输入消息和（或)输出消息有关。

信道疑义度(含糊度）H（X|Y):表示在输出端接收到Y后，发送端x尚存的平均不确定性。

这个对×尚存的不确定性是由于干扰引起的。

信道散布度H(ylx):表示在已知x后，对于输出Y尚存的平均不确定性：平均失真度:定义平均失真度为失真函数的数学期望，及d (xi,yi）在X和Y 得联合概率空间P(XY)中的统计平均值:D=E[D (xi,yi) ]，起是在平均的意义上，从总体上对整个系统失真情况的描述。

失真函数d(xi,yj):是人为规定的，给出规定时应该考虑解决问题的需要以及失真可能引起的损失、风险和主观上感觉的差别等因素。

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。

解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。

该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。

验证在该信道上每个字母传输的平均信息量为0.21比特。

证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。