信息论与编码习题答案

1. 在无失真的信源中，信源输出由 H(X) 来度量；在有失真的信源中，信源输出由

R(D) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码，

然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)CWSNR；当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H(K)就越 小 ，其密文中含有的关于明文的信息量I(M；C)就越 大 。

5. 已知n＝7的循环码42()1gxxxx，则信息位长度k为 3 ，校验多项式

h(x)= 31xx 。

6. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0) = d(1，1) = 0，d(0，1) =2，d(1，0) = 1，则Dmin＝ 0 ，R(Dmin)＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x)]＝1001；Dmax＝ ，R(Dmax)＝

0 ，相应的编码器转移概率矩阵[p(y/x)]＝1010。

7. 已知用户A的RSA公开密钥(e,n)=(3,55)，5,11pq,则()n 40

，他的秘密密钥(d,n)＝(27,55) 。若用户B向用户A发送m=2的加密消息，则该加密后的消息为

8 。

二、判断题

1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ）

2. 线性码一定包含全零码。 （ ）

3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的

编码，是以另外一种形式实现的最佳统计匹配编码。 （×）

4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。

（×）

5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。 （×）

6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X，当它是正态分布时具

有最大熵。 （ ）

7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 8. 信道容量是信道中能够传输的最小信息量。 （×）

9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×）

10. 在已知收码R的条件下找出可能性最大的发码iC作为译码估计值，这种译码方

法叫做最佳译码。 （ ）

三、计算题

某系统（7，4）码

)()(01201230123456cccmmmmcccccccc其三位校验位与信息位的关系为：

231013210210cmmmcmmmcmmm

（1）求对应的生成矩阵和校验矩阵；

（2）计算该码的最小距离；

（3）列出可纠差错图案和对应的伴随式；

（4）若接收码字R=1110011，求发码。

解：1. 1000110010001100101110001101G 101110011100100111001H

2. dmin=3

3.

S E

000 0000000

001 0000001

010 0000010

100 0000100

101 0001000

111 0010000

011 0100000

110

1000000

4. RHT=[001] 接收出错

E=0000001 R+E=C= 1110010 (发码)

四、计算题

01XY011/31/301/3已知,XY的联合概率,pxy为：

求HX，HY，,HXY，;IXY

解: (0)2/3px (1)1/3px

(0)1/3py (1)2/3py

(1/3,2/3)HXHYH0.918 bit/symbol

,(1/3,1/3,1/3)HXYH=1.585 bit/symbol

;()()(,)IXYHXHYHXY0.251 bit/symbol

五、计算题

一阶齐次马尔可夫信源消息集},,{321aaaX，

状态集},,{321SSSS，且令3,2,1,iaSii，条件转移概率为

03132313131214141)/(ijSaP，(1)画出该马氏链的状态转移图；

(2)计算信源的极限熵。

解：(1)

（2）1321323112123312311411332231141wwwwwwwwwwwwww→3.03.04.0321www

H(X|S1) =H比特/符号

H(X|S2)=H比特/符号

H(X|S3)=H(2/3,1/3)=比特/符号

3|0.41.50.31.5850.30.9181.3511HwHXSiii比特/符号

六、计算题

若有一信源2.08.021xxPX，每秒钟发出2.55个信源符号。

将此信源的输出符号送入某一个二元信道中进行传输

（假设信道是无噪无损的，容量为1bit/二元符号），

而信道每秒钟只传递2个二元符号。

（1） 试问信源不通过编码（即x10,x21在信道中传输）

（2） 能否直接与信道连接？

（3） 若通过适当编码能否在此信道中进行无失真传输？

（4） 试构造一种哈夫曼编码(两个符号一起编码)，

（5） 使该信源可以在此信道中无失真传输。

解：1.不能，此时信源符号通过0，1在信道中传输，2.55二元符号/s>2二元符号/s

*(0.8,0.2)H= 1.84 < 1*2

可以进行无失真传输

3.

x1x1x1x2x2x1x2x2

0.64 0.16 0.16 0.041011100101

0.64 0.2 0.16 0101

0.64 0.36 01

410.640.16*20.2*3iiiKpK1.56 二元符号/2个信源符号

此时 1.56/2*2.55=1.989二元符号/s < 2二元符号/s

七、计算题

两个BSC信道的级联如右图所示：

（1）写出信道转移矩阵；

（2）求这个信道的信道容量。

解： （1）

22122211(1)2(1)112(1)(1)PPP

（2）22log2((1))CH

01010111111.从大量统计中知道，男性红绿色盲的发病率为116，女性发病率为164，如果你问一对男女“你是否是红绿色盲？”他们分别回答可能是“是”。问此回答各含多少信息量？平均每个回答各含多少信息量？4,6,11/32

2. 地区的女孩中有25％是大学生，在女大学生中有75％是身高以上的，而女孩中身高以上的占半数一半。假如我们得知“身高以上的某女孩是大学生”的消息，问获得多少信息量？28log3

3.设有一连续随机变量，其概率密度函数为：2,01()0,bxxpxothers，试求这随机变量的熵。又若1(0)YXKK，22YX，试分别求出1Y和2Y的熵1()CHY和2()CHY。

4. 设随机变量X取值于0{}kXk，()kPXkP，0,1,,k已知X的数学期望0EXA,求使()HX达到最大的概率分布和该分布的熵.

5.设Markov信源的状态空间为：12{,}{0,1}SS，其一步转移概率如下:

11211222(|)0.25, (|)0.75,

(|)0.6, (|)0.4.PSSPSSPSSPSS

1) 画出状态转移图？

2) 求该信源的平稳分布.4/9,5/9 3) 求该信源的极限分布.

6. 一信源产生概率为995.0)0(,005.0)1(PP的统计独立二进制数符。这些数符组成长度为100的数符组。我们为每一个含有3个或少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。

① 求出为所规定的所有源符组都提供码字所需的最小码长。18

② 求信源发出一数符组，而编码器无相应码字的概率。

7 .设有一Markov信源，其状态集为123{,,}Ssss，符号集为123{,,}xxx，在某状态下发出符号的概率如图所示。

（1）、证明该信源的遍历性，并求其稳定分布；

（2）、求该信源的极限熵； 10/9

（3）、求信源稳定后符号123{,,}xxx的概率分布。

15/27,5/27,7/27

8. 离散无记忆信道的转移概率矩阵为123412340100111023600101110632bbbbaaPaa，求该信道的信道容量，及其最佳输入分布。

9.设离散无记忆信道的转移概率矩阵为1010001Q，求出信道容量及其达到信道容量的最佳输入概率分布。并求当210和时的信道容量。