南京工程学院信息论参考试卷iJ

《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。

三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。

300000
（1） 每幅画面所含信息量： H log 2 10 信息传输速率：
9.97 105 bit
(2 分)
R 30 H 30 log 2 10300000 29.90 Mbps
（2） AWGN 信道容量：
(1 分)
C W log 2 (1 SNR) 6 106 log 2 (1 1000) 59.80 Mbps
(2+1 分) (3 分)
（3）求为实现电视信号可靠传输信道所需的最小带宽和对应的信号平均功率； (3+2 分) （4）求信息传输速率达到容量时的频谱利用率和对应的 Eb / N 0 (dB ) 。 解 信噪比换算： SNR 10
SNR[ dB ]/10
(3+2 分)
1030/10 1000
的符号熵为 (2/5)H(1/2,1/4,1/4)+ (3/5)H(1/3)=1.151 比特/符号。 4．设试验信道输入与输出符号集均为 {1, 2,3, 4} ，输入概率分别为 1/2，1/4，1/8，1/8，失 真测度为 d(i, j)= (i - j)2 ,1 i, j 4 ； 则 Dmin 0 ， Dmax 9/8=1.125 。
3 次扩展信源符号 000 001 010 100 011 101 110 111 平均码长 概 率 0.729 0.081 0.081 0.081 0.009 0.009 0.009 0.001 编 0 100 101 110 11100 11101 11110 11111 0.5327 码
(5 分)
个二元一一对应信道传输，且每秒只传送两个符号； (1) 若要求信息无失真传输，信源能否不进行编码而直接与信道相接？ (3 分) (2) 能否采用适当的编码方式然后通过信道进行无失真传输？为什么？ (2+3 分) (3) 确定一种编码方式并进行编码，使得传输满足不失真要求；同时请说明信源采用这 种编码后， 编码器输出与信道输入之间应设置何种装置？ (10+2 分) 解

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）2. 线性码一定包含全零码。

（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。

一填空题（本题15空，每空1分，共15分）
1.信源熵H(X)的定义为，在时取得
最大值。

条件熵H(Y/X)定义为，它与H(X)的大小关系为。

2.对于平均符号熵为H L(X)的离散平稳无记忆信源，一定存在一种无失真编
码方法，使平均信息率K满足不等式。

最佳码指的是，用衡量各种编码方法与最佳码的差距。

3.限失真信源编码中失真函数的定义为，平均失真定义
为。

4.线性分组码的伴随式定义为，其中错误图案E指的
是。

在一定的差错范围内，利用来判断收码是否有误。

如信道中产生差错，则成立。

在H T固定的前提下，RH T仅与有关，与无关。

2 某一阶马尔可夫信源的状态转移如下图所示，信源符号集为X：{0, 1, 2}，并定义。

试求：
1）状态的极限概率Wi；
2）信源的极限熵H￥；
3）p取何值时H￥取最大值。

（3+3+3=9分）。

（3+3+3=9分）。

南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：一二三四五六七八九十总分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：。

信息论与编码的学习要点自信息自信息表示随机事件xi发生前的不确定性或发生后所包含的信息量，其定义为：互信息互信息表示已知事件y j后所消除的关于事件x i的不确定性，等于事件xi本身的不确定性I(xi)—已知事件y j后对xi仍然存在的不确定性I(xi/yj)，其定义为：平均自信息平均自信息表示整个信源（用随机变量X表示）的平均不确定性，它等于随机变量X的每一个可能取值的自信息I(xi)的统计平均值，其定义为：离散信源的最大熵离散信源中各消息等概率出现时熵最大，也称最大离散熵定理：联合熵联合熵表示二维随机变量XY的平均不确定性，它等于联合自信息的统计平均值，其定义为：条件熵条件熵表示已知随机变量X后，对随机变量Y仍然存在的平均不确定性，其定义为：各类熵之间的关系为：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)≤H(X)+H(Y)X,Y统计独立时，H(XY)=H(X)+H(Y)平均互信息平均互信息表示收到一个符号集（用随机变量Y表示）后消除的关于另一个符号集（X）的不确定性，也就是从Y所获得的关于X的平均信息量，其定义为：平均互信息和各类熵之间的关系：I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)当X和Y统计独立时，I(X;Y)=0数据处理定理如果随机变量X，Y，Z构成一个马尔可夫链，则有：I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z)等号成立的条件是对于任意的x，y，z，有p(x/yz)=p(x/z)和p(z/xy)=p(z/x)数据处理定理中不等式I(X;Z)≤I(X;Y)表明从Z所获得的关于X的信息量小于等于从Y所获得的关于X的信息量。

如果将Y→Z看成数据处理系统，则通过数据处理后，虽然可以满足我们的某种具体要求，但是从信息量来看，处理后会损失一部分信息，最多保持原来获得的信息，即对收到的数据Y进行处理后，决不会减少关于X的不确定性。

编码效率为： l 19
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)

南京工程学院试卷
共 6 页
第 5 页
五、综合题（本题 3 小题,共 25 分）
1 1 1 0 1 0 1、某二进制线性分组码的生成矩阵为 G 1 1 0 0 0 1 ，求 0 1 1 1 0 1
（1）用系统码[ I P ]的形式表示 G ，并写出系统码的校验矩阵 H ； （2）计算该码的最小距离 dmin。 （3）若收码 R=100110，求其对应的伴随式 S 并检验 R 是否为码字。 （4+2+4=10 分）
南京工程学院试卷
共 6 页
第 6 页
2、某二元（3，1，2）卷积码的转移函数矩阵 G(D)=(1,1+D,1+D+D2) （1）分别求出当前时刻、延迟 1 个时刻和 2 个时刻的生成子矩阵 G0, G1 和 G2 （2）画出该卷积码的编码器结构图。 （3+3=6 分）
3、 由符号集{0,1}组成的二阶马尔可夫链， 其转移概率为 p(0|00)= p(0|01)= p(0|10) = p(0|11) = 0.5。 （1）画出该二阶马尔可夫信源的状态转移图； （2）求各状态的平稳分布 Wi； （3）求该信源的极限熵 H 。 (3+3+3=9 分 )
南京工程学院试卷 南京工程学院试卷
共 6 页
共6 页 第 2 页 第 3 页
3、 （ 5 对信源符号 ） 已知收到的符号，求被告知发出的符号得到的信息量 X={a1,a2,a3,a4}进行二元信源编码， 4 个信源符号对应码字的码长分别为 H(X/Y)； K1=1， （6 K ） ，K3=3，K3=3Y ，满足这种码长组合的码一定是唯一可译码。 后，所提供的关于信源 X 的平均互信息量 I(X;Y) （12 分） （ 2=2求收到的符号 ）

一、填空题（本题15空,每空1分,共15分 ）1一个消息来自于四符号集{a ，b ，c ，d}，四符号等概出现。

由10个符号构成的消息“abbbccddbb ”所含的信息量为（ ）bit ，平均每个符号所包含的信息量为（ ）bit 。

2两个二元信道的信道转移概率矩阵分别为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=2/16/13/13/12/16/16/13/12/1,10000121P P ，则此信道的信道容量C1=（ ）bit/符号，信道2的信道容量C2=（ ）bit/符号。

两信道串联后，得到的信道转移概率矩阵为（ ），此时的信道容量C=（ ）bit/符号。

3条件熵H(Y/X)的物理含义为（ ），所以它又称为（ ）。

4一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。

第一次实验包含的信息量为（ ）bit/符号；第二次实验包含的信息量为（ ）bit/符号。

5线性分组码的伴随式定义为（ ），其中错误图案E 指的是（ ）。

二进制码中，差错个数可等效为（ ）。

6设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为⎩⎨⎧=≠=j i j i dij01，⎩⎨⎧=-≠=j i j i P jiεε1，则失真矩阵[d ij ]=（ ），平均失真D=（ ）。

二、判断题（本题10小题,每小题1分,共10分）1、I(p i ) = - logp i 被定义为单个信源消息的非平均自信息量，它给出某个具体消息信源的信息度量。

（ ） 2、异前置码一定是唯一可译码。

（ ）3、无记忆离散消息序列信道，其容量C ≥各个单个消息信道容量之和。

（ ）4、冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。

（ ）5、当信道固定时，平均互信息),(Y X I 是信源分布的∪型凸函数。

共 页 第1页南京工程学院试卷( 2卷)20 /20 年 第 学期课程所属部门: 自动化学院 课程名称: 微机原理及应用考试方法: 闭卷 使用班级:命 题 人: 课程组 教研室主任审核: 主管领导同意:题号 一 二三四五六七八九十总分得分一、 单项选择题(请在每小题4个备选答案中, 选出一个最好答案, 本题15题 ,每空1题,共15分 ）1. 若十进制数为100, 则该数二进制表示为（ ）。

A ．1100100B ．1000000C ．01111100D ．101100102. 完成二进制数无符号数01111101与00000101减法运算正确结果是（ ）。

A ．10010101 B ．01111000 C ．00100010 D ．100000103. 完成二进制数01110001和00001111逻辑“或”运算正确结果是（ ）。

A ．01110000B ．01110001C ．01111111D ．00001111 4. 十进制数10.05BCD 数为（ ）。

A ．10000. 0101B ．10000.00000101C ．00010000.00000101D ．00010000.1015. 堆栈指针SP 是微处理器中用于指示（ ）专用寄存器。

A ．栈底地址B ．栈顶地址C ．堆栈基地址D ．中止服务程序或子程序入口地址 6. 下列指令中, 不正确指令是（ ）。

A ．PUSH AXB ．POP BXC ．PUSH CLD ．POP DX 7. 下列引发CPU 程序中止4种情况中, （ ）需要设备提供中止类型号。

本题班级 学号 姓名。

一、填空题（本题 10 空 ,每空 1 分,共 10 分 ） 1、1948 年，美国数学家___________发表了题为“通信的数学理论”的论文， 从而创立了信息论。
姓名
本题 得分
2、一信源 X={a，b，c，d}，四个符号等概出现，则符号“a”的自信息量为_______bit， 此信源的熵为__________bit/符号。 3、一离散无记忆信源发出 A、B、C 三种符号，其概率分别为 5/9，1/3，1/9，若对序列 （C，A，B，A）进行算术编码，则编码后的码字长度为 4、一个（2，2，3）卷积码的约束长度为 离可用 法和 法计算。 。
3、设某卷积码的转移函数矩阵为 G（D）=（1+D，1+D2） ， （1）试画出该卷积码的编码器结构图； （5 分） （2）求该卷积码的状态图； （3 分） （3）求该码的自由距离 df。 （2 分）
南Hale Waihona Puke 工程学院试卷共6 页第 5 页
五、综合题（本题共 2 小题；第一小题 10 分，第二小题 20 分，共 30 分） 1、某语音信号，其最高频率为 4KHz，经取样、量化编成等长二元码，
南京工程学院试卷
共 6 页
第 6 页
2、已知一线性分组码码集里的全部码字为：00000， （1）求出 n、k 的值以及码率 R； （2 分）
01101，
10111，
11010，
（2）能否说此码是系统码？应如何编码才能说该码集是系统码集？（2 分） （3）算出此码的最小距离及检错和纠错个数； （3 分） （4）求出此系统码的生成矩阵 G 和系统一致校验矩阵 H； （4 分） （5）当接收序列为 00101 时，如何判断是否为发码，若采用最小距离译码准则，求出这个收码 被译成的发码码字； （2 分） （6）判断该码集是否完备码，说明理由（2 分） （7）当差错图样为 00100 时，其对应的伴随式是什么？（2 分） （8）对于一无记忆二元对称信道，错误转移概率 p＝0.01，求传输该码的译码错误概率 PE （3 分）

一 填空题（本题15空,每空1分,共15分 ）1 某地二月份的天气概率分布为⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡81,81,41,21)(),(),(),()(4321snow x rain x cloudy x fine x X P X ，这四种气候的自信息量分别为：fine （ 1 ）bit 、cloudy （ 2 ）bit 、rain （ 3 ）bit 、snow （ 3 ）bit 。

可以看出，自信息量具有（随机变量的）性质，在（ p(xi)=1 ）时为0。

2 平均互信息I(X;Y)是输入变量分布p(x)的（上凸）函数，存在最（大）值，将这个值定义为（ 信道容量C ）。

3 设信源X 包含n 个不同离散消息，当且仅当X 中各个消息出现的概率（ 相等 ）时，信源熵达到最大，为（ n 2l o g）bit 。

4 用公开密钥（e ,n ）=（3, 55）将报文“HIG ”按A=01，B=02，…，Z=26进行加密，“H ”的加密结果为（17），“I ”为（14），“G ”为（13）。

5 已知X ，Y ∈{0，1}，XY 构成的联合概率为p(00)=p(11)=1/8，p(01)=p(10)=3/8，则H （X ）=（ 1 bit/符号 ），H （XY ）=（ 1.8 bit/符号 ）。

二、判断题（本题10小题,每小题1分,共10分）（1） 任意两个事件之间的互信息量不可能大于其中任一事件的自信息量。

（ ） （2） 熵H(X,Y)称为联合熵，共熵，，它表示通信完成之后，观察者对通信系统仍然存在的平均不确定度。

（ ） （3） 码字集合{100，101，0，11}是唯一可译码。

（ ） （4） 用哈夫曼编码方法编出的码字是唯一的。

（ ） （5） 平均失真被定义为失真函数的数学期望。

（ ） （6） 若要求发现2个独立随机错误，则最小码距d min 大于2即可。

（ ） （7） 信道容量C 不仅与信源有关，还是信道转移概率的函数，不同的信道有不同的信道容量。

一 填空题（本题15空，每空1分，共15分）1 设在一8行×8列共64个方格的正方形棋盘上，甲随意将一粒棋子放在棋盘的某个方格，让乙猜测棋子所在的位置。

如将方格按顺序编号64;......,3;2;188332211→→→→y x y x y x y x ，则令乙猜测棋子所在方格顺序号的信息量为（log 264=6）bit ；如方格按行和列编号，甲将棋子所在方格的行编号告诉乙后，在令乙猜测棋子所在列所需的信息量为（3）bit 。

2 信源的平均自信息量指的是（平均每个符号所能提供的信息量 ）；信源熵用来表征信源的（平均不确定度 ）；平均互信息量I(X;Y)的物理含义是（Y 已知后所获得的关于X 的信息 ），I(Y ; X)的物理含义是（X 已知后所获得的关于Y 的信息 ）。

3 传输信道中常见的错误有（随机错误）、（突发错误）和混合错误三种；差错控制方式主要有（检错重发）、（前向纠错 ）和混合方式三种。

4 设C = {11100, 01001, 10010,00111}是一个二元码，该码的最小距离dmin =（3），则该码最多能检测出（2）个随机错，最多能纠正（1）个随机错。

5 设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为⎩⎨⎧=≠=j i j i dij1，⎩⎨⎧=-≠=j i j i Pjiεε1，则失真矩阵[d ij ]=（1001⎛⎫⎪⎝⎭），平均失真D=（ ε ）。

二判断题（本题10小题,每小题1分,共10分）1．√2．×3．√4．√5．×6．×7．√8．√9．√10．× （1） 对于独立信源，不可能进行预测编码。

（ ）（2） 信息率失真函数的意义是：对于给定的信源，在满足保真度准则*D D ≤的前提下，信息率失真函数R(D)是信息率允许压缩到的最大值。

南京工程学院试卷
共 6 页
第 4 页
3. 已知(7， 3)循环码的全部码字： 0000000） 0011101） 0111010） 1101001） 1010011） （ 、 （ 、 （ 、 （ 、 （ 、 、 。 （0100111）（1001110） （1）写出该循环码的生成多项式 g(x) （2）写出该循环码的生成矩阵 G； （3）写出一致监督矩阵 H。 （3×3=9 分）
南京工程学院试卷
共 6 页
第 6 页
2. 设有一信源，它在开始时以 p(a)=0.6，p(b)=0.3，p(c)=0.1 的概率发出 X1。如果 X1 为 a 时， X2 为 a，b，c 的概率为 1/3；X1 为 b 时，X2 为 a，b，c 的概率为 1/3；X1 为 c 时，X2 为 a， b 的概率为 1/2。且后面发出 Xi 的概率只与 Xi-1 有关，p(Xi/Xi-1)=p(X2/X1)，i≥3。 （1）写出符号转移概率矩阵； （2）计算条件熵 H(X2/X1)和联合熵 H(X1X2)； （3）画出该马尔克夫信源的状态转移图； （4）该信源最终会达到稳态码？如果是，求出该信源的稳态概率； （5）计算该信源的极限熵 H∞。 （2+4+2+4+4=16 分）
（ （ （ （ （ （ （ （
本题 得分
） ） ） ） ） ） ） ）
信道编码的最终目的是提高传输的有效性。
三. 简答题（本题 2 小题，共 20 分）
1. 写出二进制均匀信道的数学表达式，并画出信道容量 C 与信道转移概率 p 的曲线图。 10 分） （
2. 目前对卷积码有哪些描述方法？这些描述方法分别是从什么角度考虑的？（10 分）
南京工程学院试卷

考试科目名称：信息论一. 单选（每空2分，共20分）1.一个m位的二进制数的自信息量为（A ）A．m bitB．1 bitC．m2mD．22.信源编码的目的是（A ）A．提高通信有效性B．提高信息传输的可靠性C．提高通信系统的安全性D．压缩信源的冗余度3.下面属于最佳变长编码的是（C ）A．算术编码和游程编码B．香农编码和游程编码C．哈夫曼编码和费诺编码D．预测编码和香农编码4.表中符合即时码的是（A ）和（D ）5.下列各量可能为负值的是（B ）A．自信息量B．互信息量C．信息熵D．平均互信息量6.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（D ）A．H（XY）＝H（X）＋H（Y／X）B．若X和Y相互独立，H（Y）=H（Y／X）C．H（XY）＝H（Y）＋H（X／Y）D．H（XY）＝H（X）＋H（X／Y）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32=1.4比特/符号。

问若用一般传送比特/符号；以此类推，极限熵H∞方式，冗余度γ为（ B ）A．0.58B．0.71C．0.65D．0.298. 某信道传递矩阵为，其信道容量为（ D ）A ．)41log 4143log 43()81,81,41,21(4log ++-=H C B ．)41log 4343log 41()81,81,41,21(2log +--=H C C ．)41log 4143log 43()81,81,41,21(4log +--=H CD ．)41log 4143log 43()81,81,41,21(2log +--=H C9. 下列各图所示信道是对称信道的是（ C ）A ．B ．C ．⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD．二. 综合（共80分）1.（10分）试画出通信系统的模型，并叙述各部分的定义和作用。

信息论复习题一、问答题1、信息论是怎样的一门学科？信息论的研究目的和内容是什么？信息论是通信技术与概率论、随机过程、数理统计相结合逐步发展而形成的一门新兴科学。

通常认为信息论的奠基人是香农，他于1948年发表的著名论文通信的数学理论为信息论的发展和诞生奠定了理论基础。

（2分）其研究目的是发现信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。

有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的全面要求。

（2分）其研究内容为香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。

（2分）2、什么是信息？就狭义而言，通信系统中对信息的表达分为哪三个层次？各有什么关系？答：信息是信息论中最基本、最重要的概念，既抽象又复杂，信息不同于日常生活中的“消息”、“知识”、“情报”、“信号”等概念。

（1分）到目前为止，已有百种有关信息的定义，它们从不同的侧面和不同的层面揭示了信息的本质。

香农对信息的定义为：信息是事物运动状态或存在方式的不确定性的描述。

该定义可以对信息进行定性和定量描述。

（2分）就狭义而言，通信系统中对信息的表达分为信号、消息和信息三个层次。

（1分）它们是既有区别又有联系的三个不同的概念：消息中包含信息，是信息的载体；信号携带着消息，它是消息的运载工具。

信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。

而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。

（2分）3、信息熵是如何定义的？解释信息熵的含义，并列出信息熵的性质？答：信息熵定义为自信息的数学期望，即：平均自信息量H r (X)。

（2分）其含义是：熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。

信源输出后，信息熵表示每个消息提供的平均信息量；信源输出前，信息熵H(X) 表示信源的平均不确定性；信息熵表征了变量的随机性。

期终练习,10％就是胖子 ,80％不胖不瘦 ,10％就是瘦子；已知胖子得高血压的概率 一，某地区的人群中 就是 15％ ,不胖不瘦者得高血压的概率就是 10％,瘦子得高血压的概率就是 5％ ,就“该地区的 某一位高血压者就是胖子”这句话包含了多少信息量；解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 ， 1 P(B)=0 ， 8 P(C)=0 ，1P(D|A)=0 ， 15 P(D|B)=0 ， 1 P(D|C)=0 ， 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事 的发生 ,故其概率为 依据贝叶斯定律 P(A|D),可得 :P(D) ＝ P(A)* P(D|A) ＋ P(B)* P(D|B) ＋P(C)* P(D|C) ＝ 0， 1P(A|D) ＝ P(AD)/P(D) ＝ P(D|A)*P(A)/ P(D) ＝ 0， 15*0 ， 1/0， 1＝ 0，15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ，15) ≈ 2， 73 (bit): 二，设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.（5 bit/ 符号）H ( X | S 1 ) k 13（1 bit/ 符号）(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0（bit/ 符号）H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三，二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0， 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0，75*0 ，6+0 ， 25*0 ， 4=0 ， 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0， 75*0 ， 4+0 ， 25*0 ， 6=0， 45 H (Y) 0， 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7（1 比特 / 符号）H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0， 811+0， 971-0 ， 992=0， 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0， 811-0， 79=0， 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 ， 6)=1-0 ， 971=0， 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ；四，求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号）故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量；1XP( x) x1x2x3x4x5x6五，信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0，40，20，20，10，050，05码长233455累积概率0，40，60，80，90，95码字0001110011001110011110l i PL =0 ，4×2＋0，2×3＋0，2×3＋0，1×4＋0，05×5＋0，05×5＝2，9(码元/信源符号)η＝H(X)/( L logr)=2 ，222/2，9=0 ，7662(2) 霍夫曼编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)=0 ，9964(3)费诺编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)= 0 ，99641 21312161613121613六，设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小；解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八，一个三元对称信源0 1 1 1 0 1 11接收符号为 V ＝ {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数；(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max ＝ min P （ u ) d(u ,v) 1 V U 3D min ＝ P （ u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) ＝log3 － Dlog2 －H(D) ＝ log3 － D － H(D) 0<=D<=2/3＝ 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九，设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字？(3) 此码能订正几位码元的错误？解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min ＝ 3(2) 码距如右图故 10000 译为 译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误；(3) 依据。