《信息论基础》试卷第1页 《信息论基础》试卷答案
一、填空题（共25分，每空1分）
1、连续信源的绝对熵为
无穷大。（或lglimlgpxpxdx）
2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为
高斯分布(或0,1xN或2212xe)时，信源具有最大熵，其值为 0.6155hart(或1.625bit或1lg22e)。
8、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或Hr(S)或lgHsr)，此时编码效率为 1 ，编码后的信息传输率为 lgr bit/码元 。
10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。
12、m阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 qm 个不同的状态。
信息论基础试题及答案
信息论基础试题及答案
填空题（每题2分）
1、信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的）
2、电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则可组成103?10个不同的画面。按等概计算，平均每个画面可提供的信息量约为（106bit/画面）。
（考点：信息量的概念及计算）
3、按噪声对信号的作用功能来分类信道可分为 （加性信道）和
（乘性信道）。 （考点：信道按噪声统计特性的分类）
4、英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）
5、如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的'概念）
6、按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）
7、码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）
8、和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
（考点：连续信道和波形信道的信道容量） 9、对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求
（d≥t+e+1）。 （考点：线性分组码的纠检错能力概念）
判断题（每题2分）
1、信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。 （ 对 ）
《信息论基础》试卷 《信息论基础》参考答案
一、填空题（共15分，每空1分）
1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32logbit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2，则输出信号幅度的概率密度是高斯分布或正态分布或22212xfxe时，信源具有最大熵，其值为值21log22e。
9、在下面空格中选择填入数学符号“,,,”或“”
（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）1222HXXHX12333HXXXHX
（3）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
1,2640,xfxQ其它
62logfxfxdx相对熵hx
=2bit/自由度
该信源的绝对熵为无穷大。
三、（16分）已知信源
1234560.20.20.20.20.10.1SssssssP
（1）用霍夫曼编码法编成二进制变长码；（6分）
（2）计算平均码长L;（4分）
（3）计算编码信息率R;（2分）
通信02级信息论基础试题
请把答案写在答题纸上
姓名 班级 学号 （100分钟）
一 填空题（20分）
1、信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为
1 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用 2
对信源的不确定性的度量，是衡量信息量大小的一个尺度；用 3
来度量两事件的依赖程度，表现在通信领域就是输入和输出两事件的相互的信息量，若把它取最大值，就是通信线路的 4
。
2、信源的
5 是衡量信源的有效性，是无失真压缩的理论基础，它告诉了无失真压缩的极限，我们可以通过 6 减少信源的剩余度，形成新的信源来传输，而使新信源接近 7
，这样新信源的消息通过信道的信息传输率接近最大值，剩余率接近于零，提高通信的有效性。
3、 8
是信源在允许失真的条件下，信源熵所能压缩的极限，是限失真压缩的理论基础，它给出了在指定的 9 条件下，信源熵H(X)所能压缩的 10 ，但没有给出具体的压缩方法。
二 计算题（共60分）
1、有两个二元随机变量X和Y，它们的联合概率为：（15分）
X
Y x1=0 x2=1
y1=0 1/8 3/8
y2=1 3/8 1/8
求H(X)、H(XY)、H(Y/X)、I(X;Y)
2、每帧电视图像可以认为是由300000个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，（15分）
1）问每帧图像含有多少信息量？
2）若有一个广播员，在常用的8192个汉字中来口述此电视图像（假设汉字字汇是等概率分布，并彼此无依赖），至少需要多少汉字？
3）你对第二问的结果想到了什么？
