《信息论基础》试卷(期末)(B2卷)

黔南民族师范学院 2017—2018学年度第二学期试卷：（B卷）考试方式：（闭）卷校区：本部课程名称：《信息管理学基础》考试用时：120 分钟一、填空题（每空2分，共20分）1、事物存在的方式和运动状态的表现方式，这指的是_____层次的信息。

2、主体所感或表述的事物存在的方式和运动状态，这指的是_____层次论的信息。

3、布拉德福定律的两个基本要点：一是_________,形成主体来源（期刊）的有序目录；二是指确定相关论文再主体来源中的分布规律。

4、文献的半衰期，是指某学科领域现时尚在利用的全部文献中的_______是在多长一段时间内发表的。

5、结构化开发方法的基本思想是，在系统分析与设计阶段是_______,______。

6、《中图法》一般以_____标志大类，采用______方式标识其二级类，其余类目均采用数字标志，所有数字按_____对待，为使号码醒目，规定______一点。

二、选择题（10分）1、信息链中最高级别的环节是（D、智能）2、信息分布的“富集”和“贫集”现象实际上是人类社会特有的_____机制支配结果。

（B、选择）3、普莱斯指数，即某一学科领域内，对发展年限不超过___年的文献的引用次数与总的引用次数之比值。

（C、5）4、信宿可以是（A、人，物，也可以包括机器）5、信息论的创始人是（A、香农）三、简答题（每小题10分，共50分）1、请结合实例，解释以下转化关系：数据+背景=信息，信息+经验=知识。

2、信息分布中的“核心趋势”和“集中取向”有什么不同？3、试分析马太效应的正面作用和负面作用。

4、其夫定律。

5、面向对象方法按系统开发的一般过程分为几个阶段？四、论述题（每小题10分，共20分）1、论述搜索引擎的工作原理。

2、说明互联网搜索和移动搜索的区别。

填空题答案：1、本体论；2、认识论；3频次等级排序4、一半；5、自项向下，逐层分解；6、大写字母，双字母，小数，每三位。

最新文件仅供参考已改成word文本。

试题编号：重庆邮电大学2008/2009学年2学期《信息论基础》试卷（期末）（B卷）（开卷）一、填空题（共25分，每空1分）1、连续信源的绝对熵为。

2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到。

3、无记忆信源是指。

4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。

根据信源符号的统计特性，对概率大的符号用码，对概率小的符号用码，这样平均码长就可以降低，从而提高。

5、为了提高系统的有效性可以采用，为了提高系统的可靠性可以采用。

6、八进制信源的最小熵为，最大熵为。

《信息论基础》试卷第1页7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为时，信源具有最大熵，其值为。

8、即时码是指。

9、无失真信源编码定理指出平均码长的理论极限值为，此时编码效率为，编码后的信息传输率为。

10、一个事件发生概率为0.125，则自信息量为。

11、信源的剩余度主要来自两个方面，一是，二是。

12、m阶马尔可夫信源的记忆长度为，信源可以有个不同的状态。

13、同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为比特，当得知“面朝上点数之和为8”所获得的信息量为比特。

14、在下面空格中选择填入数学符号“=，≥，≤，>”或“<”()+()()XHYH+。

H|YXYHH()()YX《信息论基础》试卷第2页二、（5分）已知信源的概率密度函数为1()a xb p x b a⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。

三、（10分）一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。

（1）已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。

（2）如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？（3）如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？《信息论基础》试卷第3页《信息论基础》试卷第4页四、（16分）一个离散无记忆信源123456()1/81/81/81/81/41/4X x x x x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1) 求()H X 和冗余度；2) 编成Fano 码，计算编码效率； 3) 编成Huffman 码，计算编码效率《信息论基础》试卷第5页五、（１6分）设一个离散无记忆信源的概率空间为它们通过干扰信道，信道输出端的接收符号集为[]21,b b Y =，已知信道传输概率如下图所示。

∶∶∶∶∶∶∶∶∶∶装∶∶∶∶∶∶∶∶∶∶∶订∶∶∶∶∶∶∶∶∶∶∶∶∶线∶∶∶∶∶∶∶∶∶∶∶∶∶∶∶∶试卷评分标准及标准答案（2013 — 2014 学年度第 1 学期）《课程(A 卷)一、选择题（本大题共6小题，每小题3分，共18分）1. 有一信源X，其概率分布为12341/41/81/81/2X x x x xP⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭，若对该信源进行二次扩展，则每二个符号的平均信息量是（A ）A. 3.5bitB. 1.5bitC. 1.75bitD. 3bit2. 信源的概率密度为()1352xp x⎧≤≤⎪=⎨⎪⎩其它，则信源的差熵为（D ）bit/自由度.A.1/2B.1/3C.1/5D.13. 某二元对称信源011/21/2XP⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭，失真矩阵0220d⎛⎫⎪⎝⎭=，则minD和maxD分别为（ B ）A. 1, 2B. 0, 1C. 1, 1D. 2, 24. 掷两粒骰子，当点数和为7时，该消息包含的信息量是（A ）A. log6B. log36C. log18D. log35. 设信道输入用X表示，信道输出用Y表示。

在无噪无损信道中，()H X Y（C ）0。

A. >B. <C. =D. 不确定6. 马氏源的转移概率如图所示，则其所对应的概率转移矩阵为（C ）1/2A.1/201/201/21/21/302/3⎛⎫⎪⎪⎪⎝⎭B.1/211/21/21/21/21/302/3⎛⎫⎪⎪⎪⎝⎭C.1/32/3001/21/21/201/2⎛⎫⎪⎪⎪⎝⎭D.1/201/201/21/21/32/30⎛⎫⎪⎪⎪⎝⎭二、填空题（本大题共5小题，每小题3分，共15分）1. 信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2. 无失真信源编码定理(香农第一定理)，可以简述为：存在无失真信源编码的充分必要条件是R H X()()R H X≥或信源编码码率不小于信源的熵（）。

信息论基础考试试题一、信息论基础考试试题考试试题内容如下：1. 简述信息论的定义和基本原理。

信息论是由克劳德·香农提出的一门数学理论，主要研究信息的量和信息传输的可靠性。

其基本原理包括信源编码、信道编码和信道容量三个方面。

其中，信源编码是将信息源的符号序列编码为短码字节，减少信息传输的冗余；信道编码是为了在承载信息传输的信道中降低传输过程中的错误率和噪声干扰；信道容量则是指在给定的信道条件下，能够传输的最大信息速率。

2. 请定义信息熵，并给出其计算公式。

信息熵是用来衡量一个随机变量的不确定性或者信息量的多少。

假设一个离散随机变量X，其取值的概率分布为P(X)，那么信息熵的计算公式为：H(X) = -Σ[P(x)log2P(x)]其中，Σ表示求和运算，x为随机变量X的所有取值。

3. 解释条件熵和联合熵的概念。

条件熵是指在给定某个随机变量的取值条件下，另一个随机变量的不确定性或信息量。

设有两个离散随机变量X和Y，X的条件熵H(X|Y)即为在已知Y的条件下，X的信息熵。

联合熵是指同时考虑两个或多个随机变量的不确定性或信息量。

对于随机变量X和Y，它们的联合熵H(X,Y)表示同时考虑X和Y的信息熵。

4. 请解释互信息的概念，并给出其计算公式。

互信息是用来衡量两个随机变量之间的相关程度或者依赖关系。

对于离散随机变量X和Y，互信息的计算公式为：I(X;Y) = ΣΣ[P(x,y)log2(P(x,y)/(P(x)P(y)))]其中，ΣΣ表示双重求和运算，P(x,y)表示X和Y同时发生的概率，P(x)和P(y)分别为X和Y的边缘概率。

5. 请简要介绍信道编码理论中的三个重要概念：纠错码、检测码和调制。

纠错码是一种用于在传输过程中恢复误差的编码技术。

通过添加冗余信息，可以在接收端检测和纠正传输过程中产生的错误。

检测码是用于在传输过程中检测错误的编码技术。

它可以发现传输中是否存在错误，但无法纠正错误。

调制是指将数字信号转换为模拟信号或者模拟信号转换为数字信号的过程。

莆田学院期末考试试卷（B）卷2010 — 2011学年第一学期课程名称：信息论与编码适用年级/专业：08/电信、通信试卷类别开卷（）闭卷3）学历层次本科考试用时120分钟《考生注意:答案要全部抄到答题纸上,做在试卷上不给分》一、填空题（每空2分，共22分）1 •广义的通信系统模型是由信源、①、②、译码器和信宿五个部分组成。

2.信息嫡H（X）是对信源的①的描述。

要对信源输出的消息进行无失真的编码，平均每个信源符号至少需要用H（X）个码符号。

（最大值、平均不确定性）]_3.已知某信道的信道转移矩阵为戶=323 2 ：,且输入为等概分布，若根据极大3似然译码准则确定译码规则，相应的平均错误概率为①。

4.对于连续信源来说，当输出幅度受限时，服从①分布的随机变量具有最大炳；对于平均功率受限的连续随机变量，当服从②分布时具有最大爛。

（均匀、指数、高斯）5.若离散无记忆信源的信源符号有q个，信源嫡为H （X）,那么对其进行N次扩展后的信源符号共有①个,N次扩展信源片的焰等于②°6.对于给定的①,I（X;Y）是输入分布#（兀.）的上凸函数，因此总能找到一种概率分布〃（兀）（即某一种信源），使信道所能传送的信息率为最大。

7.信道容量是完全描述信道特性的参量，信道实际传送的信息量必然①信道容量。

（不大于、不小于或等于）8.非奇异码是指一种分组码中的所有码字都①的码。

（相同、不相同）二、简答题（每小题5分，共20分）1.简述什么是马尔可夫信源？2.简述H（X| Y）和H（Y | X）在信道描述中的物理含义。

3•什么是即时码？它和唯一可译码的关系？4.简述平均互信息I(X;Y)的物理含义?三、计算及编码题(第1题13分，其余每小题15分，共58分)1. 某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。

(1) 若每个消息是等概率分布的，那么发送每个消息最少所需的二元脉冲数是多少？⑵又若四个消息出现的概率分别为晟，馬，问在此情况下消息平均所需的二元脉冲数最少是多少？如何进行编码?2. 设离散无记忆信源r Y n=0 a 2=l a3 ~ 2勺=3 X =・31 1 1448其发出的消息为(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息是多少？(2)在此消息中平均每个符号携带的信息量是多少？(3) 信源的嬌H(X)是多少？10 0 10 14.设一线性分组码具有一致校验矩阵如下：H = 0 1 0 0 1 10 0 1111(1) 求这分组码共有多少个码字？写出此分组码的所有码字，并判断101010 是否是码字？(2) 此分组码的生成矩阵G 二？(3) 码字间的最小距离dmin 及此码的纠错能力。

（一）一、判断题共 10 小题，满分 20 分。

1。

当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . ( ）2。

由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集。

（ ）3。

一般情况下,用变长编码得到的平均码长比定长编码大得多. （ ） 4. 只要信息传输率大于信道容量，总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.（ ）5。

各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件。

（）6. 连续信源和离散信源的熵都具有非负性. ( ）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。

8。

汉明码是一种线性分组码。

（ ） 9。

率失真函数的最小值是0。

( ）10.必然事件和不可能事件的自信息量都是0。

（ ）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于.2、信源编码的目的是；信道编码的目的是。

3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 。

4、香农信息论中的三大极限定理是、、。

5、设信道的输入与输出随机序列分别为X 和Y ,则),(),(Y X NI Y X I N N =成立的条件 。

6、对于香农-费诺编码、原始香农—费诺编码和哈夫曼编码,编码方法惟一的是。

7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = 。

三、本题共 4 小题，满分 50分.1、某信源发送端有2种符号i x )2,1(=i ，a x p =)(1;接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. （1） 计算接收端的平均不确定度()H Y ; （2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量以及最佳入口分布。

试题编号：重庆邮电大学2009/2010学年2学期《信息论基础》试卷（期末）（A卷）（开卷）一、填空题（共15分，每空1分）1、当时，信源与信道达到匹配。

2、若高斯白噪声的平均功率为6 W，则噪声熵为。

如果一个平均功率为9 W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为。

3、信源符号的相关程度越大，信源的符号熵越，信源的剩余度越。

4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。

根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，从而减少平均码长，提高编码效率。

8、香农第一编码定理指出平均码长的理论极限值为，《信息论基础》试卷第1页《信息论基础》试卷第2页此时编码效率为 。

4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H =X ()X 3H = ()3321X X X H （2）()XY H ()()Y X H Y H |+ ()()X H Y H +。

9、有一信源X ，其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是 。

11、当 时，信源熵为最大值。

８进制信源的最大熵为 。

二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。

（ ）2）即时码可以在一个码字后面添上一些码元构成另一个码字。

（ ） 3）连续信源的熵可正、可负、可为零， （ ） 4）平均互信息始终是非负的。

（ ） 5） 信道容量C 只与信道的统计特性有关，而与输入信源的概率分布无关。

（ ）《信息论基础》试卷第3页三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。

通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1） 香农信道容量；2） 无误码传输的最高符号速率。