信息论基础试卷及详细答案

重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（B 卷）（半开卷）一、填空题（共20分，每空1分）1、通信系统中，编码的主要目的有两个，分别是 和 。

2、离散无记忆信源存在剩余度的原因是 。

3、当 时，信源熵为最大值。

八进制信源的最大熵为 ，最小熵为 。

4、无失真信源编码的平均码长最小理论极限制为 。

5、一个事件发生概率为0.125，则自相关量为 。

6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为 和 。

7、噪声瞬时值的概率密度函数服从 分布，同时功率谱密度为 的噪声称为高斯白噪声。

8、当 时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正 态分布或 时，信源具有最大熵，其值为值 。

9、在下面空格中选择填入数学符号“,,,=≥≤>”或“〈” （1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)（2）假设信道输入用X 表示，信道输出用Y 表示。

在有噪无损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。

二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

三、（16分）已知信源12345S P 0.250.20.20.20.15s s s s s ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（4分） （2）计算平均码长—L ；（4分）（3）计算编码信息率R '；（4分）（4）计算编码后信息传输率R ；（2分）（5）计算编码效率η。

（2分）四、（12分）已知一个平均功率受限的连续信号，通过带宽W 10MHz =的高斯白噪声信道，试计算（1）若信噪比为10，信道容量为多少？（4分）（2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分）（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分）五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：112122321333312133(|);(|);(|);(|);(|);(|);443344P a a P a a P a a P a a P a a P a a ======（1） 画出状态转移图（4分） （2） 计算稳态概率（4分）（3） 计算信源的极限熵（4分）（4） 计算稳态下H1，H2及其对应的剩余度。

○？○？大学 2008-2009 学年第一学期2006级 信息与计算科学专业 本 科 卷 A 参考答案与评分标准课程名称 信息论基础课程号（？？？） 考试形式（闭卷笔试） 时间（120分钟））一、判断题：本题共10小题，每题2分，满分20分。

1、√；2、√；3、×；4、×；5、√；6、×；7、×；8、√；9、√；10、×。

二、填空题：本题共7小题，每空2分，满分20分。

1、码字的最小距离（min d ）;2、（减少）冗余，提高编码效率; 提高信息传递的可靠性；3、系统码;4、无失真信源编码定理，信道编码定理，限失真信源编码定理;5、信道和信源都是无记忆；6、香农编码；7、2a。

三、计算题：本题共4小题，满分50分。

(15分)解：1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦联合概率(,)i p x y则Y（2分）（1）11+414()log 2log log 24141a a H Y a a -=+++- ------------------（2分） 211161log 2log log 24141a aa a -=++-+ 211111log 2log16log log 244141a aa a -=+++-+23111log 2log log 24141a aa a-=++-+；取2为底2223111()(log log )24141a aH Y bit a a-=++-+； ------------------（1分） （2）11111111(|)log log log log log 2222224444aa a a a H Y X ---⎡⎤=-++++⎢⎥⎣⎦3(1)log 2log 22a a -=-+3log 22a-=； 取2为底，3(|)2aH Y X bit -=； ------------------（2分） （3）[]2()()()111max (;)max ()(|)max log 2log log 24411i i i p x p x p x aa a C I X Y H Y H Y X a a -⎛⎫==-=++ ⎪+-⎝⎭。

信息论考试卷及答案考试科⽬名称：信息论⼀. 单选（每空2分，共20分）1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。

A．保证⽆失真传输B．压缩信源的冗余度，提⾼通信有效性C．提⾼信息传输的可靠性D．提⾼通信系统的安全性2.下列各量不⼀定为正值的是（D ）A．信源熵B．⾃信息量C．信宿熵D．互信息量3.下列各图所⽰信道是有噪⽆损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独⽴，H（Y）=H（YX）6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，极限熵H=1.5⽐特/符号。

问若⽤⼀般传送⽅式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下⾯不属于最佳变长编码的是（ D ）A ．⾹农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和⾹农编码D ．算术编码和游程编码⼆. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。

试题编号：重庆邮电大学2009/2010学年2学期《信息论基础》试卷（期末）（A卷）（开卷）一、填空题（共15分，每空1分）1、当时，信源与信道达到匹配。

2、若高斯白噪声的平均功率为6 W，则噪声熵为。

如果一个平均功率为9 W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为。

3、信源符号的相关程度越大，信源的符号熵越，信源的剩余度越。

4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。

根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，从而减少平均码长，提高编码效率。

8、香农第一编码定理指出平均码长的理论极限值为，《信息论基础》试卷第1页《信息论基础》试卷第2页此时编码效率为 。

4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H =X ()X 3H = ()3321X X X H （2）()XY H ()()Y X H Y H |+ ()()X H Y H +。

9、有一信源X ，其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是 。

11、当 时，信源熵为最大值。

８进制信源的最大熵为 。

二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。

（ ）2）即时码可以在一个码字后面添上一些码元构成另一个码字。

（ ） 3）连续信源的熵可正、可负、可为零， （ ） 4）平均互信息始终是非负的。

（ ） 5） 信道容量C 只与信道的统计特性有关，而与输入信源的概率分布无关。

（ ）《信息论基础》试卷第3页三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。

通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1） 香农信道容量；2） 无误码传输的最高符号速率。

第四章 习题解答4-1、某一信源以概率1/2、1/4、1/8、1/16、1/32和1/32产生6种不同的符号1x 、2x 、3x 、4x 、5x 和6x ，每个符号出现是独立的，符号速率为1000（符号）/秒。

（1）请计算每个符号所含的信息量；（2）求信源的熵；（3）求单位时间内输出的平均信息量。

解：（1）按定义，各符号所含的信息量分别为()()()12121log log 12I x p x bit =-=-= ()()()22221log log 24I x p x bit =-=-= ()()()32321log log 38I x p x bit =-=-= ()()()42421log log 416I x p x bit =-=-= ()()()52521log log 532I x p x bit =-=-= ()()()62621log log 532I x p x bit =-=-=（2）信源的熵()()()()521222222log 111111111111log log log log log log 22448816163232323211345516168555025228163232323216i i i H X p x p x ==-=------++++=+++++===∑比特符号（3）单位时间内输出的平均信息量()()2510001562.516S I H X R ==⨯=比特4-2 一个离散信号源每毫秒发出4种符号中的一个，各相互独立符号出现的概率分别为0.4、0.3、0.2和0.1，求该信号源的平均信息量与信息速率。

解：信号源的平均信息量，即熵为：()()()()5212222log 0.4log 0.40.4log 0.40.4log 0.40.4log 0.41.864i i i H X p x p x ==-=----=∑比特 因为符号速率R S ＝1/10－3＝103，信息速率R b()()31.86410b S R H X R ==⨯比特秒4-3 设有4个消息符号，其出现的概率分别是1/8、1/8、1/4和1/2，各消息符号的出现是相对独立的，求该符号集的平均信息量。

《信息论基础》试卷三一、判断题（正确打√，错误打×）（每题1分，共6分）1.并联信道的容量是各子信道容量之和。

( ⨯ )2．互信息是非负的。

( ⨯ )3.相同功率的噪声中，高斯噪声使信道容量最小。

( √ )4.最大后验概率准则与最大似然准则是等价的。

( ⨯ )5.如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。

( √ )6.离散无记忆信源N次扩展源的熵是原信源熵的N倍。

( √ )二、填空题（每空2分，共20分）1．信源符号的相关程度越大，信源的符号熵越小，信源的剩余度越大。

2．若信道的输入为X，输出为Y，信道疑义度H(X|Y)表示，在无噪情况下，H(X|Y)= 0 。

3．信道输入与输出间的平均互信息是信道转移概率的下凸函数，是输入概率的上凸函数。

4．R(D)是满足D准则下平均传送每信源符号的所需的最少比特数，它是定义域上的严格递减函数。

6． AWGN 信道下实现可靠通信的信噪比下界为 -1.59 dB ，此时对应的频谱利用率为.0 。

三、计算题（共74分）1.（16分）设信源X 的符号集为{0，1，2}，其概率分布为1014P P==，122P =，每信源符号通过两个信道同时传输，输出分别为Y ，Z ，两信道转移概率如图所示：XY1201XZ121求（1）H (Y )，H (Z )； （各2分共4分） （2）H (XY )，H (XZ )，H (XYZ )； （各2分共6分） （3）I (X;Y )，I (X;Z ), I (Y;Z )； （各2分共6分）2. （共18分）一个离散无记忆信源发出M 个等概率消息，每个消息编成长度为n 的码字通过一个离散无记忆二元对称信道传输。

设信道的输入为X ，输出为 Y ， 错误率为0.1；n 长编码序列的每一个符号按达到信道容量的概率选择，共选择M 个码字，n 选得足够大。

1) 求该信道的信道容量；（5分）2) 当传输速率达到容量时，确定M 与n 的关系。

信息论基础试题一、选择题1.下列哪个选项可以正确解释信息论的基本思想？•[ ] A. 信息交流的过程中，信息可以通过信道传递。

•[ ] B. 信息的传递不受噪声的影响。

•[ ] C. 信息的度量可以基于信息内容和概率分布。

•[ ] D. 信息的传输速率与信道带宽成反比例关系。

2.假设信源A生成的符号集X有5个元素，概率分布为P(X)=[0.1, 0.2, 0.4, 0.15, 0.15]。

则信源A的熵为多少？•[ ] A. 1.52•[ ] B. 1.75•[ ] C. 1.97•[ ] D. 2.323.在信息论中，互信息表示什么意思？•[ ] A. 两个随机变量的相关程度。

•[ ] B. 从一个随机变量中获得的信息量。

•[ ] C. 两个随机变量之间的信息交流量。

•[ ] D. 两个随机变量之间的互相依赖程度。

二、填空题1.在信息论中，熵是用来衡量信源的______。

2.信源的熵可以通过概率分布计算，公式为______。

3.信道容量是指在给定的信道条件下，单位时间内可以传输的最大______。

三、简答题1.请简要解释信息熵的概念，并与不确定性联系起来。

答：信息熵是信息论中对信源不确定性的度量。

它衡量了一组符号的平均不确定性，也可以理解为平均信息量。

熵越大，表示源符号的不确定性越大，每个符号所携带的信息量就越多；熵越小，表示源符号的不确定性越小，每个符号所携带的信息量就越少。

通过熵的计算，我们可以衡量一个信源的不确定性，并基于不同的概率分布对不同信源进行比较。

不确定性是指在一个具体的情境中，我们对于某个事件的发生没有确切的判断。

信息熵与不确定性有密切的联系，熵值越高，表示我们对于事件发生的不确定性也越高。

2.什么是信道容量？在实际通信中，如何提高信道的传输容量？答：信道容量是指在给定的信道条件下，单位时间内可以传输的最大信息量。

信道容量受到信道的带宽和信道的噪声水平的影响。

要提高信道的传输容量，可以采取以下几个方法：–扩展信道带宽：增加信道的频率范围，可以提高信道的传输速率和容量。

《信息论基础》模拟试题一、填空题(本大题共10小空，每小空2分，共20分)1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为和O2.—个八进制信源的最大炳为-3.信源冗余度存在的原因是。

4.设有一连续随机变量X表示信号x(t)的幅度，其幅值在［-4V, 4V］均匀分布，那么该信源的炳h(x)=,则该信源的绝对炳是_____________________ 」5.若某一连续信源X,其平均功率受限为8W,其概率密度函数是高斯分布时，差炳的最大值为，与其炳相等的非高斯分布信源的功率为>6.对称离散信道的转移概率矩阵P的特点是二、掷两粒骰子，各面出现的概率都是1/6,计算信息量：1.两骰子面朝上点数之和为2,该消息包含的信息量是多少？(3分)2.两骰子而朝上点数之和为8时，该消息包含的信息量是多少？(3分)3.两骰子血朝上点数是3和4,该消息包含的信息量是多少？(3分)三、设X,Y是二个相互统计独立的二元随机变量，其取-1或1的概率相等。

定义另一个二元随机变量Z,取Z=X+Y。

试计算：1.H(Y)、H(Z); (6 分)2.H (XY) ; (3 分)3.I (X;Y), I (Y;Z). (8 分) 四、一阶马尔可夫链信源有3个符号｛a,b.c),转移概率为：P (a/a)二1/2, p (b/a)=1/4, p (c/a) =1 /4, p (a/b) =1 /2, p (b/b)二0, p (c/b) =1/2, p (a/c) =1/2, p (b/c) =1/2, p (c/c)=0。

1.画出状态图；写出转移概率矩阵；(6分)2.求出各符号稳态概率；(6分)3.计算其极限滴；(4分)五、在干扰离散对称信道上传输符号1和0,已知p(0)=1/4,p(1)=3/4,试求:1该信道的转移概率矩阵P(3分)2该信道的信道容量及其输入概率分布(7分)0.6六、某信道的转移矩阵p().50.30.30.2().5 00.2试求：该信道的信道容量及最佳输入概率分布o （6分）七、设在平均功率受限高斯可加波形信道中，信道宽带为5KH 乙乂设信 噪比为20db 1 肖H •耸'该隹1首的隹1首恣晶.分）2若功率信嬴比降或lOdbi 达到相同的最大信息传输率，信道带宽应是 多少？ （3分）八、信源符号 X 有 6 种字母，概率为 0.25 , 0.2, 0.16, 0.15 , 0.1, 0.07 , 0.04 , 0.03. 用霍夫曼编码法编成二进制变长码，写出编程过程并计算：（共16分）1. 编码前信源X 的信源剩余度，2. 平均码长3. 编码效率。

信息论基础试题信息论是研究信息传输和处理的一门学科，它最初被应用于通信领域，但现在已广泛应用于各个领域。

信息论的基础概念包括信息、熵、信源、信道以及编码等概念。

以下是信息论基础试题。

1. 简述信息论的基本概念？信息论的基本概念包括信息、熵、信源、信道以及编码等概念。

信息指的是用来描述某个事件或情况的不确定性程度的量。

信息通常用比特（bit）来表示，比特表示信息的最小单位，它可以取0或1两种状态。

熵指的是信息的度量，它表示一个随机变量的平均信息量。

熵的单位通常用比特或纳特（nat）表示，比特是以2为底的对数单位，而纳特是以自然常数e为底的对数单位。

信源指的是产生信息的源头，它可以是物理信号，也可以是逻辑信号。

信道指的是传输信息的媒介，它可以是有线媒介，也可以是无线媒介。

编码指的是将原始的信源信息转化为经过压缩、纠错等处理后的编码信号的过程。

编码可以分为有损编码和无损编码。

2. 什么是熵？熵是信息量的一种度量方式，它反映一个随机变量的信息的不确定性，也称为信息熵。

熵的物理意义可以理解为，如果我们要表达一个随机变量的状态，那么需要用多少位来表示，这个位数就是熵。

比如，如果有一个硬币，正反两面的概率相等，那么这个硬币的熵是1比特，因为我们只需要1位来表示它的状态。

熵的单位通常用比特或纳特表示，比特是以2为底的对数单位，而纳特是以自然常数e为底的对数单位。

熵有以下特点：（1）熵越大，表示信息的不确定性越高；（2）熵越小，表示信息的不确定性越低。

3. 什么是信源？信源指的是产生信息的源头，它可以是物理信号，也可以是逻辑信号。

物理信号是指来自实际物理系统的信号，比如声音、图像、温度等信息。

逻辑信号是指来自逻辑系统的信号，比如计算机中的数字信号、电路中的布尔逻辑信号等。

信源可以是离散的或连续的。

离散信源的输出是一个个离散的符号序列，比如二进制序列。

连续信源的输出是一个连续的信号，比如模拟信号或数字信号。

4. 什么是信道？信道指的是传输信息的媒介，它可以是有线媒介，也可以是无线媒介。

期终练习一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。

已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。

解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者根据题意，可知：P （A ）=0.1 P （B ）=0.8 P （C ）=0.1 P （D|A ）=0.15 P （D|B ）=0.1 P （D|C ）=0.05而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）根据贝叶斯定律，可得：P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝0.1 P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝0.15*0.1/0.1＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I （A|D ） = - logP （A|D ）=log （0.15）≈2.73 （bit ） 二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞解：（1）该信源达到平稳后，有以下关系成立：13212312123()()31()()()4211()()()42()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩可得1232()73()72()7Q E Q E Q E ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩3111322133313()()(|)72()()(|)73()()(|)7i i i i i i i i i p a Q E p a E p a Q E p a E p a Q E p a E =========∑∑∑（2）311113222133331(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k kk k k k k H X S p a S p a S H X S p aS p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）（符号）（符号）（3）31()(|)2/7*3/23/7*12/7*06/7iii H Q E H X E ∞==⨯=++=∑（比特/符号）三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤⎢⎥⎣⎦（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =21()log ()iii p x p x ==-∑=0.75log 750.25log 25--≈0.811(比特/符号)1111212()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.6+0.25*0.4=0.55 2121222()()(|)()(|)p y p x p y x p x p y x =+=0.75*0.4+0.25*0.6=0.45()0.55log0.550.45log0.45H Y =--=≈0.992(比特/符号)122(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y X p x H Y x p x H Y x H H =+=⨯+⨯=-+≈（比特符号）(|)()()()(|)()H X Y H XY H Y H X H Y X H Y =-=+-≈0.811+0.971-0.992=0.79 (比特/符号)I(X;Y)=H(X)-H(X|Y)=0.811-0.79=0.021(比特/符号) （2）此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量四、求信道22042240 p pp pεεεεεε⎡⎤--⎢⎥--⎢⎥⎣⎦的信道容量，其中1p p=-。