信息论考试题

1.有二元对称信道编码：1)已知信源X,41,4310==p p ，求H(X),H(X|Y),I(X,Y)。

2)求信道容量C 。

解：由题意可知，（X,Y ）服从如下的联合分布Y,X0101/21/1211/41/6X 的边际分布是（3/4,1/4），Y 的边际分布是（7/12,5/12）)(811.03log 432)41log 4143log 43(log )(210bit p p X H i i i =-=+-=-=∑=)bit (749.07log 1275log 1253log 433252,53(125)71,76(127)|()()|(22210=++--=+====∑=H H i Y X H i Y p Y X H i )bit (062.07log 1275log 12538)|()(),(22=--=-=Y X H X H Y X I )(082.03log 35)31(1)(12bit H p H C =-=-=-=2.最小熵。

求出)(),...,,(21p H p p p H n =最小值是多少，因为p 的范围是在n 维概率向量集合上的最小值是多少？找到所有达到这个最小值时的p。

解：我们希望找到所有的概率向量),...,,(21n p p p p =，让∑-=i ii p p p H log )(达到最小，现在有时等式成立或当且仅当10,0log =≥-i i i p p p ，因此，唯一可能使得H(p)最小化的概率向量是对于某些i 和j 满足.,0,1i j p p j i ≠==这里有n 个这样的向量，比如)1,...,0,0(),0,...,1,0(),0,...,0,1（，此时H(p)的最小值为0。

3.赫夫曼码。

考虑随机变量⎪⎪⎭⎫ ⎝⎛=02.003.004.004.012.026.049.07654321x x x x x x x X （a）求X 的二元赫夫曼码。

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑XX 性和认证性，使信息传输系统达到最优化。

（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。

按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。

（考点：信息量的概念与计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。

（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。

若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。

（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。

（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。

（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。

（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。

（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。

（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。

信息理论与编码-期末试卷A及答案⼀、填空题（每空1分，共35分）1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。

信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的⾃信息量为 bit ，此信源的熵为 bit/符号。

4、某离散⽆记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P =???和12340.5122X x x x x w=，则其信源熵和加权熵分别为和。

5、信源的剩余度主要来⾃两个⽅⾯，⼀是，⼆是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输⼊有关，⽽与过去输⼊⽆关的信道称为信道。

8、马尔可夫信源需要满⾜两个条件：⼀、；⼆、。

9、若某信道矩阵为010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

11、信源编码的概率匹配原则是：概率⼤的信源符号⽤，概率⼩的信源符号⽤。

（填短码或长码）12、在现代通信系统中，信源编码主要⽤于解决信息传输中的性，信道编码主要⽤于解决信息传输中的性，保密密编码主要⽤于解决信息传输中的安全性。

13、差错控制的基本⽅式⼤致可以分为、和混合纠错。

14、某线性分组码的最⼩汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。

15、码字1、0、1之间的最⼩汉明距离为。

16、对于密码系统安全性的评价，通常分为和两种标准。

17、单密钥体制是指。

18、现代数据加密体制主要分为和两种体制。

19、评价密码体制安全性有不同的途径，包括⽆条件安全性、和。

20、时间戳根据产⽣⽅式的不同分为两类：即和。

信息论基础考试试题一、信息论基础考试试题考试试题内容如下：1. 简述信息论的定义和基本原理。

信息论是由克劳德·香农提出的一门数学理论，主要研究信息的量和信息传输的可靠性。

其基本原理包括信源编码、信道编码和信道容量三个方面。

其中，信源编码是将信息源的符号序列编码为短码字节，减少信息传输的冗余；信道编码是为了在承载信息传输的信道中降低传输过程中的错误率和噪声干扰；信道容量则是指在给定的信道条件下，能够传输的最大信息速率。

2. 请定义信息熵，并给出其计算公式。

信息熵是用来衡量一个随机变量的不确定性或者信息量的多少。

假设一个离散随机变量X，其取值的概率分布为P(X)，那么信息熵的计算公式为：H(X) = -Σ[P(x)log2P(x)]其中，Σ表示求和运算，x为随机变量X的所有取值。

3. 解释条件熵和联合熵的概念。

条件熵是指在给定某个随机变量的取值条件下，另一个随机变量的不确定性或信息量。

设有两个离散随机变量X和Y，X的条件熵H(X|Y)即为在已知Y的条件下，X的信息熵。

联合熵是指同时考虑两个或多个随机变量的不确定性或信息量。

对于随机变量X和Y，它们的联合熵H(X,Y)表示同时考虑X和Y的信息熵。

4. 请解释互信息的概念，并给出其计算公式。

互信息是用来衡量两个随机变量之间的相关程度或者依赖关系。

对于离散随机变量X和Y，互信息的计算公式为：I(X;Y) = ΣΣ[P(x,y)log2(P(x,y)/(P(x)P(y)))]其中，ΣΣ表示双重求和运算，P(x,y)表示X和Y同时发生的概率，P(x)和P(y)分别为X和Y的边缘概率。

5. 请简要介绍信道编码理论中的三个重要概念：纠错码、检测码和调制。

纠错码是一种用于在传输过程中恢复误差的编码技术。

通过添加冗余信息，可以在接收端检测和纠正传输过程中产生的错误。

检测码是用于在传输过程中检测错误的编码技术。

它可以发现传输中是否存在错误，但无法纠正错误。

调制是指将数字信号转换为模拟信号或者模拟信号转换为数字信号的过程。

信息论智力题目
这是一道关于信息论的智力题目：
在某个地区，有三种体型的人群：胖子、不胖不瘦的人和瘦子。

他们得高血压的概率也不同。

现在的问题是，如果我们知道某人是高血压患者，那么这句话包含了多少关于这个人身体状况的信息？
假设胖子得高血压的概率为15%，不胖不瘦者得高血压的概率为10%，瘦
子得高血压的概率为5%。

胖子占该地区的10%，不胖不瘦者占80%，瘦
子占10%。

我们需要计算这句话“该地区的某一位高血压者是胖子”包含了多少信息量。

根据信息论，信息量是衡量不确定性的减少程度。

如果某事件的发生概率很高，那么该事件的信息量就较小；如果某事件的发生概率很低，那么该事件的信息量就较大。

首先，我们要计算在不知道某人是胖子的情况下，他是高血压患者的信息量。

这等于总的得高血压的概率（也就是胖子、不胖不瘦者和瘦子的得高血压概率之和）。

然后，我们要计算在知道某人是胖子的情况下，他是高血压患者的信息量。

这等于胖子得高血压的概率。

最后，通过这两个信息量的差值，我们可以得到“该地区的某一位高血压者是胖子”这句话的信息量。

这个差值就是我们要找的答案。

一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。

2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。

3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。

4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。

5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。

6. ______________________________________________________ 费诺编码比较适合于的信源。

7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。

&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。

9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。

二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。

2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。

简答题：1.根据信息论的各种编码定理和通信系统指标，编码问题可分解为几类，分别是什么？答：3类，分别是：信源编码，信道编码，和加密编码。

2.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z 组成一个马尔可夫链，且有，。

说明经数据处理后，一般只会增加信息的损失。

3.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为:表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息:表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

4.简述最大离散熵定理。

对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

5.熵的性质什么？答：非负性，对称性，确定性，香农辅助定理，最大熵定理。

6.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。

信道容量是一个信道所能达到的最大信息传输率。

信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U 型凸函数。

7.信道疑义度的概念和物理含义？答：概念：)|(log )()|(j i j i j i b a p b a p Y X H ∑∑-=物理含义：输出端收到全部输出符号Y 以后，对输入X 尚存在的平均不确定程度。

8.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz ，信噪比为30dB 时求信道容量。

答：香农公式为 ，它是高斯加性白噪声信道在单位时 间内的信道容量，其值取决于信噪比和带宽。

由得，则9.解释无失真变长信源编码定理? 答：只要，当N 足够长时，一定存在一种无失真编码。

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。

3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。

4.数据处理过程中信息具有（不增性）。

5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。

6.单符号连续信道的信道容量取决于（信噪比）。

7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。

8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。

9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。

10.立即码指的是（接收端收到一个完整的码字后可立即译码）。

11.算术编码是（非）分组码。

12.游程编码是（无）失真信源编码。

13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。

14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。

15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。

16.卷积码的自由距离决定了其（检错和纠错能力）。

（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。

（错）3、马尔可夫信源是离散无记忆信源。

（错）4、不可约的马尔可夫链一定是遍历的。

（对）5、单符号连续信源的绝对熵为无穷大。

（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。

信息论考试卷及答案考试科⽬名称：信息论⼀. 单选（每空2分，共20分）1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。

A．保证⽆失真传输B．压缩信源的冗余度，提⾼通信有效性C．提⾼信息传输的可靠性D．提⾼通信系统的安全性2.下列各量不⼀定为正值的是（D ）A．信源熵B．⾃信息量C．信宿熵D．互信息量3.下列各图所⽰信道是有噪⽆损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独⽴，H（Y）=H（YX）6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，极限熵H=1.5⽐特/符号。

问若⽤⼀般传送⽅式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下⾯不属于最佳变长编码的是（ D ）A ．⾹农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和⾹农编码D ．算术编码和游程编码⼆. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。