下载文档原格式
题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100得分 一、填空题（每空1分，共35分） 得分| |阅卷人|1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
2012-2013 (2) 信息论与编码理论1 A 卷答案一、 单项选择题（每题3分，总计15分） 1．当底为e 时，平均互信息的单位为（ C ）。
A 奈特B 哈特C 奈特/符号D 哈特/符号 2．下列量当Y X ,交换位置时（ C ）没有对称性。
A );(Y X IB ),(Y X HC )|(Y X HD )|,(Z Y X I3．下列（ A ）陈述是错误的。
A 算术编码不需要知道信源的分布B LZ 编码不需要知道信源的分布C 游程编码不需要知道信源的分布D KY 编码不需要知道信源的分布 4．下列数组中（ A ）不满足两个字母上的Kraft 不等式。
A (1，2，1)B (2,2)C (1,2,3)D （3，3，3） 5．下列译码法则中（ A ）一定是错误概率最小的。
A 最大后验概率译码准则B 最大似然译码准则C 最小距离译码准则D 最大先验概率译码准则 二、填空题（每空2分，总计12分）1．若某离散信道转移概率矩阵为⎥⎦⎤⎢⎣⎡125.0125.05.025.0125.0125.025.05.0，则其信道容量为43log 352-比特/符号。
2．若一个信道的输入熵为8.1)(=X H 比特/符号，输出熵为2.2)(=Y H 比特/符号，6.0);(=Y X I 比特/符号，则=),(Y X H __3.4比特/符号__，疑义度为1.2比特/符号_。
3．平均互信息对信源概率分布是上凸函数，对信道的状态转移概率分布是下凸函数。
4．对信源U 任一个D 元唯一可译码的平均码长必大于等于DU H log )(。
三、计算题（73分）1）（15分）设随机变量Y X ,的联合概率分布如下：Y X Z ⊕=，⊕为模2加。
分别求);(),|(),(),(Z X I Y X H Y H X H 。
解: X 的分布率为则1)(=X H 比特/符号..3分Y 的分布率为则3log 432)(2-=Y H =0.811比特/符号. …………………………………………………..……..6分)0()0,0()0|0(======Y P Y X p Y X p =1,)1()1,0()1|0(======Y P Y X p Y X p =31)0()0,1()0|1(======Y P Y X p Y X p =0,)1()1,1()1|1(======Y P Y X p Y X p = 32)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p --=32log 210log 031log 411log 412222----=213log 432-=0.688比特/符号. ……………..10分)0()0,0()0|0(======Z P Z X p Z X p =31,)1()1,0()1|0(======Z P Z X p Z X p =1 )0()0,1()0|1(======Z P Z X p Z X p =32,)1()1,1()1|1(======Z P Z X p Z X p =0则)1()1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2222=+=+=+==X p p p X p p p X p p p X p p p Z X I =210log 02132log 41211log 412131log 412222+++=9log 4112-=0.2075比特/符号. …………………..15分2）（22分）若离散无记忆信源的概率分布为⎪⎪⎭⎫ ⎝⎛=3.01.04.005.005.01.0654321a a a a a a U① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon 编码，Fano编码，Shannon-Fano-Elias 编码。
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码期末考试题(全套)(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--（一）一、判断题共 10 小题，满分 20 分.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （ ）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（ ）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ）6. 连续信源和离散信源的熵都具有非负性. （ ）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （ ）9. 率失真函数的最小值是0.（ ）10.必然事件和不可能事件的自信息量都是0.（ ）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是 ；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是 、 、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = . 三、本题共 4 小题，满分 50 分. 1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. （1） 计算接收端的平均不确定度()H Y ； （2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示， 信源X 的符号集为}2,1,0{. （1）求信源平稳后的概率分布； （2）求此信源的熵； （3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较.4、设二元)4,7(线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G . （1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码.图2-13（二）一、填空题（共15分，每空1分）1、信源编码的主要目的是 ，信道编码的主要目的是 。
最大熵值为组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于由得，则解释无失真变长信源编码定理。
只要，当什么是保真度准则？对二元信源，其失真矩阵，求和？答：，所以有，而。
息出现前后没有关联，求熵；）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；）信源模型为）由得则）若，，求和；）），最佳输入概率分布为等概率分布。
信源空间为答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
7.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为2）最大错误概率准则下，有，6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为。
信息论与编码试卷及答案⼀、概念简答题（每题5分，共40分）1.什么是平均⾃信息量与平均互信息，⽐较⼀下这两个概念的异同？2.简述最⼤离散熵定理。
对于⼀个有m个符号的离散信源，其最⼤熵是多少？3.解释信息传输率、信道容量、最佳输⼊分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于⼀个⼀般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出⾹农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪⽐为30dB时求信道容量。
6.解释⽆失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则？对⼆元信源，其失真矩阵，求a>0时率失真函数的和？⼆、综合题（每题10分，共60分）1.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种，求：1）⿊⾊出现的概率为0.3，⽩⾊出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上⿊⽩消息出现前后没有关联，求熵；2）假设⿊⽩消息出现前后有关联，其依赖关系为：，，，，求其熵；2.⼆元对称信道如图。
；1）若，，求和；2）求该信道的信道容量和最佳输⼊分布。
3.信源空间为，试分别构造⼆元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有⼀离散信道，其信道传递矩阵为，并设，试分别按最⼩错误概率准则与最⼤似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知⼀（8，5）线性分组码的⽣成矩阵为。
求：1）输⼊为全00011和10100时该码的码字；2）最⼩码距。
6.设某⼀信号的信息传输率为5.6kbit/s，在带宽为4kHz的⾼斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）⽆差错传输需要的最⼩输⼊功率是多少？（2）此时输⼊信号的最⼤连续熵是多少？写出对应的输⼊概率密度函数的形式。
⼀、概念简答题（每题5分，共40分）1.答：平均⾃信息为表⽰信源的平均不确定度，也表⽰平均每个信源消息所提供的信息量。
一、填空题（每空1分，共35分）1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ；二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字1、0、1之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
信息论与编码试题集与答案1. 在⽆失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须⾸先信源编码，然后_____加密____编码，再______信道_____编码，最后送⼊信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的⾹农公式是log(1)C W SNR =+；当归⼀化信道容量C/W 趋近于零时，也即信道完全丧失了通信能⼒，此时E b /N 0为 -1.6 dB ，我们将它称作⾹农限，是⼀切编码⽅式所能达到的理论极限。
4. 保密系统的密钥量越⼩，密钥熵H (K )就越⼩，其密⽂中含有的关于明⽂的信息量I (M ；C )就越⼤。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输⼊符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输⼊信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??。
7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若⽤户B 向⽤户A 发送m =2的加密消息，则该加密后的消息为 8 。
⼆、判断题1. 可以⽤克劳夫特不等式作为唯⼀可译码存在的判据。
（√ ）2. 线性码⼀定包含全零码。
（√ ）3. 算术编码是⼀种⽆失真的分组信源编码，其基本思想是将⼀定精度数值作为序列的编码，是以另外⼀种形式实现的最佳统计匹配编码。
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、和 。
20、时间戳根据产生方式的不同分为两类：即 和 。
二、选择题（每小题1分，共10分） 1、下列不属于消息的是（ ）。
A. 文字B. 信号C. 图像D. 语言2、设有一个无记忆信源发出符号A 和B ，已知4341)(,)(==B p A p ，发出二重符号序列消息的信源，无记忆信源熵)(2X H 为（ ）。
A. 0.81bit/二重符号B. 1.62bit/二重符号C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。
A. －log36bit B. log36bit C. －log (11/36)bitD. log (11/36)bit4、 二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是（ ）。
A. H(X/Y)B. H(Y/X)C. H( X, Y)D. H(XY)5、一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ ）。
A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、 下面哪一项不属于熵的性质：（ ）A ．非负性B ．完备性C ．对称性D ．确定性信息论与编码信息论与编码7、根据树图法构成规则， （ ） A ．在树根上安排码字 B ．在树枝上安排码字 C ．在中间节点上安排码字 D ．在终端节点上安排码字 8、下列组合中不属于即时码的是（ ）。
A. { 0，01，011}B. {0，10，110}C. {00，10，11}D. {1，01，00}9、 已知某（6，3）线性分组码的生成矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110001111010G ，则不用计算就可判断出下列码中不是该码集里的码是（ ）。
A. 000000B. 110001C. 011101D. 11111110、下列保密编码中属于现代密码体制的是（ ）A. 凯撒密码B. Vigenere 密码C. 韦维纳姆密码D. DES 加密算法三、简答题（四小题，共23分）1、请简述现代密码系统应当满足的条件。
(4分)2、请简述连续信源最大熵定理的主要内容。
（6分）3、请解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则的含义，并说明三者的关系。
（5分） 答：4、已知密钥为yes ，请利用多表代换密码中的Vigenere （维吉尼亚）密码原理分别对下列明文和密文进行编码和译码。
明文：A Mathematical Theory of Communication ； 密文：G ee y hgaxgp (需给出码表或编译码过程，8分)四、计算题（四小题，共32分）1、居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身信息论与编码高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？（5分）2、设离散符号信源为121/43/4x x X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，试求：（1）信源的熵、熵的相对效率以及剩余度； （2）求二次扩展信源的概率空间及其信源熵。
(10分)3、已知6符号离散信源的出现概率为⎥⎥⎦⎤⎢⎢⎣⎡321321161814121654321a a a a a a ，试写出Huffman 编码的码字并求其平均码长。
（7分）4、已知一个(5, 3)线性分组码C 的生成矩阵为：11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦, （1）求系统生成矩阵及校验矩阵；（2）列出C 的信息位与系统码字的映射关系； （3）求收到r =11101时的译码步骤与译码结果。
(10分)2015-2016年第2学期《信息论与编码》期末考试A 卷参考答案一、填空题（每空1分，共35分）1、 香农、香农信息论；2、 消息、信息；3、1、15/8；4、7/4、9/4；5、信源符号间的相关性、信源符号的统计不均匀性； 6、I(X;Y)=H(X)+H(Y)-H(XY)；7、无记忆；8、某一时刻信源符号的输出只与此时刻信源状态有关，与之前的状态和输出符号无关；信源在t 时刻的状态由当前输出符号及t-1时刻信源的状态唯一确定；9、2bit/符号；10、无失真信源编码和限失真信源编码; 11、短码、长码；12、有效性、可靠性；13、前向纠错 、 反馈重发 ；14、3、1；15、2；16、理论保密性、实际保密性； 17、在加密和解密过程中，加、解密密钥相同或从一个容易得出另一个的密码体制； 18、公钥体制、私钥体制；填单钥体制、双钥体制）或（对称加密体制、非对称加密体制）也可； 19、计算安全性、可证明安全性； 20、自建时间戳、具有法律效力的时间戳二、选择题（每小题1分，共10分）B B B AC BD A D D三、简答题（四小题，共23分）1、请简述现代密码系统应当满足的条件。
(4分)答：一个安全的现代密码系统应当满足以下几点要求：(每小点1分) （1） 系统即使达不到理论上不可破译，也应当是实际上不可破译的。
（2） 系统的保密性不依赖于对加密、解密算法和系统的保密，而仅仅依赖于密钥的保密性。
、 （3） 加密、解密算法适用于所有密钥空间的元素。
（4） 加密、解密运算简单快捷，易于实现。
2、请简述连续信源最大熵定理的主要内容。
（6分） 答：连续信源最大熵定理主要内容如下：（每小点2分）（1）峰值功率受限条件下信源的最大熵定理：若某信源输出信号的峰值功率受限，即信号的取值被限定在某一有限范围（假设为[a,b]）内，则在限定的范围内，当输出信号概率密度分布为均匀分布时，该信源具有最大熵，且为log()b a -。
（2）平均功率受限条件下信源的最大熵定理：若某信源输出信号的平均功率和均值被限定，则当其输出信号幅度的概率密度函数是高斯分布时，该信源达到最大熵值，且最大熵值为12log 2ePπ。
（3）均值受限条件下信源的最大熵定理：若某连续信源X 输出非负信号的均值被限定，则其输出信号幅度为指数分布时，信源X 具有最大熵，且其值为log2em 。
3、请解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则的含义，并说明三者的关系。
（5分）答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字（1分）。
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。
(1分) 最小距离译码准则下，将接收序列译为与其距离最小的码字。
（1分）三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
（1分）在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。
（1分）4、已知密钥为yes ，请利用多表代换密码中的Vigenere （维吉尼亚）密码原理分别对下列明文和密文进行编码和译码。
明文：A Mathematical Theory of Communication ； 密文：G ee y hgaxgp (需给出码表或编译码过程，8分) 答：我们已知26个字母的排列如下表根据提供的明文，可以得出密文YQSRLWKELGGSJXZCSJWSXASEKYFGGSRMGL,编码过程如下表所示（5分）根据提供的密文，可以得出译码后的明文为:I AM A DOCTOR 。
译码过程如下表所示：(3分) 1、居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？（5分）解：设A 表示“大学生”这一事件，B 表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分） 2、设离散符号信源为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/34/121x x P X X ，试求：（1）信源的熵、熵的相对效率以及剩余度；（2）求二次扩展信源的概率空间及其信源熵。
（10分） 解：（1）22max 2()1/4log 43/4log (4/3)0.811/()/()()/log 2()81.1% 11()18.9%H X bit H X H X H X H X R H X ηη=+======-=-=符号，（4分）（2）二次扩展信源的概率空间为：（3分）2222()1/16log 163/16log (16/3)3/16log (16/3)9/16log (16/9)2() 1.622/H XX H X bit =+++==符号（3分）3、已知6符号离散信源的出现概率为⎥⎥⎦⎤⎢⎢⎣⎡321321161814121654321a a a a a a ，试写出Huffman 编码的码字并计算平均码长。
