下载文档原格式
题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100得分 一、填空题（每空1分，共35分） 得分| |阅卷人|1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
电子科技大学2011至2012学年第二学期信息编码与加密 课程考试试题(120分钟) 考试日期：2012年6月 日试卷答案A一、填空（每题两分）1．在传输消息不产生失真条件下，信道允许的最大信息传输速率。
或者说，信道容量是在传输消息不产生失真条件下，在单位时间内信道所允许传输的最大信息量 2．消息在信道中传输的平均信息量的大小3．87.81，1.954．X1X3X2X1X4X35．15bit/s6．最大后验概率准则7．6.264bit/s8．H （X ）、 09．000100011、 3、 410． Note二、解：(1)根据忙闲的频率，得到忙闲的概率分布如下：symbol bit x p x p X H x x X P X i ii / 964.010340log 1034010363log 10363)(log )()(1034010363闲忙)(221=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑（3分） (2)设忙闲为随机变量X ，天气状态为随机变量Y ，气温状态为随机变量Z sym bolbit YZ H XYZ H YZ X H sym bolbit z y p z y p YZ H sym bol bit z y x p z y x p XYZ H j kk j k j i j kk j i k j i / 859.0977.1836.2)()()/(/ 977.1 10328log 1032810332log 1033210323log 1032310320log 10320 )(log )()(/ 836.2 10312log 103121035log 103510315log 103151038log 1038 10316log 1031610327log 103271038log 103810312log 10312 )(log )()(=-=-==⎪⎭⎫ ⎝⎛+++-=-==⎪⎭⎫++++ ⎝⎛+++-=-=∑∑∑∑∑ （4分） (3)symbol bit YZ X H X H YZ X I / 159.0859.0964.0)/()();(=-=-= （3分）三、解： (1)⎪⎩⎪⎨⎧===⎩⎨⎧=++==⎪⎪⎩⎪⎪⎨⎧⋅+⋅=⋅+⋅=⋅+⋅=⎪⎩⎪⎨⎧+=+=+=3/1)(3/1)(3/1)(1)()()()()()()()()()()()()()()()/()()/()()()/()()/()()()/()()/()()(321321321133322211131333332322222121111e p e p e p e p e p e p e p e p e p e p p e p p e p e p p e p p e p e p p e p p e p e e p e p e e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p ⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡⎪⎪⎩⎪⎪⎨⎧=+=⋅+⋅=+==+=⋅+⋅=+==+=⋅+⋅=+=3/123/113/10)(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(131313333323232222212121111X P X p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p (2)()sym bolbit p p p p p p p p p p p p p p p p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e p H i j i j i j i / log log log 31log 31log 31log 31log 31log 31 )/(log )/(31)/(log )/(31)/(log )/(31 )/(log )/(31)/(log )/(31)/(log )/(31 )/(log )/(31)/(log )/(31)/(log )/(31 )/(log )/()(33333232313123232222212113131212111133⋅+⋅-=⎥⎦⎤⎢⎣⎡⋅⋅+⋅⋅+⋅⋅+⋅⋅+⋅+⋅⋅-=⎥⎦⎤++++++⎢⎣⎡++-=-=∑∑∞四、（第一问6分，第二问4分）1．∑-=Xx p x p X H )(log )()(=2.552bit/符号, 平均码长b =2.61码元/符号码元时间/9779.0)(bit bx H R ==信源编码的编码效率η=C R =97.79% （3分）霍夫曼编码 （3分）符号 i p 代码组 b iC 0.4 0 0 1B 0.18 0 110 3A 0.1 0 (1,0) 100 3(0.23) 1F 0.1 0 1 1 (0.6) 1111 4G 0.07 1 1011 41E 0.06 0 (0.13) 1 1010 4D 0.05 1 (0.19) 11101 5H 0.04 0 (0.09) 11100 52． p (0)=0.42, p (1)=0.58 （4分）五、解：设α=)(2x P ,由于相似性，α=)(3x P ,则α21)(1-=x P 及α21)(1-=y P 由信道的局部对称，得α==)()(32y P y P)'ln 'ln (2]ln 2)21ln()21[()/()();(εεεεααααα+-+---=-=X Y H Y H Y X I （ 2分） 令 0);(=∂∂x Y X I ，求得''121εεεεα+=''21121εεεεα+=- 代入I(X;Y)，化简，得 符号时间/)'21ln('nat C εεεε+= （5分）算出最佳输入概率 （ 3分）六、解：04141041041),(min )(430411********),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D因为n 元等概信源率失真函数： ⎪⎭⎫⎝⎛-⎪⎭⎫ ⎝⎛-+-+=a D a D n aDa D n D R 1ln 11ln ln )(其中a = 1, n = 4, 所以率失真函数为： ()()D D DD D R --++=1ln 13ln 4ln )(函数曲线：其中：sym bol nat D R D sym bolnat D R D sym bolnat D R D sym bolnat R D /0)(,43/12ln 214ln )(,21/316ln 214ln )(,41/4ln )0(,0==-==-====七、证明：)()()/()()()(log )()( )/(log )/()()/(log )()/()( 0)( )()()/(2Y H Z H X Z H Z H Y H y p y p x p x z p x z p x p x z p z x p X Z H Yx z Yx z y p x z p x z p YX Z i j j j i i k i k i k i i k i k k i i k i k j i k i k ≥∴≥=⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=-=⎩⎨⎧∉-∈-=-=∴+=∑∑∑∑∑∑ ( 5分)同理可得)()(X H Z H ≥。
（一）欧阳学文一、判断题共 10 小题，满分 20 分.1. 当随机变量和相互独立时，条件熵等于信源熵.（ ）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（ ）3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（ ）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和件. （）6. 连续信源和离散信源的熵非负性. （7. 信源的消息通过信道传输差或失真越大，信宿收到消息后存在的不确定性就越小，获得的信息量就8. 汉明码是一种线性分组码9. 率失真函数的最小值是10.必然事件和不可能事件的量都是.（ ）二、填空题共 6 小题，满分 201、码的检、纠错能力取决于2、信源编码的目的是；信道目的是.3、把信息组原封不动地搬到位的码就叫做 .4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为和，则成立的条件 .6、对于香农费诺编码、原始香农费诺编码和哈夫曼编码，编码方法惟一的是.7、某二元信源，其失真矩阵，则该信源的= .三、本题共 4 小题，满分 50 分.1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为.（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度；（3）计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转图所示，信源的符号集为（1）求信源平稳后的概率分布（2）求此信源的熵；（3）近似地认为此信源为无符号的概率分布为平稳分布.求近似信源的熵进行比较.4、设二元线性分组码矩阵为.（1）给出该码验矩阵，写出所有的和与之相对应的伴随（2）若接收，试计算应的伴随式并按照最小距离译试着对其译码.（二）一、填空题（共15分，每空1分）1、信源编码的主要目的是，信道编码的主要目的是。
2、信源的剩余度主要来自两个方面，一是，二是。
第1 页 共5 页北方民族大学试卷课程代码: 01100622 课程： 信息理论及编码 B 卷答案说明：此卷为《信息理论及编码》B 卷答案一、概念简答题（每小题6分，共30分）1、比较平均自信息（信源熵）与平均互信息的异同.答：平均自信息为 ()()()1log qiii H X P a P a ==-∑,表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量.………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑.表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量.………………………………………(3分)2、简述香农第一定理。
答：对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥，…………………（3分） 当N 足够长，总可以实现无失真编码。
………………………………………(3分）3、简述唯一可译变长码的判断方法？答：将码C 中所有可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有包含任一码字时，码C 为唯一可译变长码。
构成集合F 的方法：…………………(2分)首先，观察码C 中最短的码字是否是其他码字的前缀.若是，将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。
依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止.…………………(2分） 接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。
…………………(2分)4、简述最大离散熵定理.第2 页 共5 页答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。
……（3分）对于有m 个符号的离散信源，其最大熵为log m 。
…………………………（3分)5、什么是汉明距离；两个二元序列1230210,0210210i j αβ==,求其汉明距离.答：长度相同的两个码字之间对应位置上不同的码元的个数,称为汉明距离。
一、填空题（每空1分，共35分）1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ；二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字1、0、1之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
信息编码论期末考试试题一、单项选择题（每题2分，共20分）1. 信息论的奠基人是：A. 爱因斯坦B. 牛顿C. 香农D. 麦克斯韦2. 下列哪个不是编码的基本原则？A. 唯一性B. 可识别性C. 可逆性D. 复杂性3. 熵是衡量信息量的一个指标，它在信息论中的定义是：A. 信息的不确定性B. 信息的确定性C. 信息的有序性D. 信息的无序性4. 在信息编码中，冗余度是指：A. 编码中多余的部分A. 编码中重复的部分C. 编码中必需的部分D. 编码中缺失的部分5. 以下哪个编码方式不是基于概率的？A. 霍夫曼编码B. 香农-费诺编码C. 游程编码D. ASCII编码二、填空题（每题2分，共20分）1. 信息论中的信息量通常用______来衡量。
2. 信息的传输速率是指单位时间内传输的______。
3. 在编码理论中，______编码是一种无损压缩编码。
4. 信息论中的信噪比是指______与______的比例。
5. 编码的目的是减少信息的______，提高信息的传输效率。
三、简答题（每题10分，共30分）1. 简述信息论中熵的概念及其计算公式。
2. 描述霍夫曼编码的基本原理及其在数据压缩中的应用。
3. 阐述信道容量的概念，并解释如何通过信道编码来逼近信道容量。
四、计算题（每题15分，共30分）1. 给定一组字符及其出现概率：A(0.4), B(0.25), C(0.15), D(0.1), E(0.1)。
请使用霍夫曼编码为这组字符设计一个最优编码方案，并计算该编码方案的平均码长。
2. 假设一个信道的信噪比为10dB，信道带宽为3000Hz，请计算该信道的最大数据传输速率（香农极限）。
五、论述题（共20分）1. 论述信息编码在现代通信系统中的重要性，并举例说明其在实际应用中的作用。
请考生在规定的时间内完成以上试题，注意保持答题卡的整洁，字迹清晰。
祝您考试顺利！。
信息论与编码期末考试测试信息论与编码期末考试测试选择题（10 分，每小题2 分）1、设有一个离散无记忆信源X，其符号数为n,则有（）成立。
A、;B、;C、;D、以上结论都不对。
2、设有一个离散无记忆信道，其信道矩阵为，则信道容量是（）。
; B、；C、；D、。
3、若一离散无记忆信源的符号熵为,对信源符号进行m 元变长编码，一定存在一种无失真编码方法，其码字平均长度满足（）。
A、；B、；C、；D、。
4、设X 是一个离散无记忆信源，、、分别是其2、3、4 次扩展信源。
由变长无失真信源编码定理知，对上述 4 个信源进行二元香农变长编码，则对（）进行编码时，编码效率最高。
A、；B、；C、；D、。
5、关于信息率失真函数，下列说法正确的是（）。
A、函数表示信源X 和允许的失真度D 给定的情况下，需要由信源传送给信宿的最小信息率；2( ) log H X n 2( ) log H X n 2( ) 2log H X n 2 / 1 6 / 1 3 / 13 / 1 2 / 1 6 / 16 / 1 3 / 1 2 / 1P21 1 1log 3 ( , , )2 3 6H 21 1 1log 3 ( , , )3 6 2H 21 1 1log 5 ( , , )2 3 6H 21 1 1log 6 ( , , )3 6 2H ( ) H XK2 2( ) ( )1log logH X H XKm m2 2( ) ( )1log logH X H XKm m2( )1logH XKm2( )logH XKm2X3X4__2X3X4X( ) R D( ) R DB、函数表示信源和允许的失真度D 给定的情况下，需要由信源传送给信宿的最大信息率；C、函数的取值范围是（-∞，0）；D、以上说法都不对。
填空题（20 分，每空2 分）1、线性循环码中，生成多项式的最高项次数为____ ，校验多项式的最高项次数为_____ ，和满足_________ 的关系，若其最小码距，则能检错的位数为，能纠错的位数为。
西安电子科技大学考试时间120分钟试题1.考试形式：闭卷；2.本试卷共七大题，满分100分。
班级 学号 姓名 任课教师一（30分）基本概念题（1）请判断正误：平均互信息I （X ；Y ）不大于条件平均互信息I （X ；Y|Z ）。
（2）请给出Kraft 不等式，并说明它是否为判断唯一可译码的充要条件。
（3）请说明最大似然译码准则是否为最佳译码准则。
（4）请给出信息率失真函数R(D)的定义并解释其物理含义。
（5）请说明为什么对于平均功率受限的时间离散恒参可加噪声信道，高斯干扰是最坏的干扰及该结论在实际通信中的作用。
（6）设有一硬币，其正面出现的概率为1/3，令0表示正面，试说明在ε→0情况下一个典型序列应具备的特点，并给出这一序列出现的概率。
（7）若失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡130102，输入集合X 的概率为（1/3、1/3、1/3），请分别给出D min和D max 。
解：（1）该结论错误。
（2）craft 不等式：长度为n 1,n 2,…,n K 的D 元异字头码存在的充分必要条件是∑=-≤Kk knD11。
该不等式可以用来判断是否存在对应长度的唯一可译码，但是不能作为判断唯一可译码的充要条件。
（3）当先验等概时，最大似然准则等价于最佳译码准则；当先验不等概时，不符合最佳译码准则。
（4）信息率失真函数R (D )定义为在满足D 保真度准则下所有许可试验信道所对应的平均互信息的最小值。
其物理含义为：当给定失真度D 时，R(D)是满足保真度第2页共6页准则情况下传输信源信息速率的最低值，即信源压缩的下限。
（5）对平均功率受限的时间离散的恒参可加噪声信道容量C 满足：⎥⎦⎤⎢⎣⎡+≤≤⎪⎪⎭⎫ ⎝⎛+222log 211log 21σσσS C S 其中-2σ是噪声集Z 的熵功率。
由于在平均功率受限条件下，同样噪声功率时，高斯分布可以达到最大的熵功率，从而在高斯噪声时，上述C 取得最小值。
