2014年广东工业大学考博专业课真题_信息论与编码理论2014

题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100得分 一、填空题（每空1分，共35分） 得分| |阅卷人|1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是 ，它属于狭义信息论。

2、信号是 的载体，消息是 的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。

5、信源的剩余度主要来自两个方面，一是 ，二是 。

6、平均互信息量与信息熵、联合熵的关系是 。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。

8、马尔可夫信源需要满足两个条件：一、 ； 二、 。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为 和 。

11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。

（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为 、 和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为 。

信息论与编码试题集与答案(2014)改————————————————————————————————作者：————————————————————————————————日期：21、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量、发X 前后Y的平均不确定性减少的量、通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。

3、香农公式为为保证足够大的信道容量，采用（1用频带换信噪比；（2用信噪比换频带。

4、只要，当N足够长时，一定存在一种无失真编码。

5、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

6、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

7.研究信息论目的高效、可靠、安全地交换利用信息。

8. 可度量性建立信息论的基础。

9. 统计度量信息度量最常用方法。

10、单符号离散信源用随机变量描述，多符用随机矢量。

11、一随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量单位比特、奈特、笛特。

13、必然事件的自信息 0 。

14、不可能事件的自信息量是∞。

15、两相互独立随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：消息多级处理后，处理器数目增多，输入消息与输出之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X的N次扩展信源的熵等于X的熵的 N倍。

18、离散平稳有记忆信源的极限熵=∞H)/(lim121-∞→NNNXXXXHΛ。

19、n元m阶马尔可夫信源，状态空间有 n m 个不同状态。

20、一维连续随即变量X在[a，b]内均匀分布，信源熵log2（b-a）。

21、平均功率为P高斯分布连续信源，信源熵Hc （X）=ePπ2log212。

22、对限峰值功率的N维连续信源，当概率密度均匀分布时连续信源熵最大值。

一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是 ，它属于狭义信息论。

2、信号是 的载体，消息是 的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。

5、信源的剩余度主要来自两个方面，一是，二是 。

6、平均互信息量与信息熵、联合熵的关系是 。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。

8、马尔可夫信源需要满足两个条件：一、 ； 二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为 和 。

12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为 、 和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为 。

16、对于密码系统安全性的评价，通常分为 和 两种标准。

17、单密钥体制是指 。

18、现代数据加密体制主要分为 和 两种体制。

19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。

第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。

一、填空题（每空1分，共35分）1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是 ，它属于狭义信息论。

2、信号是 的载体，消息是 的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。

5、信源的剩余度主要来自两个方面，一是 ，二是 。

6、平均互信息量与信息熵、联合熵的关系是 。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。

8、马尔可夫信源需要满足两个条件：一、 ；二、 。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为 和 。

11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。

（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为 、 和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。

15、码字1、0、1之间的最小汉明距离为 。

16、对于密码系统安全性的评价，通常分为 和 两种标准。

17、单密钥体制是指 。

18、现代数据加密体制主要分为 和 两种体制。

莆田学院期末考试试卷（A）卷2011 — 2012 学年第一学期课程名称：信息论与编码适用年级/专业： 09/电信（通信）试卷类别开卷（）闭卷（√）学历层次本科考试用时 120分钟《．考生注意：答案要全部抄到答题纸上，做在试卷上不给分．．．．．．．．．．．．．．．．．．．．．．．．．》．一、简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

2. 香农信息论研究了哪些内容？试讲述香农第二编码定理。

3. 什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10分）4. 什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y，试证明下列不等式成立：H(X|Y)<=H(X),并说明等式成立的条件。

三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}。

设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7。

求（1）假设图上黑白消息出现前后没有关联，求熵H(X)；（2）假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X)；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。

2.（12分）一信源产生概率为P(1)=0.005, P(0)=0.995的统计独立二进制数符。

这些数符组成长度为100的数符组。

我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。

（1）求出为所规定的所有源符组都提供码字所需的最小码长。

（2）求信源发出一数符组，而编码器无相应码字的概率。

3.（10分）已知一个（6，3）线性分组码的全部码字为001011，110011，010110，101110，100101，111000，011101，000000。

广东工业大学（2010原版试卷代理5元一份）机电工程学院机械设计2001——2003，2008-2010 微机原理（控制理论与控制工程、检测技术与自动化装置专业）2001 微机原理（自）（控制工程、检测技术、系统工程专业）2002 微机原理（控制工程、检测技术、系统工程专业）2003 微机原理（控制理论与控制工程、检测技术与自动化装置、系统工程、电力系统及其自动化专业）2005 微机原理（机电、机设）（机械电子工程、机械设计及理论专业）2000 微机原理（Z80）（机械电子工程、机械设计及理论专业）2001 微机原理（测试计量技术与仪器、信号与信息处理专业）2005 微机原理及应用（电力电子）（电力电子与电力传动专业）2000 微机原理及应用（电力电子与电力传动专业）2001，2003 微机原理及应用（机电、机设、机制专业）（8086CPU）2002——2003 微机原理与接口（测试计量技术与仪器专业）2002——2003 C语言（通讯与信息系统、信号与信息处理专业）2007 C语言（通信与信息处理、信号与信息处理专业）2008——2009 C语言程序设计（机械制造及其自动化、机械电子工程、机械设计及理论、信号与信息处理专业）2005——2006 C语言程序设计（机）（机制、机械电子工程、机械设计及理论专业）2003 C语言程序设计（机）（机械电子工程、机械设计及理论专业）2002 C语言程序设计（机械电子工程专业）2000——2001 C语言程序设计（计算机应用技术专业）2001 C语言程序设计（计）（计算机应用技术专业）2002 C语言与数据结构（计算机应用技术专业）2000 材料与能源学院大学物理2002——2003 材料力学2001——2003，2005 金属材料及热处理2001——2002 高分子物理2005 信息工程学院C语言（通讯与信息系统、信号与信息处理专业）2007 C语言（通信与信息处理、信号与信息处理专业）2008——2009 C语言程序设计（机械制造及其自动化、机械电子工程、机械设计及理论、信号与信息处理专业）2005——2006 C语言程序设计（机）（机制、机械电子工程、机械设计及理论专业）2003 C语言程序设计（机）（机械电子工程、机械设计及理论专业）2002 C语言程序设计（机械电子工程专业）2000——2001 C语言程序设计（计算机应用技术专业）2001 C语言程序设计（计）（计算机应用技术专业）2002 C语言与数据结构（计算机应用技术专业）2000 微机原理（控制理论与控制工程、检测技术与自动化装置专业）2001 微机原理（自）（控制工程、检测技术、系统工程专业）2002 微机原理（控制工程、检测技术、系统工程专业）2003 微机原理（控制理论与控制工程、检测技术与自动化装置、系统工程、电力系统及其自动化专业）2005 微机原理（机电、机设）（机械电子工程、机械设计及理论专业）2000 微机原理（Z80）（机械电子工程、机械设计及理论专业）2001 微机原理（测试计量技术与仪器、信号与信息处理专业）2005 微机原理及应用（电力电子）（电力电子与电力传动专业）2000 微机原理及应用（电力电子与电力传动专业）2001，2003 微机原理及应用（机电、机设、机制专业）（8086CPU）2002——2003 微机原理与接口（测试计量技术与仪器专业）2002——2003 机械设计基础2002——2003 控制理论基础2002——2003 数字电子技术2003 自动化学院电路理论2007——2009 页）电路2005——2006（注：2005年试卷共7页，缺第3-7页）微机原理（控制理论与控制工程、检测技术与自动化装置专业）2001 微机原理（自）（控制工程、检测技术、系统工程专业）2002 微机原理（控制工程、检测技术、系统工程专业）2003 微机原理（控制理论与控制工程、检测技术与自动化装置、系统工程、电力系统及其自动化专业）2005 微机原理（机电、机设）（机械电子工程、机械设计及理论专业）2000 微机原理（Z80）（机械电子工程、机械设计及理论专业）2001 微机原理（测试计量技术与仪器、信号与信息处理专业）2005 微机原理及应用（电力电子）（电力电子与电力传动专业）2000 微机原理及应用（电力电子与电力传动专业）2001，2003 微机原理及应用（机电、机设、机制专业）（8086CPU）2002——2003 微机原理与接口（测试计量技术与仪器专业）2002——2003 电子技术2000——2003，2005——2006，2008 数字电子技术2003 自控原理2001——2003，2008——2009 数据库2000——2003 计算机学院数据结构1997——1999，2002——2006 计算机组成原理1998——2003 C语言（通讯与信息系统、信号与信息处理专业）2007 C语言（通信与信息处理、信号与信息处理专业）2008——2009 C语言程序设计（机械制造及其自动化、机械电子工程、机械设计及理论、信号与信息处理专业）2005——2006 C语言程序设计（机）（机制、机械电子工程、机械设计及理论专业）2003 C语言程序设计（机）（机械电子工程、机械设计及理论专业）2002 C语言程序设计（机械电子工程专业）2000——2001 C语言程序设计（计算机应用技术专业）2001 C语言程序设计（计）（计算机应用技术专业）2002 C语言与数据结构（计算机应用技术专业）2000 轻工化工学院化工原理2000——2002 有机化学2000——2003，2008 无机化学2002，2005 页）（注： 2005年共5页，缺第3、4页）物理化学2000——2003，2005——2006（注：环境科学与工程学院有机化学2000——2003，2008 页）（注： 2005年共5页，缺第3、4页）物理化学2000——2003，2005——2006（注：水污染控制工程2000——2003 环境化学2005 经济管理学院管理学2002——2003 数据库2000——2003 运筹学2000——2003 经济学2000——2003 建设学院结构力学2002——2003 材料力学2001——2003，2005 土力学2002——2003 测量学2005 物理与光电工程学院普通化学2002——2003 大学物理2002——2003 电子技术2000——2003，2005——2006，2008 应用数学学院艺术学院数学分析2000——2003 艺术学院艺术设计基础理论2009 。

信息理论与编码期末试卷A 及答案1 / 6一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是 ，它属于狭义信息论。

2、信号是 的载体，消息是 的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。

5、信源的剩余度主要来自两个方面，一是 ，二是 。

6、平均互信息量与信息熵、联合熵的关系是 。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。

8、马尔可夫信源需要满足两个条件：一、 ； 二、 。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为 和 。

11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。

（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为 、 和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为 。

16、对于密码系统安全性的评价，通常分为 和 两种标准。

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9'）判断题（1）信息就是一种消息。

（⨯）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。

（√）（3）概率大的事件自信息量大。

（⨯）（4）互信息量可正、可负亦可为零。

（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。

（⨯）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。

（√）（7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。

（ ⨯ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。

（ √ ）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ⨯ )三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

广东工业大学试卷用纸，共4页，第1页
广东工业大学试卷用纸，共8页，第2页
广东工业大学试卷用纸，共8页，第3页
的组成和微程序控制器相关知识完成该指令流程图中未完广东工业大学试卷用纸，共8页，第4页
广东工业大学试卷用纸，共8页，第5页
广东工业大学试卷用纸，共8页，第6页
广东工业大学试卷用纸，共8页，第7页
3(10分)
解：（１）各级中断服务程序中的各中断屏蔽码设置如表所示。

（２）５级中断同时发出中断请求，各级中断处理过程示意如图所示。

广东工业大学试卷用纸，共8页，第8页
广东工业大学试卷用纸，共2页，第2页。