信息论与编码09-10A试卷答案

信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。

资料范本本资料为word版本，可以直接编辑和打印，感谢您的下载信息论与编码理论习题答案地点：__________________时间：__________________说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为 2=23=6 bit因此，信息速率为 61000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ==得到的信息量 ===2.585 bit(2) 可能的唯一，为 {6，6}=得到的信息量===5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) =信息量===225.58 bit(b)==信息量==13.208 bit2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。

解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，==6=2.585 bit===2(36+18+12+9+)+6=3.2744 bit=-=-[-]而=，所以= 2-=1.8955 bit或=-=+-而= ，所以=2-=1.8955 bit===2.585 bit=+=1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。

奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

信息论与编码题库及答案信息论是一门关于信息传输和处理的学科，主要研究信息的传输、存储与处理，以及在信息传输过程中可能产生的各种噪声和干扰。

信息论在近年来得到了广泛的应用，尤其在计算机科学、通信工程、数据处理以及加密技术等领域中得到了广泛应用。

作为信息处理学科的一个分支，编码学是信息论中重要的研究领域之一，主要研究在信息传输的过程中如何将信息进行编码，并在保证高可靠性的同时减少信息传输的开销。

现代编码学研究所涉及到的内容非常广泛，包括错误检测、纠正编码、信息压缩以及密码学等领域。

为了帮助广大信息与通信工程学习者更好地掌握编码理论及其应用，以下总结了一些编码学的题库及答案，供大家参考。

一、错误检测编码1. 什么是奇偶校验码？答：奇偶校验码是一种简单的错误检测编码方式，它采用了消息的一位奇偶性作为编码方式。

具体而言，对于一组位数固定的二进制数，在其中加入一个附加位，使得这组数的位数为偶数。

然后将这些二进制数按照某种规则排列，例如相邻的两位组成一组，计算每组中1的个数。

如果某组中1的个数是偶数，则附加位赋值为0，否则为1。

这样，如果在传输的过程中数据出现了单一位的错误，则会被检测出来。

2. 什么是海明编码？答：海明编码是一种通过添加校验位来实现错误检测和纠正的编码方式。

在海明编码中，校验位的数目为2的k次幂个，其中k 表示数据位中最大1的位置数。

具体而言，将原始信息看作一组二进制数，再将这些数按照某种规则排列，然后按照一定的算法计算出每个校验位的值，并将这些值添加到原始信息中。

在传输的过程中，如果发现了错误的位，则可以通过一系列错误检测和纠正的操作来确定和修复出错的信息位。

二、信息压缩编码1. 什么是霍夫曼编码？答：霍夫曼编码是一种基于无损数据压缩的编码方式，它的特点是可以将原始信息中出现最频繁的字符用最短的二进制码来表示，同时将出现次数较少的字符用较长的二进制码来表示。

具体来说，霍夫曼编码首先对原始信息中的字符进行统计，确定每个字符出现的频率。

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。

求传输此图象所需要的信息率（bit/s ）。

解：bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。

试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。

证:.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。

问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，nm ≤≤0。

《信息与编码》期末试卷A 卷答案一、判断题（共 10小题，每题 2分，共计20分）1、（ √ ）2、（ × ）3、（ × ）4、（ √ ）5、（× ）6、（× ）7、（× ）8、（ √ ）9、（√ ）10、（ × ）二、填空题（共 5 小题，每题 3 分，共计15分）1、n2、33、2412z z ++4、13++x x 或123++x x5、1-d三、（10分）证：(1)结合律 *∈∀p Z c b a ,,，有p c b a p c p b a c p b a c b a m o d m o d )m o d ()m o d()(⋅⋅=⋅⋅=⊗⋅=⊗⊗ p c b a p p c b a p c b a c b a m o d m o d )m o d ()m o d()(⋅⋅=⋅⋅=⋅⊗=⊗⊗ 2分 故 )()(c b a c b a ⊗⊗=⊗⊗(2)单位元 *∈∀p Z a ，*∈∃p Z 1，有a p a a p a p a a ⊗=⋅===⋅=⊗1m o d 1m o d m o d11 2分 故 1=e(3)逆元 *∈∀p Z a ，+∈∃=Z d c p a ,,1),(，有 1=⋅+⋅d p c a即 1mod 1mod mod )mod ()mod (==⋅=⋅=⊗p p c a p p c a p c a 2分 故 p c a m o d 1=-(4)交换律 *∈∀p Z b a ,，有a b p a b p b a b a ⊗=⋅=⋅=⊗m o d m o d2分 故 ),(⊗*p Z 是一个含有1-p 个元素的交换群。

2分四、（9分）解：(1)}{2,1,03=F ，3=q ，120= ，221=，故2是3F 的惟一的本原元。

3分(2)}{6,5,4,3,2,1,07=F ，7=q ，120= ，221=，422=，123=，故2不是7F 的的本原元。

《信息论与编码》课后习题答案1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

4、按照信息的地位，可以把信息分成客观信息和主观信息。

5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

6、信息的可度量性是建立信息论的基础。

7、统计度量是信息度量最常用的方法。

8、熵是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是∞ 。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

18、离散平稳有记忆信源的极限熵，。

19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。

20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ）。

21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。

22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。

24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率之比。

25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

专升本《信息论与编码》_试卷_答案专升本《信息论与编码》⼀、（共48题,共150分）1. H(X)____________0，⼩概率事件对熵的贡献____________，确定事件的信息量____________0。

（6分）标准答案：1. >= ;2. ⼩;3. =;2. 确定信道的H(Y/X) ____0，H(X/Y) ____0。

（4分）标准答案：1. =;2. ;3. 霍夫曼编码可以编出不同的码，这些码的平均码长________，.编码效率________，码长⽅差________。

（6分）标准答案：1. ⼀样;2. ⼀样;3. 不⼀定⼀样;4. N个独⽴并联的信道，每个信道的信道容量为C，为了达到总的信道容量NC，所有信道的输⼊要________________，.所有信道的输⼊概率分布是各⾃信道的________________。

（4分）标准答案：1. 相互独⽴;2. 最佳分布;5. 通信系统中的编码器包括____________________，____________________，____________________。

（6分）标准答案：1. 信源编码器;2. 纠错编码器;3. 调制器;6. 率失真函数R（D）的最⼤值为________________，最⼩值为________________。

（4分）标准答案：1. H(X);2. 0;7. 某事件的概率为p(x)，则⾃信息量为（）。

（2分）A.-p(x)B.1/ p(x)C.-log p(x)D.log p(x)标准答案：C8. 有事件x，y，I(x)=2 bit，I(x/y)=1 bit，则互信息量I(x；y)的值为（）。

（2分）A.1 bitB.2 bitC.3 bitD.4 bit标准答案：A9. 下列关于条件熵的结论，不成⽴的是（）（2分）A.H(X/Y)C.H(X/Y)标准答案：B10. 使I(X;Y)=0成⽴的条件是（）: （2分）A.X和Y相互独⽴B.H (X) =H(Y)C.X和Y的概率分布相同标准答案：A11. 以下关于离散⽆记忆信源（熵为H(X)）的结论，不正确的是（）: （2分）A.是平稳信源B.其N次⽆记忆扩展信源的熵是NH(X)C.其极限熵⼤于H(X)标准答案：C12. 以下关于信道容量C和信息传输率R间的关系，正确的是（）: （2分）A.C RB.C=RC.C R 标准答案：A13. 某信源有8个符号，其信源熵为2.4 bit，进⾏⼆元定长编码（不扩展），则其编码效率⾄少可达（）（2分）A.80%B.85%C.90%D.95%标准答案：A14. 在准对称信道中，要达到信道容量，要求（）: （2分）A.信源和信宿的概率分布⼀致B.信源为等概分布C.信宿为等概分布标准答案：B15. 在信道编码中，简单重复编码可以（）: （2分）A.减⼩但降低了信息传输率B.提⾼了信息传输率，但增⼤了PEC.减⼩并提⾼了信息传输率标准答案：A16. ⼆元码C={(000),(011),(101),(110)，该码的最⼩码距是（）:。