下载文档原格式
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
简述限失真信源编码定理
限失真信源编码定理是信息论中的一个重要定理，它指出，在给定的信息源和编码器的情况下，可以通过编码器将信息源的信息编码成一个符合某种失真度要求的信号，从而实现信息的传输。
限失真信源编码定理的具体表述是：设X是一个有限的信息源，Y是一个有限的编码器，D是一个失真度函数，则存在一个编码器Y，使得对任意的X，都有：
D(X,Y(X))≤D0
其中D0是一个给定的失真度阈值。
这个定理表明，在给定的失真度阈值D0的情况下，可以通过编码器Y将信息源X的信息编码成一个符合失真度要求的信号，从而实现信息的传输。
限失真信源编码定理的重要性在于，它提供了一种有效的方法来传输信息，即在给定的失真度阈值D0的情况下，可以通过编码器Y将信息源X的信息编码成一个符合失真度要求的信号，从而实现信息的传输。
因此，限失真信源编码定理在信息论中具有重要的意义。
信息论的旅程本章将着重讨论允许一定失真的条件下可把信源信 息压缩到什么程度。
第七章 限失真信源编码三、信源的输出中含 有多少信息？四、传输信息的最高速 率（信道容量）2009-12-22五、无失真信源编码 六、有噪信道编码 九、实际信道编码方法七、限失真信源编码2主要内容1.1 概述 失真产生的原因信道噪声的干扰使得信息传输过程会产生差错； 当信息传输率超过信道容量时，必然产生差错； 信源熵是信源无失真压缩的极限，若再继续压缩 则会带来失真。
基本概念1. 概述 1. 概述 2. 系统模型 2. 系统模型失真测度 信息率失真函数 限失真信源编码定理3失真存在的合理性信宿的灵敏度和分辨率是有限的，不要求绝对无 失真； 允许失真的存在，可以提高信息传输率，从而降 低通信成本。
41.1 概述（续）1.2 系统模型 – 只讨论信源编码问题信源 编码 信道 编码 信道 干扰 信道 译码 信源 译码无失真信源压缩的极限：信源的信息熵 本章的研究内容在允许一定程度失真的条件下，能够把信 源信息压缩到什么程度，即最少需要多少 比特才能描述信源。
研究方法用研究信道的方法，来研究有失真信源压 缩问题。
5信源X 试验信道P(Y | X )Y 失真信源无失真 信源编码信道 编码61主要内容失真函数 d (x, y )2.1 失真测度 – 失真函数基本概念非负函数；函数形式可根据需要定义 1. 失真函数 1. 失真函数 2. 平均失真 2. 平均失真 定量描述发出符号与接收符号之间的差异 （失真）x2 L ⎡ X ⎤ ⎡ x1 ⎢ P ⎥ = ⎢ p(x ) p(x ) L ⎣ ⎦ ⎣ 1 2 xn ⎤ p(xn )⎥ ⎦失真测度信息率失真函数 限失真信源编码定理7Y : {y1 , y 2 , L , y m }失真矩阵⎡ d (x1,y1 ) d ( x1,y2 ) L d ( x1,ym )⎤ ⎢d ( x ,y ) d ( x ,y ) L d ( x ,y )⎥ 2 2 2 m ⎥ D=⎢ 2 1 ⎢ M ⎥ M M ⎢ ⎥ d (xn ,y1 ) d ( xn ,y2 ) L d ( xn ,ym )⎦ ⎣82.1 失真测度 – 失真函数（续）常用的失真函数有： （1） 汉明失真2.1 失真测度 – 失真函数 – 例题例7.1 设信道输入 X = {0,1}，输出 Y = {0, ?,1} ，规定失 真函数 d(0, 0) = d(1, 1) = 0， d(0, 1) = d(1, 0) = 1， d(0, ?) = d(1, ?) = 0.5，求 D 。
计算机科学技术：信息论与编码考试题库二1、问答题（江南博哥）请给出平均码长界定定理及其物理意义。
答案：2、填空题多用户信道的信道容量用（）来表示。
答案：多维空间的一个区域的界限3、判断题狭义的信道编码既是指：信道的检、纠错编码。
答案：对4、判断题互信息量I（X；Y）表示收到Y后仍对信源X的不确定度。
答案：对5、判断题对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。
答案：错6、问答?有两个二元随机变量X和Y，它们的联合概率为P[X=0，Y=0]=1/8，P[X=0，Y=1]=3/8，P[X=1，Y=1]=1/8，P[X=1，Y=0]=3/8。
定义另一随机变量Z=XY，试计算：（1）H（X），H（Y），H（Z），H（XZ），H（YZ），H（XYZ）；（2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H （X/YZ），H（Y/XZ），H（Z/XY）；（3）I（X；Y），I（X；Z），I（Y；Z），I（X；Y/Z），I（Y；Z/X），I（X；Z/Y）。
答案：7、填空题平均互信息量I（X；Y）与信源熵和条件熵之间的关系是（）。
答案：（X;Y)=H(X)-H(X/Y）8、填空题根据输入输出信号的特点，可将信道分成离散信道、连续信道、（）信道。
答案：半离散或半连续9、填空题单符号离散信源一般用随机变量描述，而多符号离散信源一般用（）描述。
答案：随机矢量10、填空题信源编码的目的是提高通信的（），信道编码的目的是提高通信的（），加密编码的目的是保证通信的（）。
答案：有效性；可靠性；安全性11、填空题某离散无记忆信源X，其符号个数为n，则当信源符号呈（）分布情况下，信源熵取最大值（）。
答案：等概；log（n）12、名词解释前向纠错（FEC）答案：是指差错控制过程中是单向的，无须差错信息的反馈。
13、名词解释信源编码答案：就是针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列。
