【免费下载】信息论编码习题及详解 练习

一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成 客观信息和主观信息 。

人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

信息的 可度量性 是建立信息论的基础。

统计度量 是信息度量最常用的方法。

熵 是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。

3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。

4.数据处理过程中信息具有（不增性）。

5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。

6.单符号连续信道的信道容量取决于（信噪比）。

7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。

8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。

9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。

10.立即码指的是（接收端收到一个完整的码字后可立即译码）。

11.算术编码是（非）分组码。

12.游程编码是（无）失真信源编码。

13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。

14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。

15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。

16.卷积码的自由距离决定了其（检错和纠错能力）。

（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。

（错）3、马尔可夫信源是离散无记忆信源。

（错）4、不可约的马尔可夫链一定是遍历的。

（对）5、单符号连续信源的绝对熵为无穷大。

（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。

1、有一个二元对称信道，其信道矩阵如下图所示。

设该信道以1500个二元符号/秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。

问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。

则该消息序列含有的信息量＝14000(bit/symbol)。

下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。

2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？3 、已知随即变量X 和Y 的联合分布如下所示：01100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。

求传输此图象所需要的信息率（bit/s ）。

解：bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。

试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。

证:.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。

问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，nm ≤≤0。

最大熵值为组成一个马尔可夫链，且有，。

说明经数据处理后，一般只会增加信息的损失。

，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于由得，则解释无失真变长信源编码定理。

只要，当什么是保真度准则？对二元信源，其失真矩阵，求和？答：，所以有，而。

息出现前后没有关联，求熵；）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；）信源模型为）由得则）若，，求和；）），最佳输入概率分布为等概率分布。

信源空间为答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。

平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。

平均码长，编码效率4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.已知一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。

试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。

7.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为2）最大错误概率准则下，有，6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为。

第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。

使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5 ）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY) 证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分） 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分） 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。

第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒 1000 个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为2log 8 =2 3=6 bit因此，信息速率为 6 1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为： (a) 7; (b) 12。

问各得到多少信息量。

解： (1)可能的组合为 {1 ，6},{2 ， 5},{3 ，4},{4， 3},{5，2},{6 ，1} p(a) = 6 = 13661=log 6 = bit得到的信息量 = logp(a)(2)可能的唯一，为 {6 ，6}p(b) =1361=log 36 = bit得到的信息量 = logp(b)经过充分洗牌后的一副扑克（52 张），问：(a)任何一种特定的排列所给出的信息量是多少？(b)若从中抽取 13 张牌，所给出的点数都不相同时得到多少信息量？解： (a) p(a) =152!1=log 52! = bit信息量 = logp(a)13!13种点数任意排列(b)413花色任选p(b) =13!41341313=13 A52C52信息量 = log C5213log 413= bit随机 3 骰子， X 表示第一骰子的果，Y 表示第一和第二骰子的点数之和， Z 表示 3 骰子的点数之和，求H ( Z | Y)、H ( X | Y )、H (Z | X ,Y)、H ( X , Z | Y) 、H (Z | X)。

解：令第一第二第三骰子的果分x1 , x2 , x3， x1， x2， x3相互独立，X x1， Y x1x2， Z x1x2x3H ( Z | Y) =H(x3 ) = log6= bitH ( Z | X )= H ( x2x3) = H (Y)=2(1log 36+2log 18+3log 12+4log 9+5log36)+6log 63636363636536 = bitH ( X | Y) = H ( X ) - I ( X ;Y ) = H ( X ) -[ H (Y) - H (Y | X ) ]而H (Y | X ) = H ( X ) ，所以 H ( X |Y ) = 2 H ( X ) - H (Y) = bit或H ( X | Y) = H ( XY ) - H (Y ) = H ( X ) + H (Y | X ) - H (Y)而 H (Y | X ) = H ( X )，所以H ( X | Y )=2H (X )-H (Y)= bitH (Z | X ,Y) = H (Z |Y ) = H ( X ) = bitH ( X , Z |Y) = H ( X |Y ) + H (Z | XY ) =+= bit一个系送10 个数字， 0，1，⋯，9。

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。

使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。

一、概念简答题（每题5分，共40分）二、1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。

平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。

2.简述最大离散熵定理。

对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率R指信道中平均每个符号所能传送的信息量。

信道容量是一个信道所能达到的最大信息传输率。

信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。

说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz，信噪比为30dB时求信道容量。

香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。

6.由得，则7.解释无失真变长信源编码定理。

只要，当N足够长时，一定存在一种无失真编码。

8.解释有噪信道编码定理。

答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

9.10.8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。

11.2）因为失真矩阵中每行都有一个0，所以有，而。

二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。

0.5 , R(D max )=40 ___ ，他的秘密信息基础论必备考卷1. 在无失真的信源中，信源输岀由 H(X) 来度量；在有失真的信源中，信源输出由R(D)来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码，然后 一加密_编码，再_信道.编码，最后送入信道。

3•带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公 式是C =Wlog(1 SNR);当归一化信道容量 C/W 趋近于零时，也即信道完全丧失了通 信能力，此时E b /N o 为-1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论 极限。

4. 保密系统的密钥量越小，密钥熵 H(K)就越 小，其密文中含有的关于明文的信息量 I(M ；C)就越大。

5. 已知n = 7的循环码g(x^x 4 x 2 x 1，则信息位长度k 为_J_，校验多项式 3h(x)= —x x 1 __________ 。

6.设输入符号表为 X = {0 , 1}，输出符号表为 Y = {0,1}。

输入信号的概率分布为p = (1/2 ,1/2)，失真函数为 d(0, 0) = d(1, 1) = 0 , d(0, 1) =2 , d(1 , 0) = 1，则 D min = _0_, R(D min ) =1bit/symbol ，相应的编码器转移概率矩阵 [p(y/x)]=『0 '; D max0 1o_，相应的编码器转移概率矩阵 [p(y/x)]=7.已知用户 A 的 RSA 公开密钥(e, n)=(3,55) , p=5,q=11,则"n )=密钥(d,n) = (27,55)。

若用户B 向用户A 发送m=2的加密消息，则该加密后的消息为二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

()2. 线性码一定包含全零码。

()3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。

《信息论与编码》课后习题解答2.2 假设一副充分洗乱了的扑克牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 假设从中抽取13张牌，所给出的点数都不相同能取得多少信息量？解：(1) 52张牌共有52！种排列方式，任一特定的排序方式是等概率显现的，那么所给出的信息量是： !521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，从中抽取13张点数不同的牌的概率如下：bit C x p x I C x p i i i 208.134log )(log )(4)(135213135213=-=-==2.3 居住某地域的女小孩有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女小孩中身高160厘米以上的占总数的一半。

假设咱们得知“身高160厘米以上的某女孩是大学生”的消息，问取得多少信息量？解：设随机变量X 代表女小孩学历，那么是大学生的概率为P(x)1 =0.25，不是大学生的概率为P(x)2 =0.75。

设随机变量Y 代表女小孩身高,那么身高大于160cm 和小于160cm 的概率别离为P(y 1)=0.五、P(y 2)=0.5 又有已知：在女大学生中有75%是身高160厘米以上的，即：bit x y p 75.0)/(11=因此身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-= 2.4 设离散无经历信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120210213001203210110321010021032020223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个一、12个二、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料明白，男性中红绿色盲的发病率为7%，女性发病率为0.5%，若是你问一名男士：“你是不是是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每一个回答中含有多少信息量？若是问一名女士，那么答案中含有的平均自信息量是多少？解：男士： symbolbit x p x p X H bitx p x I x p bitx p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H i i i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.7 同时掷出两个正常的骰子，也确实是各面呈现的概率都为1/6，求：(1) “3和5同时显现”这事件的自信息；(2) “两个1同时显现”这事件的自信息；(3) 两个点数的各类组合（无序）对的熵和平均信息量；解： (1)bit x p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯= (2) bit x p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 1415 16 21 22 23 2425 26 31 32 33 3435 36 41 42 43 4445 46 51 52 53 5455 56 61 62 63 6465 66共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯ symbol bit x p x p X H i i i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑。