信息论第六章答案

信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。

6.1 奇校验码码字是c=(m 0,m 1,…,m k-1,p)，其中奇校验位p 满足方程 m 0+m 1+,…, +m k-1+p =1 (mod 2)证明奇校验码的检错能力与偶校验码的检错能力相同，但奇其校验码不是线性分组码。

证：偶校验码的编码方程为 m 0+m 1+,…, +m k-1+p =0 (mod 2) 当差错图案e 中有奇数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：])([])()[()(,])()[(])()[()()(,)()(,_,,,_K K K ik ii kKoddi i even ce K K Keveni i iiK i KK K Koddi i ii K i K Ki i i K iK KKi iiK iKKi k ii k Koddi i even ce p p p p p p p C p thenp b p a if b a b a b aCb a b a b a C b a C b a b aC b a p p C p 211211121112121110001--=---+-=-=∴=-=-++=--+=∴-=-=+-=-∈=∈=-∈=-=-=--∈=∑∑∑∑∑∑奇校验码的编码方程为m 0+m 1+,…, +m k-1+p =1 (mod 2)当差错图案e 中有偶数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：evence K oddce K K KK K K K i k ii k Keveni i odd ce p p p p p p p p p p C p p p C p __,_])([,)()(,)(])([)(])([)(=--≈∴-≈-<<---+=---+=-=--∈=∑21121211112112112112110001当由线性分组码的性质可知，码组中必有一个全零码字。

而奇校验码中没有全零码，如果有的话必是错码，所以奇校验码不是线性分组码。

信息论与编码第二版答案第六章曹雪虹【篇一：信息论与编码-曹雪虹-课后习题答案】lass=txt>第二章2.1一个马尔可夫信源有3个符号?u1,u,2u?3，转移概率为：p?u1|u1??1/2，p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。

解：状态图如下状态转移矩阵为： ?1/2?p?1/3??1/3?1/202/30??2/3?0??设状态u1，u2，u3稳定后的概率分别为w1，w2、w311?1w1?w2?w3?w110??233w1???2512???wp?w?w1?w3?w29?由?得?2计算可得?w2? 325?w1?w2?w3?1?2??w2?w36?3w3???25???w1?w2?w3?12.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。

画出状态图，并计算各状态的稳态概率。

解：p(0|00)?p(00|00)?0.8 p(0|01?)pp(0|11)?p(10|11)?0.2p(0|10?)pp(1|00)?p(01|00)?0.2p(1|01?)pp(1|11)?p(11|11)?0.8 p(1|10?)p(10?|01) (00?|10) (11?|01)(01?|10)?0.8?0于是可以列出转移概率矩阵：p???0.5??00.200.5000.500.20??0.5? 0??0.8?状态图为：设各状态00，01，10，11的稳态分布概率为w1,w2,w3,w4 有5?w1??14?0.8w1?0.5w3?w1???w2?10.2w1?0.5w3?w2?wp?w????470.5w2?0.2w4?w3 得计算得到 ???wi?11?0.5w2?0.8w4?w4???w3??i?1??7w1?w2?w3?w4?1???5?w4?14?2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。

答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。

信道容量C 是保证无差错传输时，信息传输率R 的权限值。

6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。

表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。

6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。

6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。

()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。

但并非概念定义一致。

6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。

1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。

（2）若信源等概分布，求最佳判决译码及错误概率。

第六章：信道 (本章复大我重新修改了一下，尤其要关注色内容 )1、基本概念：差符号、差比特；差：随机差、突差；分：和、分和卷、性与非性、随机差和突差；矢量空、空及其偶空；有离散信道的定理：P e e- NE ( R)（掌握信道定理的内容及减小差概率的方法）；形分的展与短（掌握奇偶校及短的校矩、生成矩与原形分的关系）。

2、性分 (封性 )：生成矩及校矩、系形式的 G 和 H、伴随式与准列表、距与能力、完(明 )、循的生成多式及校多式、系形式的循。

作： 6-1、6-3、6-4、6-5 和 6-6 一、 6-7 6-8 和 6-9 一6-1 二元域上 44重失量空的元素个数共有24=16 个，它分是(0,0,0,0),(0,0,0,1)⋯ (1,1,1,1)，它的一个自然基底是(0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二子空含有的元素个数 22个，取其中一个自然基底(0,0,0,1)和(0,0,1,0)，其二子空中所包含的全部矢量(0,0,0,0,),(0,0,0,1),(0,0,1,0)和(0,0,1,1)(注不唯一 )；上述子空的偶子空可以有三种不同的：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0)或(0,0,0,0) (1,0,0,0)。

(注意本中所包含的关于矢量空的一些基本概念 )6-3 由可以写出系 (8,4)的形方程如下：v 7 u 3 v 6 u 2 v 5 u 1v 4 u 0(注：系统码高四位与信息位保持一致， u i 为信息位 )v 3 u 3 u 2 u 0 v 2 u 3 u 1 u 0 v 1 u 2 u 1 u 0 v 0 u 3 u 2 u 1把上述方程组写成矩阵形式， 可以表示为 V=UG ，其中 V 为码字构成的矢量，即 V=(v 7,v 6,v 5,v 4,v 3,v 2,v 1,v 0)，U 为信息位构成的矢量，即U=( u 3,u 2,u 1,u 0)，观察方程组可得系统生成矩阵为：1 0 0 0 1 1 0 10 1 0 0 1 0 1 1 4| P4*4G0 1 0 0 1 1 I 0 1 0 0 0 1 1 1 1 0由系统生成矩阵和校验矩阵的关系可得：1 1 0 1 1 0 0 0 HP 4*4T1 0 1 1 0 1 0 0| I 41 1 1 0 0 1 01 1 1 0 0 0 0 1由校验矩阵可以看出，矩阵 H 的任意三列都是线性无关的 (任意三列之和不为 0)，但存在四列线性相关的情况 (如第 1、5、6、8 列，这四列之和为 0)，即校验矩阵 H 中最小的线性相关的列数为 4，从而得该线性分组码的最小码距为 4。

第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。

6.1某卷积码的框图如图6.7所示，假设初始状态为全零，输入序列为{1001101}，试写出输出序列，并计算出码率。

图6.7 (2,1,2)卷积码解：)2()(1-⊕=n X n X C)2()1()(2-⊕-⊕=n X n X n X C输出序列为（11111111001010），码率R=1/26.2 某分组码输出码字集合为{0000, 1001,0110,1010,0101}, 试写出各个码字的重量，并且计算最小汉明距离。

解：码字重量分布为（0,2,2,2,2），通过逐个比较码字得到码字之间的汉明距离并取最小汉明距离d0=2.6.3某离散无记忆信道的概率转移矩阵为1/21/31/61/31/61/21/61/21/3⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P假设信道输入的概率空间为12()1/21/41/4X x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦分别使用最小错误概率规则和最大似然译码规则来确定译码规则，并且计算对应的平均错误概率。

解：后验概率∑==31)|()()(ii j i j a b p a p b p249614131412121)(1=⨯+⨯+⨯=b p 248214161413121)(2=⨯+⨯+⨯=b p 247314121416121)(3=⨯+⨯+⨯=b p 后验概率)()|()()|(j i j i j i b p a b p a p b a p =，具体结果如表如下⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=727372838121919232P Y|X 根据最小概率译码规则，在上述后验概率中寻找到最大概率对应的输入ai 作为译码估计值，具体如下：b1→a1 b2→a1 b3→a2如果发送符号为a1,接受符号为b2,b3,就会出现译码错误；如果发送为b2，接受符号为b2,b3,就会出现译码错误；如果发送符号为a3，接受符号为,b1,b3,就会出现译码错误；因此，译码错误计算如下：2411）3161（41）2161（41）6131（21P E1=+++++=最大似然译码则是根据前向概率的列元素大小直接译码，具体译码规则为b1→a1 b2→a3 b3→a2 同理可以计算出译码错误概率21）3161（41）6131（41）6131（21P E2=+++++=可以看出E1E2P P >。