下载文档原格式
第二章部分习题2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。
2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) !52log 2 (2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 答案：1.415比特/符号。
提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)87.81比特，(2)1.951比特。
提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共45个)。
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7% ，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？(1) 男性回答是的信息量为2log 0.07 3.8369-=比特，回答否的信息量是0.1047比特，平均每个回答含的信息量(即熵)是0.36596比特。
信息论第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。
解： (1)symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LKX H R X H x p k K ii i η设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率； 解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K X H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K X H R X H x p k K ii i η%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X 先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
第五章 离散信道的信道容量5.1 设信道输入符号集X = { 1x , 2x ,...k x }，输出符号集Y = { 1y , 2y ...s y } ,如果信道是无噪无损信道,则其信道容量是多少?如果信道是无噪确定信道,则其信道容量又为多少? 解: 如果信道是无噪无损信道，则有k =s ，此时信道容量为max ()max (;)()log p x C I X Y H X k ===如果信道是无噪确定信道，则有ks >，此时信道容量为{}()()()max (;)max ()()max{()}log p x p x q y C I X Y H Y H Y X H Y s ==-==---------------------------------------------------------------------------------------------------------------------5.2 判断以下几种信道是不是准对称信道.(1)⎥⎦⎤⎢⎣⎡3.02.05.05.03.02.0 (2)⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡7.03.06.04.03.07.0 (3)⎥⎦⎤⎢⎣⎡7.01.02.02.01.07.0 (4)⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡6131316161613131 解：（1）为行对称信道，不是准对称信道；（2）行集合和列集合均不同，不是准对称信道； （3）是行对称信道，也是准对称信道； （4）是准对称信道。
---------------------------------------------------------------------------------------------------------------------5.3 信源的最佳编码使信道码符号等概分布，而且平均码长最短，这种说法对吗？答：这种说法不对，最佳码是指对给定的信源，使平均码长达到最小的编码方法称为最佳编码，编出的码称为最佳码。
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
信息论与编码-曹雪虹-第五章-课后习题答案第五章(2) 哪些码是⾮延长码？(3) 对所有唯⼀可译码求出其平均码长和编译效率。
解：⾸先，根据克劳夫特不等式，找出⾮唯⼀可译码31123456231244135236:62163:22222216463:164:22421:2521:2521C C C C C C --------------?<+++++=<<++?=+?>+?<5C ∴不是唯⼀可译码，⽽4C ：⼜根据码树构造码字的⽅法1C ，3C ，6C 的码字均处于终端节点∴他们是即时码(1) 因为A,B,C,D四个字母,每个字母⽤两个码,每个码为0.5ms, 所以每个字母⽤10ms当信源等概率分布时,信源熵为H(X)=log(4)=2平均信息传递速率为bit/ms=200bit/s(2) 信源熵为H(X)==0.198bit/ms=198bit/s5-541811613216411281128H(U)=1 2Log2() 14Log4() +18Log8() +116Log16 ()+132Log32 ()Log64()+1128Log128()+1128Log128()+ 1.984= (2) 每个信源使⽤3个⼆进制符号,出现0的次数为出现1的次数为P(0)=P(1)=(3)相应的费诺码（5）⾹农码和费诺码相同平均码长为编码效率为：5-11（1）信源熵（2）⾹农编码：平均码长：编码效率为（3）平均码长为：编码效率：4平均码长为：编码效率：5.16 已知⼆元信源{0，1}，其p0=1/4,p1=3/4,试⽤式（4.129）对序列11111100编算术码，并计算此序列的平均码长。
解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)27)(1log =??=S P l根据（4.129）可得：F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–∑≥sy y P )(= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111⼜P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S 的码字为1101010平均码长L 为 0.875。
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误可以发现几个错误请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律： ?（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η== |4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 、011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：12345600000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：—6．写出信息位6k =，且能纠正1个错的汉明码。
解：汉明码的信息码元为六个，即：6k =。
监督码元数r 应符合下式：217rk r r ≥++=+ 取满足上式的最小r ：4r =，即为(10，6)汉明码。
其码字由10个码元构成：12345678910x x x x x x x x x x 。
先设计校验表(不是唯一的)：根据校验表写出校验子方程：**** 11237**** 21458**** 32469**** 435610 s x x x x s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎪⎨=⊕⊕⊕⎪⎪=⊕⊕⊕⎩写出监督方程，即监督码元与信息码元之间的关系：71238145924610356 x x x x x x x x x x x x x x x x=⊕⊕⎧⎪=⊕⊕⎪⎨=⊕⊕⎪⎪=⊕⊕⎩根据监督方程编码，写出（10，6）汉明码码字(大部分略，同学们可自行完成)：7. 已知纠正一位错的（7，4）汉明码的生成矩阵为：10001100100101 []00100110001111 G⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1）请写出其监督矩阵；2）请写出其校验表；&3）对信源序列1110，1010，0110，...进行编码；4）对接收端接收到的码字序列0011101，1100100，1011001，…进行译码。
解：1）监督矩阵：右边3×3是单位阵，左边3×4子阵是生成矩阵右边4×3子阵的转置：[]10110100111001H ⎢⎥=⎢⎥⎢⎥⎣⎦2）校验表：每个校验子列向量对应为监督矩阵的列向量，增加一个无差错列向量000。
校验子 ok x 1* x 2* $x 4*x 5* x 6* x 7* s 1 0 1 1 0 %10 0 s 2 0 1 0 1 1 】10 s 31110 @13）根据[][][]C X G =⋅编码：1234567123410001100100101[][]00100110001111x x x x x x x x x x x ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦或者用由监督矩阵得到的监督方程编码：12345671101100[]10110100111001x x x x x x x H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦512461347234x x x x x x x x x x x x =⊕⊕⎧⎪⇒=⊕⊕⎨⎪=⊕⊕⎩编码得：1110000，1010101，0110110，…4）根据校验子方程（校验子方程是监督方程左右两边异或）：****11245****21346****32347s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎨⎪=⊕⊕⊕⎩ 0011101[S]=[001]T x 7*错0011100 0011 ~1100100 [S]=[111]T x 4*错 1101100 1101 1011001 [S]=[011]T x 3*错 10010011001译码得：0011，1101，1001，…8. （7，4）循环码的生成多项式为：32()1g x x x =++1）写出其监督矩阵和生成矩阵；2）对信息码元0110，1001进行编码，分别写出它们的系统码和非系统码； 3）对接收端接收到的系统码字0101111，0011100进行译码。
解：1）生成矩阵：生成多项式系数降幂排列：1101，补零成n 位的行向量：1101000，循环移位成k 行的矩阵： 470110100[]00110100001101G ⨯⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦】监督矩阵：校验多项式系数升幂排列：10111，补零成n 位的行向量：1011100，循环移位成r 行的矩阵：371011100[]01011100010111H ⨯⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2）根据[][][]C X G =⋅编码：111010000110100[C ][0110]00110100001101⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦得非系统码字：0101110，1100101根据多项式除法（长除法见第9题解答）编码得系统码字：0110100，1001011，具体方法如下： 0110 m (x ) = x 2+x x r m (x ) = x 5+x 454223232()()11r x m x x x x x g x x x x x +==+++++ 542()()()r C x x m x r x x x x =+=++ 01101001001m (x ) = x 3+1x r m (x ) = x 6+x 363323232()11()11r x m x x x x x x x g x x x x x ++==++++++++ 63()()()1r C x x m x r x x x x =+=+++ 10010113）生成多项式为g (x ) = x 3+x 2+1的（7,4）循环码校验表（获取方法见第9题解答）！0101111写成多项式，除以生成多项式得余式1， [S]=[001]T ，查表知C 0*错，即01011110101110，去尾部3位监督码元，得信息码元0101 。
53223232+11+11x x x x x x x x x x +++=+++++0011100写成多项式，除以生成多项式得余式x 2+x ， [S]=[110]T ，查表知C 6*错，即00111001011100，去尾部3位监督码元，得信息码元1011。
| 无错 C 0* C 1* C 2* C 3* C 4* C 5* C 6* s 2 ! 0 0 1 1 1 0 1 s 1 0 $ 1 0 0 1 1 1 s 0 0 1—0 1 1 1 09. 已知（7，4）循环码的生成多项式为：32()1g x x x =++当收到一循环码字为0010011时，根据校验子判断有无错误哪一位错了 解：32()1g x x x =++对信息码元0001用多项式除法编码得循环码字：0001101。
&将0001101错成0001100，除以生成多项式得余式1，s 2s 1s 0=001表示C 0*错。
将0001101错成0001111，除以生成多项式得余式x ，s 2s 1s 0=010表示C 1*错。
将0001101错成0001001，除以生成多项式得余式x 2，s 2s 1s 0=100表示C 2*错。
……将0001101错成1001101，除以生成多项式得余式x 2+x ，s 2s 1s 0=110表示C 6*错。
写出校验表：当收到一循环码字0010011时其对应的多项式为: 41x x ++。
列竖式做多项式除法（以下左式）：32433322111x x x x x xx x x x ++++++++32433232111x x x x x xx x x x +++++++++得余式为2x ，s 2s 1s 0=100，表示C 2*错，即右起第三位错，正确的码字应为0010111，其对应的多项式为：421x x x +++。
将此多项式进行验证（上式右式），余式为0，可见正确。
10. 已知（3，1，3）卷积码的监督方程为：,-1,-2a i i i b ii i p m m p m m =+⎧⎨=+⎩或者：已知（3，1，3）卷积码的基本监督矩阵：0[]H ⎡⎤=⎢⎥⎣⎦0 0 1 0 0 1 1 01 0 0 0 0 0 1 0 1 对信源序列010110…进行编码。
解：对于（3，1，3）卷积码，若输入信息码元： m i -2 , m i -1, m i , …，则编码后码字： m i -2, p a,i -2, p b,i -2, m i -1, p a,i -1, p b,i -1, m i , p a,i , p b,i , …根据监督方程编码得：000，111，010，110，101，011，（默认初始化状态为0）11. 已知（4，3，3）卷积码的基本监督矩阵：[][]110010101111H =，对输入信息码元:…进行编码。
解：根据k = 3分组，计算1位监督码元置于后，得卷积码字：1010，1001，1100，1111，… （提示：编码后的码字形式为：***012034516782a a a p a a a p a a a p 根据监督矩阵知其计算方法，前三个码字计算为：*0012p a a a =⊕⊕*102345 p a a a a a =⊕⊕⊕⊕*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕第四个码字起，移动对应位置使p 2*为当前要求的监督码元，计算为：*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕）作业：1、3、4、7、8、10、11。
