当前位置：文档之家 › 第五章 信道编码 习题解答

第五章 信道编码 习题解答

  • 格式：doc
  • 大小：279.50 KB
  • 文档页数：7

下载文档原格式

  / 7

合集下载

信息编码习题答案或提示

信息编码习题答案或提示

第二章部分习题2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。

2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) !52log 2 (2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 答案：1.415比特/符号。

提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)87.81比特，(2)1.951比特。

提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共45个)。

2.5 从大量统计资料知道，男性中红绿色盲的发病率为7% ，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？(1) 男性回答是的信息量为2log 0.07 3.8369-=比特，回答否的信息量是0.1047比特，平均每个回答含的信息量(即熵)是0.36596比特。

第五章 信源编码-习题答案

第五章 信源编码-习题答案

00000000 8 0 5.6 有二元平稳马氏链，已知 p(0/0) = 0.8，p(1/1) = 0.7，求它的符号熵。用三个符号合成一个来编写二进 制哈夫曼码，求新符号的平均码字长度和编码效率。 5.7 对题 5.6 的信源进行游程编码。若“0”游程长度的截至值为 16， “1”游程长度的截至值为 8，求编码 效率。 5.8 选择帧长 N = 64 (1) 对 0010000000000000000000000000000001000000000000000000000000000000 遍 L-D 码； (2) 对 1000010000101100000000010010000101001000000001110000010000000010 遍 L-D 码再译码； (3) 对 0000000000000000000000000000000000000000000000000000000000000000 遍 L-D 码； (4) 对 10100011010111000110001110100110000111101100101000110101011010010 遍 L-D 码； (5) 对上述结果进行讨论。
x3 x4 x5 x 6 x 7 X x1 x2 5.1 设信源 P ( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01
(1) 求信源熵 H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。
解： (1)
H ( X ) p ( xi ) log 2 p( xi )
K ki p( xi ) 3 0.2 3 0.19 3 0.18 3 0.17 3 0.15 4 0.1 7 0.01

信息论与编码理论基础(第五章)

信息论与编码理论基础(第五章)

c跑遍所有的码字
q (u ) p N ( y | u ) ； q (c ) p N ( y | c )
§5.1 离散信道编码问题
最大似然概率准则
当pN ( y | u ( 0) )
u跑遍所有码字
max
pN ( y | u )时，
将输出值y译为码字u ( 0)。
最小距离准则（最小错误准则） y与u的Hamming距离定义为(y1y2…yN)与(u1u2…uN)对应位置值 不相同的位数，记为d(y, u)。
2013-8-3
13
§5.1 离散信道编码问题
对两种译码准则的评述 最大后验概率准则具有很好的直观合理性。收到y的条件下， 最可能发送的是哪个码字，就认为发送的是哪个码字”。 最大似然概率准则（最小距离准则）所具有的直观合理性弱 一些。发送哪个码字的条件下，最可能收到y，就认为发送 的是哪个码字。 最大似然概率准则（最小距离准则）的实现比最大后验概率 准则的实现更简单：前者只需要看哪个码字与y的Hamming 距离最小；后者需要知道各码字的概率分布，然后用贝叶 斯公式计算并比较后验概率。 两种准则都可以用在没有编码（直接发送）情况下的纠错译 码。
2013-8-3 5
§5.1 离散信道编码问题
（1）(X1X2…XL)的事件共有DL个，因此(U1U2…UN)的事件共 有DL个，占N维向量值的份额为DL/DN=1/DN-L。因此当信道 传输错误时，有可能使输出值(Y1Y2…YN)不在这1/DN-L份额 之内。这就是说，信道传输错误有可能被检测到。 （2）如果精心地设计变换C(X1X2…XL)=(U1U2…UN)和猜测规 则(Y1Y2…YN)→(U1’U2’…UN’)，则正确接收的概率远远大于 (1-p)L。 （3）变换 (X1X2…XL)→(U1U2…UN)=C(X1X2…XL) 称为信道编码，又称为(N, L)码。一个事件的变换值称为该事 件的码字。L称为信息长，N称为码长。

信息论第五章答案

信息论第五章答案

信息论第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。

解： (1)symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。

%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。

解：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LKX H R X H x p k K ii i η设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率； 解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K X H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑K X H R X H x p k K ii i η%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X 先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。

信息论第五章 信源编码习题答案

信息论第五章 信源编码习题答案
0
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1

信息论与编码技术第五章课后习题答案

信息论与编码技术第五章课后习题答案
解：（1）满足。构造的码字：1，011，010，001，0000，0001。 （2）满足。构造的码字：0，1，20，21，220，221，222。 （3）不满足。 （4）满足。构造的码字：0，1，2，3，40，41，42，440，441，4440。
5.4 已知信源的各个消息分别为字母 A，B，C，D，现用二进制码元对消息字母作信源编码，A：
(2) 考虑没有给予编码的信源序列出现的概率，该定长码引起的错误概率 P 是多少?
解：（1）信源序列中含有 3 个或小于 3 个“0”的各信源序列个数有：
M
=
C0 100
+
C1 100
+
C2 100
+
C3 100
=1+100+4950+161700=166750
对 M 个信源序列进行无失真的二元等长编码，必须： 2l ≥ M = 166750 = 217.35
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
5.5 若消息符号、对应概率分布和二进制编码如下：
消 息 符 a0
a1
a2
a3
号
pi
1/2 1/4 1/8 1/8
编码
0
10
110 111
试求：
(1) 消息符号熵; (2) 各个消息符号所需的平均二进制码个数;
5.6 某信源有 8 个符号{a1, a2 , a3,", a8} ，概率分别为 l/2，l/4，1/8，1/16，1/32，1/64，1/128，1/128，
试编成这样的码：000，001，010，011，100，101，110，111 的码。求：(1) 信源的符号熵 H(X)； (2) 出现一个“1”或一个“0”的概率；(3) 这种码的编码效率；(4) 相应的香农码和费诺码；(5) 该码的 编码效率。

信息论与纠错编码题库

信息论与纠错编码题库

第五章 离散信道的信道容量5.1 设信道输入符号集X = { 1x , 2x ,...k x }，输出符号集Y = { 1y , 2y ...s y } ,如果信道是无噪无损信道,则其信道容量是多少?如果信道是无噪确定信道,则其信道容量又为多少? 解: 如果信道是无噪无损信道，则有k =s ，此时信道容量为max ()max (;)()log p x C I X Y H X k ===如果信道是无噪确定信道，则有ks >，此时信道容量为{}()()()max (;)max ()()max{()}log p x p x q y C I X Y H Y H Y X H Y s ==-==---------------------------------------------------------------------------------------------------------------------5.2 判断以下几种信道是不是准对称信道.(1)⎥⎦⎤⎢⎣⎡3.02.05.05.03.02.0 (2)⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡7.03.06.04.03.07.0 (3)⎥⎦⎤⎢⎣⎡7.01.02.02.01.07.0 (4)⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡6131316161613131 解：（1）为行对称信道，不是准对称信道；（2）行集合和列集合均不同，不是准对称信道； （3）是行对称信道，也是准对称信道； （4）是准对称信道。

---------------------------------------------------------------------------------------------------------------------5.3 信源的最佳编码使信道码符号等概分布，而且平均码长最短，这种说法对吗？答：这种说法不对，最佳码是指对给定的信源，使平均码长达到最小的编码方法称为最佳编码，编出的码称为最佳码。

第五章 信道编码 习题解答

第五章 信道编码 习题解答

第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。

解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。

2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。

解：根据公式：(1)1d e ≥+ 可发现e 个错。

(2)21d t ≥+ 可纠正t 个错。

得出规律：（1）1d = ，则不能发现错及纠错。

（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。

（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。

（4）码距越大，纠、检错能力越强。

3．试计算（8，7）奇偶校验码漏检概率和编码效率。

已知码元错误概率为410e p -=。

解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。

解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4汉明距离为4，可纠一位错。

由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。

直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。

信道编码习题解答

信道编码习题解答

第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。

解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。

2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。

解：根据公式：(1)1d e ≥+ 可发现e 个错。

(2)21d t ≥+ 可纠正t 个错。

得出规律：（1）1d = ，则不能发现错及纠错。

（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。

（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。

（4）码距越大，纠、检错能力越强。

3．试计算（8，7）奇偶校验码漏检概率和编码效率。

已知码元错误概率为410e p -=。

解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。

解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。

由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。

直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。

信息论与编码-曹雪虹-第五章-课后习题答案

信息论与编码-曹雪虹-第五章-课后习题答案

信息论与编码-曹雪虹-第五章-课后习题答案第五章(2) 哪些码是⾮延长码？(3) 对所有唯⼀可译码求出其平均码长和编译效率。

解：⾸先，根据克劳夫特不等式，找出⾮唯⼀可译码31123456231244135236:62163:22222216463:164:22421:2521:2521C C C C C C --------------?<+++++=<<++?=+?>+?<5C ∴不是唯⼀可译码，⽽4C ：⼜根据码树构造码字的⽅法1C ，3C ，6C 的码字均处于终端节点∴他们是即时码(1) 因为A,B,C,D四个字母,每个字母⽤两个码,每个码为0.5ms, 所以每个字母⽤10ms当信源等概率分布时,信源熵为H(X)=log(4)=2平均信息传递速率为bit/ms=200bit/s(2) 信源熵为H(X)==0.198bit/ms=198bit/s5-541811613216411281128H(U)=1 2Log2() 14Log4() +18Log8() +116Log16 ()+132Log32 ()Log64()+1128Log128()+1128Log128()+ 1.984= (2) 每个信源使⽤3个⼆进制符号,出现0的次数为出现1的次数为P(0)=P(1)=(3)相应的费诺码（5）⾹农码和费诺码相同平均码长为编码效率为：5-11（1）信源熵（2）⾹农编码：平均码长：编码效率为（3）平均码长为：编码效率：4平均码长为：编码效率：5.16 已知⼆元信源{0，1}，其p0=1/4,p1=3/4,试⽤式（4.129）对序列11111100编算术码，并计算此序列的平均码长。

解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)27)(1log =??=S P l根据（4.129）可得：F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–∑≥sy y P )(= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111⼜P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S 的码字为1101010平均码长L 为 0.875。

信息论与编码第5章习题解答

信息论与编码第5章习题解答
x ˆ x
= λ ( 0) ⋅ p * (1) ⋅ e 2s + 0.5 ⋅ λ (1) ⋅ p * (0) ⋅ e s Rs = s ⋅ Ds + 0.5 ⋅ [log λ ( 0) + log λ (1)]
其中参数 s < 0 。
5.7
x2 X x1 1 设信源 = ( p < ) ，其失真度为 Hamming 失真度，试问当允许 2 p (x ) p 1 − p 1 平均失真度 D = p 时，每个信源符号平均最少需要几个二进制符号表示？ 2
所以转移概率矩阵具有与失真矩阵相同的置换对称。
α a1 a 2 a 3 β b1 γ a α a a β b γ 3 2 1 P= 1 a a α a b β γ 2 3 1 1 a a a α b β γ 3 2 1 1 ˆ ˆ 由于对于使失真 d ( xi , x j ) = ∞ 的 ( xi , xi ) ，相应的转移概率必须为零，即
所以
R( D ) =
β =D − 3 γ ≥0 α =1− D +2γ ≥0 γ ≥0
β = D − 3γ ≥ 0 α = 1 − β − γ = 1 − D + 2γ ≥ 0 γ ≥0 min {2 − D + γ }
= ( 2 − D ) bit
当1 ≤ D ≤ 3 ，
所以
D α + β + γ = 1 β = D − 3γ ≥ 0 γ ≤ 3 β + 3γ = 0 ⇒ α = 2γ − D + 1 ≥ 0 ⇒ D −1 γ ≥0 γ ≥ α , β , γ ∈ [ 0,1] 2 R( D ) = min {2 − D + γ }

信息论与编码第五章课后习题答案汇编

信息论与编码第五章课后习题答案汇编

【5.5】若有一信源
S P(s)
=
s1 0.8
s2 0.2
每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某一个二元信道中进行
传输（假设信道是无噪无损的），而信道每秒钟只传递两个二元符号。试问信源
不通过编码能否直接与信道连接？若通过适当编码能否中在信道中进行无失真
传输？若能连接，试说明如何编码并说明原因。
（1）该码是非延长码，因此肯定是惟一可译码；
（2）由于信源本身是无记忆的，因此各信源符号的概率如下表所示。
信源符号序列
概率
中间码
1
0.1
s0
01 0.09
s1
001 0.081
s2
0001 0.0729
s3
00001 0.06561
s4
000001 0.059049
s5
0000001 0.0531441
00001 s4
000001 s5
0000001 s6
00000001 s7
00000000 s8
1000 1001 1010 1011 1100 1101 1110 1111
0
（1） 试问最后的二元变长码是否是否是惟一可译码；
（2） 试求中间码对应的信源序列的平均长度 L1 ； （3） 试求中间码对应的二元变长码码字的平均长度 L2 ； （4） 计算比值 L2 / L1 ，解释它的意义，并计算这种游程编码的编码效率； 解：
【5.6】设某无记忆二元信源，概率 p1 = P(1) = 0.1 ， p0 = P(0) = 0.9 ，采用下述游 程编码方案：第一步，根据 0 的游程长度编成 8 个码字，第二步，将 8 个码字变
换成二元变长码，如下表所示。

信息理论与编码课后答案第5章

信息理论与编码课后答案第5章

第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。

掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。

5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。

信道译码模型如图5.1所示。

5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。

译码函数又称译码规则。

5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。

j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。

信息论及编码理论习题答案

信息论及编码理论习题答案
u5 =1001， u6 =1010， u7 =1100， u8 =1111 通过转移概率为 p 的 BSC 传送。求： (a)接收到的第一个数字 0 与 u1之间的互信息量。 (b)接收到的前二个数字 00 与 u1之间的互信息量。 (c)接收到的前三个数字 000 与 u1之间的互信息量。 (d)接收到的前四个数字 0000 与 u1之间的互信息量。
2 2
p(
y
|
x)
1 4
,2
y
x
2
，求：
0, 其他
(a)Y 的概率密度( y)
(b) I (X ;Y )
(c)若对 Y 做如下硬判决
1, y 1 V 0, 1 y 1
1, y 1
求 I (X ;V ) ，并对结果进行解释。
.
.
解：(a) 由已知，可得
p(
y
|
x
1)
=
1 4
3
y
1
0else
(a) 上式(c)左右两边加上 H (Y | X ) ，可得
H (Y | X ) + H (Z | X ,Y ) H (Y | X ) + H (Z | X )
于是 H (Y, Z | X ) H (Y | X ) + H (Z | X )
1,1
2.28
令概率空间
X
1
,
1
，令
Y
是连续随机变量。已知条件概率密度为
8
4
I (u1;00) = log
p(00 | u1 ) = log (1 p)2
p(00)
1/ 4
= 2[1 log(1 p)]
bit
p(000) = 1 [(1 p)3 3(1 p)2 p 3(1 p) p2 p3 ] = 1

信息论与编码第五章习题参考答案

信息论与编码第五章习题参考答案

信息论与编码第五章习题参考答案5.1某离散⽆记忆信源的概率空间为采⽤⾹农码和费诺码对该信源进⾏⼆进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。

解：计算相应的⾃信息量1)()(11=-=a lbp a I ⽐特 2)()(22=-=a lbp a I ⽐特 3)()(313=-=a lbp a I ⽐特 4)()(44=-=a lbp a I ⽐特 5)()(55=-=a lbp a I ⽐特 6)() (66=-=a lbp a I ⽐特 7)()(77=-=a lbp a I ⽐特 7)()(77=-=a lbp a I ⽐特根据⾹农码编码⽅法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=?+?+?+?+?+?+?+?=由于每个符号的码长等于⾃信息量，所以编码效率为1。

费罗马编码过程5.2某离散⽆记忆信源的概率空间为使⽤费罗码对该信源的扩展信源进⾏⼆进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。

(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。

(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进⾏⽐较。

解：信息熵811.025.025.075.075.0)(=--=lb lb X H ⽐特/符号（1）平均码长11=L ⽐特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=?+?+?+?=L ⽐特/符号编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=?+?+??+??+??+?+??+?=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提⾼。

第五章 信道编码 习题解答

第五章 信道编码 习题解答

第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。

解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。

2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。

解：根据公式：(1)1d e ≥+ 可发现e 个错。

(2)21d t ≥+ 可纠正t 个错。

得出规律：（1）1d = ，则不能发现错及纠错。

（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。

（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。

（4）码距越大，纠、检错能力越强。

3．试计算（8，7）奇偶校验码漏检概率和编码效率。

已知码元错误概率为410e p -=。

解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。

解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。

由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。

直观地写出各码字：12345600000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。

(完整版)信息论第五章答案

(完整版)信息论第五章答案

5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。

解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。

%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。

解：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LK X H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制费诺码：香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。

信息论与编码第五章答案学习资料

信息论与编码第五章答案学习资料

信息论与编码第五章答案5.1 设信源1234567()0.20.190.180.170.150.10.01Xa a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭ (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率. 解： (1)721222222()()log ()0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit symbol==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑(2)(3)71()0.230.1930.1830.1730.1530.140.0173.141()()/ 2.609 3.14183.1%i i i K k p x H X H X K Rη===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑5.2 对习题5.1的信源编二进制费诺码，计算编码效率.解：a i p(a i)编码码字k ia10.20002 a20.19100103 a30.1810113 a40.1710102 a50.15101103 a60.11011104 a70.011111145.3 对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：二进制哈夫曼码：x i p(x i)编码码字k i s61s50.610s40.391s30.350s20.261x10.20102 x20.191112 x30.1800003 x40.1710013 x50.1500103 s10.111x60.1001104 x70.01101114三进制哈夫曼码：x i p(x i)编码码字k i s31s20.540s10.261x10.2221 x20.190002 x30.181012 x40.172022 x50.150102 x60.11112 x70.0121225.4 设信源(1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率；(4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解：(1)(2)二进制香农码：x i p(x i)p a(x i)k i码字x10.5010x20.250.5210x30.1250.753110x40.06250.87541110x50.031250.9375511110x60.0156250.968756111110x70.00781250.98437571111110x80.00781250.992187571111111二进制费诺码：xi p(x i)编码码字k i x10.5001 x20.2510102 x30.125101103 x40.06251011104x50.0312510111105 x60.015625101111106 x70.00781251011111107 x80.0078125111111117 (3)香农编码效率：费诺编码效率：(4)x i p(x i)编码码字k i x10.5001 x20.25111 x30.12520202 x40.06251212 x50.03125202203 x60.01562512213 x70.00781252022204 x80.0078125122214 (5)5.5 设无记忆二进制信源先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度；(3) 求对应于一个码字的信源序列的平均长度；(4) 计算，并计算编码效率；(5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长，并计算编码效率.序列数字二元码字101000011100100131010000131011000014110000000151101000000161110000000017111100000000805.6 有二元平稳马氏链，已知p(0/0) = 0.8，p(1/1) = 0.7，求它的符号熵.用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率.5.7 对题5.6的信源进行游程编码.若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率. 5.8 选择帧长N= 64(1) 对001000000000000000000000000000000100000000000000 0000000000000000遍L-D码；(2) 对100001000010110000000001001000010100100000000111 0000010000000010遍L-D码再译码；(3) 对000000000000000000000000000000000000000000000000 0000000000000000遍L-D码；(4) 对101000110101110001100011101001100001111011001010 00110101011010010遍L-D码；(5) 对上述结果进行讨论.。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。

解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。

2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误可以发现几个错误请写出一般关系式。

解：根据公式：(1)1d e ≥+ 可发现e 个错。

(2)21d t ≥+ 可纠正t 个错。

得出规律： ?（1）1d = ，则不能发现错及纠错。

（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。

（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。

（4）码距越大，纠、检错能力越强。

3．试计算（8，7）奇偶校验码漏检概率和编码效率。

已知码元错误概率为410e p -=。

解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η== |4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。

解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 、011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。

由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。

直观地写出各码字：12345600000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：—6．写出信息位6k =，且能纠正1个错的汉明码。

解：汉明码的信息码元为六个，即：6k =。

监督码元数r 应符合下式：217rk r r ≥++=+ 取满足上式的最小r ：4r =，即为(10，6)汉明码。

其码字由10个码元构成：12345678910x x x x x x x x x x 。

先设计校验表(不是唯一的)：根据校验表写出校验子方程：**** 11237**** 21458**** 32469**** 435610 s x x x x s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎪⎨=⊕⊕⊕⎪⎪=⊕⊕⊕⎩写出监督方程，即监督码元与信息码元之间的关系：71238145924610356 x x x x x x x x x x x x x x x x=⊕⊕⎧⎪=⊕⊕⎪⎨=⊕⊕⎪⎪=⊕⊕⎩根据监督方程编码，写出（10，6）汉明码码字(大部分略，同学们可自行完成)：7. 已知纠正一位错的（7，4）汉明码的生成矩阵为：10001100100101 []00100110001111 G⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1）请写出其监督矩阵；2）请写出其校验表；&3）对信源序列1110，1010，0110，...进行编码；4）对接收端接收到的码字序列0011101，1100100，1011001，…进行译码。

解：1）监督矩阵：右边3×3是单位阵，左边3×4子阵是生成矩阵右边4×3子阵的转置：[]10110100111001H ⎢⎥=⎢⎥⎢⎥⎣⎦2）校验表：每个校验子列向量对应为监督矩阵的列向量，增加一个无差错列向量000。

校验子 ok x 1* x 2* $x 4*x 5* x 6* x 7* s 1 0 1 1 0 %10 0 s 2 0 1 0 1 1 】10 s 31110 @13）根据[][][]C X G =⋅编码：1234567123410001100100101[][]00100110001111x x x x x x x x x x x ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦或者用由监督矩阵得到的监督方程编码：12345671101100[]10110100111001x x x x x x x H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦512461347234x x x x x x x x x x x x =⊕⊕⎧⎪⇒=⊕⊕⎨⎪=⊕⊕⎩编码得：1110000，1010101，0110110，…4）根据校验子方程（校验子方程是监督方程左右两边异或）：****11245****21346****32347s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎨⎪=⊕⊕⊕⎩ 0011101[S]=[001]T x 7*错0011100 0011 ~1100100 [S]=[111]T x 4*错 1101100 1101 1011001 [S]=[011]T x 3*错 10010011001译码得：0011，1101，1001，…8. （7，4）循环码的生成多项式为：32()1g x x x =++1）写出其监督矩阵和生成矩阵；2）对信息码元0110，1001进行编码，分别写出它们的系统码和非系统码； 3）对接收端接收到的系统码字0101111，0011100进行译码。

解：1）生成矩阵：生成多项式系数降幂排列：1101，补零成n 位的行向量：1101000，循环移位成k 行的矩阵： 470110100[]00110100001101G ⨯⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦】监督矩阵：校验多项式系数升幂排列：10111，补零成n 位的行向量：1011100，循环移位成r 行的矩阵：371011100[]01011100010111H ⨯⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2）根据[][][]C X G =⋅编码：111010000110100[C ][0110]00110100001101⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦得非系统码字：0101110，1100101根据多项式除法（长除法见第9题解答）编码得系统码字：0110100，1001011，具体方法如下： 0110 m (x ) = x 2+x x r m (x ) = x 5+x 454223232()()11r x m x x x x x g x x x x x +==+++++ 542()()()r C x x m x r x x x x =+=++ 01101001001m (x ) = x 3+1x r m (x ) = x 6+x 363323232()11()11r x m x x x x x x x g x x x x x ++==++++++++ 63()()()1r C x x m x r x x x x =+=+++ 10010113）生成多项式为g (x ) = x 3+x 2+1的（7,4）循环码校验表（获取方法见第9题解答）！0101111写成多项式，除以生成多项式得余式1， [S]=[001]T ，查表知C 0*错，即01011110101110，去尾部3位监督码元，得信息码元0101 。

53223232+11+11x x x x x x x x x x +++=+++++0011100写成多项式，除以生成多项式得余式x 2+x ， [S]=[110]T ，查表知C 6*错，即00111001011100，去尾部3位监督码元，得信息码元1011。

| 无错 C 0* C 1* C 2* C 3* C 4* C 5* C 6* s 2 ! 0 0 1 1 1 0 1 s 1 0 $ 1 0 0 1 1 1 s 0 0 1—0 1 1 1 09. 已知（7，4）循环码的生成多项式为：32()1g x x x =++当收到一循环码字为0010011时，根据校验子判断有无错误哪一位错了 解：32()1g x x x =++对信息码元0001用多项式除法编码得循环码字：0001101。

&将0001101错成0001100，除以生成多项式得余式1，s 2s 1s 0=001表示C 0*错。

将0001101错成0001111，除以生成多项式得余式x ，s 2s 1s 0=010表示C 1*错。

将0001101错成0001001，除以生成多项式得余式x 2，s 2s 1s 0=100表示C 2*错。

……将0001101错成1001101，除以生成多项式得余式x 2+x ，s 2s 1s 0=110表示C 6*错。

写出校验表：当收到一循环码字0010011时其对应的多项式为: 41x x ++。

列竖式做多项式除法（以下左式）：32433322111x x x x x xx x x x ++++++++32433232111x x x x x xx x x x +++++++++得余式为2x ，s 2s 1s 0=100，表示C 2*错，即右起第三位错，正确的码字应为0010111，其对应的多项式为：421x x x +++。

将此多项式进行验证（上式右式），余式为0，可见正确。

10. 已知（3，1，3）卷积码的监督方程为：,-1,-2a i i i b ii i p m m p m m =+⎧⎨=+⎩或者：已知（3，1，3）卷积码的基本监督矩阵：0[]H ⎡⎤=⎢⎥⎣⎦0 0 1 0 0 1 1 01 0 0 0 0 0 1 0 1 对信源序列010110…进行编码。

解：对于（3，1，3）卷积码，若输入信息码元： m i -2 , m i -1, m i , …，则编码后码字： m i -2, p a,i -2, p b,i -2, m i -1, p a,i -1, p b,i -1, m i , p a,i , p b,i , …根据监督方程编码得：000，111，010，110，101，011，（默认初始化状态为0）11. 已知（4，3，3）卷积码的基本监督矩阵：[][]110010101111H =，对输入信息码元:…进行编码。

解：根据k = 3分组，计算1位监督码元置于后，得卷积码字：1010，1001，1100，1111，… （提示：编码后的码字形式为：***012034516782a a a p a a a p a a a p 根据监督矩阵知其计算方法，前三个码字计算为：*0012p a a a =⊕⊕*102345 p a a a a a =⊕⊕⊕⊕*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕第四个码字起，移动对应位置使p 2*为当前要求的监督码元，计算为：*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕）作业：1、3、4、7、8、10、11。