下载文档原格式
信息论与编码第5章第五章信源编码（第⼗讲）（2课时）主要内容：（1）编码的定义（2）⽆失真信源编码重点：定长编码定理、变长编码定理、最佳变长编码。
难点：定长编码定理、哈夫曼编码⽅法。
作业：5。
2，5。
4，5。
6；说明：本堂课推导内容较多，枯燥平淡，不易激发学⽣兴趣，要注意多讨论⽤途。
另外，注意，解题⽅法。
多加⼀些内容丰富知识和理解。
通信的实质是信息的传输。
⽽⾼速度、⾼质量地传送信息是信息传输的基本问题。
将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真⽽⼜快速呢？这就需要解决两个问题：第⼀，在不失真或允许⼀定失真的条件下，如何⽤尽可能少的符号来传送信源信息；第⼆，在信道受⼲扰的情况下，如何增加信号的抗⼲扰能⼒，同时⼜使得信息传输率最⼤。
为了解决这两个问题，就要引⼊信源编码和信道编码。
⼀般来说，提⾼抗⼲扰能⼒（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提⾼信息传输率常常⼜会使抗⼲扰能⼒减弱。
⼆者是有⽭盾的。
然⽽在信息论的编码定理中，已从理论上证明，⾄少存在某种最佳的编码或信息处理⽅法，能够解决上述⽭盾，做到既可靠⼜有效地传输信息。
这些结论对各种通信系统的设计和估价具有重⼤的理论指导意义。
§3.1 编码的定义编码实质上是对信源的原始符号按⼀定的数学规则进⾏的⼀种变换。
讨论⽆失真信源编码，可以不考虑⼲扰问题，所以它的数学描述⽐较简单。
图 3.1是⼀个信源编码器，它的输⼊是信源符号},,, {21q s s s S =，同时存在另⼀符号},,,{21r x x x X =，⼀般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。
编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的⼀⼀对应的序列。
输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。
可见，编码就是从信源符号到码符号的⼀种映射。
第5章无失真信源编码定理●通信的实质是信息的传输。
高效率、高质量地传送信息又是信息传输的基本问题。
●信源信息通过信道传送给信宿，需要解决两个问题：第一，在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以提高信息传输率。
第二，在信道受干扰的情况下，如何增强信号的抗干扰能力，提高信息传输的可靠性同时又使得信息传输率最大。
●为了解决以上两个问题，引入了信源编码和信道编码。
●提高抗干扰能力（降低失真或错误概率）往往是增加剩余度以降低信息传输率为代价的；反之，要提高信息传输率往往通过压缩信源的剩余度来实现，常常又会使抗干扰能力减弱。
●上面两者是有矛盾的，然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。
●第5章着重讨论对离散信源进行无失真信源编码的要求、方法及理论极限，得出极为重要的极限定理——香农第一定理。
5.1编码器●编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。
●图5.1就是一个编码器，它的输入是信源符号集S={s 1,s 2,…,s q }。
同时存在另一符号集X={x 1,x 2, …,x r }，一般元素x j 是适合信道传输的，称为码符号（或称为码元）。
编码器是将信源符号集中的符号s i （或者长为N 的信源符号序列a i ）变换成由x j（j=1,2, …,r ）组成的长度为l i的一一对应序列。
●这种码符号序列W i 称为码字。
长度l i称为码字长度或简称码长。
所有这些码字的集合C 称为码。
●编码就是从信源符号到码符号的一种映射，若要实现无失真编码，必须这种映射是一一对应的、可逆的。
编码器S ：{s 1,s 2,…s q }X ：{x 1,x 2,…x r }C ：{w 1,w 2,…w q }（w i 是由l i 个x j （x j 属于X ））组成的序列，并于s i 一一对应一些码的定义●二元码：若码符号集为X={0,1}，所得码字都是一些二元序列，则称为二元码。
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。
(1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。
解：
(1) 唯一可译码：A ，B ，C
A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。
B 是非即时码，前缀码，是唯一可译码。
C 是即时码，是唯一可译码。
D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。
10625.132********
321≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。
1142121214
21≤=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。
1125.1521213
1≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
(2) 非延长码：A ，C (3)
3125
.16161
5161416131612411213
=⨯+⨯+⨯+⨯+⨯+⨯=⋅===∑i
i i C B A l p L L L 设离散信源的概率空间为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡05.010.015.020.025.025.0654321
s s s s s s P S
对其采用香农编码，并求出平均码长和编码效率。
解：
()%7.897
.2423
.2)( 423.205.0log 05.0...25.0log 25.0log )(7
.2505.041.0315.032.0225.0225.0===
=⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit p p S H l p L i
i i i
i i η
设无记忆二元信源，其概率995.0 ,005.021==p p 。
信源输出100=N 的二元序列。
在长为
100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长
码。
(1) 求码字所需要的长度；
(2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少
解： (1)
码字中有0个“1”，码字的个数：10
100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003100=C
1835.17166751log log 166751
161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q
r C C C C q i
(2)
码字中有0个“1”，错误概率：()100
995.01=a p
码字中有1个“1”，错误概率：()005.0995.099
2⨯=a p
码字中有2个“1”，错误概率：()()2
98
500.0995.03⨯=a p
码字中有3个“1”，错误概率：()()3
97
500.0995.04⨯=a p
()()0017
.09983.0119983
.0 161700005.0995.04950005.0 995.0100005.0995.01995.0 397298991003100
2100110001004321=-=-==⨯⨯+⨯⨯+⨯⨯+⨯=+++=N E a a a a N G p p C p C p C p C p G p εε
设有离散无记忆信源
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡02.005.008.010.015.018.020.022.087654321
s s s s s s s s P S 码符号集}2 ,1 ,0{=X ，现对该信源S 进行三元哈夫曼编码，试求信源熵)(S H ，码平均长度L
和编码效率η。
解：
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，8=q ，不能构成满树。
i i i l w s
1s 1 1
2s 22 2 3s 21 2
4s 20 2 5s 02 2 6s 01 2 7s 000 3 8s 001 3
85.1315.0218.022.0122.0=⨯+⨯+⨯+⨯=⋅=∑i
i i l p L
()%
9.933log 85.175.2log )( 75.202.0log 02.0...22.0log 22.0log )(=⨯===⨯++⨯-=-=∑r L S H bit
p p S H i
i i η
设有离散无记忆信源，其概率空间为
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.0654321
s s s s s s P S 进行费诺编码，并求其信源熵)(S H ，码平均长度L 和编码效率η。
解：
s7
s6
()%984
.2352
.2)( 352.204.0log 04.0...32.0log 32.0log )(4
.2404.0408.0316.0218.0222.0232.0===
=⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit
p p S H l p L i
i i i
i i η
设有离散无记忆信源
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.020.07654321
s s s s s s s P S (1) 求该信源符号熵)(S H ；
(2) 用霍夫曼编码编成二元变长码，计算其编码效率； (3) 用霍夫曼编码编成三元变长码，计算其编码效率；
(3) 当译码错误小于310-的定长二元码要达到(2)中霍夫曼码的效率时，估计要多少个信源符号一起编才能办到。
解： (1)
()bit p p S H i
i i 609.201.0log 01.0...2.0log 2.0log )(=⨯++⨯-=-=∑
(2)
i i i l w s
1s 10 2 2s 11 2 3s 010 3
4s 011 3 5s 001 3 6s 0000 4 7s 0001 4
s7
s6
s5
s2s3s4
%
9.9572.2609.2)(72
.2401.041.0315.0317.0318.0219.022.0====⨯+⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑L S H l p L i
i i η
(3)
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，7=q ，能构成满树。
i i i l w s
1s 1 1
2s 20 2 3s 21 2
4s 22 2 5s 00 2 6s 01 2 7s 02 2
%
4.913
log 8.1609.2log )(8
.1201.17.0218.0219.012.0=⨯===⨯+⨯+⨯+⨯=⋅=∑r L S H l p L i
i i η
若某一信源有N 个符号，并且每个符号均已等概率出现，对此信源用最佳霍夫曼二元编码，问当i N 2=和12+=i N （i 为正整数）时，每个码字的长度等于多少平均码长是多少
解：
()1
22
11
21log 1log log 21211211
2 )2(21log 1log log 21212 )1(1
1
+++=
=+=⎪
⎭
⎫ ⎝⎛=+-≤≤-<<+=+====⎪⎭⎫ ⎝⎛=+-≤≤-⎪
⎭
⎫ ⎝⎛===∑∑++i i
i
i i i i i i i i i i i
i i i
i i i
i i i i i
i i i
i i l p L i l p l p p p N when i
l p L i
l p l p p N when。
