5.1 设信源01.01.015.017.018.019.02.0)(7654321xxxxxxxXPX
(1) 求信源熵H(X)；
(2) 编二进制香农码；
(3) 计算平均码长和编码效率。
解：
(1)
symbolbitxpxpXHiii/609.2)01.0log01.01.0log1.015.0log15.017.0log17.018.0log18.019.0log19.02.0log2.0()(log)()(2222222712
(2)
xi
p(xi) pa(xi) ki 码字
x1 0.2 0 3 000
x2 0.19 0.2 3 001
x3 0.18 0.39 3 011
x4 0.17 0.57 3 100
x5 0.15 0.74 3 101
x6 0.1 0.89 4 1110
x7 0.01 0.99 7 1111110
(3)
%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(KXHRXHxpkKiii
5.2 对信源01.01.015.017.018.019.02.0)(7654321xxxxxxxXPX编二进制费诺码，计算编码效率。
解：
xi p(xi) 编码 码字 ki
x1 0.2
0 0 00 2
x2 0.19 1 0 010 3
x3 0.18 1 011 3
x4 0.17
1 0 10 2
x5 0.15
1 0 110 3
x6 0.1 1 0 1110 4
x7 0.01 1 1111 4
%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(KXHRXHxpkKiii
. .
1 / 13 5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345CCCCC、、、、和6C。
（1） 求这些码中哪些是唯一可译码；
（2） 求哪些是非延长码（即时码）；
（3） 对所有唯一可译码求出其平均码长。
消息 概率
1C 2C 3C 4C 5C 6C
1a 1/2 000 0 0 0 1 01
2a 1/4 001 01 10 10 000 001
3a 1/16 010 011 110 1101 001 100
4a 1/16 011 0111 1110 1100 010 101
5a 1/16 100 01111 11110 1001 110 110
6a 1/16 101 011111 111110 1111 110 111
解：（1）1,2,3,6是唯一可译码；
(2)1,3,6是即时码。
5-2证明若存在一个码长为12,,,qlll的唯一可译码，则一定存在具有相同码长的即时码。
证明：由定理可知若存在一个码长为LqLL,,2,1的唯一可译码，则必定满足kraft不等式qilir11。由定理44可知若码长满足kraft不等式，则一定存在这样码长的即时码。所以若存在码长LqLL,,2,1的唯一可译码，则一定存在具有相同码长P（y=0）的即时码。
5-3设信源126126()sssSpppPs，611iip。将此信源编码成为r元唯一可译变长码（即码符号集12{,,,}rXxxx），其对应的码长为（126,,,lll）=（1，1，2，3，2，3），求r值的最小下限。
解：要将此信源编码成为 r元唯一可译变长码，其码字对应的码长
（l1 ,l2 ,l3, l4,l5, l6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即
第五章信源编码信息论基础
第五章信源编码
5.1 离散信源编码5.1.1 编码器5.1.2分组码5.1.3定长码5.1.4 变长码5.2 连续信源编码5.3 相关信源编码本章主要讨论的问题：
信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。
信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。–无失真信源编码定理：是离散信源/数字信号编码的基础；–限失真信源编码定理：是连续信源/模拟信号编码的基础，如语音、图像等信号。
信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。–离散信源编码：独立信源编码，可做到无失真编码；–连续信源编码：独立信源编码，只能做到限失真信源编码；–相关信源编码：非独立信源编码。简介5.1编码器
编码器
编码器可以看作这样一个系统，它的输入端为原始信源S，其符号集为；而信道所能传输的符号集为。编码器的功能是用符号集X中的元素，将原始信源的符号变换为相应的码字符号，所以编码器输出端的符号集为
称为码字，为码字的码元个数，称为码字的码字长度，简称码长。码字的集合C称为码书。称为码元。12{,,...,}qSSSS
12{,,...,}rXxxx12{,,...,}qSsss
12{,,...,}rXxxx编码器12:{,,...,}qCWWW
12:{,,...,}qCwwwiSiw
iwiLiwiw
ix5.1编码器
例：二元信道的信源编码器：码符号集X={0,1}，
如果要将信源通过二元信道传输，必须将信源编成二元码，这也是最常用的一种码。等长码非等长码
等长码与变长码
码中各个码字都是由同样多个码元构成的，称为等长码，反之，称为变长码。非奇异码非奇异码
奇异码与非奇异码
若一组码中所有码字都不相同，称为非奇异码。否则成为奇异码。5.1编码器
信息论与编码第5章
第五章 信源编码（第⼗讲）
（2课时）
主要内容：（1）编码的定义（2）⽆失真信源编码 重点：定长编码定理、变长编码定理、最佳变长编码。
难点：定长编码定理、哈夫曼编码⽅法。
作业：5。2，5。4，5。6；
说明：本堂课推导内容较多，枯燥平淡，不易激发学⽣兴趣，要注意多讨论⽤途。另外，注意，解题⽅法。多加⼀些内容丰富知识和理解。
通信的实质是信息的传输。⽽⾼速度、⾼质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真⽽⼜快速呢？这就需要解决两个问题：第⼀，在不失真或允许⼀定失真的条件下，如何⽤尽可能少的符号来传送信源信息；第⼆，在信道受⼲扰的情况下，如何增加信号的抗⼲扰能⼒，同时⼜使得信息传输率最⼤。为了解决这两个问题，就要引⼊信源编码和信道编码。
⼀般来说，提⾼抗⼲扰能⼒（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提⾼信息传输率常常⼜会使抗⼲扰能⼒减弱。⼆者是有⽭盾的。然⽽在信息论的编码定理中，已从理论上证明，⾄少存在某种最佳的编码或信息处理⽅法，能够解决上述⽭盾，做到既可靠⼜有效地传输信息。这些结论对各种通信系统的设计和估价具有重⼤的理论指导意义。§3.1 编码的定义
编码实质上是对信源的原始符号按⼀定的数学规则进⾏的⼀种变换。
讨论⽆失真信源编码，可以不考虑⼲扰问题，所以它的数学描述⽐较简单。图 3.1是⼀个信源编码器，它的输⼊是信源符号},,,{21q s s s S =，同时存在另⼀符号},,,{21r x x x X =，⼀般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的⼀⼀对应的序列。
输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。可见，编码就是从信源符号到码符号的⼀种映射。若要实现⽆失真编码，则这种映射必须是⼀⼀对应的，并且是可逆的。
