信息论与编码(第三版) 第5章 信源编码技术

5.1某离散无记忆信源的概率空间为

采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。

解：计算相应的自信息量

1)()(11albpaI比特 2)()(22albpaI比特

3)()(313albpaI比特 4)()(44albpaI比特

5)()(55albpaI比特 6)()(66albpaI比特

7)()(77albpaI比特 7)()(77albpaI比特

根据香农码编码方法确定码长

1)()(iiiaIlaI

可以得到对应码长如表所示

符号 概率 累计概率 自信息量 码长 码字

a1 1/2 0 1 1 0

a2 1/4 1/2 2 2 10

a3 1/8 3/4 3 3 110

a4 1/16 7/8 4 4 1110

a5 1/32 15/16 5 5 11110

a6 1/64 31/32 6 6 111110

a7 1/128 63/64 7 7 1111110

a8 1/128 127/128 7 7 1111111

平均码长

984375.164/6317128/17128/1664/1532/1416/138/124/112/1L1由于每个符号的码长等于自信息量，所以编码效率为1。

费罗马编码过程

符号 码字 码长

a1 1/2 0 0 1

a2 1/4 1 0 10 2

a3 1/8 1 0 110 3

a4 1/16 1 0 110 4

a5 1/32 1 0 1110 5

a6 1/64 1 0 11110 6

a7 1/128 1 0 111110 7

a8 1/128 1 111111 7

5.2某离散无记忆信源的概率空间为

使用费罗码对该信源的扩展信源进行二进制变长编码，

(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。

信息论与编码第5章

第五章 信源编码（第⼗讲）

（2课时）

主要内容：（1）编码的定义（2）⽆失真信源编码 重点：定长编码定理、变长编码定理、最佳变长编码。

难点：定长编码定理、哈夫曼编码⽅法。

作业：5。2，5。4，5。6；

说明：本堂课推导内容较多，枯燥平淡，不易激发学⽣兴趣，要注意多讨论⽤途。另外，注意，解题⽅法。多加⼀些内容丰富知识和理解。

通信的实质是信息的传输。⽽⾼速度、⾼质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真⽽⼜快速呢？这就需要解决两个问题：第⼀，在不失真或允许⼀定失真的条件下，如何⽤尽可能少的符号来传送信源信息；第⼆，在信道受⼲扰的情况下，如何增加信号的抗⼲扰能⼒，同时⼜使得信息传输率最⼤。为了解决这两个问题，就要引⼊信源编码和信道编码。

⼀般来说，提⾼抗⼲扰能⼒（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提⾼信息传输率常常⼜会使抗⼲扰能⼒减弱。⼆者是有⽭盾的。然⽽在信息论的编码定理中，已从理论上证明，⾄少存在某种最佳的编码或信息处理⽅法，能够解决上述⽭盾，做到既可靠⼜有效地传输信息。这些结论对各种通信系统的设计和估价具有重⼤的理论指导意义。§3.1 编码的定义

编码实质上是对信源的原始符号按⼀定的数学规则进⾏的⼀种变换。

讨论⽆失真信源编码，可以不考虑⼲扰问题，所以它的数学描述⽐较简单。图 3.1是⼀个信源编码器，它的输⼊是信源符号},,,{21q s s s S =，同时存在另⼀符号},,,{21r x x x X =，⼀般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的⼀⼀对应的序列。

输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。可见，编码就是从信源符号到码符号的⼀种映射。若要实现⽆失真编码，则这种映射必须是⼀⼀对应的，并且是可逆的。

文档来源为:从网络收集整理.word版本可编辑.欢迎下载支持.

0 第五章 信源编码（第十讲）

（2课时）

主要内容：（1）编码的定义（2）无失真信源编码

重点：定长编码定理、变长编码定理、最佳变长编码。

难点：定长编码定理、哈夫曼编码方法。

作业：5。2，5。4，5。6；

说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。

通信的实质是信息的传输。而高速度、高质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。

一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。这些结论对各种通信系统的设计和估价具有重大的理论指导意义。

§3.1 编码的定义

编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。

讨论无失真信源编码，可以不考虑干扰问题，所以它的数学描述比较简单。图3.1是一个信源编码器，它的输入是信源符号},,,{21qsssS，同时存在另一符号},,,{21rxxxX，一般来说，元素xj是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符号si（或者长为N的信源符号序列）变换成由xj(j=1,2,3,…r)组成的长度为li的一一对应的序列。

输出的码符号序列称为码字，长度li称为码字长度或简称码长。可见，编码就是从信源符号到码符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。

5.1某离散无记忆信源的概率空间为

采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。

解：计算相应的自信息量

1)()(11albpaI比特 2)()(22albpaI比特

3)()(313albpaI比特 4)()(44albpaI比特

5)()(55albpaI比特 6)()(66albpaI比特

7)()(77albpaI比特 7)()(77albpaI比特

根据香农码编码方法确定码长

1)()(iiiaIlaI

可以得到对应码长如表所示

符号 概率 累计概率 自信息量 码长 码字

a1 1/2 0 1 1 0

a2 1/4 1/2 2 2 10

a3 1/8 3/4 3 3 110

a4 1/16 7/8 4 4 1110

a5 1/32 15/16 5 5 11110

a6 1/64 31/32 6 6 111110

a7 1/128 63/64 7 7 1111110

a8 1/128 127/128 7 7 1111111

平均码长

984375.164/6317128/17128/1664/1532/1416/138/124/112/1L1由于每个符号的码长等于自信息量，所以编码效率为1。

费罗马编码过程

符号 码字 码长

a1 1/2 0 0 1

a2 1/4 1 0 10 2

a3 1/8 1 0 110 3

a4 1/16 1 0 110 4

a5 1/32 1 0 1110 5

a6 1/64 1 0 11110 6

a7 1/128 1 0 111110 7

a8 1/128 1 111111 7

5.2某离散无记忆信源的概率空间为

使用费罗码对该信源的扩展信源进行二进制变长编码，

(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。