第四章信源编码 习题解答
1、一个信源由
1） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？ 2） 分别计算每个唯一可译码的平均码长和编码效率。
解：1）A 、B 、C 、D 、E 、F 是非奇异码。A 、B 、C 、F 是唯一可译码（E 不满足克拉夫特不等式）。A 、C 、F 是即时码（B 是续长码）。 3） 编码A ：
平均码长：3A L = 码元/消息 信源熵：111111
()lb lb 4lb 222441616
H X =-
--?=比特/消息 编码效率：max ()/2/3
66.7%lb21
A H H X L H η====码码
编码B 和C ：
平均码长：111111
23456 2.1252416161616
B C L L ==+?+?+?+?+?= 码元/消息 编码效率：max ()/2/2.125
94.1%lb21
B C H H X L H ηη=====码码
编码F ：
平均码长：11
1234 2.524
16F L ??=?
+?+?= ??? 码元/消息 编码效率：max ()/2/2.5
80%lb21
F H H X L H η====码码
2、离散无记忆信源X 的概率空间为：1
234567()0.200.190.180.170.150.100.01X x x x x x x x p X ????=????
??
?? 1）对其进行费诺编码，并计算其编码效率；
2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。 解：1）费诺编码：
平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+?+++?++?=码元/符号 信源熵：
()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号
编码后平均码元熵：() 2.60874
0.95212.74H X H L
=
==码比特/码元
编码效率：max 0.9521
95.21%lb2
H H η=
==码码
2）哈夫曼编码： 码长 码字 信源X p (X ) 2 10 x 1 2 11 x 2 3 000 x 3 3 001 x 4 3 010 x 5 4 0110 x 6 4
0111
x 7
平均码长：()()()0.20.1920.180.170.1530.10.014 2.72L =+?+++?++?=码元/符号 编码后平均码元熵：() 2.60874
0.95912.72H X H L
=
==码比特/码元
编码效率：max 0.9591
95.91%lb2
H H η=
==码码
与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。
一般情况下哈夫曼编码效率较高，但费诺编码如果每次划分概率很接近，则效率也很高。 3、离散无记忆信源X 的概率空间为：1
2345678()0.220.200.180.10.150.020.050.08X x x x x x x x x p X ????=?????
??? 1）对其进行费诺编码；
2）对其进行哈夫曼编码。 解：1信源X p (X ) 编码过程 码字 码长 x 1 0.22 0
0 00 2 x 2 0.20 1 01 2 x 3 0.18 1 0
0 100 3 x 5 0.15 1 101 3 x 4 0.1 1 0 110 3 x 8 0.08 1
0 1110 4 x 7 0.05 1
0 11110 5 x 6
0.02
1
11111
5
2）哈夫曼编码：
4、离散无记忆信源S 描述为：1
23456()0.370.250.10.180.030.07S s s s s s s p S ????=?????
??? 1）计算信源熵及其冗余度；
2）对其进行费诺编码；
3）对其进行哈夫曼编码；
4*）对其进行香农-费诺-埃利阿斯编码； 5*）对其进行香农编码；
6）计算哈夫曼码的平均码长、编码效率和码冗余度；
7）把哈夫曼编码器的输出看成一个新信源X ，计算其概率分布p (x 1) 和 p (x 2)； 8）H [p (x 1), p (x 2)] 是否等于H 码（即平均码元熵）？为什么？ 解：1）信源熵：
()0.37lb0.370.25lb0.250.18lb0.180.1lb0.10.07lb0.070.03lb0.03 2.229H S =------= 比特/消息
冗余度：max () 2.23
1113.788%()lb6
H S E H S =-=-=
2）费诺编码：
信源S p (S ) 编码过程 码字 码长 s 1 0.37 0
0 00 2 s 2 0.25 1 01 2 s 4 0.18 1 0 10 2 s 3 0.1 1
0 110 3 s 6 0.07 1
0 1110 4 s 5
0.03
1
1111
4
3）哈夫曼编码：
4） 香农-费诺-埃利阿斯编码：
信源S p (S ) F (s ) ()F s
()F s 的二进制数 码长 码字
s 1 0.37 0.37 0.185 0.00101.. 3 001 s 2 0.25 0.62 0.495 0.01111.. 3 011 s 4
0.18
0.80
0.71
0.101101..
4
1011
5）香农编码：
6）分析哈夫曼码，
其平均码长：6
1
()2(0.370.250.18)30.14(0.07+0.03=2.3i i i L p s l ===?+++?+?∑） 码元/消息
平均码元熵：() 2.229
0.968962.3H S H L
===码 比特/码元 编码效率：max 0.97096.896%lb2
H H η=
==码码
码冗余度：max 0.96896
11 3.104%lb2
H E H η==-
=-=码码码1-
7）把哈夫曼编码器的输出看成一个新信源X ，计算其概率分布p (x 1) 和 p (x 2)：
11211
()(0)0.370.250.10.03+0.07=0.60422342p x p ==+?+?+??
21131
()(1)0.250.10.180.030.070.39582342
p x p ==?+?++?+?=
8）计算12[(),()](0.6042,0.3958)0.6042lb0.60420.3958lb0.39580.9685 /H p x p x H ==--=比特码元 相比平均码元熵：12() 2.229
0.96896[(),()]2.3H S H H p x p x L
=
==≈码 比特/码元 可见，两者很相近，但理论上不相同。因为平均码元熵计算的是算术平均值，而12[(),()]H p x p x 作的是统计平均。
5. 设有6个消息，其出现概率分别为
A B C D E F 1/16 1/16 2/16 3/16 4/16 5/16
将它们分别进行费诺编码和霍夫曼编码，并比较编码效率。是否在任何情况下费诺编码比霍夫曼编码效率都低？
解：信源：112345()161616161616A B C D E F X p X ??
????
=???????
???
费诺编码：
信源X p (X ) 编码过程 码字 码长 F 5/16 0
0 00 2 E 4/16 1 01 2 D 3/16 1 0 10 2 C 2/16 1
0 110 3 B 1/16 1
0 1110 4 A
1/16
1
1111
4
平均码长：543211234 2.375161616161616L ????
=++?+?++?=
? ?????
码元/符号
信源熵：111111331155
()lb lb lb lb lb lb 2.35216161616881616441616
H X =-
-----=比特/符号 编码后平均码元熵：() 2.352
0.992.375H X H L
=
==码比特/码元 二元信源最大码元熵为1比特/码元，故编码效率：max 0.99
99%1
H H η===码码
哈夫曼编码：
由于平均码长与费诺编码一样，故编码效率也为99%。一般情况下哈夫曼编码效率较高，但费诺编码如果每次划分概率很接近，则效率也很高。
6. 有一冗余位序列，N =15，码字为001000000010000，试将其编成L-D 码，并将L-D 码译回原序列。 解：001000000010000 N=15 编码：
[]()21122121
11111312152,3,11
45247105 lb105 6.77 lb 151 4
n n Q n n T C C C C C ----====+=+=+====+=????已知：计算： 24477Q T ==将转变成位二进制数，转变成位二进制数，于是得L-D 码： 0010 0101111
译码：
2
2
1011215,
2,47
454755
10111
N Q T C C n ====≤<==+=
修正：
21101123147452223
213
T T C C C n =-=-==≤<==+=
故译码恢复出原序列：001000000010000
作业：1、2、4
重庆交通大学信息科学与工程学院综合性设计性实验报告 专业班级：通信工程2012级1班 学号：631206040118 姓名：王松 实验所属课程：信息论与编码 实验室(中心)：软件与通信实验中心 指导教师：黄大荣 2015年4月
霍夫曼编码的matlab实现 一、实验目的和要求。 利用哈夫曼编码进行通信可以大大提高信道的利用率，缩短信息传输的时间，降低传输成本。 本实验用Matlab语言编程实现霍夫曼（Huffman）编码。 二、实验原理。 霍夫曼（Huffman）编码算法是满足前缀条件的平均二进制码长最短的编-源输出符号，而将较短的编码码字分配给较大概率的信源输出。算法是：在信源符号集合中，首先将两个最小概率的信源输出合并为新的输出，其概率是两个相应输出符号概率之和。这一过程重复下去，直到只剩下一个合并输出为止，这个最后的合并输出符号的概率为1。这样就得到了一张树图，从树根开始，将编码符号1 和0 分配在同一节点的任意两分支上，这一分配过程重复直到树叶。从树根到树叶途经支路上的编码最后就构成了一组异前置码，就是霍夫曼编码输出。离散无记忆信源： 例如 U u 1u 2 u 3 u 4 u 5 P(U) = 0.4 0.2 0.2 0.1 0.1
通过上表的对信源缩减合并过程，从而完成了对信源的霍夫曼编码。 三、实验步骤 分为两步，首先是码树形成过程：对信源概率进行合并形成编码码树。然后是码树回溯过程：在码树上分配编码码字并最终得到霍夫曼编码。 1、码树形成过程：将信源概率按照从小到大顺序排序并建立相应的位置索引。然后按上述规则进行信源合并，再对信源进行排序并建立新的位置索引，直到合并结束。在这一过程中每一次都把排序后的信源概率存入矩阵G中，位置索引存入矩阵Index中。这样，由排序之后的概率矩阵G以及索引矩阵Index就可以恢复原概率矩阵P了，从而保证了回溯过程能够进行下去。 2、码树回溯过程：在码树上分配编码码字并最终得到Huffman 编码。从索引矩阵M 的末行开始回溯。 (1) 在Index的末行2元素位置填入0和1。 (2) 根据该行索引1 位置指示，将索引1 位置的编码（‘1’）填入上一行的第一、第二元素位置，并在它们之后分别添加‘0’和‘1’。 (3) 将索引不为‘1’的位置的编码值（‘0’）填入上一行的相应位置（第 3 列）。 (4) 以Index的倒数第二行开始向上，重复步骤(1) ～(3)，直到计算至Index 的首行为止。 四、程序代码： %取得信源概率矩阵,并进行合法性判断 clear; P=input('请输入信源概率向量P='); N=length(P); for component=1:1:N
第5章_无失真信源编 码题与答案 本页仅作为文档封面，使用时可以删除 This document is for reference only-rar21year.March
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字， 110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3)
3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L
第四章信源编码 习题解答 1、一个信源由 1） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？ 2） 分别计算每个唯一可译码的平均码长和编码效率。 解：1）A 、B 、C 、D 、E 、F 是非奇异码。A 、B 、C 、F 是唯一可译码（E 不满足克拉夫特不等式）。A 、C 、F 是即时码（B 是续长码）。 3） 编码A ： 平均码长：3A L = 码元/消息 信源熵：111111 ()lb lb 4lb 222441616 H X =---?=比特/消息 编码效率：max ()/2/3 66.7%lb21 A H H X L H η====码码 编码B 和C ： 平均码长：111111 23456 2.1252416161616 B C L L ==+?+?+?+?+?= 码元/消息 编码效率：max ()/2/2.125 94.1%lb21 B C H H X L H ηη=====码码 编码F ： 平均码长：11 1234 2.524 16F L ??=? +?+?= ??? 码元/消息 编码效率：max ()/2/2.5 80%lb21 F H H X L H η====码码 2、离散无记忆信源X 的概率空间为：1 234567()0.200.190.180.170.150.100.01X x x x x x x x p X ????=???????? 1）对其进行费诺编码，并计算其编码效率； 2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。
解：1）费诺编码： 平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+?+++?++?=码元/符号 信源熵： ()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号 编码后平均码元熵：() 2.60874 0.95212.74H X H L ===码比特/码元 编码效率：max 0.9521 95.21%lb2 H H η= ==码码 2）哈夫曼编码： 码长 码字 信源X p (X ) 2 10 x 1 2 11 x 2 3 000 x 3 3 001 x 4 3 010 x 5 4 0110 x 6 4 0111 x 7 平均码长：()()()0.20.1920.180.170.1530.10.014 2.72L =+?+++?++?=码元/符号 编码后平均码元熵：() 2.60874 0.95912.72H X H L ===码比特/码元 编码效率：max 0.9591 95.91%lb2 H H η= ==码码 与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。 一般情况下哈夫曼编码效率较高，但费诺编码如果每次划分概率很接近，则效率也很高。
信源编码的基本原理及其应用 课程名称通信原理Ⅱ 专业通信工程 班级******* 学号****** 学生姓名***** 论文成绩 指导教师***** ******
信源编码的基本原理及其应用 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？ 通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理： 信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵： 香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面： (1)信源的建模 信源输出信号的数学描述已有成熟的理论——随机过程，一般的随机过程理∑=-=L i i i x p x p x H 12) (log )()()(x H
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； * (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r ） E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r
(2) 非延长码：A ，C (3) 3125 .16161 5161416131612411213 =?+?+?+?+?+?=?===∑i i i C B A l p L L L 设离散信源的概率空间为 % ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为 100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少 } 解： (1)
信源编码的基本原理 及其应用
信源编码的基本原理及其应用 课程名称通信原理Ⅱ 专业通信工程 班级 ******* 学号 ****** 学生姓名 ***** 论文成绩 指导教师 ***** ******
信源编码的基本原理及其应用 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？ 通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理： 信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵： 香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面： ∑=-=L i i i x p x p x H 12) (log )()() (x H
实验1：霍夫曼信源编码综合设计 【实验目的】 通过本专题设计，掌握霍夫曼编码的原理和实现方法，并熟悉利用C语言进行程序设计，对典型的文本数据和图像数据进行霍夫曼编解码。 【预备知识】 1、熵的概念，霍夫曼编码原则 2、数据结构和算法设计 3、C(或C++)编程语言 【实验环境】 1、设备：计算机一台 2、软件：C程序编译器 【设计要求】 根据霍夫曼编码原则，利用C语言设计并实现霍夫曼编码和解码程序，要求能够对给出的典型文本数据和图像数据进行霍夫曼编解码，并计算相应的熵和压缩比。 【实验原理】 Huffman编码属于熵编码的方法之一，是根据信源符号出现概率的分布特性而进行的压缩编码。 Huffman编码的主要思想是：出现概率大的符号用长的码字表示；反之，出现概率小的符号用短的码字表示。 Huffman编码过程描述： 1. 初始化: 将信源符号按出现频率进行递增顺序排列，输入集合L; 2. 重复如下操作直至L中只有1个节点: (a) 从L中取得两个具有最低频率的节点，为它们创建一个父节点； (b) 将它们的频率和赋给父结点，并将其插入L; 3. 进行编码： 从根节点开始，左子节点赋予1，右节点赋予0，直到叶子节点。 【基本定义】
1. 熵和平均编码符号长度 熵是信息量的度量方法，它表示某一事件出现的概率越小，则该事件包含的信息就越多。根据Shannon 理论，信源S 的熵定义为2()log (1/)i i i H s p p =∑,其中i p 是符号i S 在S 中出现的概率；2log (1/)i p 表示包含在i S 中的信息量，也就是编码i S 所需要的位数 假设符号i S 编码后长度为l i (i=1,…,n)，则平均编码符号长度L 为：i i i L p l =∑ 2. 压缩比 设原始字符串的总长度为L orig 位,编码后的总长度为L coded 位，则压缩比R 为 R = (L orig - L coded )/ L orig 【例子】 有一幅40个象素组成的灰度图像，灰度共有5级，分别用符号A 、B 、C 、D 和E 表示，40个象素中出现灰度A 的象素数有15个，出现灰度B 的象素数有7个，出现灰度C 的象素数有7个等等，如表1所示。如果用3个位表示5个等级的灰度值，也就是每个象素用3位表示，编码这幅图像总共需要120位。 根据Shannon 理论，这幅图像的熵为 H (S ) = (15/40)?2log (40/15)+(7/40)?2log (40/7)+ +(5/40)?2log (40/5)=2.196 平均编码符号长度L 为(15/40)*1+(7/40)*3+(7/40)*3+(6/40)*3+(5/40)*3 ＝ 2.25 根据霍夫曼编码原则可以得到如下的霍夫曼编码表。 霍夫曼码的码长虽然是可变的，但却不需要另外附加同步代码。例如，码串中的第1位为0，那末肯定是符号A ，因为表示其他符号的代码没有一个是以0开始的，因此下一位就表示下一个符号代码的第1位。同样，如果出现“110”，那么它就代
第五章 信源编码（第十讲） （2课时） 主要内容：（1）编码的定义（2）无失真信源编码 重点：定长编码定理、变长编码定理、最佳变长编码。 难点：定长编码定理、哈夫曼编码方法。 作业：5。2，5。4，5。6； 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 通信的实质是信息的传输。而高速度、高质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。 一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。这些结论对各种通信系统的设计和估价具有重大的理论指导意义。 §3.1 编码的定义 编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。 讨论无失真信源编码，可以不考虑干扰问题，所以它的数学描述比较简单。图 3.1是一个信源编码器，它的输入是信源符号},,,{21q s s s S =，同时存在另一符号},,,{21r x x x X =，一般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的一一对应的序列。 输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。可见，编码就是从信源符号到码符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。 码符号的分类： 下图是一个码分类图
信源编码与信道编码解析 摘要：衡量一个通信系统性能优劣的基本因素是有效性和可靠性，有效性是指信道传输信息的速度快慢，可靠性是指信道传输信息的准确程度。在数字通信系统中，信源编码是为了提高有效性，信道编码是为了提高可靠性，而在一个通信系统中，有效性和可靠性是互相矛盾的，也是可以互换的。我们可以用降低有效性的办法提高可靠性，也可以用用降低可靠性的办法提高有效性。本文对信源编码和信道编码的概念，作用，编码方式和类型进行了解析,以便于更好的理解数字通信系统的各个环节。 关键字：信源编码信道编码 Abstract: the measure of a communication system the basic factor is quality performance efficiency and reliability, effectiveness refers to channel to transfer information machine speed, reliability is to point to the accuracy of the information transmission channel. In digital communication system, the source coding is in order to improve the effectiveness, channel coding is in order to improve the reliability, and in a communication system, effectiveness and reliability is contradictory, is also can be interchanged. We can use to reduce the availability of improving the reliability, also can use to improve the effectiveness of reduces reliability. In this paper, the source coding and channel coding concept, function, coding mode and the types of analysis, in order to better understand all aspects of digital communication systems. Key words: the source coding channel coding 中图分类号：TN911.21 文献标识码：A 文章编号： 1引言 数字通信系统： 信源是把消息转化成电信号的设备，例如话筒、键盘、磁带等。 信源编码的基本部分是压缩编码。它用于减小数字信号的冗余度，提高数字信号的有效性，如果是模拟信源，则它还包括数模转换功能，在某些系统中，信源编码还包括加密功能。
《信息论与信源编码》实验报告 1、实验目的 (1) 理解信源编码的基本原理； (2) 熟练掌握Huffman编码的方法； (3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。 2、实验设备与软件 (1) PC计算机系统 (2) VC++6.0语言编程环境 (3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S (4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。 (5) 实验所需要的bmp格式图像（灰度图象若干幅） 3、实验内容与步骤 (1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。 (2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像 3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响； (3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异； (4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。 4、实验结果及分析 (1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下： a.图像1.bmp：
第四章信源编码习题解答 1、一个信源由: 1） 2）分别计算每个唯一可译码得平均码长与编码效率。 解:1)A、B、C、D、E、F就是非奇异码。A、B、C、F就是唯一可译码(E不满足克拉夫特不等式)。A、C、F就是即时码(B就是续长码)。 3）编码A: 平均码长: 信源熵:比特/消息 编码效率: 编码B与C: 平均码长: 111111 23456 2.125 2416161616 B C L L ==+?+?+?+?+?=码元/消息 编码效率: 编码F: 平均码长: 编码效率: 2、离散无记忆信源X得概率空间为: 1)对其进行费诺编码,并计算其编码效率; 2)对其进行哈夫曼编码,并将其编码效率与费诺编码相比较。解:1)费诺编码:
平均码长:()()()0.20.1720.190.180.1530.10.014 2.74L =+?+++?++?=码元/符号 信源熵: ()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号 编码后平均码元熵:比特/码元 编码效率: 2)哈夫曼编码: 码长 码字 信源X p (X ) 2 10 x 1 0、20 2 11 x 2 0、19 3 000 x 3 0、18 3 001 x 4 0、17 3 010 x 5 0、15 4 0110 x 6 0、10 4 0111 x 7 0、01 平均码长:()()()0.20.1920.180.170.1530.10.014 2.72L =+?+++?++?=码元/符号 编码后平均码元熵:比特/码元 编码效率: 与费诺编码相比,哈夫曼编码得编码效率要高于费诺编码。 一般情况下哈夫曼编码效率较高,但费诺编码如果每次划分概率很接近,则效率也很高。 3、离散无记忆信源X 得概率空间为: 1)对其进行费诺编码; 2)对其进行哈夫曼编码。 解:1)费诺编码:
WCDMA技术的信源编码和信道编码 WCDMA网络是全球商用时间最长，技术成熟、可演进性最好的，全球第一个3G商用网络就是采用WCDMA制式。我国采用了全球广泛应用的WCDMA 3G技术，目前已全面支持HSDPA/HSUPA，网络下载理论最高速率达到14.4Mbps。2G无线宽带的最高下载速度约为150Kbps，我国的WCDMA网络速度几乎是2G网络速度的100倍。支持业务最广泛，基于WCDMA成熟的网络和业务支撑平台，其所能实现的3G业务非常丰富。无线上网卡、手机上网、手机音乐、手机电视、手机搜索、可视电话、即时通讯、手机邮箱、手机报等业务应用可为用户的工作、生活带来更多的便利和美妙享受。终端种类最多，截至2008年底，支持WCDMA商用终端的款式数量超过2000款，全球主要手机厂商都推出了为数众多的WCDMA手机。国内覆盖广泛，截至2009年9月28日，联通3G网络已成功在中国大陆285个地市完成覆盖并正式商用，新覆盖的城镇数量还在不断增长中，联通3G网络和业务已经覆盖了中国绝大部分的人口和地域。开通国家最广，可漫游的国家和地区最多，截至2008年底，全球已有115个国家开通了264个WCDMA网络，占全球3G商用网络的71.3%。截至2009年9月28日，中国联通已与全球215个国家的395个运营商开通了。 WCDMA的优势明显，技术成熟，在WCDMA物理层来看，信源编码和信道编码是WCDMA技术的基础，信源编码是采用语音编码技术，AMR语音编码技术是由基于变速率多模式语音编码技术发展而来，主要原理在于：语音编码器模型由一系列能提供多种编码输出速率与合成质量的声码器构成AMR支持八种速率。鉴于不同信源比特对合成语音质量的影响不同AMR 语音编码器输出的话音比特在传输之前需要按照它们的主观重要性来排序分类，分别采用不同保护程度的信道编码对其进行编码保护。 信源编码AMR模式自适应选择编码器模式以更加智能的方式解决信源和信道编码的速率匹配问题，使得无线资源的配置和利用更加灵活和高效。实际的语音编码速率取决于信道条件，它是信道质量的函数。而这部分工作是解码器根据信道质量的测量参数协助基站来完成，选择编码模式，决定编码速率。原则上在信道质量差时采用低速率编码器，就能分配给信道编码更多的比特冗余位来实现纠错，实现更可靠的差错控制。在信道质量好、误比特率较低时采用高速率编码器，能够提高语音质量。在自适应过程中，基站是主要部分，决定上下行链路采用的速率模式。 信源编码AMR编码器原理，WCDMA系统的AMR声码器共有八种编码模式，它们的输出比特速率不同。为了降低成本和复杂度，八种模式都采用代数码本激励线性预测技术，它们编码的语音特征参量和参量提取方法相同，不同的是参量的量化码本和量化比特数。AMR语音编码器根据实现功能大致可分为LPC分析、基音搜索、代数码本搜索三大部分。其中LPC分析完成的主要功能是获得10阶LPC滤波器的-.个系数，并将它们转化为线谱对参数，并对LSF进行量化；基音搜索包括了开环基音分析和闭环基音分析两部分，以获得基音延迟和基音增益这两个参数；代数码本搜索则是为了获得代数码本索引和代数码本增益，还包括了码本增益的量化。
实验三 无失真信源编码 一、[实验目的] 1、理解香农第一定理指出平均码长与信源之间的关系； 2、加深理解香农编码具有的重要的理论意义。 3、掌握霍夫曼编码的原理； 4、掌握霍夫曼编码的方法和步骤； 二、[实验环境] windows XP,MATLAB 7 三、[实验原理] 香农第一定理： 设离散无记忆信源为 12 (1) (2)....()S s s sq P p s p s p sq ????=???????? 熵为H(S)，其N 次扩展信源为 12 (1) (2)....()N q S p p p q P αααααα????=???????? 熵为H(S N )。码符号集X=（x1,x2,…,xr ）。先对信源N S 进行编码，总可以找 到一种编码方法，构成惟一可以码，使S 中每个信源符号所需的平均码长满足： 1N L H S H S N N +>≥（）（）logr logr 当N →∞时 lim ()N r N L H S N →∞= N L 是平均码长 1 ()N q N i i i L p αλ==∑ i λ是i α对应的码字长度 四、[实验内容] 1、在给定离散无记忆信源 S P s1 s2 s3 s4 1/8 5/16 7/16 1/8 =
条件下，实现二进制霍夫曼编码，求最后得到的码字并算出编码效率。 五、[实验过程] 每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法； 某一离散信源概率分布：p=[1/2,1/4,1/8,1/16,1/16] 求信源的熵，并对该信源进行二元哈夫曼编码，得到码字和平均码长以及编码效率。 Matlab程序： function [h,l]=huffman(p) p=[1/2 1/4 1/8 1/16 1/16]; if length(find(p<0))~=0, error('Not a prob.vector,there is negative component') end if abs (sum(p)-1)>10e-10 error('Input is not a prob.vector,the sun of the components is not equal to 1') end n=length(p); q=p; m=zeros(n-1,n); for i=1:n-1 [q,l]=sort(q); m(i,:)=[l(1:n-i+1),zeros(1,i-1)]; q=[q(1)+q(2),q(3:n),1]; end for i=1:n-1 c(i,:)=blanks(n*n); end c(n-1,n)='0'; c(n-1,2*n)='1'; for i=2:n-1
5.1 设信源12 34567()0.20.190.180.170.150.10.01X x x x x x x x P X ????=???????? (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= 0.0 --- 0.000000 2) 0.2*2 = 0.4 0 0.4*2 = 0.8 0 0.8*2 = 1.6 1 3) 0.39 * 2 = 0.78 0 0.78 * 2 = 1.56 1 0.56 * 2 = 1.12 1 4) 0.99 * 2 = 1.98 1 0.98 * 2 = 1.96 1 0.96 * 2 = 1.92 1 0.92 * 2 = 1.84 1 0.84 * 2 = 1.68 1 0.68 * 2 = 1.36 1 0.36 * 2 = 0.72 0 (3) % 1.8314.3609.2)()(14 .301 .071.0415.0317.0318.0319.032.03)(=====?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η
5.2 对信源??????=????? ?01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。 % 2.9574.2609.2)()(74 .2=====K X H R X H i η 5.3 对信源??????=????? ?01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： % 9.9572.2609.2)()(72 .2=====K X H R X H i η
PCM非均匀量化与编码 实验报告
一、实验目的 (1). 了解模拟信号数字化的三个基本步骤：抽样、量化、编码。 (2). 抽样频率、量化级数对信号数字化的影响. (3). 加深对非均匀量化的理解。 (4). 理解信息速率与抽样量化编码的关系。 (5). 掌握MATLAB语言的函数调用，提高编程编程能力,，为之后的学习做准备。 二、实验内容： 对模拟信号进行抽样、量化并进行13折线PCM编码，运用Matlab软件实现PCM编码全过程。 三、实验步骤与结果 1、抽样： 产生一个周期的正弦波x(t)=1024cos(2πt)mv ，分别以4HZ和32Hz的频率进行采样用plot函数在绘出原信号和抽样后的信号序列(可用stem函数)。(4Hz保存为图1，32Hz保存为图2) function sample(f) t=0:1/f:1; y=1024*cos(2*pi*t); stem(t,y,'b','filled'); hold on; T=1:0.01:1; Y=1024*cos(2*pi*T); plot(T,Y,'r');
2、均匀量化： 对以32Hz的抽样频率进行抽样后的信号的绝对值分别进行8级和2048级均匀量化。在同一张图上绘出正弦波波形(用plot函数)、量化图(用stairs函数)。(保存为图3) function y=Even(n,m) t=0:1/m:1; x=1024*cos(2*pi*t); a=-1024:2048/n:1024; for i=1:m+1 for j=1:n if (x(i)>=a(j)&x(i)<=a(j+1)) y(i)=(a(j)+a(j+1))/2; end end end y=y/max(y); if(n==8) stairs(t,y,'b'); end if(n==2048) stairs(t,y,'k') end axis([0 1 -1.5 1.5]); hold on;
5.1 设信源? ?????=??????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= %1.8314.3609 .2)()(14 .301 .071.0415.0317.0318.0319.032.03)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.2 对信源? ?????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。 解：
%2.9574.2609 .2)()(74 .201 .041.0415.0317.0218.0319.032.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.3 对信源??????=??????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： %9.9572.2609 .2)()(72 .201 .041.0415.0317.0318.0319.022.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 三进制哈夫曼码：
信源编码和信源解码 字、符号、图形、图像、音频、视频、动画等各种数据本身的编码通常称为信源编码，信源编码标准是信息领域的基础性标准。无论是数字电视、激光视盘机，还是多媒体通信和各种视听消费电子产品，都需要音视频信源编码这个基础性标准。 大家用电脑打字一定很熟悉，当你用WORD编辑软件把文章（DOC文件）写完，存好盘后，再用PCTOOLS工具软件把你的DOC文件打开，你一定能看到你想象不到的东西，内容全是一些16进制的数字，这些数字叫代码，它与文章中的字符一一对应。现在我们换一种方法，用小画板软件来写同样内容的文章。你又会发现，用小画板软件写出来的BMP文件，占的内存（文件容量）是DOC文件的好几十倍，你知道这是为什么？原来WORD编辑软件使用的是字库和代码技术，而小画板软件使用的是点阵技术，即文字是由一些与坐标位置决定的点来组成，没有使用字库，因此，两者在工作效率上相差几十倍。[信源]->[信源编码]->[信道编码]->[信道传输+噪声]->[信道解码]->[信源解码]->[信宿] 目前模拟信号电视机图像信号处理技术就很类似小画板软件使用的点阵技术，而全数字电视机的图像信号处理技术就很类似WORD编辑软件使用的字库和代码技术。实际上这种代码传输技术在图文电视中很早就已用过，在图文电视机中一般都安装有一个带有图文字库的译码器，对方发送图文信号的时候只需发送图文代码信息，这样可以大大地提高数据传输效率。 对于电视机，显示内容是活动图像信息，它哪来的“字库”或“图库”呢？这个就是电视图像特有的“相关性”技术问题。原来在电视图像信号中，90%以上的图像信息是互相相关的，我们在模拟电视机中使用的Y/C（亮度信号/彩色信号）分离技术，就是利用两行图像信号的相关性，来进行Y/C分离。如果它们之间内容不相关，Y/C信号则无法进行分离。全数字信号电视也一样，如果图像内容不相关，则图像信号压缩也就要免谈。如果图像内容有相关性，那么上一幅图像的内容就相当于下一幅图像的“图形库”，或一幅图像中的某部分就是另一部分的“图形库”，因此，下一幅图像或图像中某一个与另一个相关的部分，在发送信号时，只需发送一个“代码”，而传送一个“代码”要比送一个“图形库”效率高很多，显示时也只需把内容从“图形库”中取出即可，这就是MPEG图像压缩的原理。 利用电视信号的相关性，可以进行图像信号压缩，这个原理大家已经明白，但要找出图像相关性的内容来，那就不是一件很容易的事情，这个技术真的是太复杂了。为了容易理解电视图像的相关性，我们不妨设想做一些试验，把图像平均分成几大块，然后每一块，每一块的进行比较，如果有相同的，我们就定义它们有相关性；如果没有相同的，我们继续细分下去，把每大块又分成几小块，一直比较下去，最后会发现，块分得越细，相同块的数目就越多，但分得太细需要的代码也增多，所以并不是分得越细越好。我们在看VCD的时候经常发现，如果VCD读光盘数据出错，就会在图像中看到“马赛克”，这些“马赛克”就是图像分区时的最小单位，或把数码相片进行放大，也可以看到类似“马赛克”的小区，这就是数码图像的最小“图形库”，每个小“图形库”都要对应一个“代码”。 在单幅图像中找出相关性的几率并不是很大的，所以对单幅图像的压缩率并不很大，这个通过观察数码相片的容量就很容易明白，如果把寻找相关性的范围扩大到两幅图像，你就会发现，具有相关性的内容太多了，这是因为运动物体对于人的眼睛感觉器官来说，是很慢
第四章信源编码习 题解答
第四章信源编码 习题解答 1、一个信源由6个消息组成，其概率分布已知，对其进行信源编码得如下表所示6种编码方法： 1） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？ 2） 分别计算每个唯一可译码的平均码长和编码效率。 解：1）A 、B 、C 、D 、E 、F 是非奇异码。A 、B 、C 、F 是唯一可译码（E 不满足克拉夫特不等式）。A 、C 、F 是即时码（B 是续长码）。 3） 编码A ： 平均码长：3A L = 码元/消息 信源熵：111111 ()lb lb 4lb 222441616H X =---?=比特/消息 编码效率：max ()/2/3 66.7%lb21 A H H X L H η====码码 编码 B 和 C ： 平均码长：1 11111 23456 2.1252416161616 B C L L ==+?+?+?+?+?= 码元/消息 编码效率：max ()/2/2.12594.1%lb21 B C H H X L H ηη=====码码 编码F ： 平均码长：111234 2.52 4 16F L ?? =?+?+? = ??? 码元/消息
编码效率：max ()/2/2.5 80%lb21 F H H X L H η====码码 2、离散无记忆信源X 的概率空间为：1 234567()0.200.190.180.170.150.100.01X x x x x x x x p X ????=??? ?? ??? 1）对其进行费诺编码，并计算其编码效率； 2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。 解：1）费诺编码： 平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+?+++?++?=码元/符号 信源熵： ()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号 编码后平均码元熵：() 2.60874 0.95212.74H X H L = ==码比特/码元 编码效率：max 0.9521 95.21%lb2 H H η= ==码码 2）哈夫曼编码： 码长 码字 信源X p (X ) 2 10 x 1 2 11 x 2