§3.3信源编码定理
由于信源具有渐进等分割性这一很有意义的性质，这使得它在数据压缩及图像压缩中发挥了巨大作用，下面我们引入信源编码定理。
设u = {u 1,u 2,u 3…u n }是服从分布p(u)的无记忆信源产生的n 长序列，我们总是希望找到一种有效的编码方法来描述这些序列，使得编码以后码子数长尽可能少，但又要使从码字复原原序列的错误概率尽可能小。
一个行之有效的方法是将║χ║n 个序列序列分成典型序列与非典型序列两部分，对u ∈)(n W ε的每一个序列u 赋予一个编号，称每个编号为一个码字，码字集合I = ｛1，2，…，M ｝，M = ║)(n W ε║，对于那些序列u ∈)(n W ε，统一编号为字母α，这样，在从编码后的码字复制原序列时，如果收到码字是i ∈I,则可唯一的复原成某个u ∈)(n W ε，否则如果收到的
是α，则原序列无法正确复制。我们记这种编码的码率为M n
log 1
(bit)，其误差概率为e P = p{u ∈)(n W ε}。
为了给出信源编码正定理，我们作以下预备。 设N 长信源序列集合为S ，典型序列集合为)(n W ε，则 1 = ∑∈s
u u p )(≥
∑
∈
W u p n u )
()(ε≥
∑∈
+-W n u U H n )
(2
]
)([ε
ε =║)(n W ε║.2
]
)([ε+-U H n ，
从而 ║)(n W ε║≤2]
)([ε+-U H n 。
又因为
1-δ< p(u)≤║)(n W ε║.max
)()
(u p W n u ε
∈
≤║)
(n W ε
║.2
]
)([ε--U H n
故有 ║)(n W ε║≥()2]
)([1εδ--?-U H n
这样就有 ()2]
)([1εδ--?-U H n ≤║)
(n W ε
║≤2]
)([ε+U H n 。
于是其码率满足()ε-1log 1n
+()U H -ε≤
)
(log 1n W n
ε
≤()ε+U H
误差概率为
}{
εε
<∈=)
(n e W u P P
令0→ε，当∞→n 时，码率接近()U H 而0→e P 。 这就是我们所说的信源编码正定理。
相反的，如果我们用少于()U H 比特的码率对信源序列进行压缩编码可否？答案是否。我们可以证明，如果码率小于()δ-U H ，其中δ
0>δ不随∞→n 而改变，则当+∞→n 时，
1→e P ，现在证明之。
假设我们用码率为()δ-U H 的n 长分组码进行编码，则码字总数为])([2δ-u H n ，我们用其中一部分码字对典型序列)(n e W u ∈进行编码，另一部分对非典型序列)(n e W u ∈进行编码，有渐进等分割性定理有，能被编码的典型序列的总概率上界为 )
(n ]
)([]
)([2
22εδεδ-----=?U H n U H n 则能被编码的序列全体的概率上界为 εεδεδ+<∈+---)()()(2}{2n n e n W u p
当∞→n 时成立。这也是能被正确复制的序列之概率e P -1，从而 )(21εδ--<-n e P ，或)(21εδε---->n e P ，
对于εδ>及充分大的n ，上述不等式成立。从而当∞→n 时，有δεδ<--)(2n ，于是
ε21->e P 。当∞→n ，0→ε时，1→e P ，此即证明了信源编码反定理。
综合上面的讨论及证明，我们有下列定理。
定理3.3.1（信源编码定理）设1X ，2X ，…为无记忆信源，服从公共分布()x p ，
①当码率)(log 1)
(X H W n
R n >=ε
时，存在码率为R 的编码，使得∞→n 时，
误差率0→e P 。
②当码率δε
-<=
)(log 1)
(X H W n
R n ，其中0>δ且不随+∞→n 而变化，则对
任何以码率为R 的编码，当+∞→n 时，1→e P 。
=====================================================================
§3.4等长码与变长码
本节讨论对信源进行变长编码的问题，变长码往往在码长n 不很大时就可以编出效率很高而且无失真的码。
定义 3.4.1 给定一个信源字母集合},,{21n x x x =χ的一个消息序列χ∈x ，映射
k
n
u f →χ:称为一个等长码编码函数（其中n,k 为正整数，}1,,1,0{-=D u 为D 进制码
字字母组合），这时我们称k
u x f ∈)(为一个码字，码字全体所构成的集合称为由f 编出的等长码，记为
})({χ∈=x x f c
例3.4.1 设随即变量
???? ??8181412
14321~X 其熵bit x H 75.18
1log
8181log
8141log
4121log
21)(=--
-
-
=
如用等长码编码，则
则码率/75.12bit R >=信源符号。
例3.4.2 对例3.4.1中信源，如果我们用不等长码
则每个信源字母所需的平均码长为
)(75.1)()(4
1
X H bit
i l i P L i ===
∑=
)(i l 表示字母i 的码字长，可见用不等长码比等长码更有效。
从上面的例子可以看出，变长码比等长码平均所需的码长更小，另外，等长码在实际实际应用时有两问题，一是编译码的同步问题，即如何使译码端知道每一个码字的起点；另一个是如何有效处理分组长度与编译码复杂性、编译码延时等的关系。
对于第一个问题，可采用两种办法解决。第一种办法是在每个码字前面加上一段很短的同步序列作为码字前缀，第二种方法是每隔若干个码字插入一个较长的同步序列，在正确选择同步序列和其他相关参数的情况下，这两种方法所付出的代价都可以很小。
对于第二个问题，为了使编码真正有效，信源输出序列的分组长度必须很大，这导致编译码的延时和编译码器复杂性的增加。人们曾经企图通过分组长度和译码差错率之间的关系的分析来为工程上的折衷设计方案提供依据，但实际却很难采用。
基于等长码的这些缺陷，人们试图找到更好的编码方案，这里引入具有很大实用价值的变长码。
定义 3.4.2 设编码函数k n u f →χ:，则相应的存在一个映射n
k u χψ→:称为译码函数，并且我们称),(ψf 为一个编译码方案。
变长编码（也称不等长编码）允许将等长的消息编为不等长码字。 下面我们给出变长码的严格定义。
定义3.4.3 设χ为一个信源字母集，u 为D 进制码字母集，n 为任意选定的正整数，
n
χ信源字母 码字 1 00 2 01 3 10 4
11
信源字母 码字 1 0 2 10 3
110 4 111
为由χ中子母组成的n 长序列，*χ和*u 分别表示由χ和u 中元素组成的有限长序列全体组成之集合。映射*:u f n →χ称为一个变长编码，记为f 。同样地，映射n u χψ→*:称为一个译码，记为ψ，用)(x f 表示n x χ∈的码字，)(x l 表示)(x f 的码字长度。
称映射***:u f →χ是编码f 的有限扩张码，如果对*χ中任意有限长序列
()*21,,χ∈m x x x 有
))(),(),((),,(2121*
m m x f x f x f x x x f =
称f 为唯一可译码。
例3.4.3 设一离散信源模型如下
???
?
??=???? ??818
14
12
14321)(x p X
由于编码函数f 是一一映射，所以这是一个唯一可以码。
定义3.4.4 称唯一可译码f 为即使编码（瞬时编码），如果f 编出的码字集中，没有一个码字是其它码字的前缀，这样的f 编出的码称为即时码（瞬时码）。
即时码一定是唯一可译码，反之不然。 例3.4.4 一个编码如下
这个码显然是唯一可译码，单不是即时码，因为我们至少可以找到0码字是01码字或011码字的前缀。
变长码的优势在于它能用较小的码长来传输信息。
定义 3.4.5 设)(x l 表示信源字母x 的码字长，)(x p 为该信源字母所对应的概率，我
信源字母
码字 1
0 2 01 3 011 4
111
信源字母
码字 1 00 2 01 3 10 4
11
们定义下列每个信源字母所需的平均码长公式：
)()(x l x p L x ∑
∈=
χ
下面，我们看一例子。
例3.4.5 我们对信源字母1,2,3,4进行编码，字母和码字对应如下：
1114;1103;102;01→→→→ 8
1)4(,81)3(,41)2(,21)1(=
=
=
=
p p p p
则这个信源字母的平均码长为
bit i l i p L i 75.138
138
124
112
1)()(4
1
=?+
?+
?+
?=
=
∑
=
下面在看几个定理。
定理 3.4.1 对于码符号集为},,{21r x x x u =的任意r 进制即时码，其码字为
m w w w ,,,21 ，所对应的码长为m l l l ,,,21 ，则必须满足
11
≤∑=-m
i l i
r
反之，若码长满足上述不等式，则一定存在具有这样的码长的r 进制即时码，这里称上述不等式为克拉夫特（Kraft ）不等式。
证明 首先给出码树图的概念。图3.4.1画出的就是码树图，其中（a ）是二进码树，（b ）是三进码树。
0 0 B 0 1 0 1 0 0 1 2 0 1 0 2 0 A 1 A 1 1 1 0 0 2 1 2 B 0 D 0 2 1 1 C
2
（a ）二进码树 （b ）三进码树 图3.4.1 码树图
A 点为根点，分为r 个分支，每个分支的终了称结点。如果码树上每个结点都有r 个分支，称这样的码树为r 进码树，用它来表示码字字母取值r 进符号集的码。相邻两个结点用一线段相连，称为边。从根点到任一结点之间的边构成一条路，其所含的边数称为路长。每个结点分出r 个分支分别称为以0,1,2，…，r-1，则树上每一条路都可用对应的一串r 进数字表出，它可表示一个码字，如（a ）中的ABCD 对应011，（b ）中的ABCD 对应220.
设码树上最长的路为k ，如果r 进码树上k 长的路的终点都被用作码子时，共用k r 个码字，这时每个码字长都是k,即是定长码，这种树称满树，如图3.4.1（a ）所示。当有些结点未用时，如图3.4.1（b ）则称非满树，此时的码字长不等，称变长码。
现设C 为一取值于r 进字母集的即时码，码字长分别为m l l l ,,,21 。
对一个即时码来说，如果码树上某个结点已被选作码字，那么它以后的结点就不能再作码字。
记max l 为最大的码字长度，考察在第max l 层上的所有结点，它们中有些可能是码字，有些则是另一些码字的后继点，有些二者都不是。处于第i l 层上的码字结点在第max l 层上有
i l l -max 个后继结点。对不同的码字结点，它们的后继结点集市互不相交的。而这些后继点
总数应超不过max l r ，于是对所有码字求和可得
r
r
l i
l l i
max
max ≤
∑-
即
1≤∑-i
l r
i
此即为Kraft 不等式。
反之，对给定的一个满足Kraft 不等式的码长集},,,{21m l l l ，我们来构造一个以它们为码长的即时码。不妨设码长集按不减次序排列，即假设
m l l l ≤≤≤ 21
首先构造一个最长路为m l 的r 进码的满树，在码树上的结点按字典顺序排列，位于长为l 的路的终点之结点称之为处于l 层上。因为11≥l ，故11≥l
r ，所以总可以在第1l 层上找到结点作为第一个码字，然后删去该结点作为第二个码字点，…，以此类推。假设时
11-≤≤m i 已成功找到前i 个码字，当i j ≤≤1，对每个长为j l 的码字，在码字树上有j
i l l r
-+1个处于1+i l 层上的后继点。由于已经找到前i 个码字互不为其它码字的前缀，因此，它们在码树上的后继结点集互不相交，而原码树上处于1+i l 层得结构总数为1
+i l r ，现在可供选作第
1+i 个码字的结点数为
i
i i i l l l l l r
r
r
--+++---11
11
如果m l l l ,,,21 满足Kraft 不等式，即
111≤++++---i i l l l r r r 将两边同乘1+i l r ，并进行重排得
11111≥-----+++i i i i l l l l l r r r
这说明总可以找到至少一个结点作为第1+i 个码字。根据数学归纳法就证明了可以构造一个即时码，其码字长度结为},,,{21m l l l ，证毕。
定理 3.4.2 对于码符号为},,,{21r x x x u =的任意r 进制唯一可译码，其码字为
m w w w ,,,21 ，所对应码长为m l l l ,,,21 ，必满足Kraft 不等式11
≤∑=-m
i l i
r
。
反之，若码长满足Kraft 不等式，则一定存在具有这样码长的r 进制唯一可译码。 定理 3.4.3 设X 为离散无记忆信源，并且满足∞<)(X H ，信源字符集},,,{21m x x x =χ，其概率分布为)}({x P ，则可以构造一个r 进制即时码并且此码的平均
码长L 满足下列不等式：
1)()(+<≤X H L X H
证明 先证明左边不等式。
对于每个码字有码长),,2,1(m k l k =。
∑
∑
∑=-=∈=
-
-=-m
i i i
l
i i m
i i x x p r
x p l x p x p x p L X H 1
1
)
(log
)()()(log )()(χ
应用不等式1log -≤x x ，可以得到
011)()()(1
1
≤-=???
?
??-≤
-∑∑
=--=m
i l i l m
i i i
i r
x p r x p L X H
上不等式成立是因为满足Kraft 不等式，等号成立当且仅当
m i r
x p i
l i ,,2,1,)( ==-
接着证明右边不等式。 我们选取码长i l 满足1
)(+--<≤i i
l i l r
x p r
。首先考虑)(i l x p r
i
≤-，两边作和
1)(1
1
=≤
∑
∑==-m
i i m i l x p r
i
上式说明存在一个码满足即时码的条件。
再设1
)(+-
x p ,我们有1)(log +-
对上式两边同乘)(i x p 并对i 作和有
)(log )()()(1
1
1
i m
i i m
i i i m
i i x p x p x p l x p ∑∑
∑
===-<
从而1)(+ 这个定理给出了我们构造一个即时码的平均码长的上下界，同时，这个界也可衡量码的好与坏。 下面，我们来看一种性能较好的码：Huffman 码。 第5章_无失真信源编 码题与答案 本页仅作为文档封面，使用时可以删除 This document is for reference only-rar21year.March 有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字， 110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3) 3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L 信源编码的基本原理及其应用 课程名称通信原理Ⅱ 专业通信工程 班级******* 学号****** 学生姓名***** 论文成绩 指导教师***** ****** 信源编码的基本原理及其应用 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？ 通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理： 信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵： 香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面： (1)信源的建模 信源输出信号的数学描述已有成熟的理论——随机过程，一般的随机过程理∑=-=L i i i x p x p x H 12) (log )()()(x H 通信原理复习资料 第一章 绪论 1、模拟通信系统模型 模拟通信系统是利用模拟信号来传递信息的通信系统 2、数字通信系统模型 数字通信系统是利用数字信号来传递信息的通信系统 3、数字通信的特点 优点： （1）抗干扰能力强，且噪声不积累 （2）传输差错可控 （3）便于处理、变换、存储 （4）便于将来自不同信源的信号综合到一起传输 （5）易于集成，使通信设备微型化，重量轻 （6）易于加密处理，且保密性好 缺点： （1）需要较大的传输带宽 （2）对同步要求高 4、通信系统的分类 （1）按通信业务分类：电报通信系统、电话通信系统、数据通信系统、图像通信系统 （2）按调制方式分类：基带传输系统和带通（调制）传输系统 （3）按信号特征分类：模拟通信系统和数字通信系统 （4）按传输媒介分类：有线通信系统和无线通信系统 （5）按工作波段分类：长波通信、中波通信、短波通信 （6）按信号复用方式分类：频分复用、时分复用、码分复用 ★★5、通信系统的主要性能指标：有效性和可靠性 有效性：指传输一定信息量时所占用的信道资源（频带宽度和时间间隔）， 是“速度”问题； 模拟通信系统模型 信息源 信源编码 信道译码 信道编码信 道数字调制 加密 数字解调解密 信源译码 受信者 噪声源 数字通信系统模型 可靠性：指接收信息的准确程度，也就是传输的“质量”问题。 （1）模拟通信系统： 有效性：可用有效传输频带来度量。 可靠性：可用接收端解调器输出信噪比来度量。 （2）数字通信系统： 有效性：用传输速率和频带利用率来衡量。 可靠性：常用误码率和误信率表示。 码元传输速率R B ：定义为单位时间（每秒）传送码元的数目，单位为波特（Baud ）； 信息传输速率R b ：定义为单位时间内传递的平均信息量或比特数，单位为比特/秒。 6、通信的目的：传递消息中所包含的信息。 7、通信方式可分为：单工、半双工和全双工通信 ★8、信息量是对信息发生的概率（不确定性）的度量。一个二进制码元含1b 的信息量；一个M 进制码元含有log 2M 比特的信息量。 9、信息源的熵，即每个符号的平均信息量：)x (p log )x (p I i 2n 1 i i ∑=- = 结论：等概率发送时，信息源的熵有最大值。 第二章 信道与噪声 一 确知信号与随机过程 1、确知信号：是指其取值在任何时间都是确定的和可预知的信号，通常可以用数学公式表示它在任何时间的取值。 2、确知信号的类型 （1）按照周期性区分：周期信号和非周期信号 （2）按照能量区分：能量信号和功率信号： 特点：能量信号的功率趋于0，功率信号的能量趋于￥ 3、确知信号在频域中的性质有四种，即频谱、频谱密度、能量谱密度和功率谱密度。 4、确知信号在时域中的特性主要有自相关函数和互相关函数。 ★ 5、自相关函数反映一个信号在不同时间上取值的关联程度。能量信号的自相关函数R （0）等于信号的能量；功率信号的自相关函数R （0）等于信号的平均功率。 6、随机过程是一类随时间作随机变化的过程，它不能用确切的时间函数描述。 ★7、随机过程具有随机变量和时间函数的特点，可以从两个不同却又紧密联系的角度来描述：①随机过程是无穷多个样本函数的集合②随机过程是一族随机变量的集合。 ★8、随机过程的统计特性由其分布函数或概率密度函数描述。 9、高斯过程的概率分布服从正态分布，它的完全统计描述只需要它的数字特征。 ★★10、瑞利分布、莱斯分布、正态分布是通信中常见的三种分布：正弦载波信号加窄带高斯噪声的包络为莱斯分布；当大信噪比时，趋近于正态分布；小信噪比时近似为瑞利分布。 11、窄带随机过程：若随机过程x (t )的谱密度集中在中心频率f c 附近相对窄的频带范围Df 内，即满足Df << f c 的条件，且 f c 远离零频率，则称该x (t )为窄带随机过程。 ★★12、宽平稳随机过程的定义：P ？？. ★★13、各态历经性定义及应用：P ？？ 宽平稳与各态历经性的关系。 二、信道分类： （1）无线信道 － 电磁波（含光波） 有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； * (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r ） E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3) 3125 .16161 5161416131612411213 =?+?+?+?+?+?=?===∑i i i C B A l p L L L 设离散信源的概率空间为 % ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为 100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少 } 解： (1) 数字通信中的信源编码和信道编码 摘要：如今社会已经步入信息时代，在各种信息技术中，信息的传输及通信起着支撑作用。而对于信息的传输，数字通信已经成为重要的手段。本论文根据当今现代通信技术的发展，对信源编码和信道编码进行了概述性的介绍. 关键词：数字通信；通信系统；信源编码；信道编码 Abstract：Now it is an information society. In the all of information technologies, transmission and communication of information take an important effect. For the transmission of information, Digital communication has been an important means. In this thesis we will present an overview of source coding and channel coding depending on the development of today’s communica tion technologies. Key Words：digital communication; communication system; source coding; channel coding 1.前言 通常所谓的“编码”包括信源编码和信道编码。编码是数字通信的必要手段。使用数字信号进行传输有许多优点, 如不易受噪声干扰, 容易进行各种复杂处理, 便于存贮, 易集成化等。编码的目的就是为了优化通信系统。一般通信系统的性能指标主要是有效性和可靠性。所谓优化，就是使这些指标达到最佳。除了经济性外，这些指标正是信息论研究的对象。按照不同的编码目的，编码可主要分为信源编码和信道编码。在本文中对此做一个简单的介绍。 2.数字通信系统 通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样，综合各种数字通信系统，其构成如图2-l所示。 图2-1 数字通信系统模型 信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。 信道，通俗地说是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号，它提供一段频带让信号通过，同时又给信号加以限制和损害。 信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域，信道编 第七章 信源编码 7-1已知某地天气预报状态分为六种：晴天、多云、阴天、小雨、中雨、大雨。 ① 若六种状态等概出现，求每种消息的平均信息量及等长二进制编码的码长N 。 ② 若六种状态出现的概率为：晴天—；多云—；阴天—；小雨—；中雨—；大雨—。试计算消息的平均信息量，若按Huffman 码进行最佳编码，试求各状态编码及平均码长N 。 解: ①每种状态出现的概率为 6,...,1,6 1 ==i P i 因此消息的平均信息量为 ∑=- ===6 1 22 /58.26log 1 log i i i bit P P I 消息 等长二进制编码的码长N ＝[][]316log 1log 22=+=+L 。 ②各种状态出现的概率如题所给，则消息的平均信息量为 6 2 1 2222221log 0.6log 0.60.22log 0.220.1log 0.10.06log 0.060.013log 0.0130.007log 0.0071.63/i i i I P P bit - == = ------ ≈ ∑消息 Huffman 编码树如下图所示： 由此可以得到各状态编码为：晴—0，多云—10，阴天—110，小雨—1110，中雨—11110， 大雨—11111。 平均码长为： 6 1 10.620.2230.140.0650.01350.0071.68 i i i N n P == =?+?+?+?+?+? =∑— 7-2某一离散无记忆信源（DMS ）由8个字母(1,2,,8)i X i =???组成，设每个字母出现的概率分别为：，，，，，，，。试求： ① Huffman 编码时产生的8个不等长码字； ② 平均二进制编码长度N ； ③ 信源的熵，并与N 比较。 解：①采用冒泡法画出Huffman 编码树如下图所示 可以得到按概率从大到小8个不等长码字依次为： 0100,0101,1110,1111,011,100,00,1087654321========X X X X X X X X 第五章 信源编码（第十讲） （2课时） 主要内容：（1）编码的定义（2）无失真信源编码 重点：定长编码定理、变长编码定理、最佳变长编码。 难点：定长编码定理、哈夫曼编码方法。 作业：5。2，5。4，5。6； 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 通信的实质是信息的传输。而高速度、高质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。 一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。这些结论对各种通信系统的设计和估价具有重大的理论指导意义。 §3.1 编码的定义 编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。 讨论无失真信源编码，可以不考虑干扰问题，所以它的数学描述比较简单。图 3.1是一个信源编码器，它的输入是信源符号},,,{21q s s s S =，同时存在另一符号},,,{21r x x x X =，一般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的一一对应的序列。 输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。可见，编码就是从信源符号到码符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。 码符号的分类： 下图是一个码分类图 信源编码的基本原理 及其应用 信源编码的基本原理及其应用 课程名称通信原理Ⅱ 专业通信工程 班级 ******* 学号 ****** 学生姓名 ***** 论文成绩 指导教师 ***** ****** 信源编码的基本原理及其应用 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？ 通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理： 信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵： 香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面： ∑=-=L i i i x p x p x H 12) (log )()() (x H 信源编码与信道编码解析 摘要：衡量一个通信系统性能优劣的基本因素是有效性和可靠性，有效性是指信道传输信息的速度快慢，可靠性是指信道传输信息的准确程度。在数字通信系统中，信源编码是为了提高有效性，信道编码是为了提高可靠性，而在一个通信系统中，有效性和可靠性是互相矛盾的，也是可以互换的。我们可以用降低有效性的办法提高可靠性，也可以用用降低可靠性的办法提高有效性。本文对信源编码和信道编码的概念，作用，编码方式和类型进行了解析,以便于更好的理解数字通信系统的各个环节。 关键字：信源编码信道编码 Abstract: the measure of a communication system the basic factor is quality performance efficiency and reliability, effectiveness refers to channel to transfer information machine speed, reliability is to point to the accuracy of the information transmission channel. In digital communication system, the source coding is in order to improve the effectiveness, channel coding is in order to improve the reliability, and in a communication system, effectiveness and reliability is contradictory, is also can be interchanged. We can use to reduce the availability of improving the reliability, also can use to improve the effectiveness of reduces reliability. In this paper, the source coding and channel coding concept, function, coding mode and the types of analysis, in order to better understand all aspects of digital communication systems. Key words: the source coding channel coding 中图分类号：TN911.21 文献标识码：A 文章编号： 1引言 数字通信系统： 信源是把消息转化成电信号的设备，例如话筒、键盘、磁带等。 信源编码的基本部分是压缩编码。它用于减小数字信号的冗余度，提高数字信号的有效性，如果是模拟信源，则它还包括数模转换功能，在某些系统中，信源编码还包括加密功能。 《信息论与信源编码》实验报告 1、实验目的 (1) 理解信源编码的基本原理； (2) 熟练掌握Huffman编码的方法； (3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。 2、实验设备与软件 (1) PC计算机系统 (2) VC++6.0语言编程环境 (3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S (4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。 (5) 实验所需要的bmp格式图像（灰度图象若干幅） 3、实验内容与步骤 (1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。 (2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像 3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响； (3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异； (4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。 4、实验结果及分析 (1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下： a.图像1.bmp： WCDMA技术的信源编码和信道编码 WCDMA网络是全球商用时间最长，技术成熟、可演进性最好的，全球第一个3G商用网络就是采用WCDMA制式。我国采用了全球广泛应用的WCDMA 3G技术，目前已全面支持HSDPA/HSUPA，网络下载理论最高速率达到14.4Mbps。2G无线宽带的最高下载速度约为150Kbps，我国的WCDMA网络速度几乎是2G网络速度的100倍。支持业务最广泛，基于WCDMA成熟的网络和业务支撑平台，其所能实现的3G业务非常丰富。无线上网卡、手机上网、手机音乐、手机电视、手机搜索、可视电话、即时通讯、手机邮箱、手机报等业务应用可为用户的工作、生活带来更多的便利和美妙享受。终端种类最多，截至2008年底，支持WCDMA商用终端的款式数量超过2000款，全球主要手机厂商都推出了为数众多的WCDMA手机。国内覆盖广泛，截至2009年9月28日，联通3G网络已成功在中国大陆285个地市完成覆盖并正式商用，新覆盖的城镇数量还在不断增长中，联通3G网络和业务已经覆盖了中国绝大部分的人口和地域。开通国家最广，可漫游的国家和地区最多，截至2008年底，全球已有115个国家开通了264个WCDMA网络，占全球3G商用网络的71.3%。截至2009年9月28日，中国联通已与全球215个国家的395个运营商开通了。 WCDMA的优势明显，技术成熟，在WCDMA物理层来看，信源编码和信道编码是WCDMA技术的基础，信源编码是采用语音编码技术，AMR语音编码技术是由基于变速率多模式语音编码技术发展而来，主要原理在于：语音编码器模型由一系列能提供多种编码输出速率与合成质量的声码器构成AMR支持八种速率。鉴于不同信源比特对合成语音质量的影响不同AMR 语音编码器输出的话音比特在传输之前需要按照它们的主观重要性来排序分类，分别采用不同保护程度的信道编码对其进行编码保护。 信源编码AMR模式自适应选择编码器模式以更加智能的方式解决信源和信道编码的速率匹配问题，使得无线资源的配置和利用更加灵活和高效。实际的语音编码速率取决于信道条件，它是信道质量的函数。而这部分工作是解码器根据信道质量的测量参数协助基站来完成，选择编码模式，决定编码速率。原则上在信道质量差时采用低速率编码器，就能分配给信道编码更多的比特冗余位来实现纠错，实现更可靠的差错控制。在信道质量好、误比特率较低时采用高速率编码器，能够提高语音质量。在自适应过程中，基站是主要部分，决定上下行链路采用的速率模式。 信源编码AMR编码器原理，WCDMA系统的AMR声码器共有八种编码模式，它们的输出比特速率不同。为了降低成本和复杂度，八种模式都采用代数码本激励线性预测技术，它们编码的语音特征参量和参量提取方法相同，不同的是参量的量化码本和量化比特数。AMR语音编码器根据实现功能大致可分为LPC分析、基音搜索、代数码本搜索三大部分。其中LPC分析完成的主要功能是获得10阶LPC滤波器的-.个系数，并将它们转化为线谱对参数，并对LSF进行量化；基音搜索包括了开环基音分析和闭环基音分析两部分，以获得基音延迟和基音增益这两个参数；代数码本搜索则是为了获得代数码本索引和代数码本增益，还包括了码本增益的量化。 5.1 设信源12 34567()0.20.190.180.170.150.10.01X x x x x x x x P X ????=???????? (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= 0.0 --- 0.000000 2) 0.2*2 = 0.4 0 0.4*2 = 0.8 0 0.8*2 = 1.6 1 3) 0.39 * 2 = 0.78 0 0.78 * 2 = 1.56 1 0.56 * 2 = 1.12 1 4) 0.99 * 2 = 1.98 1 0.98 * 2 = 1.96 1 0.96 * 2 = 1.92 1 0.92 * 2 = 1.84 1 0.84 * 2 = 1.68 1 0.68 * 2 = 1.36 1 0.36 * 2 = 0.72 0 (3) % 1.8314.3609.2)()(14 .301 .071.0415.0317.0318.0319.032.03)(=====?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.2 对信源??????=????? ?01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。 % 2.9574.2609.2)()(74 .2=====K X H R X H i η 5.3 对信源??????=????? ?01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： % 9.9572.2609.2)()(72 .2=====K X H R X H i η 5.1 设信源? ?????=??????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= %1.8314.3609 .2)()(14 .301 .071.0415.0317.0318.0319.032.03)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.2 对信源? ?????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。 解： %2.9574.2609 .2)()(74 .201 .041.0415.0317.0218.0319.032.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.3 对信源??????=??????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： %9.9572.2609 .2)()(72 .201 .041.0415.0317.0318.0319.022.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 三进制哈夫曼码： 信源编码和信源解码 字、符号、图形、图像、音频、视频、动画等各种数据本身的编码通常称为信源编码，信源编码标准是信息领域的基础性标准。无论是数字电视、激光视盘机，还是多媒体通信和各种视听消费电子产品，都需要音视频信源编码这个基础性标准。 大家用电脑打字一定很熟悉，当你用WORD编辑软件把文章（DOC文件）写完，存好盘后，再用PCTOOLS工具软件把你的DOC文件打开，你一定能看到你想象不到的东西，内容全是一些16进制的数字，这些数字叫代码，它与文章中的字符一一对应。现在我们换一种方法，用小画板软件来写同样内容的文章。你又会发现，用小画板软件写出来的BMP文件，占的内存（文件容量）是DOC文件的好几十倍，你知道这是为什么？原来WORD编辑软件使用的是字库和代码技术，而小画板软件使用的是点阵技术，即文字是由一些与坐标位置决定的点来组成，没有使用字库，因此，两者在工作效率上相差几十倍。[信源]->[信源编码]->[信道编码]->[信道传输+噪声]->[信道解码]->[信源解码]->[信宿] 目前模拟信号电视机图像信号处理技术就很类似小画板软件使用的点阵技术，而全数字电视机的图像信号处理技术就很类似WORD编辑软件使用的字库和代码技术。实际上这种代码传输技术在图文电视中很早就已用过，在图文电视机中一般都安装有一个带有图文字库的译码器，对方发送图文信号的时候只需发送图文代码信息，这样可以大大地提高数据传输效率。 对于电视机，显示内容是活动图像信息，它哪来的“字库”或“图库”呢？这个就是电视图像特有的“相关性”技术问题。原来在电视图像信号中，90%以上的图像信息是互相相关的，我们在模拟电视机中使用的Y/C（亮度信号/彩色信号）分离技术，就是利用两行图像信号的相关性，来进行Y/C分离。如果它们之间内容不相关，Y/C信号则无法进行分离。全数字信号电视也一样，如果图像内容不相关，则图像信号压缩也就要免谈。如果图像内容有相关性，那么上一幅图像的内容就相当于下一幅图像的“图形库”，或一幅图像中的某部分就是另一部分的“图形库”，因此，下一幅图像或图像中某一个与另一个相关的部分，在发送信号时，只需发送一个“代码”，而传送一个“代码”要比送一个“图形库”效率高很多，显示时也只需把内容从“图形库”中取出即可，这就是MPEG图像压缩的原理。 利用电视信号的相关性，可以进行图像信号压缩，这个原理大家已经明白，但要找出图像相关性的内容来，那就不是一件很容易的事情，这个技术真的是太复杂了。为了容易理解电视图像的相关性，我们不妨设想做一些试验，把图像平均分成几大块，然后每一块，每一块的进行比较，如果有相同的，我们就定义它们有相关性；如果没有相同的，我们继续细分下去，把每大块又分成几小块，一直比较下去，最后会发现，块分得越细，相同块的数目就越多，但分得太细需要的代码也增多，所以并不是分得越细越好。我们在看VCD的时候经常发现，如果VCD读光盘数据出错，就会在图像中看到“马赛克”，这些“马赛克”就是图像分区时的最小单位，或把数码相片进行放大，也可以看到类似“马赛克”的小区，这就是数码图像的最小“图形库”，每个小“图形库”都要对应一个“代码”。 在单幅图像中找出相关性的几率并不是很大的，所以对单幅图像的压缩率并不很大，这个通过观察数码相片的容量就很容易明白，如果把寻找相关性的范围扩大到两幅图像，你就会发现，具有相关性的内容太多了，这是因为运动物体对于人的眼睛感觉器官来说，是很慢 5.1 有一信源，它有6个可能的输出，其概率分布如题 5.1表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3) 3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L 5.7 设离散信源的概率空间为 ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 5.8 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少？ 解： (1) 码字中有0个“1”，码字的个数：10 100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003 100=C 18 35.17166751log log 166751 161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q r C C C C q i 信源编码技术 为什么要进行信源编码 通信系统就是将产生的信息传输到目的地。信源有各种不同的形式， ? 模拟信源（语音）编码的种类 2.10常用信源编码 信源编码也称为有效性编码，通过编码的方式，压缩信源的冗余度，从而提高了了通信的有效性。 2.10.1山农—费诺编码 山农—费诺编码是一种常见的信源编码，其编码的步骤如下： (1)将信源的符号按其概率从大到小排列。 (2)将这一列符号分成尽可能概率接近或相同的两组。 (3)上面一组符号编为0，下面一组符号编为1，或反之。 (4)已分的组再按（2）、（3）步骤重复做，直至不能再分组。 (5)自左至右写出各码字。 [例2.10.1]有一单符号离散无记忆信源X如下，要求进行山农—费诺编码 因为信源有8个符号，其理论最大熵为lb8=3比特/符号，而实际熵为2.55比特/符号，如采用三位二进制等长编码，则效率η=2.55/3 = 85%，或者说采用定长编码效率较低。如采用山农—费诺编码，则效率会提高不少。 2.10.2哈夫曼编码 哈夫曼编码是效率比较高的又一种无失真信源编码，二进制哈夫曼编码步骤如下： (1) 把信源符号按概率从大到小排成一列； (2) 把概率最小的两个分成一组，上面一个编为0，下面一个编为1，并将这两个符号的概率加起来，其结果再和尚未处理过的符号重新按大小排序； (3) 重复步骤2，直到所有信源符号都处理完。 (4) 从右向左依据编码路径返回，就得到各码字。 [例2.10.2]同前例,编码过程见下图2.10.2：（PPT 001第四章） 第五节香农编码 ? 设离散无记忆信源 ? 二进制香农码的编码步骤如下：?将信源符号按概率从大到小的顺序排列，为方便起见，令p (x 1)≥p (x 2)≥…≥p (x n )?令p (x 0)=0，用p a (x j )，j =i +1表示第i 个码字的累加概率，则： ?确定满足下列不等式的整数k i ，并令k i 为第i 个码字的长度?－log 2p (x n )≤k i <－log 2p (x n )+1 ? 将p a (x j ) 用二进制表示，并取小数点后k i 位作为符号x i 的编码。 1 ()(),1,2,,j a j i i p x p x j n -== =∑ 121 12,,,,,,()1 (), (), , (), , ()()n i n i i i n x x x x X p x p x p x p x p x P X =????==? ???????∑ 2.10.3冗余位编码 冗余的信息完全可以不全部传送（压缩掉），从而提高了传输效率。 1．L —D 编码 现在来讨论一种由林绪（Lynch ）和达维生（Davission ）分别独立提出的冗余位编码法，称为L —D 编码。 例如有一二元序列，其中的一串000100000001000共二进制15位，其余的也可分割成15位一串，称为一帧。现在研究压缩冗余的方法。显然对该帧可确切描述为： （1） 帧长为15。第5章_无失真信源编码题与答案
信源编码的基本原理及其应用..
通信原理(第7版)复习资料
第5章_无失真信源编码 题与答案
数字通信中的信源编码和信道编码.(优选)
现代通信原理指导书 第七章 信源编码 习题详解
信息论与编码第5章
信源编码的基本原理及其应用讲课稿
信源编码与信道编码解析
《信息论与信源编码》实验报告
WCDMA技术的信源编码和信道编码
信息论第五章 信源编码习题答案
第五章 信源编码习题答案
信源编码和信源解码
第5章_无失真信源编码 题与答案资料
信源编码
如广播的信源是语音或音乐，电视的信源是活动图像，这些信源的输 出都是模拟信号，称为模拟信源。计算机和存储器件（磁盘或光盘） 输出的是离散信号，称为数字信源。在数字系统中传输的都是数字信 息，不论是模拟信源还是离散信源其输出都必须转化为可以传输的数 字信息，这种转化通常是由信源编码器来完成的。 信源编码在移动通信中也称语音编码。 ? 信源编码的作用是用信道能传输的符号来表示信源发出的信息，在不 失真或一定失真的条件下用尽可能少的符号传送信源消息，提高信息 传输率。信源编码（如语音）对数字传输非常重要，而且对无线通信
来说显得尤其重要。
PDF created with pdfFactory Pro trial version https://www.doczj.com/doc/f214604569.html,
随着数字电话和数据通信容量日益增长的迫切要求，而又 不希望明显降低传送话音信号的质量，除了提高通信带宽之外， 对话音信号进行压缩是提高通信容量的重要措施。
?在移动通信中，稀少而又昂贵的无线信道更一定要和必 须要对传输的各种信号源进行压缩，以提高通信容量。
PDF created with pdfFactory Pro trial version https://www.doczj.com/doc/f214604569.html,
波形编码、参量编码、混合编码 一般来说，波形编码器的话音质量高，但数据率也很高；参量编码器的数据 率很低，产生的合成话音的音质有待提高；混合编码器同时使用参量编译码技 术和波形编译码技术，数据率和音质介于它们之间。 （1）波形编码 波形编码比较简单，编码前采样定理对模拟语音信号进行量化，然后进行 幅度量化，再进行二进制编码。解码器作数／模变换后再由低通滤波器恢复出现 原始的模拟语音波形，这就是最简单的脉冲编码调制（PCM），也称为线性 PCM。可以通过非线性量化，前后样值的差分、自适应预测等方法实现数据压 缩。波形编码的目标是让解码器恢复出的模拟信号在波形上尽量与编码前原始波 形相一致，也即失真要最小。波形编码的方法简单，数码率较高，在64kbit/s至 32kbit/s之间音质优良，当数码率低于32kbit/s的时候音质明显降低，16 kbit/s时 音质非常差。
PDF created with pdfFactory Pro trial version https://www.doczj.com/doc/f214604569.html,2.10常用信源编码
相关主题
文本预览