- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(4) 由于I（X;Y）是非负函数，而R（D） 是在约束条件下的I（X;Y）的
最小值，所以R（D）也是一个非负函数，它的下限值是零。取满足R （D）＝0的所有D中最小的，定义为R（D）定义域的上限Dmax,, 即 Dmax是满足R（D）＝0的所有平均失真D中的最小值 Dmax 。因此可以得到R（D）的定义域为D［0,Dmax］。
n m n m
D p( xi , y j )d ( xi , y j ) p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1 i 1 j 1
说明:
(1) 由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是
随机变量，限失真时的失真值，只能用它的数学期望或
第4章
限失真信源编码
第一节 平均失真和信息率失真函数
第二节 离散信源和连续信源的R（D）计
第三节 限失真信源编码定理 第四节 常用信源编码方法简介
算
1
2013-8-13
本章主要研究问题:
1. 如何理解限失真信源编码? 2. 如何定义失真函数?
3. 如何定义信息率失真函数?
4. 如何描述限失真编码定理?
o, xi y j d(xj,yj)= ( xi , y j ) 1, 其它
11 2013-8-13
误码失真函数：
(2)最常用的失真函数及其适用性
均方失真函数,绝对失真函数, 相对失真函数适
用于连续信源 ; 误码失真适用于离散信源。
(3)失真函数困难性比较
均方失真和绝对失真只与(xi-yj)有关，而不是 分别与xi 及yj 有关，在数学处理上比较方便；相对 失真与主观特性比较匹配，因为主观感觉往往与客
观量的对数成正比，但在数学处理中就要困难得多
12 2013-8-13
离散矢量信源符号失真函数定义为：
如果假定离散矢量信源符号为矢量序列X＝ {x1x2…xi…xn}，其中L长符号序列xi=[xi1xi2…xiL]，经信 道传输后，接收端收到矢量序列Y={y1y2…yj…ym}，其中 L长符号序列yj=[yj1yj2…yjL ]则失真函数定义为
个量来表示，即失真函数d(xi,yi),以衡量用yj代 替xi所引起的失真程度。
6ቤተ መጻሕፍቲ ባይዱ
2013-8-13
一般失真函数定义为
0, d ( xi , y j ) a ,
xi y j a0 xi y j
7
2013-8-13
如何定义失真矩阵?
将所有的失真函数 d(xi,yj)，i=1,2,…,n；j
1 d L ( xi , y j ) d ( xik , y jk ) L k 1
式中d(xik,yjk)是信源输出第i个L长符号xi中的第k个符号 xik，接收端收到第j个L长符号yj中的第k个符号yjk的失真 函数。
13 2013-8-13
L
4.1.2 平均失真
1.
离散随机变量平均失真定义
4.1.1 失真函数
如何定义失真函数 ? 假如某一信源X输出一个随机序列 X=x1,x2,…,xn经信道传输后变成Y=y1,y2,…,ym。 如果 xi=yi. i=1,2,…,n，j=1,2,…,m (4-1-1) 则认为没有失真。
5
2013-8-13
如果xj≠yj，就产生了失真。失真的大小，用一
统计平均值，因此将失真函数的数学期望称为平均失真 。
14 2013-8-13
(2) p（xi,yj）是联合分布；p（xi）是信源符号概 率分布；p（yj ／xi）是转移概率分布；d（xi,yj ），是离散随机变量的失真函数.
(3)平均失真D是对给定信源分布p（xi）在给定转 移概率分布为p（yj／xi）的信道中传输时的失真 的总体量度。
DD
的前提下，使信息率尽可能小。
18 2013-8-13
2. 什么叫 D 允许信道（也称为 对于连续的情况,
D 允许的试验信道）?
D允许信道定义为
PD p ( y / x) : D D
19
2013-8-13
3. 对于离散无记忆信道,
D允许信道（也称为 D
允许的试
验信道）
PD p( y j / xi ) : D D i 1, 2,, n; j 1, 2,, m
说明:
Dk是第k个符号的平均失真。
17 2013-8-13
4.1.3 信息率失真函数R（D）
1. 信息率失真函数R（D）问题产生? 对于信息容量为C的信道传输信息传输率为R的信 源时，如果R＞C，就必须对信源压缩，使其压缩后信
息传输率R’小于信道容量C，但同时要保证压缩所引
入的失真不超过预先规定的限度。信息压缩问题就是 对于给定的信源，在满足平均失真
＝1,2,…,m排列起来，用矩阵表示为
d ( x1 , y1 ) d ( x1 , y m ) d d ( x n , y1 ) d ( x n , y m )
8 2013-8-13
例4-1-1
设信源符号序列为X＝{ 0,1}，接收端收到符号序 列为Y＝{ 0,1,2}，规定失真函数为 d(0,0)＝d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=d(1,2)=0.5 求：失真矩阵d ?
R( D) min p( xi ) p( y j / xi ) log
pij pD ' i 1 j 1
21
n
m
p( y j / xi ) p( y j )
2013-8-13
22
2013-8-13
23
2013-8-13
例4－1－2
已知, 编码器输入的概率分布为: p（x）＝{0.5，0.5}， 信道矩阵分别为:
27 2013-8-13
由信源概率分布可求出信源熵为
H( 1 1 ... ) log 2n比特/符号 2n 2n
如果对信源进行不失真编码，平均每个符号至少需要
log2n个二进制码元。现在假定允许有一定的失真，假设失 真限度为D=1/2。也就是说，当收到100个符号时，允许其 中有50个以下的差错。这时信源的信息率能减少到多少呢？ 每个符号平均码长能压缩到什么程度呢？试想采用下面的编
26 2013-8-13
例4-1-3
设信源的符号表为A＝{a1，a2，…，a2n}，概
率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函
数规定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为 1，试研究在一定编码条件下信息压缩的程度。
1 码方案：
a a1 , a2 a2 ,..., an an , an1 an , an2 an ,..., a2 n an
用信道模型表示，如图4-1-1所示。 按照上述关于失真函数的规定，求得平均失真D为
D p(ai ) p(a j / ai )d (ai , a j )
因此当改变pij时，I(pij)有一极小值。
25
2013-8-13
由互信息的表达式
I(X;Y)=H(Y)-H(Y/X)= H(X)-H(X/Y) 可理解为信源发出的信息量H(X)与在噪声干扰条件下消失 的信息量之差。应当注意，在这里讨论的是有关信源的问题， 一般不考虑噪声的影响。而是由于信息的存储和传输时需要去 掉冗余，或者从某些需要出发认为可将一些次要成分去掉。也 就是说，对信源的原始信息在允许的失真限度内进行了压缩。 由于这种压缩损失了一定的信息，造成一定的失真。把这种失 真等效成由噪声而造成的信息损失，看成一个等效噪声信道（ 又称试验信道），因此信息率失真函数的意义是：对于给定信 源，在平均失真不超过失真限度D的条件下，信息率容许压缩 的最小值。此时的信道转移概率pij实际上指得是一种限失真信 源编码方法。下面通过对一个信源处理的例子，进一步研究信 息率失真函数的物理意义。
对应于无失真情况，相当于无噪声信道， 此时信道传输的
信息量等于信源熵
(3) 对于连续信源来说，由于其信源熵只有相对意义，而 真正的熵为∞，当D=0时相当于严格无噪声信道，通过 无噪声信道的熵是不变的，所以 R（Dmin ）＝R（0）＝Hc（x）＝ ∞
31 2013-8-13
因为实际信道总是有干扰的，其容量有限，要无失真 地传送这种连续信息是不可能的。当允许有一定失真时， R（D）将为有限值，传送才是可能的。
9
2013-8-13
解：失真矩阵为
0 1 0.5 d 1 0 0.5
10 2013-8-13
说明:
(1) 最常用的失真函数 均方失真函数： 绝对失真函数： 相对失真函数： d(xi,yj)=(xi-yj)2 d(xi,yj)= xi y j d(xi,yj)= xi y j / xi
29 2013-8-13
4.1.4 信息率失真函数的性质
1．如何确定R（D）函数的定义域?
R（D）函数的定义域 D ［0，Dmax］
30
2013-8-13
说明:
(1) 由于D是非负实数d（x,y）的数学期望，因此D也是非负的 实数，非负实数的下界是零, 所以D的下界是零. (2) R（Dmin ）＝ R（0）＝H（X）
1 2 n 1
由以上结果可知，经压缩编码后，信源需要传输的信息 率由原来的log2n，压缩到log2n-[(n+1)/2]log(n+1).这是采 用上述压缩编码方法的结果，所以付出的 代价是容忍了1/2 的平均失真。如果选取压缩更为有利的编码方案，压缩的效 果可能会更好。但一旦达到最小互信息这个极限值，就是 R(D）的数值（此处D=1/2）.如果超过这个极限值，那么失 真度就要超过失真限度。如果需要压缩的信息率更大，则可 容忍的平均失真就要更大。
