- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
对于连续随机变量同样可以定义平均失真
D pxy (x, y)d (x, y)dxdy
对于L长序列编码情况，平均失真为
2
4.1 平均失真和信息率失真函数
然而，如何对失真进行描述？什么是允许的失 真？信源输出信息率被压缩的最大程度是多少？ 信息率失真理论回答了这些问题，其中香农的限 失真编码定理定量地描述了失真，研究了信息率 与失真的关系，论述了在限失真范围内的信源编 码问题。
3
4.1 平均失真和信息率失真函数
4.1.1 失真函数
25
4.1 平均失真和信息率失真函数
4.1.4 信息率失真函数的性质 1. R(D)函数的定义域 ⑴ Dmin和R(Dmin)
Dmin＝0
R(Dmin) R(0) H (X )
对于连续信源
R(Dmin ) R(0) H c (x)
26
4.1 平均失真和信息率失真函数
(2) Dmax和R(Dmax)
X
Y
P(Y/X)
4
5
4.1 平均失真和信息率失真函数
0, d (xi , y j ) a , a 0
xi y j xi y j
表示信源发出符号xi而经信道传输后再 现信道输出符号集合中的yj所引起的误差 或失真，称之为xi和yj之间的失真函数。
4.1 平均失真和信息率失真函数
yj＝(yj1yj2…yjl…yjL)，则失真函数定义为：
d L (xi , y
j)
1 L
L l 1
d (xil ,
y jl )
4.1 平均失真和信息率失真函数
其中d(xil，yjl)是信源输出L长符号样值xi中的 第l个符号xil时，编码输出L长符号样值yj中的第l 个符号yjl的失真函数。
nm
p(ai ) p(bj | ai )d (ai , bj )
i1 j 1
12
4.1 平均失真和信息率失真函数
式中，p(aibj),i=1,2,…,n,j=1,2,…,m是联合分 布；p(ai)是信源符号概率分布；p(yj|xi)是符号转 移概率分布；d(ai,bj) ,i=1,2,…,n,j=1,2,…,m是离 散随机变量的失真函数。
1 0 P 0 1
当R(Dmax)＝0时
4.1 平均失真和信息率失真函数
2
Dm a x
min
j 1, 2
i 1
pi d ij
min j 1, 2
p1d11 p2 d 21 , p1d12
p2 d 22
min
j 1, 2
1 3
0
2 3
1,
称为D允许试验信道。
19
4.1 平均失真和信息率失真函数
2、信息率失真函数R(D)
由于互信息取决于信源分布和信道转移概率
分布，当p(xi)一定时，互信息I(X；Y)是关于 p(yj/xi) 的U型凸函数，存在极小值。因而在上 述允许信道PD中，可以寻找一种信道pij，使给 定的信源p(xi)经过此信道传输后，互信息I(X； Y)达到最小。该最小的互信息就称为信息率失
第4章信息率失真函数
4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算
1
4.1 平均失真和信息率失真函数
在前面几章的讨论中，其基本出发点都 是如何保证信息的无失真传输。
但在许多实际应用中，人们并不要求完 全无失真地恢复消息，而是只要满足一定 的条件，近似地恢复信源发出的消息就可 以了。
17
18
4.1 平均失真和信息率失真函数
1、D允许试验信道 平均失真由信源分布p(xi)、假想信道的转移概
率p(yj/xi)和失真函数d(xi，yj)决定，若p(xi)和d(xi， yj)已定，则可给出满足下式条件的所有转移概率 分布pij，它们构成了一个信道集合PD
PD p(yj / xi ) : D D i 1,2,, n; j 1,2,, m
pij p( y j / xi ) p( y j ) p j
此时平均失真为
nm
D
pi p j dij
i1 j 1
4.1 平均失真和信息率失真函数
m
求出满足条件 p j 1 的D中的最小值 ，即
j 1
m
n
Dmax min p j pi dij
j 1 i1
失真函数d (xi, yj) (i=1, 2, …, n; j=1, 2, …, m ) 共有(nm)个具体值 ，按xi和yj的对应关系， 排列成一个(nm)阶矩阵，如下式所示
d (a1,b1) d (a1,b2 ) d (a1,bm )
d d (a2 ,b1) d (a2,b2 ) d (a2,bm )
1 3
1
2 3
0
min
j 1, 2
2 3
,
1 3
1 3
此时输出符号概率p(b1)＝0，p(b2)＝1，
a1 b2 , a2 b2
所以这时的编码器的转移概率为
d (an ,b1) d (an ,b2 ) d (an ,bm )
d称为信道 {X-P(Y/X)-Y} 的失真矩阵。
6
7
4.1 平均失真和信息率失真函数
例4.1 设信源符号X{0,1}，编码器输出符号 Y{0,1,2}，规定失真函数为
d(0,0)=d(1,1)=0
d(0,1)=d(1,0)=1
8
4.1 平均失真和信息率失真函数
最常用的失真函数
均方失真：d(xi , y j ) xi y j 2
绝对失真：d (xi , y j ) xi y j
相对失真：d (xi , y j ) xi y j / xi
误码失真：
0,
d (xi , y j ) (xi , y j ) 1，
2n 2n 2n
2n
24
4.1 平均失真和信息率失真函数
3、信息率失真函数R(D)物理意义 1°R(D)是信源给定的情况下, 在可容忍的失真度 内再现信源消息所必须获得的最小平均信息量 。 2°R(D)是反映给定信源可压缩的程度。 3°R(D)求出后 , 就与选择的试验信道无关 , 而只 是信源特性的参量 , 不同的信源 , 其R(D)是不同 的
由互信息公式可得：I(X;Y)=H(Y)-H(Y/X)=H(Y)
4.1 平均失真和信息率失真函数
信道输出概率分布为
P1 P2
pn 1 n 2n
则输出熵H(Y)为
Pn 1
1 2n
H (Y ) H ( 1 1 1 n) log 2n 1 n log(n 1)
1 i j d (ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失 真为1，试研究在一定编码条件下信息压缩的程 度。
22
4.1 平均失真和信息率失真函数
由信源概率分布可求出信源熵为
H ( 1 1 ) log 2n比特/ 符号 2n 2n
设想采用下面的编码方案：
11
4.1 平均失真和信息率失真函数
4.1.2平均失真
由于xi和yj都是随机变量，所以失真函数d(xi,yj) 也是随机变量，要分析整个信源的失真大小，只
能用它的数学期望或统计平均值，因此将失真函
数的数学期望称为平均失真，记为
nm
D
p(aibj )d (ai , bj )
i1 j 1
布；p(yj/xi)，i＝1，2，…，n，j＝1，2，…， m是转移概率分布； p(yj)，j＝1，2，…，m是
接收端收到符号概率分布。
21
4.1 平均失真和信息率失真函数
例4.2 设信源的符号表为A＝{a1，a2，…，a2n}，
