第3章信息率失真函数

I ( X ; Y ) p( xi y j ) log
i j
p( x1 y1 ) 0.3 p( x1 y2 ) 0.2 p( x2 y1 ) 0.1 p( x2 y2 ) 0.4
p( xi | y j ) p( yi )
0.125bit / 符号

0.9 0.1 ij 0.2 0.8 求互信息 p( xi | y j ) I ( X ; Y ) p( xi y j ) log 0.397bit / 符号 p( yi ) i j
语音信号传输 语音（音频）信号的带宽 ：20～20 KHZ 实际应用音频范围: 电话质量: 300～3.4KHZ 电话公用网 调幅广播质量: 50 ～7 KHZ 有现场感的语音传输 高保真音频信号: 20 ～20 KHZ 高保真音响 图像信号传输 一路6MHz的普通电视信号数字化后，其数码率将 高达167Mbps，对储存器容量要求很大，占有的带宽将 达80MHz左右
Dmax min D
R ( D ) 0
因此可以得到R(D)的定义域为
D 0, Dmax
Dmax
j 1,2,, m
min
p d
i 1
n
i ij
Dmax是这样来计算的。R(D)＝0就是I(X;Y)＝0，
这时试验信道输入与输出是互相独立的，所以条 件概率p(yj/xi)与xi无关。即

平均失真 1 D p(ai ) p(a j | ai )d (ai , a j ) 2 i j 由该信道模型图4-1-1看出,它是一个确定信道


pij=1(或0)，H(Y|X)=0 I ( X , Y ) H (Y ) H (Y | X ) H (Y )
则输出熵H(Y) 1 1 1 1 n n 1 H (Y ) H ( , , ) log 2n log( n 1) 2n 2n 2n 2n 2n 信源压缩了
PD p( y j / xi ) : D D

i 1, 2,
, n; j 1, 2,
,m

称为D允许试验信道。
实际上这些信道反应的仅是不同的有失真信源编码，或称 信源压缩。
2、信息率失真函数R(D)
信息率失真函数：
假定信源给定的情况下,用户可以容忍的失
真度内再现信源消息所必须获得的最小平 均信息量。 它反映的是信源可以压缩的程度,是在满足 一定失真度要求下信源可压缩的最低值。
d ( x1 , ym ) d ( x2 , ym ) d ( xn , ym )
失真矩阵

例：设信源符号为X={0,1},接收端收到符号为 Y= {0,1,2},规定失真函数为 d(0,0)＝d(1,1)= 0 d(0,1)＝d(1,0)= 1 d(0,2)＝d(1,2)= 0.5
率失真函数一旦找到,就与求极值过程中
选择的试验信道不再有关,而只是信源特 性的参量 不同的信源其R(D)不同。
2、信息率失真函数R(D)
由于互信息取决于信源分布和信道转移概率分布，当p(xi) 一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。因 而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源 p(xi) 经过此信道传输后，互信息 I(X;Y) 达到最小。该最小的互 信息就称为信息率失真函数R(D)，即
3.1.2 平均失真
由于 xi和 yj都是随机变量，所以失真函数 d(xi，yj)
也是随机变量，限失真时的失真值，只能用它的数 学期望或统计平均值，因此将失真函数的数学期望 称为平均失真，记为
D p ( xi , y j )d ( xi , y j )
i 1 j 1 m
n
m
p( xi ) p( y j / xi )d ( xi , y j )
3.1.1
3.1 平均失真和信息率失真函数
在实际问题中，信号有一定的失真是可以容忍
的。但是当失真大于某一限度后，信息质量将被严
重损伤，甚至丧失其实用价值。要规定失真限度， 必须先有一个定量的失真测度。为此可引入失真函 数。
3.1.1 失真函数
假如某一信源 X，输出样值为xi，xi{x1,…xn}，经过 有失真的信源编码器，输出Y，样值为yj，yj {y1,…ym}。 如果xi＝yj，则认为没有失真；如果 xi yj，那么就产生 了失真。失真的大小，用一个量来表示，即失真函数d(xi， yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数
0, 误码失真： d ( xi , y j ) ( xi , y j ) 1，
其它
前三种失真函数适用于连续信源，后一种适 用于离散信源。
失真函数的定义可以推广到序列编码情况，如果假 定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L长符
号序列样值xi＝(xi1xi2…xil…xiL)，经信源编码后，输出符
n 1 log(n 1) 2n

压缩

,付出的代价:允许1/2的失真
3.1.4 信息率失真函数的性质
1.
R(D)函数的定义域 率失真的定义域问题就是在信源和失真函数已 知的情况下,讨论允许平均失真度D的最小和最 大取值问题。 由于平均失真度是非负实数d(xi,yj)的数学期望, 因此也是非负的实数,即 的下界是0。 D 0, D 允许平均失真度能否达到其下限值0,与单个符号 的失真函数有关。
例
设信源的符号表为 A＝ {a1 ， a2 ， … ， a2n} ，概率分布为 p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为1，试 研究在一定编码条件下信息压缩的程度。
定义为
xi y j 0 d(xi ,y j ) α α 0 x y i j
失真矩阵
单个符号的失真度的全体构成的矩 失真矩阵 阵 d ( xi , y j ) ，称为失真矩阵
d ( x1 , y1 ) d ( x1 , y2 ) d ( x , y ) d ( x , y ) 2 1 2 2 d d ( xn , y1 ) d ( xn , y2 )
i 1 j 1
n
xi
p( y j xi )
信源编码器
yj
对于连续随机变量同样可以定义平均失真
D




p xy ( x, y)d ( x, y)dxdy
对于L长序列编码情况，平均失真为
1 L D L E[d ( xil , y jl )] L l 1 1 L Dl L l 1
3.1.3 信息率失真函数R(D)
X
信源编码器 Y
X x1, x2 ,
xn
Y y1, y2 ,
ym
假想信道
将信源编码器看作信道
3.1.3 信息率失真函数R(D)
信源编码器的目的是使编码后所需的信息传输
率R尽量小，然而R越小，引起的平均失真就越大。
给出一个失真的限制值D，在满足平均失真 D D 的条件下，选择一种编码方法使信息率 R 尽可能小。
香农定义了信息率失真函数R(D)，论述了关于这个函
数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出 的信息率可压缩到R(D)。 信息率失真理论是量化（模数转换）、数模转换、频带压 缩和数据压缩的理论基础。
3.1 平均失真和信息率失真函数
失真函数 3.1.2 平均失真 3.1.3 信息率失真函数R(D) 3.1.知编码器输入的概率 分布为p(x)={0.5 ,0.5} 信道矩阵

求互信息
0.6 0.4 Pij 0.2 0.8
p( xi y j ) p( xi ) p( y j | xi )
p( y1 ) 0.4 p( y2 ) 0.6 3 1 1 2 p( x1 | y1 ) p( x1 | y2 ) p( x2 | y1 ) p( x2 y2 ) 4 3 4 3
可见当p(x)一定时,I (X,Y)随p(yj|xi)而变。 因为p(x)分布一定时,信道受干扰不同所能传递 的信息量是不同的。 当p(x)一定时,I (X,Y)是关于p(yj|xi)的下凸函数。 因此当改变p(yj|xi)时,I (X,Y)有一极小值。

编码器输入的概率分布为 p(x)={0.5 ,0.5} 信道矩阵 P
信息率R就是所需输出的有关信源X的信息量。将此
问题对应到信道，即为接收端Y需要获得的有关X的 信息量，也就是互信息 I(X;Y) 。这样，选择信源编
码方法的问题就变成了选择假想信道的问题，符号
转移概率p(yj/xi)就对应信道转移概率。
1、D允许试验信道
平均失真由信源分布 p(xi) 、假想信道的转移概率 p(yj/xi) 和 失真函数d(xi，yj)决定，若p(xi)和d(xi，yj)已定，则可给出满足 下式条件的所有转移概率分布pij，它们构成了一个信道集合PD
R( D ) min I ( X ; Y )
PD
对于离散无记忆信源，R(D)函数可写成
R( D) min p( xi ) p( y j / xi )log
Pij PD i 1 j 1
n
m
p( y j / xi ) p( y j )
p(xi)，i＝1，2，…，n 是信源符号概率分布； p(yj/xi)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； p(yj)，j＝1，2，…，m 是接收端收到符号概率分布。

3.1.4 信息率失真函数的性质
⑴ Dmin和R(Dmin) Dmin＝0
R( Dmin ) R(0) H ( X )