信息论第四章失真率函数

格式：ppt
大小：583.50 KB
文档页数：38

下载文档原格式

信息论第四章失真率函数

D
q( x ) p( y
i i j
j
xi ) d i j D
（4-11）
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数 p(y∣x) 的∪型凸函数，这意味着可以关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个极小值为率失真函数R(D)，即：
d ii 0
d ij 1
i, j 1,2, , K
上述约定可以用矩阵表示为
0 1 1 1 0 1 d 1 1 0
式中di j ≥ 0 i, j = 1, 2, …, K为信源方发送符号xi而信宿方判为 yj引起的失真度。对于矢量传输情况，若信道的输入、输出均为N 长序列X = X1 X2 … XN ，Y = Y1 Y2 … YN ，定义失真测度为
RD min I X ; Y : D D
p( y x)

(4-12)
式(4-12)的意义在于，选择p(y∣x)即选择某种编码方法在满足的 D D前提下，使I (X ; Y) 达到最小值R(D) ，这就是满足平均失真 D D 条件下的信源信息量可压缩的最低程度。
4.2
N
k J
p( x
k 1 i 1 j 1
ki
, ykj )d ( xki , ykj ) （4-5）
（4-5）式表明了离散无记忆N次扩展信道的输入输出符号之间平均失真等于单个符号xki,ykj之间失真统计值的总和。
若矢量信源是原离散无记忆信道的N次扩展，且矢量信道也是原离散无记忆信道的N次扩展，则每个 Dk

第4章信息率失真函数

原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。本章主要介绍信息率失真理论的基本内容，重点讨论离散无记忆信源。给出信源的失真度和信息率失真函数的定义与性质；讨论离散信源和连续信源的信息率失真函数计算；在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即给定了d(ai,bj)），选择不同试验信道，相当于不同的编码方法，所得的平均失真度是不同的。有些试验信道满足D D0，而有些试验信道D＞D0。凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号PD表示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平方误差失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，其严重的程度用平方来表示。当 r＝3时，Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：

《信号处理原理》第4章信息失真率

d(0,2)=d(1,2)=0.5
则得失真矩阵
d

0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应用情况，用 yj代替xi, 所导致的失真大小是人为决定的。比如上例中，用y=2代替x=0和x=1所导致的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种转移概率分布为p(bj|ai)的有失真信源编码器后产生失真的总体量度。
13
4.1 平均失真和信息率失真函数

第4章信息率失真函数

R( D) min p(ai ) p(b j / ai ) log
Pij PD i 1 j 1
n
m
p(b j / ai ) p(b j )
p(ai)，i＝1,2,…,n 是信源符号概率分布； p(bj/ai)，i＝1,2,…,n，j＝1,2,…,m 是转移概率分布； p(bj)，j＝1,2,…,m 是接收端收到符号概率分布。
如果选取对压缩更为有利的编码方案，则压缩的效果可能更好。但一旦达到最小互信息这个极限值，就是R(D)的值，或超过这个极限值，那么失真就要超过失真限度，如果需要压缩的信息率更大，则可容忍的平均失真就要更大。
普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著
17
4.1.4 信息率失真函数的性质
1 L d L (x i , y j ) d ( xil , y jl ) L l 1
其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil
时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。
7
普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著
4.1.2
以R(D)也是一个非负函数，它的下限值为0。当 R(D)=0意
味着什么呢? 不需传输任何信息。显然D越大，直至无限大都能满足这
样的情况。
选择所有满足R(D)=0中D的最小值，定义为R(D)定义域的上限Dmax，即 Dmax min D
R ( D ) 0
因此可以得到R(D)的定义域为
n
D 0, Dmax
第4章
信息率失真函数
本章主要讨论在信源允许一定失真情况下所需的最少
信息率，从分析失真函数、平均失真出发，求出信息率失真函数R(D) 。平均失真和信息率失真函数离散信源和连续信源的R(D)计算

第4章信息率失真函数

4.1
第4章信息率失真函数
定义: 信源序列的失真函数
N
基
d ( x, y) d (i , j ) d (ail , bjl )
本概
l 1
x X, y Y;i X N , j Y N ;ail X ,bjl Y
念
信源序列失真函数等于信源序列中对应的
单符号失真函数之和。也可写成rN sN阶矩阵形式。
Page 6
4..1.1
第4章信息率失真函数
4.1 基本概念
失 4.1.1失真函数（失真度）
真
函为什么引入失真函数？
数
在实际问题中，信号有一定的失真是可以容忍的，但是当失真大于某一限度后，将丧失其实用价值。
要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数.
Page 7
4.1.1
i1 j1
Page 19
4.1.2
第4章信息率失真函数
(3)均方失真函数
适用于连续信源
平均
d(a,b) (a b)2
(a X ,b Y 或 a,b R)
失
真在均方失真函数下，平均失真度就是均方误差。
度
rs
离散信源的均方误差 D (a b)2 P(a,b) i1 j1
连续信源的均方误差D： (a b)2 P(a, b)dxdy
1.离散信源单个符号的失真函数
定义:设离散无记忆信源输出变量X {a1, a2,L , ar}，
失真
概率分布为P(X ) [P(a1), P(a2),L , P(ar )],经过有失真的
函数
信源编码器，输出的随机变量 Y {b1,b2,L ,bs}。
将所有的 d(ai ,bj ) 0 (ai X ,bj Y ) 排列起来，用

ch4信息率失真函数

j
/
ai
)
p 1
(b
j
/
ai
)
(1
)
p
2
(b
j
/
ai
)
nm
D
p(ai ) p(bj / ai )d (ai ,bj )
i1 j1
D1 (1 )D2
满足保真度准则
D' (1 )D'' D
I ( X ;Y ) R ( D ) R[D ' (1 ) D '' ]
由 I ( X ;Y ) 对 p(b j ai )的下凸性： I ( X ;Y ) I ( X ;Y1 ) (1 ) I ( X ;Y2 )
nm
D(S )
p(a ) p(b )eSd(ai ,bj )d (a , b )
ii
j
ij
4
i1 j 1
（4.2.5）
n
R(S)
m
p(a
)
p(b
)eSd (ai ,bj )
ln
i
p(b )eSd(ai ,bj ) j
ii
j
i1 j1
p(b ) j
n
SD(S ) p(a ) ln
n
1
Dm a x
min j
Dj
min j
i 1
p(ai )d (ai , bj )
n
2
i p (ai )e Sd (ai ,b j ) 1
i
i 1
3
1
i
m j 1
p(b j )eSd (ai ,bj )
p(bj )
4 p(bj ai ) p(bj )ieSd(ai ,bj )

信息论基础与编码课件第四章信息率失真函数

同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用不同，传递的信息量也不同。可以证明这样一个结论：P(x)一定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数，即存在一极小值。
m × n个 p i j 的值，代入平均失真的公式中，可解出随S参数值变
化的D值，即
D (S ) p ip j id ij p ip ij ie S d ijd ij （4-16）
ij
ij
25
离散信源的R(D)函数及其计算(续)
信源的信息率失真函数R(D)为
R (S ) i
j
pi p j i e Sdij
源输出符号序列 X (X 1 ,X 2 , ,X L ) ，其中L长符号序列样
值 Y(Y 1,Y 2, ,Y L) ，经信源编码后，输出符号序
列 x i (x i1 ,x i2 , ,x iL )
，其中L长符号序列样
值 y i (y i1 ,y i2 , ,y iL )，则失真函数定义为：
1L
dL(xi,yj)Ll1d(xil,yjl)
其中d(xil，yjl)是信源输出L长符号样值 x i 中的第l个符号xil时，
编码输出L长符号样值中的y i 第l个符号yjl的失真函数。
7
平均失真
定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y的联合概率空间 P(XY ) 中的统计平均值
nm
D E [d (x i,y j)] p (x i)p (y j|x i)d (x i,y j) （4-4） i 1j 1

第4章信息率失真理论

R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
③对D具有单调递减性
由R(D)对D具有的非负性、严格下凸性及R(Dmax) =0说明
信息率失真理论
当Dmin=0时，信息率失真函数R(D)的大致曲线 R(D) H(X)
Dmin
Dmax D
信息率失真理论
3、信息率失真函数的表达式
ˆ P( x j / x i ) i ˆ ln Sd( x i , x j ) 0 ˆ P( x j ) P( x i ) i 1,2,, n j 1,2,, n
i 令 ln i P( x i ) ˆ P( x j / x i ) ˆ Sd ( x i , x j ) ln ln i e ˆ P( x j )
信息率失真理论
第2个实验信道满足D2条件下R(D)的定义 ˆ ˆ P (X / X) {P(X / X) : D D }
D2 2
ˆ ˆ R (D 2 ) min I(X; X) I 2 (X; X) ˆ
PD2 ( X / X )
取一个新的实验信道
ˆ ˆ PD1 (X / X) (1 )PD2 (X / X) ˆ {P(X / X) : D D1 (1 )D 2 }
ˆ ... d( x1 , x n ) ˆ ... d( x 2 , x n ) ... ... ˆ ... d( x n , x n )
汉明失真矩阵
0 1 [ D] ... 1 1 0 ... 1 ... ... ... ... 1 1 ... 0
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
设第1个实验信道满足D1条件下R(D)的定义

第四章信息率失真函数

其失真程度要比再现为其他接收符号的失真程度少一半。
若二元删除信源s ＝2，r＝3， U＝{0,1}，V＝{0,1 ,2} 。失真度为：
d(0,0)=d(1,2)=0
d(0,2)=d(1,0)=1 则
d(0,1)=d(1,1)=1/2
0 D
1
1
2 1
1
0
2
[例3] 对称信源(s = r) 。信源变量U＝{u1,u2,…ur} ，接收变量 V＝ {v1,v2,…vs} 。失真度定义为：
[例5]有一个二元等概平稳无记忆信X源 X0,1，0接,1收符号集为
Y 0,1,2
且失真矩阵为
[d
]
0
0
1 1
求率失真函数R(D)
。
解：由
Dmin
x
p(x) mind(x, y) 0 y
Dmax
min y
x
p(x)d(x, y) 1
由于信源等概分布，失真函数具有对称，因此，存在着与失真矩阵具有同样对称性的转移概率分布达到率失真R(D) ，该转移概率矩阵可写为：
P(v j / ui )
i1 j1
其约束条件为:
P(ui )P(v j / ui )
i1
P(v j / ui ) 0
s
P(v j / ui ) 1
j 1
rs
P(ui )P(v j / ui )d(ui , v j ) D
i1 j1
一、等概率、对称失真信源的计算
对于等概、对称失真的信源，存在一个与失真矩阵具有同样对称性的转移概率分布达到率失真R(D)。
p(x)d(x, y)
x
• 允许失真度D的下限可以是零，即不允许任何失真的情况。

第四章信息率失真函数

为什么要讨论信息率失真函数R(D) ？
失真在传输中是不可避免的。
连续信源输出的信息量为无穷大,不可能实现无失真信源编码. 接收者(信宿)无论是人还是机器设备，都有一定的分辨能力与即使信宿能分辨、能判别，但对通信质量的影响不大，也可以
灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的。
因此 D 取决于以下几个因素：
) i=1,2, ,n) 1）信源的统计特性，即 p(ai（
2）信道的统计特性，即 p(b j / ai ) 3）失真函数，即 d (ai , b j ) 一般情况下，人们所允许的失真指的都是平均意义上的失真。如果规定其平均失真度 D不能超过某一限定的值D，即D就是允许失真的上界。
称它为允许范围内的失真。
如果R>C，就必须对信源压缩，使得压缩后的R*<C，但同时要求引入的失真不能超过规定的限度。对于给定的信源，在允许失真的条件下信源熵所能压缩的理论极限值就是率失真函数R(D) 。
综上所述，一般可以对信源输出的信息进行限失真
处理，降低信息率，提高传输效率。
在允许一定程度的失真条件下，能够把信息压缩到什么程度？需要多少比特的信息率才能描述信源？本章主要讨论一定程度的失真情况下所需的最少的信息率，即信息率失真函数R(D) 。思路：从分析失真函数、平均失真出发求出信息率失真函数R(D)。
失真函数的数值是依据实际应用情况，用bj代替ai所导致的失真大小是人为决定的。上例中用b=2代替a=0和a=1所导致的失真程度相同，均为0.5；而用b=0代替a=1所导致的失真程度要大些，为1。
二、平均失真度
1. 离散随机变量平均失真度定义
失真函数的数学期望称为平均失真度。
n m n m

信息论与编码---第4章信息率失真函数

6
[D]称为信道 {X-P(Y/X)-Y} 的失真矩阵. 称为信道失真矩阵.
长江大学电信学院
X
4.1 基本概念
常用的失真函数有 (1)
d ( xi , y j ) = a 0, i= j a > 0, i ≠ j
7
当i = j时,x和y的消息符号都是 i,说明收发的消息符号都是x 时和的消息符号都是之间没有失真,所以失真函数之间没有失真,所以失真函数dij = 0;反之, ;反之, 当i ≠ j时,信宿收到的消息不是信源发出的符时而是y 出现了失真,所以失真函数d 号xi,而是 j,出现了失真,所以失真函数 ij 值的大小可以表示这种失真的程度. ≠0,而dij值的大小可以表示这种失真的程度. ,
长江大学电信学院
X
4.1 基本概念
d (a i , b j ) = d ( x i1 x i2 L x i N , y j1 y j2 L y j N ) = d ( x i1 , y j1 ) + d ( x i2 , y j2 ) + L + d ( x i N , y j N ) = ∑ d ( x i k , y jk )
长江大学电信学院
X
4.1 基本概念
2. 平均失真度的定义若信源和信宿的消息集合分别为X:{x1, 若信源和信宿的消息集合分别为 x2, …, xn}和Y:{y1, y2, …, ym},其概率分别为和 , p(xi)和p(yj) (i=1, 2, …, n ; j=1, 2, …, n ),信道和 , 的转移概率为p(y ,失真函数为d 的转移概率为 j|xi),失真函数为 (xi,yj),则 , 称随机变量X和的联合概率的联合概率p(x 称随机变量和Y的联合概率 i yj )对失真函数对失真函数的统计平均值为该通信系统的平均失真 d (xi, yj)的统计平均值为该通信系统的平均失真的统计平均值为该通信系统的度.

第四章：信息率失真函数

信息率失真函数
R( D)
p ( y j / xi )PD
min I ( X ;Y )
I ( X ; Y ) NR( D)
N N
对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道：
RN ( D)
p (b j / ai )PD ( N )
min
信息率失真函数

在研究R(D)时，引用的条件概率p(y/x)并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。所以改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率最小。
信息率失真函数的性质
基本概念
失真函数与平均失真度
失真函数常用的失真函数平均失真度离散无记忆信道的N次扩展信道的平均失真
基本概念
失真函数
X {x1...xn} Y { y1... ym} P( yj / xi )
对任一 ( xi, yj ) 指定一个非负数d ( xi, yj ) 0 称 d ( xi, yj ) 为单个符号的失真度或失真函数。
p ( xi1 ) p( xiN ) p( y j1 / xi1 ) p( y jN / xiN ) d ( xik , y jk )
i1 1 n iN 1 j1 1 jN 1 k 1
n
m
m
N
p ( xi1 ) p( y j1 / xi1 )d ( xi1 , y j1 ) p( xi2 ) p( y j2 / xi2 ) d ( xi2 , y j2 )
i 1 j 1
n
m
p( xi ) p( y j / xi )d ( xi , y j )

信息论与编码(清华出版社)第4章信息率失真函数-Qtech

{
i = 1,2, L , n; j = 1,2, L , m
}
14
信息率失真函数R(D) 信息率失真函数
由于互信息取决于信源分布和信道转移概率分布，根据2-2 由于互信息取决于信源分布和信道转移概率分布，根据节所述，一定时，是关于p(y 型凸函数，节所述，当p(xi)一定时，互信息是关于 j/xi) 的U型凸函数，一定时互信息I是关于型凸函数存在极小值。因而在上述允许信道P 存在极小值。因而在上述允许信道 D中，可以寻找一种信道 pij，使给定的信源 i)经过此信道传输后，互信息；Y)达使给定的信源p(x 经过此信道传输后互信息I(X；达经过此信道传输后，到最小。该最小的互信息就称为信息率失真函数R(D)，即到最小。该最小的互信息就称为信息率失真函数，
3
4.1 平均失真和信息率失真函数
4.1.1 4.1.2 4.1.3 4.1.4 失真函数平均失真信息率失真函数R(D) 信息率失真函数信息率失真函数的性质
4
4.1 平均失真和信息率失真函数
在实际问题中，在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真被严重损伤，甚至丧失其实用价值。限度，必须先有一个定量的失真测度。限度，必须先有一个定量的失真测度。为此可引入失真函数。入失真函数。
如何减小失真，允许失真到什么程度；如何减小失真，允许失真到什么程度；在允许一定程度的失真条件下，在允许一定程度的失真条件下，把信源信息压缩到什么程度。缩到什么程度。
2
第4章在信源允许一定失真情况下所需的最少信息率，从分析失真函数、所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R（D）。均失真出发，求出信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源的R（D）计算离散信源的（）

第4章信息率失真函数《信息论与编码》经典PPT课件

失真矩阵
d(a1,b1) d(a1,bm )
d
d(an,b1) d(an,bm )
• 例：设信源符号序列为X={0,1},接收端收到符号
序列为Y= {0,1,2},规定失真函数为
失真矩阵
d(0,0)＝d(1,1)= 0 d(0,1)＝d(1,0)= 1 d(0,2)＝d(1,2)= 0.5
d
没有失真
0
• d(xi , y j ) 0
x ≠ y xi y ji
j
产生失真
失xi 真 yj 的大小,用一个量来表示,即失真函数d(xi,yj),
以衡量用yj代替xi所引起的失真程度。
• 失真函数定义为：
0
d(xi, yj )
xi y j
0 xi y j
4
失真函数
• 将所有的d(xi,yj)排列起来,用矩阵表示为:
• 如果对信源进行不失真编码,平均每个符号至少需要log2n个二进制码元。
• 现在假定允许有一定失真,假设失真限度为D=1/2 设想采用下面的编码方案：
a1→a1， a2→a2， …an→an
an+1→an ,an+2→ an ,…a2n→ an
21
• 平均失真
D
i
j
p(ai
)
p(a j
|
ai
8
L长序列编码
• 如果假定离散信源输出符号序列X＝{X1X2… Xl… Xn},其中L长符号序列xi =[xi1xi2…xiL],经信源编码后,输出符号序列Y={Y1Y2…Yl…Ym},其中L
长符号序列yj=[yj1yj2…yjN ],则失真函数定义为
1
dL (xi , y j ) L j d (xiL , y jL )

[理学]信息论与编码原理_第4章_信息率失真函数

概
念实际生活中，人们一般并不要求获得完全无失真的消息，通常只
要求近似地再现原始消息，即允许一定的失真存在。
打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映 24 幅静态画面。
第11页
4.1.2 失真度与平均失真度
4.1 (1) 信息率与失真的关系
基
本信道中固有的噪声和不可避免的干扰，使信源的消息通过
概
念信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息的信息率
也越小。
24.11.2020
返回目录
信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。
24.11.2020
h
第8页
4.1.1 引言
4.1 (3) 信息率失真理论
基
本信息率失真函数极小值问题
概
念 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X)
nm
D p(xi)p(yj/xi)d(xi,yj) i1j1
24.11.2020
h
第19页
4.1.2 失真度与平均失真度
4.1 (4) 平均失真度
基
本平均失真度的意义
概
念 D 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和失真度 d(xi,yj) 的函数。
h
第12页

第四章信道失真率函数

D( N ) E[d (ai , b j )] p(ai ) p(b j | ai )d (ai , b j )

n n
N p(ai ) k 1 p( xik ) N p(b j | ai ) k 1 p( y jk | xik )
nN m N
i1 1 m
i N 1 j1 1
6
常用的失真函数
失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别等因素人为规定的，可以有多种形式平方误差失真函数 d ( xi , y j ) ( y j xi )2 适用于 d ( x , y ) | y x | 绝对误差失真函数 i j j i 连续信源相对误差失真函数 d ( xi , y j ) | y j xi | | xi |
率失真函数的定义域 (D 的下界)
允许失真度 D 是平均失真度的上限，而 D 是非负函数 d ( xi , y j ) 的数学期望，因此 D 的下界至多为 0，对应于无失真的情况，此时信息传输率应等于信源输出的信息熵，即 Dmin 0 时：离散信源：R( Dmin ) R(0) H ( X ) 连续信源：R( Dmin ) lim R( D )
N
由于 N 次扩展信源和 N 次扩展信道都是无记忆的，因此：
p(ai ) p( xi1 xi2
N xiN ) k 1 p( xik )
p(b j | ai ) p( y j1 y j2
y jN | xi1 xi2
N xiN ) k 1 p( y jk | xik )
9
符号序列的平均失真度
i 1, 2, j 1, 2,
,n ,m
上述非负的失真函数共有 n m 个，可以整体表示成失真矩阵 d ( x1 , ym ) d ( x1 , y1 ) d ( x1 , y2 ) d ( x , y ) d ( x , y ) d ( x , y ) 2 1 2 2 2 m D d ( x n , ym ) d ( xn , y1 ) d ( xn , y2 ) 由于信源发出的符号 X 和信宿收到(再现)的符号 Y 均是随机变量，因此单个符号的失真函数 d ( xi, yj ) 也是随机变量(的一次实现)

信息论与编码原理_第4章_信息率失真函数

性”，实际上只要每秒放映 24 幅静态画面。
有些失真没有必要完全消除。既然允许一定的失真存在，对信息率的要求便可降低。
返回目录
2019/1/17
Department of Electronics and Information, NCUT
Song Peng
பைடு நூலகம்
第7页
4.1.1 引
言
信息率与允许失真之间的关
4.1 基本概念
(3) 常用的失真函数
第一种：
i j 0 d ( xi , y j ) a a 0 i j 0 a D a a a a a 0 a a a 0 a 0 a a 0
特点：对角线上的元素均为 0，对角线以外的其它元素都为常数
2019/1/17
Department of Electronics and Information, NCUT
Song Peng
第14页
4.1.2 失真度与平均失真度
4.1 基本概念
(2) 失真度
失真矩阵
失真度还可表示成矩阵的形式
d ( x1 , y1 ) d ( x1 , y2 ) d ( x1 , ym ) d ( x , y ) d ( x , y ) d ( x , y ) 2 1 2 2 2 m D d ( x , y ) d ( x , y ) d ( x , y ) n 1 n 2 n m
以定义失真度为 0；
当 i≠j 时，用 Y 代表 X 就有误差。这种定义认为对所有不同的 i 和 j 引起的误差都一样，所以定义
失真度常数 a。
2019/1/17

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
第4章率失真编码
第4章率失真编码
内容提要数据压缩是信息传输和处理的重要研究内容，率失真理论研究的就是在允许一定失真的前提下，对信源的压缩编码。率失真信源编码定理（香农第三定
理）指出：率失真函数R (D) 就是在给定失真测度
条件下，对信源熵可压缩的最低程度。本章只限于研究率失真理论最基本的内容，失真测度，率失真函数，率失真函数的定义域，值域，性
dii 0 i, j 1,2, , K dij 1
上述约定可以用矩阵表示为
0
d 1
1 0
1 1
1 1 0
式中di j ≥ 0 i, j = 1, 2, …, K为信源方发送符号xi而信宿方判为 yj引起的失真度。
对于矢量传输情况，若信道的输入、输出均为N 长序列X = X1 X2 … XN ，Y = Y1 Y2 … YN ，定义失真测度为
质及定量计算。R (D) 的计算很烦琐，文中通过二个例子介绍了几种特殊情况下R (D )的求法，一般
情况只能用参数法求解。
第4章率失真编码
信息率失真函数R(D)——香农1959年提出 ✓ 在允许一定失真度D的情况下，
信源输出的信息率可压缩为R(D)值 ✓ 数据压缩的理论基础 I(X;Y)——H(X)、H(Y/X)的二元函数 ➢ 固定H(Y/X) ，改变H(X)得I(X;Y)最大值
(4-12)
式(4-12)的意义在于，选择p(y∣x)即选择某种编码方法在满足
的 D D前提下，使I (X ; Y) 达到最小值R(D) ，这就是满足平均失真 D D 条件下的信源信息量可压缩的最低程度。
4.2 信息率失真函数R(D)
补充：试验信道(D允许信道)PD 1.定义：固定信源(H(X)时，满足失真度准则 (D D) 的所有转移概率p(y/x)的集合 2.单符号信源、单符号信道的试验信道
i1 j1
i1 j1
平均失真D 是对在给定信源分布q(x)条件下，通过有扰信道传输而引起失真的统计平均度量。
平均失真说明：
①是在平均意义上，对系统失真的总体描述
②是信源统计特性p(xi)的函数是信道统计特性p(yj / xi)的函数是规定失真度 d(xi, yj)的函数若保持p(xi)、d(xi, yj) 不变，则平均失真度就是信道特性p(yj / xi)的函数
x1 q( x1
)
x2 q(x2 )
xI q(xI
)
，经有扰信
道传输，信道输出符号为Y = {y1, y2, …, yJ}，平均失真即对d i j（i =1, 2, …,I; j = 1, 2, …, J）求统计平均值，记为
IJ
IJ
D
p(xi y j )di j
q(xi ) p( y j xi )di j （4-4）
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
yK}，约定失真测度
yi xi
无误码
y
j
xi (i
j)
误码
J
p(xki , ykj )d (xki , ykj )（4-5）
j 1
（4-5）式表明了离散无记忆N次扩展信道的输入输出符号之间平均失真等于单个符号xki,ykj之间失真统计值的总和。
若矢量信源是原离散无记忆信道的N次扩展，且矢
量信道也是原离散无记忆信道的N次扩展，则每个 Dk
k 1,2,...,N 对一位信源信道所取的均值相等，即
N次扩展信道
对于矢量传输情况，若信道的输入、输出符号均为
N长序列X=X1，…,Xk,…,XN,X k {x1, x2 ,..., xI } , Y=Y1，…,Yk,…,YN, Yk {y1, y2 ,..., yJ } ，
平均失真定义为
D( N )
1 N
N
Dk
k 1
1 N
N k 1
I i 1
d (N ) (X ,Y )
1 N
N
d ( X k ,Yk )
k 1
（4-2）
【例4.2】平方误差失真测度
信源输出符号X = {0, 1, 2}，信道输出符号Y = {0, 1, 2} ，给
出失真测度d i j = (xi - yj )2 i, j = 0, 1, 2
则失真测度矩阵为
0
d 1
1 0
4 1
4 1 0
【例4.3】绝对值误差失真测度
信源输出符号X = {0, 1, 2}，信道输出符号Y = {0, 1, 2} ，给出
失真测度
d i j = ︱xi - yj ︱
则失真测度矩阵为
0 1 2
d 1 0 1
2 1 0
i, j = 0, 1, 2
2.平均失真
ቤተ መጻሕፍቲ ባይዱ
离散信源
q
X (X
)
1．失真测度d( x,
给定离散信源
y)
X
q( X
)
x1 q(x1
)
x2 q(x2 )
xI q(xI
)
，信道
输出符号yj引起的失真用 d (xi ,y j)（i =1, …,I j = 1, …, J）
表示，简记为d i j，将所有的d i j列出来，可以得到下面的失真
测度矩阵
d11 d12
——信道容量 ➢ 固定H(X)，改变H(Y/X) 得I(X;Y)最小值
——率失真函数
4.1 失真测度与平均失真
在允许一定失真的前提下，从提高传输效率的角度出发，可以对信源信息量事先进行压缩再予传输，这章要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的
条件下，信源所能压缩的最低程度，即率失真函数R(D)。
从而， D1 ... Dk ... DN D
D(N) D
4.2 信息率失真函数R(D)
4.2.1 率失真函数的定义
给定信源，即信源概率分布q (x) 一定，给定失真测度矩阵
[d]=[dij]，寻找信道，记它的转移概率矩阵为 P [ p( y j xi )]
，要求满足
D
q(xi )p( y j xi )di j D （4-11）

信息论第四章失真率函数

合集下载