下载文档原格式
第8章信息率失真理论一般通信系统允许一定的失真存在。
根据信息率失真理论，由无失真信源编码改为限失真信源编码，从而降低信源编码对信息传输率的要求。
需要研究的问题是：对于给定的允许失真，用什么来描述限失真信源编码信息传输率的下限？一、离散信源的信息率失真函数由信息传输率R=I(X;Y)的凸函数性：信源固定时，信息传输率是信道转移概率分布的下凸函数。
因此，总能找到一种信道转移概率分布，使信息传输率最小。
当信道转移概率分布p(yj /xi)=p(yj)时，信息传输率R=0，显然，这个下限无意义。
(1)失真度设单符号信源为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)x (p )x (p )x (p x x x )X (P X n 21n 21L L 该符号经信道传输后对应一个m元信宿。
1、平均失真度定义非负函数d(x i ,y j )为失真度。
i=1,2, …,n ；j=1,2, …,m。
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)y ,x (d ...)y ,x (d )y ,x (d ............)y ,x (d ...)y ,x (d )y ,x (d )y ,x (d ...)y ,x (d )y ,x (d ]D [m n 2n 1n m 22212m 12111称全部n×m个失真度组成的矩阵为失真矩阵：⎩⎨⎧≠>αα==j i ji j i y x ,0,y x 0)y ,x (d常用的失真度有：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡αααααα=0..................0...0]D [相应的失真矩阵当α=1时，称为汉明失真矩阵。
2)x y ()y ,x (d −=称为平方误差失真度。
由于将保真度准则作为约束条件，所找的信道转移概率分布只能来自实验信道集合，p(yj /xi)=p(yj)不一定是实验信道，信息传输率不总为0，故此时信息传输率的下限有意义。
特别地，当D =D min =0，即不允许任何失真时R(D )=H(X)根据R(D)的性质可知，当D =D max 时，R(D)=0n ,,2,1i )y (p )x /y (p 0)D (R j i j L ==→=如果D >D max ，同样R(D)=0∑∑===n 1i m1j j i j i )y (p max )y ,x (d )y (p )x (p min D j∑∑∑=====m 1j j j )y (p n 1i j i i m 1j j )y (p D )y (p min )y ,x (d )x (p )y (p min j j ∑==n1i j i i j )y ,x (d )x (p D 其中jjm1j j j D min D )y (p ≥∑=Q jjm1j j j )y (p max D min D )y (p min D j ==∴∑=n mn mSα例2:三元(三进制)等概率信源的失真矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110]D [求该信源的信息率失真函数R(D)及允许失真度D的取值范围，并求D =1/3时的R(D)及达到R(D)的实验信道P D (Y/X)。
![[信息与通信]第10讲 信息率失真函数](https://img.taocdn.com/s1/m/d018b36c3069a45177232f60ddccda38376be1de.png)
信息率失真函数r(d)
信息率失真函数是信息论中对信源的提取率和失真之间关系的描述函数，用于量化信息传输过程中的信源失真。
信息传输中存在两个基本要素，即提取率和失真。
提取率指的是通过传输信道提取出的有效信息的比例，
而失真则是指提取出的信息与原始信息之间的差异。
信息率失真函数通常被用来评估压缩编码的性能。
在压缩编码中，为
了减小数据的传输量，我们会对数据进行压缩，并通过编码算法将其表示
为较短的二进制代码。
压缩过程中的失真表示为编码后恢复的数据与原始
数据之间的差异。
在设计压缩编码算法时，我们希望能够在提取率和失真之间达到一个
平衡。
提取率越高，我们能够从信道中提取出更多的有效信息；而失真越小，恢复的信息与原始信息的差距越小。
信息率失真函数可以帮助我们在
这两个方面之间进行权衡。
在信息论中，常用的信息率失真函数有均方误差函数和最大误差概率
函数。
均方误差函数衡量的是编码恢复的数据与原始数据之间的平方差的
期望，可以通过最小化均方误差来实现较低的失真。
而最大误差概率函数
则衡量的是编码恢复的数据与原始数据之间的最大差异的概率，可以通过
最小化最大误差概率来实现较低的失真。
总结来说，信息率失真函数是信息论中用于量化信源提取率和失真之
间关系的函数。
它可以帮助我们在设计压缩编码算法时找到提取率和失真
之间的平衡点，以达到较高的提取率和较低的失真。
