下载文档原格式
第十章率失真理论由实际生活经验我们知道，一般人们并不要求完全无失真地恢复消息。
对人的心理视觉研究表明，人们在观察图像时主要是寻找某些比较明显的目标特征，而不是定量地分析图像中每个像素的亮度，或者至少不是对每个像素都等同地分析。
例如观看段视频或观察幅图像，同地分析。
例如观看一段视频或观察一幅图像，人们可能会关注其主要情节，对视频或图像中的细节并不是那么注意，此时便允许视频或图像有一定程度的失真。
《信息论基础》中国科学技术大学刘斌234第十章率失真理论描述一个任意的实数需要无穷比特。
对连续随机变量的有限表示不可能完美。
对连续随机变量的有限表示不可能完美失真度量：随机变量和它的表示之间的距离的度量。
度量率失真理论的基本问题：对于一个给定的信源分布与失真度量在特定的码率下可达到的分布与失真度量，在特定的码率下，可达到的最小期望失真是多少？率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
《信息论基础》中国科学技术大学刘斌235量化X 例的表示（再生点）：R 比特失真度量：中国科学技术大学刘斌236《信息论基础》量化Lloyd算法：量化的迭代算法✓基于某个再生点集合，找到最优的再生区域基于某个再生点集合找到最优的再生区域集（在失真度量下的最邻近的区域）✓确定这些区域的相应最优再生点n个独立同分布的随机变量集合✓可用nR比特表示使用一个✓使用个nR比特的序列来表示联合的n元随机变量，要优于使用n个R比特的序列来分别表示n个随机变量。
个随机变量《信息论基础》中国科学技术大学刘斌237率失真理论模型信源：编码：编码译码：《信息论基础》中国科学技术大学刘斌238失真度量失真函数(distortion function)或失真度量(distortion measure)：信源字母表与再生字母表的乘积空间到非负实数集的映射✓汉明（误差概率）失真：✓平方误差失真：称失真度量是有界的：失真的最大值有限失真的最大值有限《信息论基础》中国科学技术大学刘斌239失真度量失真函数是人为地规定的，给出其规定时应该考虑解决问题的需要以及失真可能引起的损失、风险和主观上感觉的差别等因素。
第8章信息率失真理论一般通信系统允许一定的失真存在。
根据信息率失真理论，由无失真信源编码改为限失真信源编码，从而降低信源编码对信息传输率的要求。
需要研究的问题是：对于给定的允许失真，用什么来描述限失真信源编码信息传输率的下限？一、离散信源的信息率失真函数由信息传输率R=I(X;Y)的凸函数性：信源固定时，信息传输率是信道转移概率分布的下凸函数。
因此，总能找到一种信道转移概率分布，使信息传输率最小。
当信道转移概率分布p(yj /xi)=p(yj)时，信息传输率R=0，显然，这个下限无意义。
(1)失真度设单符号信源为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)x (p )x (p )x (p x x x )X (P X n 21n 21L L 该符号经信道传输后对应一个m元信宿。
1、平均失真度定义非负函数d(x i ,y j )为失真度。
i=1,2, …,n ；j=1,2, …,m。
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)y ,x (d ...)y ,x (d )y ,x (d ............)y ,x (d ...)y ,x (d )y ,x (d )y ,x (d ...)y ,x (d )y ,x (d ]D [m n 2n 1n m 22212m 12111称全部n×m个失真度组成的矩阵为失真矩阵：⎩⎨⎧≠>αα==j i ji j i y x ,0,y x 0)y ,x (d常用的失真度有：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡αααααα=0..................0...0]D [相应的失真矩阵当α=1时，称为汉明失真矩阵。
2)x y ()y ,x (d −=称为平方误差失真度。
由于将保真度准则作为约束条件，所找的信道转移概率分布只能来自实验信道集合，p(yj /xi)=p(yj)不一定是实验信道，信息传输率不总为0，故此时信息传输率的下限有意义。
特别地，当D =D min =0，即不允许任何失真时R(D )=H(X)根据R(D)的性质可知，当D =D max 时，R(D)=0n ,,2,1i )y (p )x /y (p 0)D (R j i j L ==→=如果D >D max ，同样R(D)=0∑∑===n 1i m1j j i j i )y (p max )y ,x (d )y (p )x (p min D j∑∑∑=====m 1j j j )y (p n 1i j i i m 1j j )y (p D )y (p min )y ,x (d )x (p )y (p min j j ∑==n1i j i i j )y ,x (d )x (p D 其中jjm1j j j D min D )y (p ≥∑=Q jjm1j j j )y (p max D min D )y (p min D j ==∴∑=n mn mSα例2:三元(三进制)等概率信源的失真矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110]D [求该信源的信息率失真函数R(D)及允许失真度D的取值范围，并求D =1/3时的R(D)及达到R(D)的实验信道P D (Y/X)。
率失真理论及经典的码率控制算法一、视频编码的率失真思想率失真理论研究的是限失真编码问题：能使限失真条件下比特数最小的编码为最佳编码。
设信源为},...,,{21m m a a a A =，经过编码后，信宿为},...,,{21n n b b b B =，定义信源、信宿概率空间分别为)}(),...,(),({Q )}(),...,(),({2121n m b Q b Q b Q a P a P a P P 、。
定义平均失真函数)(Q D 如下： ∑∑∑∑======m j j k j nk k j m j k j n k k j a b Q a P b a d b a P b a d Q D 1111)|()(),(),(),()(其中，),(k j b a d 为失真度，度量准则可是均方误差MSE 、绝对差分和SAD 或差分平方和SSD 等。
若信源概率分布)(j a P 已知，则平均失真仅仅取决于条件概率)|(j k a b Q ，从而必然存在这样一个条件概率)|(j k a b Q 使得D Q D ≤)(，即：))((D Q D Q Q D ≤=即D Q 为保证平均失真)(Q D 在允许范围D 内的条件概率集合。
进一步，定义),(Y X I 为接收端获取的平均信息量：)()|(log)|()(),(1k j k m j j k j b Q a b Q a b Q a P Y X I ∑==同样，在给定的)(j a P 前提下，),(Y X I 的大小也只取决于。
现在率失真函数)(D R 定义为在D Q 范围内寻找最起码的信息量，即：),()(min Y X I D R DQ Q ∈=该公式的含义：在允许的失真度为D 的条件下，信源编码给出的平均信息量的下界，也就是数据压缩的极限数码率。
当数码率R 小于率失真函数)(D R 时，无论采用什么编码方式，其平均失真必大于D 。
视频压缩是典型的限失真编码，率失真理论同样适应于视频编码。
