下载文档原格式
第十章率失真理论由实际生活经验我们知道，一般人们并不要求完全无失真地恢复消息。
对人的心理视觉研究表明，人们在观察图像时主要是寻找某些比较明显的目标特征，而不是定量地分析图像中每个像素的亮度，或者至少不是对每个像素都等同地分析。
例如观看段视频或观察幅图像，同地分析。
例如观看一段视频或观察一幅图像，人们可能会关注其主要情节，对视频或图像中的细节并不是那么注意，此时便允许视频或图像有一定程度的失真。
《信息论基础》中国科学技术大学刘斌234第十章率失真理论描述一个任意的实数需要无穷比特。
对连续随机变量的有限表示不可能完美。
对连续随机变量的有限表示不可能完美失真度量：随机变量和它的表示之间的距离的度量。
度量率失真理论的基本问题：对于一个给定的信源分布与失真度量在特定的码率下可达到的分布与失真度量，在特定的码率下，可达到的最小期望失真是多少？率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
《信息论基础》中国科学技术大学刘斌235量化X 例的表示（再生点）：R 比特失真度量：中国科学技术大学刘斌236《信息论基础》量化Lloyd算法：量化的迭代算法✓基于某个再生点集合，找到最优的再生区域基于某个再生点集合找到最优的再生区域集（在失真度量下的最邻近的区域）✓确定这些区域的相应最优再生点n个独立同分布的随机变量集合✓可用nR比特表示使用一个✓使用个nR比特的序列来表示联合的n元随机变量，要优于使用n个R比特的序列来分别表示n个随机变量。
个随机变量《信息论基础》中国科学技术大学刘斌237率失真理论模型信源：编码：编码译码：《信息论基础》中国科学技术大学刘斌238失真度量失真函数(distortion function)或失真度量(distortion measure)：信源字母表与再生字母表的乘积空间到非负实数集的映射✓汉明（误差概率）失真：✓平方误差失真：称失真度量是有界的：失真的最大值有限失真的最大值有限《信息论基础》中国科学技术大学刘斌239失真度量失真函数是人为地规定的，给出其规定时应该考虑解决问题的需要以及失真可能引起的损失、风险和主观上感觉的差别等因素。
第8章信息率失真理论一般通信系统允许一定的失真存在。
根据信息率失真理论，由无失真信源编码改为限失真信源编码，从而降低信源编码对信息传输率的要求。
需要研究的问题是：对于给定的允许失真，用什么来描述限失真信源编码信息传输率的下限？一、离散信源的信息率失真函数由信息传输率R=I(X;Y)的凸函数性：信源固定时，信息传输率是信道转移概率分布的下凸函数。
因此，总能找到一种信道转移概率分布，使信息传输率最小。
当信道转移概率分布p(yj /xi)=p(yj)时，信息传输率R=0，显然，这个下限无意义。
(1)失真度设单符号信源为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)x (p )x (p )x (p x x x )X (P X n 21n 21L L 该符号经信道传输后对应一个m元信宿。
1、平均失真度定义非负函数d(x i ,y j )为失真度。
i=1,2, …,n ；j=1,2, …,m。
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)y ,x (d ...)y ,x (d )y ,x (d ............)y ,x (d ...)y ,x (d )y ,x (d )y ,x (d ...)y ,x (d )y ,x (d ]D [m n 2n 1n m 22212m 12111称全部n×m个失真度组成的矩阵为失真矩阵：⎩⎨⎧≠>αα==j i ji j i y x ,0,y x 0)y ,x (d常用的失真度有：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡αααααα=0..................0...0]D [相应的失真矩阵当α=1时，称为汉明失真矩阵。
2)x y ()y ,x (d −=称为平方误差失真度。
由于将保真度准则作为约束条件，所找的信道转移概率分布只能来自实验信道集合，p(yj /xi)=p(yj)不一定是实验信道，信息传输率不总为0，故此时信息传输率的下限有意义。
特别地，当D =D min =0，即不允许任何失真时R(D )=H(X)根据R(D)的性质可知，当D =D max 时，R(D)=0n ,,2,1i )y (p )x /y (p 0)D (R j i j L ==→=如果D >D max ，同样R(D)=0∑∑===n 1i m1j j i j i )y (p max )y ,x (d )y (p )x (p min D j∑∑∑=====m 1j j j )y (p n 1i j i i m 1j j )y (p D )y (p min )y ,x (d )x (p )y (p min j j ∑==n1i j i i j )y ,x (d )x (p D 其中jjm1j j j D min D )y (p ≥∑=Q jjm1j j j )y (p max D min D )y (p min D j ==∴∑=n mn mSα例2:三元(三进制)等概率信源的失真矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110]D [求该信源的信息率失真函数R(D)及允许失真度D的取值范围，并求D =1/3时的R(D)及达到R(D)的实验信道P D (Y/X)。
率失真理论及经典的码率控制算法一、视频编码的率失真思想率失真理论研究的是限失真编码问题：能使限失真条件下比特数最小的编码为最佳编码。
设信源为},...,,{21m m a a a A =，经过编码后，信宿为},...,,{21n n b b b B =，定义信源、信宿概率空间分别为)}(),...,(),({Q )}(),...,(),({2121n m b Q b Q b Q a P a P a P P 、。
定义平均失真函数)(Q D 如下： ∑∑∑∑======m j j k j nk k j m j k j n k k j a b Q a P b a d b a P b a d Q D 1111)|()(),(),(),()(其中，),(k j b a d 为失真度，度量准则可是均方误差MSE 、绝对差分和SAD 或差分平方和SSD 等。
若信源概率分布)(j a P 已知，则平均失真仅仅取决于条件概率)|(j k a b Q ，从而必然存在这样一个条件概率)|(j k a b Q 使得D Q D ≤)(，即：))((D Q D Q Q D ≤=即D Q 为保证平均失真)(Q D 在允许范围D 内的条件概率集合。
进一步，定义),(Y X I 为接收端获取的平均信息量：)()|(log)|()(),(1k j k m j j k j b Q a b Q a b Q a P Y X I ∑==同样，在给定的)(j a P 前提下，),(Y X I 的大小也只取决于。
现在率失真函数)(D R 定义为在D Q 范围内寻找最起码的信息量，即：),()(min Y X I D R DQ Q ∈=该公式的含义：在允许的失真度为D 的条件下，信源编码给出的平均信息量的下界，也就是数据压缩的极限数码率。
当数码率R 小于率失真函数)(D R 时，无论采用什么编码方式，其平均失真必大于D 。
视频压缩是典型的限失真编码，率失真理论同样适应于视频编码。
《信息论与编码》课程自学报告题目：信息论与编码自学报告学号：姓名：任课教师：联系方式：二零一四年2 月15 日1 自学内容阐述1.1 信息率失真函数1.1.1 失真函数与平均失真度失真函数：设离散信源概率分布为： 经信道传输后输出序列为: ，对任一 指定一个非负数 称为单个符号的失真度（或称失真函数）。
失真函数用来表征信源发出一个符号i a ，而在接收端再现成符号j b 所引起的误差或失真。
d 越小表示失真越小，等于0表示没有失真。
可以将所有的失真函数排列成矩阵的形式： 平均失真度：由于i a 和j b 都是随机变量，所以失真函数),(j i b a d 也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为1.1.2 信息率失真函数的定义由于互信息取决于信源分布和信道转移概率分布，当信源的分布概率已知时，互信息I 是关于p(bj/ai) 的下凸函数，存在极小值。
该最小的互信息就称为信息率失真函数R(D)： 对于离散无记忆信源，R(D)可以写成：);(m in )()()/(N N P p N Y X I D R N D i j ∈=αβ1.1.3 信息率失真函数的性质 率失真函数的定义域： 。
允许失真度D 的下限可以是零，即不允许任何失真的情况。
率失真函数对允许平均失真度的下凸性：设21,D D 为任意两个平均失真，10≤≤a ，则有： )(,),(,),(),( , , , , ,)( 2121⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡n i n i a p a p a p a p a a a a X P X }...{21m b b b Y =),(j i b a 0),(≥ji b a d ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=),(...),(),(............),(...),(),(),(...),(),(][212221212111m n n n m m b a d b a d b a d b a d b a d b a d b a d b a d b a d D ∑∑∑∑====-===n i mj j i i j i n i m j j i j i ji b a d a b p a p b a d b a p b a d E D 1111),()/()(),()()],([);(min )()/(Y X I D R D i j P a b p ∈=min max 0D D D ≤≤≤1212((1))()(1)()R aD a D aR D a R D +-≤+-率失真函数的单调递减和连续性：由信息率失真函数的下凸性可知， R(D)在),(max min D D 上连续。
浅析媒体传播中的新闻信息失真现象摘要：现今新闻在媒体传播的过程中经常出现失真的现象，或者从一开始在新闻被创造的时候就不真实，或者在传播的过程中经过不断的加工和选择造成了新闻的失真。
尤其是在互联网时代，信息传播速度之快、传播范围之广，影响力之大可见一斑。
那么造成新闻失真的原因是什么？我们又该如何来防范和杜绝新闻的失真？本文将介绍新闻失真的原因以及应对的措施。
新闻，还人们一个真实的世界。
关键词：新闻、信息失真、媒体传播、一、信息失真的内涵所谓信息失真，指的是“信息偏离了客观事物的真实状况与一定的衡量标准”。
在信息的反映过程、传输过程和理解过程中，都有可能造成信息的失真。
二、信息失真的案例（一）案例一：2005年4月17日，国内众多媒体发表关于“高露洁牙膏可能含致癌成分”的报道。
报道称，据美国最新研究显示，数十种牙膏、洗手液等抗菌清洁品，当中包括高露洁等品牌的产品，含有化学物质三氯生，这种物质与经氯消毒的自来水接触后会产生三氯甲烷(俗名氯仿或哥罗芳)，而三氯甲烷是一种可能致癌的物质。
随着这则消息的飞速传播，高露洁在中国的市场销量出现了明显下跌。
截至4月19日上午8点，据新浪网的网上调查表明，88％以上的消费者原来信任高露洁品牌，而现在会继续使用该品牌牙膏的消费者不到10％。
据上海市商业信息中心对该市两家颇有影响的大型超市、大卖场进行专题调查显示，4月18日至4月24日这一周，高露洁牙膏每天的销售额比上周同期的降幅达到45%～65%。
然而，随后的追踪调查表明，所谓“高露洁致癌事件”，不过是媒体信息传递失真而导致的一起“公共卫生危机”。
4月19日，这一发现的研究者美国弗吉尼亚工学院的彼得·威克斯兰在弗吉尼亚《The Roanoke Time》报纸的网站上说，许多媒体断章取义了他关于潜在健康风险的发现。
威克斯兰说，事实上，自己在《环境科学技术》杂志上发表的文章只是称：在洗手液中发现的三氯生以及含氯的自来水在实验条件下可以产生反应，进而生成“哥罗芳”。
