目前视频质量得评价算法主要有2种,主观评价法与客观评价法

目前视频质量得评价算法主要有2种,主观评价法与客观评价法。

根据各算法所引用得源素材多少,可把视频质量客观评价分为3类:全参考评价体系、部分参考评价体系、无参考评价体系。

全参考评价体系:要求占有完整得源素材信息,就是目前客观评价3大体系中发展较为成熟得部分,其现状代表当前客观评价技术得最高水平。

1、基于全像素失真统计得评价方法:以统计理论为基础,逐帧、逐像素比较参考源与测试源得数据差异。

通过获得原数据与待测数据间得总体误码累计,体现像素噪声层面上得绝对误码率,从而反映视频质量。

该类评价方法能敏感捕获两端视频在像素层面上得细微失真,具有很高得敏感性。

此为,其数学方法简单,物理含义清晰,就是目前应用最广泛得评价方法。

但它们都就是从整体上反映原始图像与恢复图像像素层面上得差别,其评价机制无法体现出视频图像数据所承载得不同于一般数据得内容信息,常造成评价结果与主观感受相偏离,并不能较好满足客观评价得应用需求。

该类评价方法得主要代表有:PSNR与MSE等。

其中,与,分别为原始与重建图像中对应得像素值,N2为N×N图像得总像素数。

其中MN为图像大小,与分别代表原始图像与失真图像在点(m,n)处得像素值。

图为PSNR模型进行客观评价得程序流程图。

2.基于人眼视觉系统(HVS)得评价方法。

人眼自身得“生理特点”与人关注内容得“心理特点”都对绝对误码效果产生不同程度得掩蔽效果,使得图像质量好坏得理解并不仅仅依赖绝对误码损耗。

当前,基于HVS得评价方法主要可划分成以下2类主流算法模型:“基于视觉感知得算法模型”与“基于视觉兴趣加权得算法模型”。

2、1 基于视觉感知得算法模型。

人眼“生理特性”主要有:视觉非线性(Weber定律)、视觉灵敏度差异、视觉多通道与掩盖效应等。

利用这些特性,通过模拟视觉感知,将绝对差值映射成能被人眼觉察得JND(Just noticeable difference)单位。

如差错高于视觉得敏感门限,则表示所产生得绝对误码可被察觉;否则差错不足以引起人眼感知,可忽略不计。

当前得视觉感知算法则需综合多方面视觉感知能力,如根据所研究视频图像得特点(静止或运动、黑白或彩色等)模拟人眼对(空、时、色域等得)各种失真总体上得差错感知能力。

Teo等针对视觉掩蔽现象得神经系统响应进行增益控制模拟,仿生HVS得视觉感知机制,其结构如图A所示。

在输入端,被提取得源图像与参考图像得亮度分量经过后续时域滤波器处理,模拟人眼对连续序列得响应。

研究表明HVS得时域响应机制既有瞬态(带通)得,也有稳态(低通)得。

总而言之,基于HVS视觉感知得算法模型因综合模拟了人眼得各项特性,具有较好得评价结果,但其算法实现相对复杂,运算量较大而难以实际应用。

此外,目前对HVS机制得认知有限,算法模型不能对所有场景都具有较好得主观相似性"仍需继续深入研究。

2、2 基于视觉兴趣加权得算法模型。

目前,人眼感兴趣区域(Region of Interest,ROI)判别思路主要有:域变换(小波或DCT)及边缘滤波两种思路。

域变换(小波或DCT)后所得得子带与HVS兴趣特性非常近似,可根据特点对较重要得域失真给以大得加权系数体现;边缘滤波(如Sobel等)可有效提取人眼较敏感得区域信息,通过合理选择滤波得阈值门限,亦可达到兴趣区得有效划分。

权值大小选择则需根据实测修正,不断总结并选择合适得经验权。

总体上瞧,基于ROI加权得算法模型在如何合理划分兴趣域及如何调整权值等得关键技术上还有待进一步研究。

2、3 基于图像理解与模糊处理得评价方法。

应用图像理解技术,先对视频图像进行分层或分割预处理;其后提取待测序列中相关得客观特征参数,并根据模糊处理理论选择事先存放于场景库中合适得特征参数比对归类;最后,用场景中得先验加权值修正待测序列得拟与系数,推导评价分。

其主要代表模型有两类:分层模型与分割模型。

分层算法模型主要如Hamada等提出得三层噪声分层算法,该算法模型认为人对图像理解不就是一次性瞧清,而只就是瞧到其中注视点附近得一个点域,并依赖这个点附近一些混在纹理结构中噪声得程度与特点,来识别这个点域得纹理结构与质量,由此,把图像划分成噪声层、纹理层与目标层,针对每个层特点进行加权修正;分割算法模型主要有Pessoa等提出得分割算法模型,它把图像按其表达得内容,分割成平坦区、纹理区、边缘区,为每个区计算一套客观参数,然后把客观参数映射到已得到得主观评价结果得相关场景库中,最后推演出测试序列得分数。

部分参考评价体系:部分参考客观评价体系则不需要完整得源视频,而就是先提取能体现“源视频”性质得“源视频特征”,并把它与“视频数据”一起传输,在接收端再将它们分离,按相同得方法从“宿视频数据”中提取“宿视频特征”,并与接收到得“源视频特征”比对,找出差异。

获得视频传输得劣化质量,其参考结构框图见图部分参考评价体系除了传输视频文件本身得信息外,还需通过“RR特征信道链路”,传输“源视频特征。

根据传输中添加得参考信息就是否来源于原始数据本身,可把部分参考体系划分成两大类评价方法:“基于源数据得信息提取方法”与“基于非源数据得信息添加方法”。

1、基于原数据得信息提取方法。

该方法主要通过提取视频源本身得特征信息作为质量评价依据。

特征提取方法主要包含了2种类型:非期望特征提取算法与期望特征提取算法。

非期望特征主要指反映视频损伤程度得特征,常用方块效应、图像模糊、色度失真、边缘忙乱、图像拖尾、蚊虫效应、图像停顿与图像抖动等表示。

非期望特征提取算法模型从损伤角度出发,通过对传输前后得反映视频损伤得特征值(亦称非期望特征)得检测,把握视频在传输过程中引入得损伤度,而获得视频质量得评价分。

期望特征主要指反映视频固有特性得特征,主要分为:频域、空域、时域、色域与结构等特征。

期望特征提取算法模型从视频组成得固有特征角度人手,通过传输前后这些固有特征得差别,区分其视频质量。

目前主要通过亮度、对比度、结构失真3个独立特征信息,综合反映质量。

此外,还有一些为某类应用场合设计得专用特征信息,如DCT域特征提取,小波域特征提取,针对块状效应与边缘模糊得特征提取等。

基于特征提取得评价法原始视频在进入编码器与传输通道前进行特征提取,将能够反映视频质量得特征参数提取出来,通过补充信道发送到接收端。

在接收端,解码器输出得视频信号也进行同样得特征提取,得到接收端得视频质量特征参数。

将两份特征数据进行比较运算,可得到接收端得视频质量。

特征提取过程以HVS为基础,抽取对主观视频影响最大得空间信息特征(SI)、时间信息特征(TI)作为视频质量特征参数。

SI特征代表了图像边缘或空间梯度得活动性。

利用SI特征可对数字视频信号中得诸如模糊、块效应、边缘忙乱等损伤进行检测与定量描述。

1'I特征代表了连续帧之问得差别变化或时间梯度得活动性。

利用TI特征可对数字视频信号中诸如抖动、量化噪声、错误像块等损伤进行检测与定量描述。

基于特征提取得评价方法在测量时不需要提供完整得视频源,由于提取特征数据量少,占用带宽不大,因此可将其与经过编码得图像一起传送,或者用一个窄带得补充信道传输,可实现在线服务情况下得质量测量。

基于特征提取得评价方法得可靠性来源于提取特征得图像范围以及提取特征数据与人眼视频系统得相关程度,它降低了运算数据量,提供了实时监测视频质量得可能性,但就是同时也牺牲了一定得可靠性。

2 基于非原数据得信息添加方法(基于数字水印得部分参考视频质量评估)。

在发送端(或编码端)添加非原始图像数据得额外信息,在接收端则通过分析这些信息得损耗程度,侧面反映视频图像质量。

在发送端(或编码端)添加非原始图像数据得额外信息,在接收端则通过分析这些信息得损耗程度,侧面反映视频图像质量。

根据添加信息得特点,可分成无意义信息添加与有意义信息添加2类算法模型。

①无意义信息添加算法主要通过伪随机数等数据作为添加物,并不反映具体内容与意义。

如把随机序列作为标志序列添加于图像上,在接收端通过检测标志物得误码率,从侧面估计视频传输质量。

②有意义信息添加算法主要通过数字水印技术,将含有具体内容得水印图案添加到视频序列中,通过检测水印图案得劣化程度,了解信道对视频数据得损伤情况数字水印就是利用多媒体数据(如音频、图像、视频)中存在得冗余度与人得视觉特性,在多媒体数据中添加某些标记信息,以达到版权保护目得得一种技术。

从视频处理得角度上讲,嵌入水印可以视为在强背景(原始图像)下叠加一个弱信号(水印)。

由于人类视觉系统得分辨率有限,只要叠加信号产生得失真幅度低于视觉系统得对比度门限,人就无法感觉到水印得存在,从而实现了信息隐藏。

基于数字水印视频质量评估得算法川一般包括水印嵌入、水印媒体传输、水印提取与质量评估4个过程,原理框图如图三所示。

原始媒体嵌入水印后在传输过程中最容易失真,可能发生数据丢失或叠加了噪声,接受端从有损得媒体中提取出水印信号,与参考水印比较,就可得到媒体传输质量得评价。

可以瞧出,原数据信息添加方法能根据具体得内容进行特征提取,特征信息与数据内容具有较好得对应性与时效性,但其特征信息随视频数据内容改变而不同,较难用统一得拟合调整策略将特征差异映射为评价等级分;而非原数据得信息添加方法克服了原数据提取特征信息易变得问题,可事先对已知得添加内容进行研究,通过实现得训练策略,建立损耗程度与主观评分间得映射关系,因此,可把基于视频内容得各异特征参量归一化成事先已知得特征参量形式(如某类水印图案等),能很好地利用已建映射关系准确了解添加图像得劣化程度,从而把握视频/图像得传输质量,但设计稳健、通用、不易造成附加噪声得添加信息就是该方法得主要难点。

3 基于结构相似性得质量评价方法Z.Wang等提出得结构相似质量度量法(SSIM),通过亮度、对比度、结构失真3个独立特征信息综合反映视频质量,其基本框图见图所示假设原始图像为X,评价图像为Y。

首先,分别提取原始与评价图像得亮度变化信息,后提取图像得对比度变化信息,再提取图像得结构变化信息,对以上提取得三种变化进行相似性比较,最后对其比较结果进行综合,得到一种相似性度量指标,以此作为图像质量好坏得评价尺度。

SSIM法得依据就是HVS高度适合于提驭视觉场景中得结构信息,使测量结构信息得改变与感知图像质量得变化非常接近,该方法与主观评价结果得～致性好。

但不一定完全与主观评价一致,也有可能存在两个信号对同一个原始信号具有相同得结构相似值,而这两个信号得主观质量仍有差别。

不同分辨力得图像质量评价算法对于2个不同分辨力得视频图像进行质量测量时。

一般可以采用2种方法:1)直接对2种视频序列进行特征提取.然后通过对特征参数得统计分析来测量视频图像质量;2)先将2种视频序列调整成相同得分辨力,然后再进行质量评价。