基于人类视觉系统的特征相似性图像质量评价孙彦景;刘东林;谢新新;王艳芬【摘要】As the existing image quality evaluation methods of feature similarity (FSIM) is inefficient in image information uncertainty measurement and edge information detection,a novel algorithm named HFSIM is proposed on the basis of the internal generative mechanism of human visual system (HVS).In this algorithm,the auto-regressive (AR) model is employed to decompose distorted images,and the original image is decomposed into two portions,one is the predicted portion and the other is the disorderly portion.By combining FSIM with edge structural similarity (ESSIM) algorithm,the predicted portion of image is measured,and,by employing the multi-scale peak signal-to-noiseratio(PNSR),the distortion of the disorderly portion is measured.Finally,the overall image quality score is obtained according to the above-mentioned measured results of the predicted and the disorderly portions.It is found from the experiments on six public benchmark databases that the proposed algorithm is highly consistent with human perception,and that it possesses high performance in the assessment of different types of distorted images.%为克服现有特征相似性(FSIM)图像质量评价算法对图像信息无序部分及边缘信息度量能力的不足,利用人类视觉系统的内在推导机制,提出基于人类视觉系统的特征相似性图像质量评价算法HFSIM.该算法采用自回归预测模型分解并解读图像内容的预测部分和无序部分;联合FSIM与边缘结构相似性算法度量预测部分,采用多尺度峰值信噪比(PSNR)度量无序部分的衰减情况,最后根据噪声能量融合图像信息预测部分与无序部分的评价结果得到图像质量评价.在6个公开基准数据库上的实验结果表明,该算法与人类主观感知具有高度的一致性,且在各类型失真图像的评价上具有较好的性能.【期刊名称】《华南理工大学学报（自然科学版）》【年(卷),期】2017(045)003【总页数】9页(P11-19)【关键词】图像质量评价;人类视觉系统;内在推导机制;特征相似性;边缘结构相似性【作者】孙彦景;刘东林;谢新新;王艳芬【作者单位】中国矿业大学信息与控制工程学院,江苏徐州 221116;中国矿业大学信息与控制工程学院,江苏徐州 221116;中国矿业大学信息与控制工程学院,江苏徐州 221116;中国矿业大学信息与控制工程学院,江苏徐州 221116【正文语种】中文【中图分类】TN919.8近年来，随着对人类视觉系统(HVS)的深入了解，很多研究者认识到HVS的特性会影响人们对图像的感知[1]，并结合图像质量评价做了大量的研究工作.Damera- Venkata等[2]提出了噪声质量检测模型(NQM)，证明了非线性的NQM是一种比线性测量方法更好的视觉质量评价方法；Watson[3]提出利用离散余弦变换(DCT)与小波变换(WT)将图像分解到频域，针对HVS与频率的关系设计了相关模型；Wang等[4]提出了结构相似度( SSIM)，认为人眼视觉的主要功能是提取场景中的结构信息，人类视觉系统能高度自适应地实现这一目标.人眼对图像的理解主要根据图像中的底层特征，大多数现有的基于HVS的评价模型仅根据某一种图像特征进行评价，这些模型往往无法有效地提取人类感兴趣的不同特征点.文献[5]发现，不同频率下傅里叶级数的相位一致性与人眼观察到的图像特征相一致.相位一致性不受对比度的影响，对比度会影响图像的质量.Zhang等[6]提出了特征相似性算法(FSIM),选取相位一致性信息作为主要特征提取出人类感兴趣的底层特征，该算法在评价图像质量时更好地与人的主观保持一致.然而FSIM算法对图像失真的变化程度，特别是对图像边缘信息的变化程度并不敏感[7]，因此对边缘信息比较丰富的图像评价效果不理想.另外，FSIM算法在评价与图像内容相关的失真类型时表现较好，而在评价与图像内容无关的失真类型时表现一般.人类视觉系统利用一套内在推导机制(IGM)对输入的视觉信息进行解读[8]，积极地预测、解读输入场景的信息并且最大可能地避免输入场景的无序部分.文献[9]提出基于IGM的立体图像质量评价算法，获得较好的效果.文献[10]采用贝叶斯预测模型，将图像分解为与图像内容相关并且影响人类对图像解读的预测部分以及与图像内容无关只影响视觉舒适度的无序部分，预测部分仅采用结构特征进行度量，并没有考虑其他特征带来的影响.综上，针对FSIM算法对图像边缘信息不敏感以及对图像信息无序部分度量能力的不足，结合边缘结构相似性算法(ESSIM)[11]提出一种基于人类视觉系统的特征相似性算法(HFSIM).人类视觉系统通过内在推导机制预测输入信息[12].输入信息中的有序部分容易被准确地预测并被大脑解读，而无序部分具有复杂的结构及不确定内容，人类视觉系统在感知无序的图像信息时往往只是提取大体信息而忽略具体细节.采用以贝叶斯条件概率为基础的自回归(AR)预测模型模拟人类视觉系统的内在推导机制对图像感知与理解的过程，能够有效地预测信息[13]，实现对输入场景的认知与解读.如图1所示，解读输入图像信息∂的过程中，根据先验信息，通过调节神经系统的内在响应机理μ，有效地利用图像I()像素点之间的相关性尽可能地解读图像信息，使得图像I()中坐标位置为(i，j) 的像素点Xij与其周边像素坐标位置为 (p，q)的像素点Xpq间的条件概率Xpq)最大化，达到I()中的无序部分D最小化的目标[8].根据贝叶斯理论，Xpq)可以表示成对式(1)两边取对数得到：最大化E(lg P(Xij))在一定程度上等效于最大化条件概率Xpq)，对式(2)取数学期望：其中,,H(Xij)为Xij信息熵，将式(3)表示为I(Xij;Xpq)-H(Xpq)式中，I(Xij;Xpq)为Xij与Xpq之间的互信息[14]，作为AR算法中的系数用于预测图像信息内容.基于内在推导机制的自回归预测模型的特点，在分离图像信息的过程中考虑人类视觉感知图像的机理，以揭示大脑对输入场景的感知过程.在此模型下，提出一种基于人类视觉系统的HFSIM算法.HFSIM算法总框图如图2所示，采用AR预测模型对输入图像进行预测、分解，然后对分解后的两部分分别进行度量，利用均方误差(MSE)将度量后的两部分进行加权融合，从而获得图像的客观质量.图2中，Ir、Id分别是参考图像与失真图像.算法1中，AR预测模型模拟内在推导机制对输入信息的感知过程，预测出视觉所能感知的预测部分，分离出不影响人类解读的无序部分.图像的预测部分包含图像的主要视觉信息，其失真程度严重影响人对图像内容的解读，对这部分的度量显得尤为重要.算法2对算法1分解出的预测部分进行度量，数据来自参考图像与失真图像分解出的预测部分.文献[6]指出，人眼对图像的解读主要是根据图像中的底层特征(结构、纹理和形状等)，这些可识别的特征与不同频率上相位一致的点具有统一性.人类视觉系统高度关注传递图像的重要视觉信息的边缘区域[11]，FSIM算法虽然考虑了图像的底层特征，但对边缘信息的识别能力不足，对边缘含有丰富信息的图像的度量不理想[7].ESSIM算法利用人眼对于图像的结构信息较敏感的特点提取图像边缘信息，能较好地评价图像的边缘信息[11].在FSIM算法上结合ESSIM算法进一步加强对图像边缘区域的度量，更符合人类视觉系统的特性.算法3对算法1中参考图像与失真图像分解出的无序部分进行度量.图像无序部分是原图像中的不确定信息，由文献[10]可知，无序部分的噪声与图像的主要内容并不相关，该部分的失真主要影响人类视觉对图像解读时的舒适度.文献[15]研究表明，PSNR在评价与原图像内容不相关的噪声时比较符合人类视觉系统，该特性已在文献[16]中验证.算法4中，根据分布在预测部分和无序部分的噪声能量，利用MSE计算两部分的权重，将预测部分和无序部分进行融合，获得图像的客观质量.HFSIM算法详述如下所示.Procedure：输入参考图像Ir与失真图像Id算法1{∥基于自回归预测算法的内在推导机制的图像分解for (i，j)∈Ir或Id采用AR模型对输入图像I的像素Xij进行预测,得到Xij的预测像素：式中，S(Xij)表示以Xij为中心像素的邻近区域，大小为20*20，Xpq为S(Xij)区域中Xij的周围像素，ε为加性白噪声，Cpq为互信息归一化系数：其中，I(Xij;Xpq)为像素Xij与像素Xpq之间的互信息,由式(1)-(4)得出，Xkl为S(Xij)区域内的像素.图像Ir或Id预测部分为分别为S(Xij)区域内像素的最大横、纵坐标值；无序部分为：Id=I-Ip.end}算法2{∥输入参考图像预测部分与失真图像的预测部分，结合FSIM与ESSIM算法度量图像预测部分){ 根据式(7)计算的总体特征相似性)：式中，))调节)在图像质量测度中的重要性，)表示两幅图像的相位一致性的值，为和之间的特征相似性：式中，)分别为的相位一致性和梯度幅度相似性.根据文献[6]，为保证式(8)的运算稳定性，取T1=0.85、T2=160.，为梯度信息幅度，Gi、Gj为图像水平方向和垂直方向的梯度值.}{∥预测部分边缘图的获取for 每个高通滤波矩阵Gi(i=1，2，3，4)，Gi为4个方向上(0°、45°、90°、135°)的边缘滤波器[16]:通过式(10)计算)在4个方向的最大边值而获得边缘图Gp(Ip)：其中，gk为4个方向的梯度值，k为4个方向上的滤波器，*为卷积符.end}{∥计算预测部分的边缘相似性E[Gp式中，与分别为边缘图的亮度、对比度和结构.分别为与的均值，与分别为与的标准方差，为与的协方差.其中,T3=(0.01*255)2,T4=(0.03*255)2,T5=(0.03*255)2/2,作用如T1、T2.}获得预测部分的质量值)}算法3{∥采用多尺度PSNR度量图像无序部分∥在多尺度内，利用ωi′表征PSNR的权重系数；根据式(14)计算和之间的峰值信噪比：其中,表示与间的均方误差，U1=10 lg2552.end}算法4{∥MSE加权融合预测)与失序两部分得到图像质量：根据噪声能量在两部分所占的比重来确定α与β的值：其中MSEd、MSEp为失真图像中两部分的噪声强度，特别地，β=1-α.}end procedure3.1 算法有效性验证将HFSIM与FSIM进行比较，验证HFSIM的有效性.结果如图3所示.大部分基于HVS的评价模型没有考虑到具体失真类型的特性，这些算法度量出的结果与人类视觉往往不太一致.内在推导机制可以有效地滤除白噪声，所以人类视觉对白噪声带来的干扰容忍性较强.由图3可知，图像(d)的MSE(84.32)与图像(g)的MSE(90.57)相差不大，但与图像(g)相比，图像(d)具有更好的感知质量.如图3中(e)、 (f)、(h)、(i)所示，算法将图片分解成预测部分和无序部分再进行分别度量后得出待测图像质量结果.如图3(d)噪声能量主要分布在无序部分(f)(MSE=27.51)中，而预测部分(e)占得很少(MSE=1.43)；图3(g)中的噪声能量很多被分到预测部分(h)中(MSE=32.48)，结合两部分的度量结果HFSIM算法预测出(d)和(g)两幅图的客观值分别为0.97和0.96，两幅图的主观评分(MOS)分别为4.91和4.53，算法结果与主观感受相一致.FSIM算法预测出的(d)和(g)两幅图的客观质量分别为0.95和0.98,与主观感知相反.3.2 算法性能指标在A57、IVC、TID2008、Tomaya-MICT、LIVE与CSIQ这6个公开数据库测试数据集上进行实验以验证算法的性能.客观数据与主观评分的预测存在一定的非线性关系，这种非线性很容易补偿，在测试和检验中都允许这样的非线性映射将这些算法的输出转变为与差异主观评分(DMOS)或者MOS相类似的值.本实验选用式(17)5个参数的logistic函数进行非线性补偿[10]：Q(h)=γ1logistic(γ2,(h-γ3))+γ4h+γ5其中，h表示客观算法的质量估计，参数γ1-γ5是映射值Q(h)与主观质量评分之间差值的平方和最小的参数，采用Matlab中的fminuch函数求解获得.采用皮尔森线性相关系数(PLCC)、均方根误差(RMSE)、斯皮尔曼秩相关系数(SROCC)以及肯德尔相关系数(KRCC)4个参数指标比较算法的性能[8].利用PLCC、RMSE来计算预测的准确性，SROCC、KRCC作为预测单调性的度量.其中，PLCC、SROCC、KRCC越大，模型的预测质量值与主观评分的相关性越好，RMSE越小模型的预测误差越小.3.3 实验结果与分析3.3.1 总体性能比较在6个公开图像数据库上对HFSIM算法性能进行总体分析，并与目前性能较优的4种全参考评价模型(IGM[10]、FSIM[6]、ADM[17]与IW-SSIM[18])进行对比，4种模型的PLCC、SROCC、KRCC和RMSE值如表1所示.由表1可以看出，HFSIM算法在各类数据库上都表现出较好的性能：在A57数据库上算法性能最好；在LIVE、TID2008、IVC、MICT、CSIQ数据库上性能较好且接近最佳性能.3.3.2 单调性比较为了验证HFSIM在不同失真类型上的性能，给出所选数据库上所有失真类型的SROCC.由于A57数据库中图像数目较少，所以选取图像数目或失真类型较多的LIVE、CSIQ、TID2008、MICT、IVC五大数据库.数据结果如表2所示.由表2可以看出，在LIVE数据库上，HFSIM算法模型在jp2k-comp、awgn、blur、jp2k-trans-error这4种失真类型上性能最好，在jpeg-comp失真类型上接近最好性能.在CSIQ数据库上，在jpeg-comp及contrast失真上表现最好，在jp2k-comp及1/f noise上与最好的算法接近；TID2008数据库的17种噪声中，在awgn、awgn-color、jp2k-comp、jpeg-trans-error 4种失真类型表现最好，在spatialcorr-noise、high-fre-noise、impulse noise、quantization noise、gblur、denoising、jpeg-comp、jp2k-comp、block-distortion、contrast这10种噪声上HFSIM算法的性能接近最好性能，在剩下的3种噪声类型上与最好的算法性能很接近；在MICT中，HFSIM在jp2k-comp失真类型上效果较好，在jpeg-comp失真类型上接近最好的性能；在IVC数据库上，HFSIM算法在jp2k-comp失真类型上性能最好，在jpeg-comp、blur、jpeg-lc 和lar失真类型上与其他算法的性能接近.因此，HFSIM算法的性能总体上优于相关算法，与主观感知质量一致性较高.图4示出了文中提出的算法模型根据MICT、IVC和TID2008数据库给出的MOS 以及A57、LIVE和CSIQ数据库给出的DMOS在这6个公开图像数据库上进行评价的结果.由散点图4(a)-(d)可知，在A57、IVC、LIVE和MICT数据库上，散点图的聚合度很好；而在图4(e)、(f)中，仅在CSIQ和TID2008数据量较大的数据库上，散点图的聚合度较好.结果表明所提算法评分与主观评分有很高的一致性，能准确评价图像质量，预测精确度较高，单调性较好.3.3.3 算法复杂度比较为了验证HFSIM算法复杂度，根据图像处理方式的不同将算法分为两类进行对比说明.FSIM、ADM、IW-SSIM、HFSIM、IGM算法在所有数据库上的平均使用时间分别为0.805、0.357、0.943、24.913、26.945 s.FSIM、ADM、IW-SSIM算法对图像进行整体处理，因此时间较短、算法复杂度较低，但是由前面指标可以看出其整体效果欠佳.HFSIM和IGM算法模拟人类视觉系统对图像的解读过程，采用将图像分解的方式对图像质量进行度量，HFSIM 在处理方式相同的情况下有效降低了算法的复杂度.HFSIM算法在所有数据库上平均处理时间为24.913 s，IGM平均处理时间为26.945 s.HFSIM比IGM每幅图像处理时间平均减少了2 s，效率提高了7.5%.本实验在Inter酷睿i5- 45903.3GHz的硬件环境下进行，软件平台为Matlab R2015.根据贝叶斯大脑理论，针对FSIM图像质量评价算法对边缘信息的识别能力以及图像无序部分度量能力的不足，提出了HFSIM算法.HFSIM算法充分利用人类视觉系统的IGM机制将图像分解为无序部分和预测部分.对分解后的预测部分采用FSIM与ESSIM相结合的算法进行度量，利用多尺度PSNR指标计算图像分解后的无序部分，最后根据噪声能量分布进行加权融合获得图像的客观质量.实验结果表明，HFSIM算法与人类主观感知具有高度的一致性，且在6个公开数据库各类型失真图像的评价上整体优于相关算法.【相关文献】[1] 丰明坤，赵生妹，邢超. 基于视觉显著失真度的图像质量自适应评价方法 [J]. 电子与信息学报，2015，37(9):2062- 2068． FENG Ming- kun，ZHAO Sheng- mei，XING Chao. Image quality self- adaptive assessment based on visual salience distortion [J]. Journal ofElectronics and Information Technology，2015，37(9):2062- 2068.[2] DAMERA- VENKATA N，KITE T D，GEISLER W S，et al. Image quality assessment based on a degradation mo-del [J]. IEEE Transactions on Image Processing，2000，9(4)：636- 650.[3] WATSON A B. Visually optimal DCT quantization matrices visually optimized for individual images [C]∥Proceedings of Symposium on Electronic Imaging：Science and Technology. San Diego： International Society for Optics and Photonics，1993：202- 216．[4] WANG Z，BOVIK A C，SHEIKH H R，et al. Image quality assessment：from error visibility to structural similarity [J]. IEEE Transactions on Image Processing，2004，13(4)：600- 612．[5] LIU Z，LAGANIRE R. Phase congruence measurement for image similarity assessment [J]. Pattern Recognition Letters，2007，28(1)：166- 172．[6] ZHANG L，ZHANG L，MOU X，et al. FSIM：a feature similarity index for image quality assessment [J]. IEEE Transactions on Image Processing，2011，20(8)：2378- 2386．[7] 苗莹，易三莉，贺建峰，等.结合梯度信息的特征相似性图像质量评估 [J].中国图象图形学报，2015，20(6)：0749- 0755． MIAO Ying，YI San- li，HE Jian- feng，et al. Image quality assessment of feature similarity combined with gradient information [J]. Journal of Image and Graphics，2015，20(6)：0749- 0755．[8] GU K，ZHAI G，YANG X，et al. Using free energy principle for blind image quality assessment [J]. IEEE Tran-sactions on Multimedia，2015，17(1)：50- 63.[9] ZHENG K，YU M，JIN X，et al. New reduced- reference objective stereo image quality assessment model based on human visual system [C]∥Proceedings of 3DTV- Confe-rence：The True Vision- Capture，Transmission and Display of 3D Video (3DTV- CON)，2014. Moffett Field∶IEEE，2014：1- 4．[10] WU J J，LIN W S，SHI G G. Perceptual quality metric with internal generative mechanism [J]. IEEE Transactions on Image Processing，2013，22(1)：43- 54．[11] 杨春玲，陈冠豪，谢胜利. 基于梯度信息的图像质量评判方法的研究[J]. 电子学报，2007，35(7)：1313- 1317． YANG Chun- ling，CHEN Guan- hao，XIE Sheng- li. Gradient information based image quality accessment [J]. Journal of Acta Electronica Sinica，2007，35(7)：1313- 1317．[12] ZHANG X，LI X，FENG Y，et al. Image fusion with internal generative mechanism [J]. Expert Systems with Applications，2015，42(5)：2382- 2391.[13] RAAM C N V，BHAVANI K L. Image quality assessment by using AR prediction algorithm with internal generative mechanism [J]. International Journal of Computer Science and Mobile Computing，2014，8(3)：774- 787．[14] GAO D，HAN S，VASCONCELOS N. Discriminant sa-liency，the detection of suspicious coincidences，and applications to visual recognition. [J]. IEEE Transactions onPattern Analysis and Machine Intelligence，2010，31(6):989- 1005．[15] PONOMARENKO N，LUKIN V，ZELENSKY A，et al. TID2008—a database for evaluation of full- reference vi-sual quality assessment metrics [J]. Advances of Mo-dern Radioelectronics，2009，10：30- 45．[16] HUYNH- THU Q，GHANBARI M. Scope of validity of PSNR in image/video quality assessment [J]. Electro-nics Letters，2008，44(13):800- 801．[17] LI S，ZHANG F，MA L，et al. Image quality assessment by separately evaluating detail losses and additive impairments [J]. IEEE Transactions on Multimedia，2011，13(5)：935- 949．[18] WANG Z，LI Q. Information content weighting for perceptual image quality assessment [J]. IEEE Transactions on Image Processing，2011，20(5)：1185- 1198．。
