一种改进的Criminisi图像修复方法

一种改进的Criminisi图像修复方法

常晨;何建农

【摘 要】针对Criminisi等提出的基于纹理的图像修复方法中存在的修复顺序不准确等问题,提出一种改进的Cri-minisi图像修复方法.对优先权函数的计算方法进行改进,引入影响因子,提出新的梯度算法,增强结构性较强地方的修复效果,提高优先权的准确性.考虑可能存在的误差因素,定义了新的置信度项的更新方式.实验表明,该算法具有更好的修复效果.%Image restoration is a practical research focus in

the field of computer vision.Aiming at the problem of existing repair

sequence image restoration method based on exemplar which is proposed

by Criminisi and other people,is not accurate,proposes an improved

method of repair.The method of calculating the priority function was

improved,the introduction of impact factor,propose new gradient

algorithm to enhance the effect of the structural repair of strong local and

improve the accuracy of priority,consider the possible error factors,define a

new term confidence update mode.Experimental results show that the

improved algorithm has better repair effect.

【期刊名称】《福州大学学报（自然科学版）》

【年(卷),期】2017(045)001

【总页数】6页(P74-79)

【关键词】图像修复;Criminisi算法;优先权;梯度算子;置信度更新

【作 者】常晨;何建农 【作者单位】福州大学数学与计算机科学学院,福建福州350116;福州大学数学与计算机科学学院,福建福州350116

【正文语种】中 文

【中图分类】TP391

图像修复是一门古老的艺术，早期主要是用来修复和填补美术作品中损坏或丢失的地方，如今，在古代文物的保护、制作影视特技、图像压缩、目标物体移除等方面都有重大的应用价值. 其本质是对图像上信息缺损区域进行填充的过程，达到恢复有信息缺损的图像，让观察者无法用肉眼看出图像曾缺损过的目的，对图像修复进行深入研究也成为图像处理领域中的重点和热点.

目前最主要的图像修复技术主要分为基于偏微分修复和基于纹理结构的修复技术两类. 前者是利用受损区域的边界建立一个偏微分方程，使图像的已知信息沿着等照度线的法线方向由受损区域的边界向受损区域内部扩散，进行图像修复. 这类基方法包括BSCB模型[1]、TV模型[2]和CDD模型[3]，对小尺度破损的图像修复效果较好，但对修复破损区域较大或纹理较丰富的图像时，易产生过度的模糊效应. 为了寻找更加有效的算法，人们研究了基于纹理结构的图像修复技术，利用纹理的单一性、重复性以及规则性进行有效的纹理合成，进而填充破损区域. 文[4]首先提出了一类基于模板的算法，来剔除不想要的区域，但该算法对噪声的鲁棒性不是很好，会使图像的线性结构变得不清晰. 文[5]提出了一类基于碎片自相似原理的图像修补方法，采用从粗到精的方法不断逼近破损的区域，取得了一定修复效果. 文[6]提出了一种基于样本块的图像修复算法，保证了图像纹理修复的自然顺畅以及轮廓结构的清晰性，其快速、简单有效的算法得到了广泛应用，但是由于该算法的特殊性，会出现纹理混乱现象，修复结果会出现明显的结构不连续现象，产生一些冗余，影响了最终的修复效果. 其他学者在此基础上进行了改进，得到了较好的修复效果. 文[7]通过改进匹配块的搜索范围，减少最优块匹配时产生的误差，视觉效果改善更好些. 文[8]利用P_Laplace算子模型计算优先权，提高重建图像的质量. 文[9]增设边界因素，对不同图像选择对应的参数，增大了可修复范围. 文[10]综合前人的方法也得到了较好的修复效果. 本研究采用图像处理当中最常见且最基本的RGB彩色空间，以Criminisi算法为基础，对其不足之处进行更新，通过实验对比分析，证明改进的算法更为合理，且能得到较好的修复结果.

基于样本块的图像修复算法，是利用了图像中已知信息部分的结构部分传送，进行纹理合成，填充信息损失的图像，其关键的步骤有以下三个部分.

1.1 优先权的计算

根据图像本身的特征结构，计算优先权，确定填充顺序，使修补过程有序进行. 如图1所示，图中的彩色区域Φ是未受损的区域，Ω是待修复区域，δΩ是待修复区域的边界，p是δΩ上的一点，ψp代表以p点为中心的9×9像素的待修复块.

定义的优先权P(p)的计算公式为：

式中： C(p)表示为待修复点p的置信度，用来衡量ψp包含的可用信息量； D(p)为数据项，能反映ψp周围的结构特征. 其表达公式为：

其中： 如果q⊂Φ，则c(q)=1，否则c(q)=0；是ψp像素数量； 是点p的等照度线方向和强度，与点p的梯度方向垂直，为灰度值变化最小的方向； np是待修复区域边界δΩ在点p处的单位法外线方向； α为归一化因子, 一般取值为255.

1.2 最优匹配块的搜索及填充

计算得出具有最高优先权的待修复块ψp，利用全局搜索方法和SSD匹配准则，在已知区域Φ中寻找和ψp最相近的样本块ψq，满足：

式中： d(ψp, ψq′)是ψp和ψq′的相似度，利用对应的已知像素点颜色差的平方和衡量, 其中IR、IG、IB和分别表示ψp和ψq′中已知像素点在不同颜色通道的值，然后将ψq中对应的颜色信息复制到ψp中未知信息的位置. 1.3 置信度的更新

ψp被填充后，修复区域的边界发生变化，刚填充的区域的未知像素点变为已知像素点，需要更新ψp内所有点的置信度：

重复上述3个步骤直到完成修复.

2.1 优先权的更新

优先权的判定是Criminisi算法中至关重要的一步，但它采用置信度项和数据项相乘的形式，可能会导致填充顺序不正确，从而降低图像修复的效果. 数据项D(p)是与受损边缘梯度向量垂直的等照度线向量和法线向量的乘积，保证具有较强结构信息的部分先被修复. 随着修复的进行，当出现D(p)=0或者C(p)的值很小时，无论C(p)或者D(p)有多大，优先权项的值均为零或者趋于零，图像中的结构信息和已知信息量都无法作为填充顺序的准确参考，文[11]通过大量的实验论证了这一问题，文[12]重新定义了置信因子和数据项的表达式，以避免出现连续纹理的断裂. 本研究对优先权函数进行了改进，新的公式定义为：

这里新添加了C(p)+D(p)项，使置信度和结构信息不因彼此的急剧变化而降低其在优先权中的比重. 为强调待修复和四周邻域之间的相关性，添加了C(p)·E(p)，避免在修复后的图像在结构相交处出现明显的修复痕迹. 为有效提取图像结构信息，对数据项中的梯度算子进行改进，其计算公式为：

新的梯度算子Ix和Iy充分利用图像中的信息，更好地反映图像特征，E(p)是引入的影响因子，计算公式如下：

其中： T是待修复块边界点与相邻像素点之间的差值； E(p)是对结构部分作用的影响因子，增强结构部分修复的作用.

2.2 置信度的更新

置信度项的更新是Criminisi算法中不可或缺的一步，因为待修复块ψp被填充后，未知像素点变为已知点，置信度值发生变化，但是该算法未考虑待修复块ψp和样本块ψq之间的相似度，它们不是完全相等的，有一定误差，而误差随着修补过程不断的叠加而增多，降低了填充顺序的可信度，影响图像的修复结果. 根据待修复块和样本块之间像素点的梯度关系，提出的改进的置信度项的更新公式如下：

其中：； n表示待修复块中ψp已知像素点的个数； Ipi, Iqi分别表示待修复块ψp和样本块ψq的prewitt算子的值； I表示它们之间的差异度. 利用公式(10)更新置信度，其中分母添加α项，防止出现分母极小，甚至为零的情况，同时权衡C(p)及I之间的比重关系，发挥各自的作用，α不宜取较大的值，本研究通过大量实验，选择α=2最适宜，新公式使差异度更小的块有较大的置信度值，减小了误差累积.

2.3 算法步骤

1) 手动选择需要修复的区域，确定初始目标的边缘轮廓∂Ω0；

2) 根据式(6)计算待修复区域的边界上各点的优先权P(p), 确定优先权值最大的待修复块ψp；

3) 在匹配区域Φ中搜索最优匹配块ψq；

4) 将ψq中对应的图像信息复制到待修复块ψp中；

5) 按照式(10)更新置信度项C(p)；

6) 重复步骤2)～5)，直到完成修复.

算法以Matlab7.1为仿真平台实现，硬件环境是Intel(R) Core(TM) i5-2430M

2.4 GHz处理器，2 G内存. 对文[6]、文[8]、文[12]以及本研究提出的改进方法，选取6个不同场景的图片分别进行仿真实验. 其中图2至图4为对破损图像进行修复的实验，图5至图7是目标物进行移除的实验. 表1和表2分别是这两种方法的峰值信噪比(PSNR)和图像相似度(SSIM).

从表1和表2的结果，可以看出本算法的峰值信噪比值较其它三种算法高一些，图像相似度也有一定提升，图像修复精度有一定改善. 图2至图4是对受损图片尽可能还原成原图，改进算法得到的图片更加接近原始图片，本算法的结果视觉效果更好些. 图5是对电影海报下方的一行字进行去除，图5(c)、图5(d)、图5(e)中会出现白色的断点，而图5(f)移除多余字后的图片并没有此类明显错误. 图6是对长椅上英文字母进行去除，图6(c)中出现了修复瑕疵，填充处有明显的不连续现象，另两个文献的方法也有明显的修复痕迹，而图6(f)中本算法, 虽然PSNR值并没有多大的改善，但是图像能较合理地进行纹理部分的延伸，边缘处连接更自然. 图7是将图中的树及其沙堆去除，从图7(c)可以看出，纹理部分向边缘处延伸，天空和海水相接的地方有明显断裂，图7(d)有了较好的改善，图7(e)的纹理延伸部分未处理好，图7(f)本算法抑制了纹理的错误延伸，天水连接处的修复更加平滑，修复后的图像更加符合人的视觉要求. 提出的改进算法在填充目标物的视觉效果上明显的优于其它这几种方法.

在Criminisi等修复算法[6]的基础上进行改进，提出一种改进的修复方法. 针对其算法在计算优先权时未充分考虑图像的纹理结构特征，导致修复顺序不准确等问题，引入影响因子，改进梯度算子的算法，充分利用图像中的已知信息改进优先权模型，增强结构部分影响力，使得修复结果更为合理. 提出更新置信度的新方法，减少在更新过程中因目标块和样本块之间的差异而累计的误差. 实验结果表明，改进的算法能够提高图像修复质量，获得更好的视觉效果.