基于样本块的图像修复方法

第 22卷 第 8期2023年 8月Vol. 22 No. 8Aug. 2023软件导刊Software Guide基于高效注意力模块的三阶段网络图像修复周遵富1，2，张乾1，2，李伟1，2，李筱玉1，2（1.贵州民族大学 数据科学与信息工程学院；2.贵州省模式识别与智能系统重点实验室，贵州 贵阳 550025）摘要： 现存的人脸图像修复方法，在图像大比例缺损或分辨率高的条件下合成的图像会出现图像纹理结构不协调和上下文语义信息不一致的情况，不能准确合成清晰的图像结构，比如眼睛和眉毛等。为解决此问题，提出一种基于归一化注意力模块（NAM）的三阶段网络（RLGNet）人脸图像修复方法，能加快模型收敛速度并降低计算成本。其中，粗修复网络对残损图像进行初步修复后，局部修复网络对残损图像局部进行细致的修复，基于归一化注意力模块的全局细化修复网络对残损图像整体进行修复，以增加图像的语义连贯性和纹理结构的协调性。该方法在CelebA-HQ数据集上进行实验，结果表明在掩码比例为20%~30%时PSNR达到30.35 dB，SSIM达到0.926 9，FID为2.55，能够合成相邻像素过渡自然和纹理结构合理的人脸图像。关键词： 人脸图像修复；归一化注意力模块；三阶段修复网络；激活函数DOI：10.11907/rjdk.231474开放科学（资源服务）标识码（OSID）：中图分类号：TP391.41 文献标识码： A文章编号：1672-7800（2023）008-0196-07Three-stage Network Image Inpainting Based on Efficient Attention ModuleZHOU Zunfu1，2， ZHANG Qian1，2， LI Wei1，2， LI Xiaoyu1，2（1.School of Data Science and Information Engineering， Guizhou Minzu University；2.Key Laboratory of Pattern Recognition and Intelligent Systems of Guizhou， Guiyang 550025， China）Abstract： Existing face image inpainting methods， which synthesize face images under the conditions of large scale image deficiency or high resolution that will have inconsistent image texture structure and inconsistent contextual semantic information， and cannot accurately synthe⁃size clear image structures， such as eyes and eyebrows， etc. To solve this problem， This paper proposed a Rough-Local-Global Networks（RL⁃GNet） face image inpainting method based on a Normalization-based Attention Module（NAM）， which can accelerate the convergence speed of the model and reduce the computational cost. Among them， the coarse inpainting network performs the initial repair of the residual image and then the local inpainting network performs the detailed repair of the residual image locally； the global refinement inpainting network based on the normalized attention mechanism performs the repair of the residual image as a whole to increase the semantic coherence and the coordi⁃nation of the texture structure of the image. The method proposed in this paper is tested on the CelebA-HQ dataset. The results show that the PSNR reaches 30.35 dB and the SSIM value reaches 0.926 9 and FID is 2.55 at the mask ratio of 20%~30%， which can synthesize face images with a natural transition of adjacent pixels and a reasonable texture structure.Key Words： face image inpainting； normalized attention module； three-stage inpainting network； activation function0 引言图像修复是指补全图像中不同比例的缺失区域。人脸图像修复目标是使用视觉上真实且语义上合理的内容填补数字图像中的缺失部分，合成的内容与数字图像中未损坏的图像区域保持一致性。它可作为一种图像编辑工具，例如，标识的移除和面部编辑等。传统的修复方法在处理较小的缺失区域时能取得很好的视觉效果。Shen等［1］

基于样本块的图像修复方法

图像修复是一种重要的数字图像处理技术，其主要目的是修复原始图像中存在的缺陷或损伤，使得图像质量得以改善。图像修复方法主要分为基于样本块的图像修复方法和基于深度学习的图像修复方法两大类。本文将重点介绍基于样本块的图像修复方法。

基于样本块的图像修复方法是一种常用的图像修复技术，其主要原理是通过分析图像中存在的缺陷部分，并利用邻近像素的信息进行修复。该方法借鉴了人类视觉系统的工作原理，利用图像中已有的内容信息进行修复，从而使得修复后的图像在视觉上更加自然和真实。

基于样本块的图像修复方法主要包括以下几个步骤：邻域搜索、样本块选择、权值计算和图像修复。需要在图像中对缺陷部分进行邻域搜索，找到与缺陷部分相似的样本块。然后，从邻域中选择合适的样本块，利用其信息进行修复。接下来，需要计算选定样本块在修复目标点的权重，以确定修复结果的合理性和准确性。利用选取的样本块和对应的权重进行图像修复，使得缺陷部分的像素值得以恢复。

基于样本块的图像修复方法具有许多优点，例如可以在不需要参考图像的情况下进行修复，能够较好地保持图像的结构和纹理信息，适用于各种不同类型和大小的缺陷部分。该方法对计算资源的要求相对较低，运行速度较快，能够在实时图像处理中得到应用。

在实际图像修复应用中，基于样本块的图像修复方法可以通过不同的算法和技术实现。最常用的方法之一是基于块匹配算法的图像修复方法。该方法通过在图像中搜索与缺陷部分相似的块，并利用这些块的信息进行修复，实现对图像的缺陷部分精确和快速的修复。还可以利用基于相似性的样本块选择和基于纹理合成的修复技术对图像进行修复。

基于样本块的图像修复方法在许多领域中得到了广泛的应用，例如医学影像学、卫星遥感、数字摄影等。在医学影像学中，图像修复可以帮助医生更好地观察病灶部分，提高诊断准确性。在卫星遥感中，图像修复可以帮助提高卫星图像的质量和分辨率，增强地理信息分析的准确性。在数字摄影中，图像修复可以帮助修复老照片或者损坏的照片，使得其恢复原有的美观和质量。基于样本块的图像修复方法具有重要的应用价值和实际意义。

ＩＳＳＮ　１００９－３０４４　Ｃｏｍｐｕｔｅｒ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ电脑知识与技术　Ｖｏ１．９，Ｎｏ．１９，Ｊｕｌｙ　２０１３．　Ｅ—ｍａｉｌ：ｅｄｕｆ＠ｄｎｚｓ．ｎｅｔ．ｃｎ　ｈｔｔｐ：／／ｗｗｗ．ｄｎｚｓ．ｎｅｔ．ｃｎ　Ｔｅ１：＋８６—５５　１—６５６９０９６３　６５６９０９６４　

一种基于样本纹理的图像修复算法研究　

赵伦　

（昭通学院计科系，云南昭通６５７０００）　

摘要：传统的基于样本纹理的图像修复算法也存在一定的问题，对于待修复区域周围比较平滑时，样本块之间的相似性非　常大，如果仍采用全图遍历，会增加系统的开销，如果降低匹配范围，对于纹理结构比较复杂的破损区域，会造成匹配样本　的多样性减少。在该文中，提出一种新的基于样本纹理的数字图像修复算法，该算法的原理是依据破损区域边缘纹理结　构的复杂性，动态的选择匹配样本区域，该方法能够弥补全区域检索带来的系统开销问题，还能够较好的保持待修复区域　的纹理信息。通过实验表明，该算法具有较好的修复效果。　

关键词：图像修复；样本纹理；ＰＮＳＲ　

中图分类号：ＴＰ７５　文献标识码：Ａ　文章编号：１００９—３０４４（２０１３）１９—４５０９—０３　

数字图像技术随着计算机科学技术的发展得到了非常广泛的应用，例如数码　Ｉ机、数字摄像机、数字电视等，数码相片也越来　越频繁的出现在生活之中。但是，可能因为不同的原因或人为的破坏，使得数字图像呵能会出现一定程度的损害，以至于数字图　

像信息的丢失，对于一些非常珍贵的照片、文物、军事遥感照片，如果出现破损，将会造成重大损失。因此，为了使破损的图像尽可　能的回到原始状态，就需要利用计算机技术进行处理，因此数字图像修复技术得到了关注和发展　。　目前关于图像修复算法的研究有很多文献报道，但是进行归纳总结，主要可以分成２类：第一类是基于局部信息扩散的偏微分　

方程方法；第二类是基于样本纹理的方法；对于偏微分方程的方法，Ｂｅ￣ａｌｍｉｏ等人最早将其引入到图像修复当中，该方法的优点是　

第３４卷第６期　２０１３年１１月　Ｖ０１．３４　Ｎｏ．６　

ＮＯＶ．２０１３　井冈山大学学报（自然科学版）　

Ｊｏｕｒｎａｌ　ｏｆ　Ｊｉｎｇｇａｎｇｓｈａｎ　Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ）４４　

文章编号：１６７４．８０８５（２０１３）０６—００４４—０７　

基于区域分割和均方误差改进的图像修复算法　

李光耀　，耿瑞全　，谭云兰２，１，肖　莽　

（１．同济大学电子与信息工程学院，上海２０１８０４１　２．井冈山大学电子与信息工程学院，江西，吉安３４３００９）　

摘要：基于样本块的Ｃｒｉｍｉｎｉｓｉ图像修复算法在搜索匹配块时，使用全局搜索并用均方误差（ｓｕｍ　ｏｆ　ｓｑｕａｒｅｄ　

ｄｉｆｅｒｅｎｃｅｓ）来衡量样本块差异。该方法存在搜索范围过大，效率较低，仅考虑颜色的差异，容易导致修复结果　

边界错位等不足，本文提出了一种基于区域分割和均方误差改进的图像修复算法。为了提高样本块匹配速度，先　

采用区域分割法分割整个图像区域，使待修复样本块只在对应区域内搜索。在比较样本块差异时，本文算法对颜　

色差异、纹理差异、曲线特征差异进行了加权综合，从而保证了修复后图像在颜色和纹理上均与已知区域保持一　

致，解决了Ｃｒｉｍｉｎｉｓｉ算法效率低且容易出错等问题。实验结果表明本文算法修复结果在执行效率、视觉效果上要　

比Ｃｒｉｍｉｎｉｓｉ算法好。　关键词：图像修复；区域分割；均方误差；纹理合成　

中图分类号：０ｌ５９．１　文献标识码：Ａ　ＤＯＩ：１０．３９６９￣．ｉｓｓｎ．１６７４—８０８５．２０１３．０６．０１０　

ＢＡＳＥＤ　ＲＥＧＩｏＮ　ＳＥＧＭＥＮＴＡＴＩｏＮ　ＡＮＤ　ＩＭＰＲｏＶＥＤ　ＳＵＭ　ｏＦ　ＳＱＵＡＲＥＤ　

ＤＩＦＦＥＲＥＮＣＥＳ　ＩＭＡＧＥ　ＣｏＭＰＬＥＴＩｏＮ　ＡＬＧｏＩＵＴＨＭ　

ＬＩ　Ｇｕａｎｇ—ｙａｏ　，ＧＥＮＧ　Ｒｕｉ—ｑｕａｎ　，ＴＡＮ　Ｙｕｎ．１ａｎ２＇　，ＸＩＡＯ　Ｍａｎｇ　

（１．Ｃｏｌｌｅｇｅ　ｏｆＥｌｅｃｔｒｏｎｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｔｏｎｇｊｉ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ　２０１８０４，Ｃｈｉｎａ；