图像超分辨率复原方法及应用_陈健
- 格式:pdf
- 大小:1.13 MB
- 文档页数:10
基于超分辨率重建算法的图像复原技术研究随着科技的进步,我们能以更高的清晰度拍摄和保存我们所见所闻。
但是,有时候我们无法获得清晰度足够高的图像。
这个问题可以通过超分辨率来解决。
超分辨率是指将低分辨率的图像转换为高分辨率的图像。
尽管超分辨率算法有许多种,但是最新的基于深度学习的算法效果最好,且具有良好的实用性。
本文将深入探讨基于超分辨率重建算法的图像复原技术研究。
我们将从以下几个角度进行讨论:超分辨率的概念和实现方法;基于深度学习的图像超分辨率算法研究;算法实现和应用案例。
一、超分辨率的概念和实现方法超分辨率是一种复原技术,它可以使用不同的方法来将低分辨率图像升级到高分辨率图像。
最常见的四种超分辨率方法是插值法、金字塔算法、基于样本的方法和基于学习的方法。
其中,基于学习的方法是最新、最准确的方法之一。
基于学习的方法是通过机器学习算法来训练模型。
这些模型学习高分辨率图像与对应低分辨率图像之间的关系。
一旦训练完成,模型就可以用来对低分辨率图像进行超分辨率。
这种方法的优点是能够更准确地重建图像,以及能够纠正插值算法在细节方面存在的问题。
二、基于深度学习的图像超分辨率算法研究在基于学习的超分辨率方法中,最有前景的是基于深度学习的方法。
这种方法使用神经网络来对输入图像进行评估,并生成高分辨率输出。
最近,许多学者研究了基于深度学习的超分辨率算法。
在这些算法中,最突出的是基于残差卷积网络(RCNN)的算法。
RCNN 是一种由多个深度卷积神经网络组成的复合网络。
它通过一个前馈和反馈过程实现图像重建,同时也能保证算法的效率。
另一个基于深度学习的算法是使用生成对抗网络(GAN)进行图像超分辨率。
GAN 是一个由两个神经网络组成的系统,它利用生成器和鉴别器来生成高质量的图像。
在这个学习过程中,生成器的目的是尝试创建逼真的高分辨率图像,而鉴别器则负责判断生成的图像是真实的还是伪造的。
三、算法实现和应用案例这里介绍两个基于深度学习的算法实现和应用案例。
基于超分辨率的图像复原算法研究随着数字时代的到来,人们已经习惯了使用数码相机和手机拍照片。
然而,由于摄像头的限制,或者照片处理的不当,我们常常会遇到图像质量不佳的问题。
在这种情况下,图像复原技术就显得非常重要。
本文将探讨基于超分辨率的图像复原算法,分析其原理和应用。
一、超分辨率技术的原理超分辨率技术是一种通过利用低分辨率图像的信息来重建高分辨率图像的技术。
在大多数情况下,低分辨率图像是由于图像传感器像素数量过少或压缩算法丢弃了信息而产生的。
超分辨率算法的目标是通过最大化可用信息来重建一个高质量的高分辨率图像。
超分辨率算法的主要方法是使用多帧图像来重建高分辨率图像。
这些帧图像可以是连续捕捉的图像,也可以是在不同时间捕捉的图像。
当多个低分辨率图像进行叠加时,可以提高图像的分辨率和清晰度。
在这种情况下,算法可以使用不同的技术和策略,例如插值、局部细节增强和基于深度学习的方法等。
二、算法的应用超分辨率算法的主要应用之一是图像放大。
例如,在数字照相机和智能手机上拍摄的图像经常发生模糊或失真。
在这种情况下,使用超分辨率算法进行图像增强可以提高图像的质量和清晰度。
图像放大是一个复杂的问题,需要解决多种技术和策略。
主要的技术包括插值和基于峰值信号噪声比(PSNR)的缩放方法。
超分辨率算法还可以用于视频增强。
视频分辨率的提高可以通过多帧图像之间的空间和时间相关性来完成。
然而,这种技术需要处理大量的数据,需要更复杂的算法。
超分辨率算法可以解决这个问题,可以提高视频的质量和清晰度。
三、超分辨率算法的局限和挑战尽管超分辨率算法已经证明是有效的,但仍然存在一些挑战和局限。
超分辨率算法需要大量的计算资源和时间,需要用GPU加速才能完成,并且需要专业的软件和硬件支持。
此外,超分辨率算法还需要大量的训练数据和精确的参数设置,这需要更多的研究来解决。
最后,超分辨率算法在一些情况下可能会产生一些不自然的效果。
例如,在某些情况下,高分辨率图像可能会出现失真或无法识别的细节。
一种图像快速超分辨率复原方法
许录平;姚静
【期刊名称】《西安电子科技大学学报(自然科学版)》
【年(卷),期】2007(034)003
【摘要】在对凸集投影超分辨率图像复原方法的研究中发现,图像的边缘区域与其他区域并不需要使用相同的松弛算子,据此提出一种快速的凸集投影方法,解决了传统凸集投影方法中一直存在的运算量大的问题,提高其实际应用性能.在凸集投影图像复原过程中引入模糊熵进行边缘检测,根据其邻域一致性测度构造一单调递增函数,以此作为定义迭代步长的松弛算子,从而可以根据图像各部分的区域特征来自适应选取迭代步长,大大减少了运算量.实验表明,快速凸集投影方法经过几十次的迭代能得到近似甚至优于传统凸集投影方法上百次迭代后的复原效果,并且由于复原过程中引入了边缘先验信息,对振铃效应也有很好的抑制作用.
【总页数】5页(P382-385,408)
【作者】许录平;姚静
【作者单位】西安电子科技大学,电子工程学院,陕西,西安,710071;西安电子科技大学,电子工程学院,陕西,西安,710071
【正文语种】中文
【中图分类】TN911.73
【相关文献】
1.一种基于BP神经网络的低分辨率图像复原方法 [J], 王明毅;郭明昊;俎敏敏;冀德刚
2.一种低分辨率散焦模糊图像的超分辨率重建复原方法 [J], 计岑
3.一种快速稳健的超分辨率图像复原算法 [J], 张正贤;蒋大为;张莹;危才华
4.一种改进MAP图像超分辨率复原方法在智能交通中的研究 [J], 陈海棠;黄国勇
5.一种基于模糊成像机理的QR码图像快速盲复原方法 [J], 陈荣军;郑志君;赵慧民;任金昌;谭洪舟
因版权原因,仅展示原文概要,查看原文内容请购买。
超分辨率图像恢复技术研究随着人们对高清晰度图像的需求不断增加,超分辨率图像恢复技术也越来越受到人们的关注。
超分辨率图像恢复技术是指通过一定的算法和模型,将低分辨率图像转换成高分辨率图像的过程,即通过计算机中的数学模型和算法,将原先不清晰的图像变得更加高清晰、细节更加明显。
本文将从技术、应用和局限性三个方面介绍超分辨率图像恢复技术。
一、技术超分辨率图像恢复技术主要分为传统方法和深度学习方法两种,传统方法主要是基于局部图像的插值算法,如双三次插值、双线性插值、三角形插值等,这种方法直接通过对图像进行插值或者其他的滤波算法来增强图像的分辨率,具有操作简单、计算速度快的优势,但是效果并不理想,因为这种方法无法处理图像中的高频细节。
深度学习方法是近年来超分辨率图像恢复技术中发展日益成熟的一种方法,主要利用神经网络模型对输入的低分辨率图像进行非线性映射,从而实现高分辨率恢复。
在深度学习方法中,常用的模型有SRCNN、VDSR、ESPCN、SRGAN等,这些模型在处理图像中的高频细节方面具有非常出色的表现,能够将低分辨率图像恢复到非常高的分辨率,但是对于一些极端情况下的低分辨率图像,效果并不理想。
二、应用超分辨率图像恢复技术在很多领域都有着广泛的应用,比如视频监控、医学图像处理、卫星遥感、电影制作等。
在视频监控中,超分辨率图像恢复技术可以将低清晰度的视频变得更加清晰,从而更好地记录和追踪犯罪嫌疑人的行踪。
在医学图像处理中,超分辨率图像恢复技术可以提高医疗图像的分辨率,使医生能够更加准确地诊断病情和制订治疗方案。
在卫星遥感领域中,超分辨率图像恢复技术可以更加精确地解释卫星图像,进一步提高遥感数据的解释能力。
在电影制作中,超分辨率图像恢复技术可以大大提高电影画面的清晰度和细节,使影像更加真实、自然。
三、局限性超分辨率图像恢复技术虽然在应用领域中有着很好的表现,但是它仍然存在着一些局限性。
首先,当前超分辨率算法的处理能力受限于硬件设施和计算能力,对于一些高噪声、低分辨率的图像处理,需要较高的计算机算力和数据存储能力,这严重影响了该技术在实际应用领域的推广。
超分辨率图像重建与恢复技术研究摘要:超分辨率图像重建与恢复技术是一项重要的图像处理技术,旨在通过从低分辨率图像中恢复出高分辨率细节,以提高图像品质和视觉体验。
本文将对超分辨率图像重建与恢复技术进行研究,探索其原理、方法和应用领域,为该领域的研究提供参考。
一、引言超分辨率图像重建是指通过从低分辨率图像中恢复出高分辨率细节,以增强图像的细节和清晰度。
在无损压缩、远程监控、卫星遥感等领域,高分辨率图像的获取和处理是至关重要的。
然而,受限于设备和成本等因素,获取高分辨率图像并不容易。
因此,超分辨率图像重建技术应运而生,旨在通过数学模型和算法,从低分辨率图像中推测出高分辨率细节,提供更清晰、更精细的图像。
二、超分辨率图像重建技术原理超分辨率图像重建技术主要基于两个原理:空间域方法和频域方法。
空间域方法通过图像局部块的自适应信息来揭示高分辨率图像中的细节,并将其应用于低分辨率图像,从而实现超分辨率重建。
典型的方法包括基于最小二乘法的投影寻踪超分辨率重建算法(LS-PTSR)、基于总变差的超分辨率重建算法(TVSR)等。
频域方法主要基于多帧图像细节的频率分布特征,通过在频域中进行细节增强和插值来实现超分辨率图像重建,例如基于小波域的超分辨率重建算法(WSR)、基于模糊混合的超分辨率重建算法(BHSR)等。
这些方法通过频域滤波和插值操作,可以在不同尺度上重建图像的高频细节。
三、超分辨率图像重建技术方法超分辨率图像重建技术方法主要可以分为两类:单帧图像超分辨率重建和多帧图像超分辨率重建。
1. 单帧图像超分辨率重建:该方法仅利用一张低分辨率图像进行重建。
常见的方法包括插值算法、边缘增强算法、基于统计学方法的图像重建算法等。
这些方法通过在低分辨率图像中寻找像素之间的相关性和规律,推测并插值出高分辨率图像的细节。
2. 多帧图像超分辨率重建:该方法利用多张低分辨率图像进行重建。
通过将多张低分辨率图像对齐并组合,可以提取多个角度和视角下的细节信息,从而达到超分辨率重建。
基于超分辨率的图像恢复与增强技术研究图像恢复与增强技术是计算机视觉领域的重要研究方向之一,它旨在提高图像的质量和细节,并从模糊或损坏的图像中恢复出更清晰、更准确的信息。
超分辨率技术作为图像恢复与增强技术的一种重要手段,旨在通过利用图像的统计信息和先验知识,将低分辨率图像提升为高分辨率图像。
本文将对基于超分辨率的图像恢复与增强技术进行研究,探讨其原理、方法和应用。
在图像恢复与增强技术中,超分辨率技术是一种重要的方法。
传统的超分辨率方法主要基于插值和滤波等技术来提高图像的分辨率。
然而,这种方法往往会导致图像的细节丢失和模糊,无法真正恢复出高质量的图像。
因此,现在的研究重点转向基于深度学习的超分辨率技术。
基于深度学习的超分辨率技术利用深度神经网络模型,通过学习大量的图像数据来进行超分辨率重建。
具体而言,它通过将低分辨率图像与对应的高分辨率图像进行训练,通过网络模型提取图像的特征,并利用这些特征恢复出高分辨率图像。
这种方法有助于提高图像质量并保留细节信息,提供更为真实和清晰的图像。
目前,基于深度学习的超分辨率技术已经取得了令人瞩目的成果。
一些研究者提出了一系列高效的网络模型,如SRCNN、ESPCN、SRGAN等,这些模型在图像超分辨率任务中取得了优异的效果。
例如,SRCNN模型通过多个卷积层和非线性激活函数,实现了对低分辨率图像的精确恢复。
而SRGAN模型则通过生成对抗网络中的生成器和判别器,使得生成的高分辨率图像更加真实和自然。
除了超分辨率技术之外,图像恢复与增强技术还包括其他一些方法。
其中,去噪技术是一种使图像更干净和清晰的常见技术。
去噪技术通过消除图像中的噪声,提高图像信噪比,从而提升图像质量。
常见的去噪方法包括基于小波变换的去噪、基于非局部均值的去噪和基于深度学习的去噪等。
此外,图像恢复与增强技术还涉及图像超分辨率、图像修复、图像增强、图像修复、图像拼接等任务。
这些任务通过不同的方法和算法,旨在从模糊、噪声或损坏的图像中恢复出更清晰、更准确、更真实的信息。
超分辨率图像重建技术及其在医学图像处理中的应用现在,医学图像已经成为临床诊断中不可或缺的一部分。
然而,常规的医学图像如X光、CT、MRI等,其像素较低,分辨率较差,难以提取有效的信息。
为解决这一问题,超分辨率图像重建技术应运而生。
超分辨率图像重建技术是一种利用计算机算法将低分辨率图像重建为高分辨率图像的技术。
不同于插值算法,超分辨技术通过图像内容的推断和计算,能在保留细节的同时提高图像的清晰度和分辨率。
超分辨率技术主要有三种实现方式:插值法、基于统计的方法和基于学习的方法。
插值法是最直接、最简单的超分辨率方法。
其原理是:使用相邻的像素对低分辨率图像进行插值,来得到高分辨率图像。
但插值技术不会增加图像中本来不存在的信息,生成的高分辨率图像往往是过度平滑,缺少细节信息。
与插值法相比,基于统计的方法能够更准确地重建高分辨率图像,因为它利用了图像中的一些统计特征。
例如,最大似然估计和最小均方差估计等。
基于统计的方法很有效,但需要了解更多关于图像特征的先验知识。
基于学习的超分辨率方法是一种深度学习方法,其灵活性更高,数据要求更少。
它不需要了解更多关于图像特征的先验知识,而是从大量的训练数据中学习到了一般的图像特征。
其被广泛用于各领域,包括医学图像处理。
在医学图像处理中,超分辨率技术已经得到了广泛的应用。
其中,MRI(磁共振成像)是最为典型的应用场景之一。
MRI图像的分辨率通常较低,不能完全反映人体内部病变的细节情况。
超分辨率技术能够通过重建高分辨率图像,使得病变的细节更加清晰可见,从而辅助医生进行诊断。
此外,超分辨率技术还可以用于医学图像的增强。
在CT图像中,由于某些部位组织的密度对比度较低,使得这些组织难以分辨出来,从而影响医生的诊断。
利用超分辨率技术对图像进行增强,可以使密度对比度更加明显,有助于诊断。
总的来说,超分辨率技术在医学图像处理中的应用前景广阔。
通过该技术,医生可以更加准确地进行诊断,为患者提供更好的医疗服务。
图像超分辨率重建技术的教程与实践随着科技的不断发展,人们对图像质量的要求也越来越高。
然而,受到硬件设备与采集条件的限制,许多图像往往在分辨率上无法满足需求。
针对这一问题,图像超分辨率重建技术崭露头角,成为提高图像质量的有效方法。
本文将介绍图像超分辨率重建技术的基本原理与常见的实践方法。
首先,我们来理解什么是图像超分辨率重建。
简单来说,图像超分辨率重建是指在给定低分辨率图像的情况下,通过推算或插值等方法,还原出高分辨率的图像。
具体而言,这项技术可以通过从低分辨率图像中提取信息,并结合其他相关图像或统计模型,预测出细节更丰富的高分辨率图像。
在实践中,图像超分辨率重建技术可以分为两大类:单帧超分辨率重建和多帧超分辨率重建。
单帧超分辨率重建是指仅利用单张低分辨率图像进行重建,常用的方法包括插值技术、频域方法和深度学习。
插值技术是最常见的单帧超分辨率重建方法之一,通过对低分辨率图像的像素进行插值,得到高分辨率图像。
频域方法主要通过图像的傅里叶变换来实现,此方法假定图像在频域上有一定的共性,通过频域信息的重建来获得高分辨率图像。
深度学习是近年来兴起的一种方法,它可以通过神经网络模型从大量训练样本中学习图像的映射关系,实现对低分辨率图像的重建。
而多帧超分辨率重建是指通过多张低分辨率图像进行重建,这种方法常用于视频或连续拍摄的图像序列的超分辨率重建。
利用多张低分辨率图像的信息,可以更准确地重建高分辨率图像。
多帧超分辨率重建的方法主要包括基于插值和基于图像配准两类。
基于插值的方法是将多张低分辨率图像进行对齐和平均化,然后对平均化后的图像进行插值得到高分辨率图像。
而基于图像配准的方法则是先对多张低分辨率图像进行配准,再通过各种算法进行重建。
在应用图像超分辨率重建技术时,还需要考虑一些常见的问题和挑战。
首先是计算复杂度和资源消耗的问题。
由于超分辨率重建需要进行大量的计算和运算,对计算设备和存储空间的要求较高。
此外,图像超分辨率重建还涉及到一些难以解决的问题,如边缘清晰度、文本重建和纹理细节等。
图像超分辨率恢复算法研究与优化引言:随着科技的不断进步和发展,高清晰度图像在人类社会中的应用越来越广泛。
然而,由于传感器技术和数字图像处理算法的限制,如何将低分辨率的图像恢复为高分辨率成为了一个重要的研究领域。
图像超分辨率恢复算法的目标是通过增加图像的细节和清晰度,使其在视觉上更加真实和精细。
本文将介绍图像超分辨率恢复算法的研究现状,并探讨相应的优化方法。
一、图像超分辨率恢复算法的研究现状1.传统图像插值方法传统的图像超分辨率恢复算法主要是基于插值方法,如双线性插值、双三次插值等。
这些方法通过对低分辨率图像的像素进行重新插值,从而获得高分辨率图像。
然而,由于插值算法的局限性,这些方法往往无法获得细节丰富的高分辨率图像。
2.基于例外学习的超分辨率算法近年来,基于例外学习的超分辨率算法逐渐成为研究的热点。
这类算法通过学习输入低分辨率图像和对应的高分辨率图像之间的映射关系,从而实现图像超分辨率恢复。
常用的例外学习方法包括最近邻邻域法、支持向量机、神经网络等。
这些算法在一定程度上提高了图像的超分辨率恢复效果,但仍存在一些问题,如映射关系的学习不够准确、算法的计算复杂度较高等。
3.基于深度学习的超分辨率算法近年来,基于深度学习的超分辨率算法引起了广泛关注。
深度学习的优势在于可以自动学习高级特征,并从大规模数据中发现模式和规律。
CNN(卷积神经网络)是常用的深度学习模型,已在图像超分辨率恢复中取得了显著的成果。
通过训练大量的低分辨率图像和对应的高分辨率图像,CNN可以学习到图像的映射关系,进而实现超分辨率恢复。
在实践中,基于深度学习的超分辨率算法往往能够获得更好的恢复效果。
二、图像超分辨率恢复算法的优化方法1.损失函数优化在图像超分辨率恢复算法中,损失函数扮演着重要的角色。
常用的损失函数包括均方误差(MSE)、峰值信噪比(PSNR)等。
针对不同的恢复目标,可以采用不同的损失函数。
近年来,一些研究者提出了一些新型的损失函数,如感知损失函数(perceptual loss)、对抗损失函数(adversarial loss)等,能够更好地保留图像的细节和纹理。
图像超分辨率重建技术的使用方法及性能评估随着科技的不断发展,图像超分辨率重建技术逐渐引起广泛关注。
这项技术可以将低分辨率(Low Resolution, LR)图像通过算法和图像处理方法重建为高分辨率(High Resolution, HR)图像,从而提供更加清晰和细腻的图像质量。
本文将介绍图像超分辨率重建技术的使用方法,并对其性能进行评估。
一、图像超分辨率重建技术的使用方法1. 基于插值方法的超分辨率重建技术:插值方法是最简单和常用的超分辨率重建技术之一。
通过对低分辨率图像进行像素插值或区域插值,如双线性插值、双三次插值等,可以实现简单的图像放大。
然而,这种方法容易导致图像模糊和锯齿效应。
2. 基于边缘提取的超分辨率重建技术:边缘提取是一种广泛应用于图像处理的方法,可以提取出图像中的边缘信息。
基于边缘提取的超分辨率重建技术通过识别和处理图像中的边缘信息,实现对图像的重建。
常用的算法包括Sobel算子、Canny边缘检测等。
3. 基于深度学习的超分辨率重建技术:随着深度学习的发展,基于深度学习的图像超分辨率重建技术逐渐引起关注。
这种方法通过构建深度卷积神经网络(Convolutional Neural Network, CNN)实现对图像的重建,例如SRCNN、VDSR等。
深度学习方法具有较好的性能,可以有效提升图像的细节和质量。
二、图像超分辨率重建技术的性能评估1. 定量评估指标:在评估图像超分辨率重建技术的性能时,可以使用一些定量评估指标来衡量重建图像的质量。
常用的指标包括峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性指数(Structural Similarity Index, SSIM)、均方根误差(Root Mean Square Error, RMSE)等。
这些指标可以反映重建图像与原始高分辨率图像之间的差异程度,越接近1表示重建效果越好。
52,020004(2015)激光与光电子学进展Laser&Optoelectronics Progress©2015《中国激光》杂志社图像超分辨率复原方法及应用陈健1,2,3高慧斌1王伟国1毕寻1,21中国科学院长春光学精密机械与物理研究所,吉林长春1300332中国科学院大学,北京1000493吉林大学通信工程学院,吉林长春130012摘要介绍了超分辨率复原方法的概念和理论基础,重点总结了一些常用的超分辨率复原理论的国内外研究现状,并对它们的理论依据、优缺点和适用范围进行了详尽分析,对超分辨率复原理论的应用领域进行了介绍。
超分辨率复原方法分为频域法和空域法。
频域复原法原理简单清楚,计算方便,但是所建立的运动模型都是平移模型,不具有一般性,同时难以利用正则化约束,这就导致难以使用图像的先验信息来帮助进行超分辨率复原。
空域复原法可以很方便地建立复杂的运动模型,同时考虑了几乎所有的图像降质因素,例如噪声、降采样、由非零孔径时间造成的模糊、光学系统降质和运动模糊等,还可以加入更完善的先验知识,相比于频域复原法,空域超分辨率复原模型更符合实际的图像退化过程,是目前应用最广泛的一类超分辨率复原方法。
关键词图像处理;超分辨率复原;频域法;空域法;凸集投影约束中图分类号TP751.1文献标识码Adoi:10.3788/LOP52.020004Methods and Applications of Image Super-Resolution Restoration Chen Jian1,2,3Gao Huibin1Wang Weiguo1Bi Xun1,21Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,Changchun,Jilin130033,China2University of Chinese Academy of Sciences,Beijing100049,China3College of Communication Engineering,Jilin University,Changchun,Jilin130012,China Abstract The basic concepts and theories of super-resolution restoration method is introduced.Some applications focused on common method of super-resolution restoration is summarized.Their theoretical basis,advantages and disadvantages,and scope of applications are exhaustively analyzed.The applications of super-resolution restoration theory is introduced.Overall,the super-resolution restoration methods are divided into frequency domain method and space domain method.Frequency domain recovery method is simple in principle and easy in calculation.But its motion model is shift model have no generality.Meanwhile it is difficult to use the priori information of the image to help super-resolution restoration.Space domain recovery method can be easily taken degradation and motion blur.More perfect priori knowledge is pared with the frequency domain method,space domain super-resolution restoration model is more close to actual degradation processes and currently the most widely used super-resolution restoration method.Key words image processing;super-resolution restoration;frequency region method;space region method;projection onto conrex setsOCIS codes100.2000;100.3008;100.3010;100.30201引言“超分辨率”一词的定义,经历了一系列的发展过程。
成像系统可以看作是一个低通滤波器,经历了降采样和低通滤波的过程,原始图像中的一些高频信息被滤除掉了,所成的图像并不是十分清晰。
传统的图收稿日期:2014-07-28;收到修改稿日期:2014-09-04;网络出版日期:2015-01-19基金项目:吉林省重大科技公关专项(20126015)作者简介:陈健(1981—),男,博士,助理研究员,主要从事高精度快速数字伺服系统方面的研究。
E-mail:chenjian4500@像复原方法只能在系统的极限衍射频率范围内去估计图像信息,无法突破硬件条件的限制,为此超分辨率复原方法应运而生。
最初学者们认为超分辨率复原方法指的就是估计超过成像系统衍射极限范围的图像信息的复原方法。
随后,学者们发现对同一个场景所成的图像序列包含的信息是不尽相同的,结合这些低分辨率图像序列,采用图像处理的方法就可以获得视觉效果较好的高分辨率图像。
随着超分辨率方法的进一步发展,超分辨率复原方法将越来越多的图像降质因素考虑在内,包括序列图像的亚像素位移、红外相机的动态响应范围、成像系统的固有噪声和图像的运动模糊等,越来越接近于实际的降质模型。
从图像处理角度,所谓的超分辨率复原,就是利用一幅或者多幅低分辨率的图像,结合特定的方法,来估计频率信息大于光学成像系统截止频率的高分辨率图像的过程,该过程主要克服的困难有光学系统的像差、大气扰动和目标与光学系统之间的相对运动产生的模糊、成像系统噪声、红外相机降采样丢失的信息和光学系统离焦等。
超分辨率复原是图像融合的一个分支,同样是一个病态问题,也就是说输入图像参数的轻微扰动都会导致估计图像产生较大的偏差,学者们一直都在致力于解决这个问题。
目前,超分辨率复原已经应用于多个领域,也已经成为图像配准方面发展比较活跃的一个分支。
例如法国的SPOT和美国的EarthSat公司已经成功地将超分辨率复原技术应用于商业领域,在卫星图像复原中取得较好的效果。
2超分辨率复原理论的国内外研究现状超分辨率的概念在20世纪60年代由美国国家航天局的Banham等[1]提出,用于增强卫星图像的分辨率。
超分辨率复原理论中,最基础的方法包括基于长椭球函数的方法、基于叠加正弦模板的方法、基于频谱外推的方法、基于能量连续降减的方法和基于线性均方外推的方法等[2]。
但是,这些方法大多数是基于数学层面上的公式推导,用到的图像模型都是比较理想的,在现实中因为图像会受到各种噪声的污染和运动模糊等,这些方法缺乏实用性。
因此超分辨率复原理论当时作为一个不可能实现的理论而被搁置。
1984年,有人提出了一种使用一组序列图像来获得一帧高分辨率图像的方法,使得超分辨率复原理论取得突破性的进展。
Hunt等[3]在理论上证实超分辨率方法的可行性,同时提出了多种实用方案,自此超分辨率复原技术开始蓬勃发展。
迄今为止,超分辨率复原理论依然是图像处理领域中一个重要的热点课题。
目前,绝大多数的超分辨率复原理论来源于单帧图像复原理论。
虽然经过长期的发展和积累,单帧图像复原理论已经非常成熟,但是其理论体系自身存在较大的局限性,输入只是单帧图像,包含的信息量非常有限,无法取得令人满意的效果。
而序列图像的超分辨率复原理论则是利用序列图像的时域信息量和空域信息量进行图像复原处理,进而可以复原出一帧高分辨率图像,复原的高分辨率图像包含的信息量超过任何一帧原始低分辨率图像。
超分辨率复原理论主要分为单帧图像复原理论和序列图像复原理论,下面对这两个方面分别进行简述。
2.1基于单帧图象的超分辨率复原理论基于单帧图像的超分辨复原,是指利用一帧低分辨率的图像,经过处理得到高分辨率图像[4]。
该理论最初于20世纪60年代提出,经过多年的发展理论体系已经逐渐成熟,但是单帧图像复原技术的理论存在很大的理论局限性。
在经典的单帧图像复原理论中,输入只是单帧图像,包含的信息量非常有限,无法取得令人满意的效果[5-7]。
而基于序列图像的超分辨率复原则是利用序列图像的时域信息量和空域信息量进行图像复原处理,进而可以复原出一帧高分辨率图像,复原的高分辨率图像包含的信息量超过任何一帧原始低分辨率图像。
基于单帧图像的超分辨复原理论的实质就是要使放大的图像具有更多的景物细节。
以往,通常的超分辨率图像复原方法是在图像帧内进行插值处理,例如双线性插值、局部自适应放大插值、三次样条插值等方法,这种简单插值的方法复原速度很快,但效果却不理想,这是因为单帧图像的固有信息较少,使用插值并不能有效去除红外相机欠采样造成的模糊和细节损失。
经过一段时间的发展,提出了一些基于新的假设的图像插值方法,例如基于分析的方法、基于正交变换域的方法、基于能量连续降减的方法、基于多卷积核和非线性滤波的方法、基于方向插值的方法等[3],但上述方法均假设图像是不含噪声的理想图像,这在真实情况下是不可能存在的。
因此,上述方法仅仅停留在理论推导上,尚未应用在实际工程中。
近年来的研究进展中,通过将小波分析理论和神经网络理论应用在超分辨率复原应用中,进而提高了超分辨率复原技术的实际应用能力。
Ahmed等[8]通过使用径向基函数网络,在输入模板中创建隐单元,提高了超分辨率复原的性能。
Plaziac等[9]通过使用固定大小的反向传递网络,同样提高了超分辨率复原的性能。
Candincia等[10]通过使用独立组织网络,对图像实行分类插值操作,取得了较好的超分辨率复原效果。
神经网络理论应用在超分辨率复原中的优点是复原效果较好,但是缺点是带来了巨大的运算量,同时神经网络的训练过程漫长,进而使系统不具有实时性。