超分辨率算法综述的理解
- 格式:pdf
- 大小:226.99 KB
- 文档页数:13
超分辨率是一种通过提高图像或视频的空间分辨率来改善图像质量的技术,旨在通过提高图像的分辨率来增强图像的质量。
以下是一般的超分辨率方法论:
1. 单帧超分辨率:
- 插值方法:如双线性插值、立方插值等,通过对低分辨率图像的像素进行插值得到高分辨率图像。
- 基于深度学习的方法:使用卷积神经网络(CNN)等深度学习模型,学习从低分辨率图像到高分辨率图像的映射关系,如SRCNN、ESPCN、SRGAN等。
2. 多帧超分辨率:
- 运动补偿:通过对多个低分辨率帧之间的位移进行补偿,得到高分辨率图像。
- 基于深度学习的方法:利用深度学习模型学习多帧低分辨率图像到高分辨率图像的映射关系,如VDSR、EDVR等。
3. 结合传统方法和深度学习方法:
- 将传统的信号处理方法与深度学习相结合,如先使用传统方法对图像进行预处理,再将结果输入深度学习模型进行超分辨率重建,以提高重建效果。
4. 评估和优化:
- 使用评价指标(如PSNR、SSIM等)评估超分辨率算法的效果,根据评估结果对算法进行优化和调整。
- 在实际应用中,要综合考虑计算复杂度、内存消耗等因素,优化算法以满足实时性和可用性需求。
在实际应用中,选择合适的超分辨率方法需要根据具体的应用场景和资源限制进行权衡和选择。
同时,超分辨率方法的研究也在不断发展,未来可能会出现更多基于深度学习和传统方法结合的新技术和算法。
超分辨率图像重建算法的使用教程随着科技的不断进步,人们对图像质量的需求也越来越高。
在某些场景下,我们经常需要将低分辨率的图像转换为高分辨率的图像,以便更好地观察细节和提取信息。
超分辨率图像重建算法就是用来实现这一目标的有效工具。
本篇文章将介绍超分辨率图像重建算法的基本原理、常见算法以及使用教程。
一、超分辨率图像重建算法的基本原理超分辨率图像重建算法的基本原理是通过利用图像中的信息进行插值和补偿,从而提高图像的分辨率。
主要思路是在低分辨率图像的基础上,通过图像处理和图像恢复算法,推断出高分辨率图像的细节信息,从而实现图像的重建。
常见的超分辨率图像重建算法包括插值法、重建法和基于深度学习的方法。
插值法是指通过对像素进行插值处理,来增加图像的分辨率。
插值法简单易用,但无法获得高质量的重建结果。
重建法是指通过对图像的模型进行估计,利用先验知识进行超分辨率重建。
重建法能够提高图像的可视化效果,但需要较多的计算资源。
基于深度学习的方法是近年来发展起来的新兴技术,通过深度神经网络学习图像的映射模型,能够实现更高质量的超分辨率图像重建。
二、常见的超分辨率图像重建算法1. 插值法插值法是最简单、最常见的超分辨率图像重建算法,常见的插值方法包括最近邻插值、双线性插值和双三次插值。
最近邻插值是指在目标像素周围找到距离最近的像素,并将其值赋给目标像素。
双线性插值是指在目标像素周围找到最近的4个像素,通过线性加权平均的方式获得目标像素的值。
双三次插值是指在目标像素周围找到最近的16个像素,通过三次插值的方式获得目标像素的值。
插值法简单易用,但无法获得高质量的重建结果。
2. 重建法重建法是一种通过建立数学模型对图像进行重建的方法。
常见的重建方法包括最小二乘重建、最大似然重建和正则化重建。
最小二乘重建是指通过最小化观测图像和重建图像之间的差异来进行重建。
最大似然重建是指通过最大化重建图像的似然概率来进行重建。
正则化重建是指在最小二乘重建的基础上加入正则化项,以控制重建图像的平滑度和细节保持程度。
基于深度学习的图像超分辨率重建算法分析与评估随着科技的发展和人们对高质量图像的需求增长,图像超分辨率重建技术逐渐成为研究的热点。
深度学习作为一种强大的机器学习方法,被广泛应用于各个领域,包括图像超分辨率重建。
本文将对基于深度学习的图像超分辨率重建算法进行分析与评估。
1. 算法概述基于深度学习的图像超分辨率重建算法旨在通过学习低分辨率图像与高分辨率图像之间的映射关系,实现对低分辨率图像的有效重建。
这类算法可以分为两个主要阶段:训练阶段和重建阶段。
在训练阶段,算法使用大量的低分辨率图像和真实高分辨率图像对进行训练,以建立一个具有优良泛化能力的模型。
常见的训练方法包括生成对抗网络(GAN)、卷积神经网络(CNN)和深度残差网络(DRN)等。
在重建阶段,算法通过输入低分辨率图像,利用训练好的模型产生相应的高分辨率图像。
这些算法有助于恢复图像的丰富细节,提高图像的视觉质量。
2. 算法分析在基于深度学习的图像超分辨率重建算法中,主要存在以下几种常见的模型和技术:2.1 生成对抗网络(GAN)生成对抗网络由生成器和判别器组成。
生成器接收低分辨率图像作为输入,并生成高分辨率图像,以欺骗判别器。
判别器则负责区分生成图像和真实高分辨率图像,并提供反馈给生成器。
GAN模型通过不断迭代优化生成器和判别器的性能来提高重建效果。
2.2 卷积神经网络(CNN)卷积神经网络通过多层卷积和池化操作来学习图像特征。
这些特征可以提供更好的图像重建能力。
常见的CNN结构有SRCNN、VDSR和ESPCN等。
2.3 深度残差网络(DRN)深度残差网络通过跳跃连接的方式,将浅层特征和深层特征相结合,使得信息能够更好地传递。
这种结构有助于避免梯度消失和梯度爆炸问题,并提高图像重建结果的品质。
DRN中的一种典型模型是EDSR。
3. 算法评估评估基于深度学习的图像超分辨率重建算法的质量和性能需要考虑以下几个关键指标:3.1 峰值信噪比(PSNR)PSNR是衡量重建图像与原始高分辨率图像之间差异的量化指标。
超分辨率成像技术的原理与重建算法超分辨率成像技术是一项通过利用图像处理算法和计算机视觉技术,将低分辨率图像提升到高分辨率水平的技术。
该技术在许多领域中应用广泛,如卫星图像处理、医学影像重建和安防监控等。
本文将介绍超分辨率成像技术的原理和重建算法。
一、原理超分辨率成像技术的原理是基于图像中存在的高频信息。
在一个低分辨率图像中,由于像素数量较少,无法准确表达细节和纹理等高频信息。
然而,这些高频信息在原始高分辨率图像中是存在的。
超分辨率成像技术通过巧妙的算法和模型,利用低分辨率图像中存在的高频信息,从而预测和重建出高分辨率图像。
其中核心思想包括自然图像统计模型、图像插值和超分辨率重建模型等。
二、重建算法1. 插值算法插值算法是超分辨率成像技术中最常用的一种算法。
它通过对低分辨率图像进行像素补充,从而增加图像的分辨率。
常见的插值算法有最近邻插值、双线性插值和双三次插值等。
最近邻插值是一种简单直观的插值算法,它将每个低分辨率像素的值直接复制到对应位置的高分辨率像素中,从而增加图像的分辨率。
双线性插值和双三次插值算法则是通过对邻近像素进行线性或三次插值,从而更加平滑地重建图像。
2. 基于统计模型的算法基于统计模型的算法通过分析图像中的纹理和结构等特征,建立统计模型来预测低分辨率图像中的细节信息。
常见的算法包括最大似然估计(ML)、最小均方误差(MSE)和总变差(TV)等。
最大似然估计算法是一种通过建立像素块之间的映射关系,从而根据低分辨率图像预测高分辨率图像的算法。
最小均方误差算法则是通过最小化预测图像与真实高分辨率图像之间的均方误差,来优化图像重建的算法。
总变差算法则是通过对图像进行平滑化处理,从而减少图像中的噪声和伪影。
3. 基于深度学习的算法基于深度学习的算法是超分辨率成像技术中最新的一种方法。
它利用神经网络模型,通过学习大量图像数据集中的特征和模式,从而重建出高分辨率图像。
常见的基于深度学习的算法包括超分辨率卷积神经网络(SRCNN)、生成对抗网络(GAN)和残差网络(ResNet)等。
图像超分辨率重建算法研究与应用优化随着科技的不断发展,人们对高质量图像的需求日益增加。
然而,由于实际拍摄或传输时的限制,图像往往会受到分辨率的限制而失去细节。
为了解决这个问题,图像超分辨率重建算法应运而生。
本文将探讨图像超分辨率重建算法的研究和应用优化。
一、图像超分辨率重建算法概述图像超分辨率重建算法是利用计算机视觉和图像处理技术,将低分辨率图像恢复为高分辨率图像的过程。
其目标是通过利用图像中存在的空间或频域信息,增加图像的细节并提高分辨率。
目前大致分为插值法、基于边缘的算法、基于统计的算法和基于深度学习的算法等几类。
插值法是一种简单且常用的图像超分辨率重建算法。
其原理是通过对低分辨率图像像素进行插值,以获得高分辨率图像。
主要的插值方法有双线性插值和双三次插值等,但这些方法通常无法提供令人满意的结果,因为它们只是简单地对像素进行平滑处理,无法恢复缺失的细节信息。
基于边缘的算法则利用图像中的边缘信息来增强图像的细节。
它通过检测图像中的边缘,并根据边缘的特征来增加图像的分辨率。
然而,这种方法在图像存在平滑区域或纹理缺失的情况下效果有限。
基于统计的算法则通过对图像进行统计建模来重建高分辨率图像。
它利用低分辨率图像和一些已知高分辨率图像之间的统计信息,进行推断和估计。
然而,这种方法需要大量的训练样本,并且对图像的统计变化敏感,所以其应用范围受到一定的限制。
最近,基于深度学习的算法在图像超分辨率重建领域取得了重大突破。
深度学习提供了强大的学习能力,可以从大量的图像样本中学习图像之间的映射关系。
这些算法主要基于卷积神经网络或生成对抗网络,在重建高分辨率图像方面表现出色。
二、图像超分辨率重建算法的应用优化图像超分辨率重建算法在现实生活中有着广泛的应用,如高清视频处理、医学图像分析等。
然而,目前仍存在一些挑战和局限性,需要进一步优化。
首先,算法的效率是一个重要的考虑因素。
由于图像超分辨率重建算法的复杂性,其运行时间往往较长。
超分辨率重建的算法与应用随着科技的不断进步,人们对于图像清晰度的要求也日益提高。
然而,传统的图像采样技术存在着限制,无法满足人们对于高分辨率图像的需求。
因此,在这种情况下,超分辨率重建技术应运而生,为图像重建提高了一道全新的门槛。
一、超分辨率重建的算法传统的图像重建使用的是低通滤波器,它们会对图像进行模糊处理,这样会使图像的高频特征消失,导致图像清晰度降低。
然而,超分辨率重建采用的是高分辨率生成技术,它能够以更高的分辨率重建图像。
1. 基于插值的超分辨率算法基于插值的超分辨率算法是一种最基本的超分辨率算法。
它基于更高的分辨率图像与相同的低分辨率图像之间的关系来生成缺失的高频信号。
这种算法被称为插值算法,因为它将低分辨率图像从中间拉伸,使它看起来更大,从而达到更高的分辨率。
2. 基于重建方法的超分辨率算法基于重建方法的超分辨率算法依赖于对图像的统计分析,使用更高层次的结构来重建缺少的信息。
这种算法需要对多个样本进行培训,并使用这些样本的特征来建立重建模型。
通过这种方式,图像的细节被重建并得到更高的分辨率。
基于重建方法的超分辨率算法包括相关信号处理(CSP)和K-SVD算法。
3. 基于深度学习的超分辨率算法基于深度学习的超分辨率算法使用神经网络来从低分辨率图像重建高分辨率图像。
这种算法通常分为两个阶段,即训练和测试階段。
在训练阶段,神经网络使用大量的高分辨率图像来学习如何进行重建。
在测试阶段,神经网络使用低分辨率图像来预测高分辨率图像。
这种算法包括SRCNN和FSRCNN。
二、超分辨率重建的应用超分辨率重建技术有着广泛的应用范围,下面列举其中几种较常见的应用场景。
1. 远程侦查在远程侦查中,如果摄像头捕获的图像过于模糊,就会对侦查带来威胁。
超分辨率重建技术可用于增强捕获的图像,并帮助警方获取更清晰、更具细节的图像。
2. 医学成像在医学成像中,超分辨率重建技术可以有效地提高诊断精度,从而帮助医生制定更准确和有效的治疗方案。
超分辨率算法综合报告图像超分辨率技术基础研究及心得所谓图像超分辨率技术(以下简称SR)就是在不改变图像探测系统的前提下,利用已有的低分辨率图像采用某种方法使其获得较高的分辨率的图像观测。
SR按处理得图像源可分为单幅图像超分辨率和多幅图像超分辨。
单幅图像超分辨率是指恢复出由于图像获取时丢失的信息(主要是高频信息),多幅图像超分辨率是指从低分辨率图像序列中恢复出高分辨率图像。
SR按实现的具体方法主要可分为空域法和频域法。
频域方法是在频域上消除频谱混叠,改善空间分辨率;空间域方法是在图像像素的尺度上,通过对图像像素点的变换、约束而改善图像质量的方法。
频率域方法目前比较流行的是能量连续降减法和消混叠重建方法。
消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率。
目前图像超分辨率研究分为3个主要范畴:基于插值、基于重建和基于学习的方法。
我主要详细研究了双线性插值算法,TAOHJ等提出的小波域的插值算法,以及目前比较热门的基于学习的算法。
双线性插值算法插值方法较之与其他方法是最为简单的一种,但这种方法的弱点(误差大)与优点(算法简洁)几乎是难分上下。
目前,经常用到的插值方法包括双线性插值、B样条插值和SINC函数等.图像的双线性插值放大算法中,目标图像中新创造的象素值,是由源图像位置在它附近的2*2 区域4 个邻近象素的值通过加权平均计算得出的。
算法简单,主要集中在如何x,y方向插值公式的计算,还有特殊位置相邻点的选择(向右下方扩展,最后两行的边界,四点的值设为一样)。
x方向δR2 = Color Q22?Color Q12??col+ Color Q12?256 (1)δR1 = Color Q21?Color Q11??col+ Color Q11 ?256 (2)其中:?col= (DestColNumber ?((SrcWidth ?8)/DestWidth))&255Color(X)表示点X 的颜色,具体算法使用的是24 位真彩色格式。
图像超分辨率重建算法综述作者:龙超来源:《科技视界》2015年第13期【摘要】超分辨率图像重建是指由同一场景的低分辨率退化图像(或图像序列)重建出一幅(或多幅)清晰的高分辨率图像。
该技术已经成为图像处理领域的研究热点,然而传统的方法已很难获得突破,今年来过完备稀疏表示为超分辨重建提供了一种新的思路,也成为了目前的热点。
本文通过分析超分辨率技术的三个方面的算法,分析了其以往和最新的研究进展,并对未来超分辨率技术的发展重点作了一点展望。
【关键词】超分辨率;图像重建;过完备稀疏表示0 引言超分辨率图像重建[1]是指由同一场景的低分辨率退化图像重建出一幅清晰的高分辨率图像。
它借助信号估计理论,很好地解决了固有的传感器阵列排列密度限制引起的图像分辨率低的问题,弥补了传感器硬件方面的不足。
同时,超分辨率重建可以有效地克服图像获取过程中的模糊、噪声等退化因素的影响,在工业控制、医学成像、遥感、安全监控、视频信号传输等领域具有广阔的应用前景。
超分辨率重建技术具有重要的理论意义和应用价值,成为图像处理、计算机视觉和应用数学等领域研究的国际热点问题。
经过近 30年的研究与发展,出现了大量关于图像超分辨率技术的研究成果。
一般说来,图像超分辨技术主要分为三种类型:基于插值的方法、基于重构的方法和基于学习的方法。
1 基于插值的超分辨率方法基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。
这类方法首先估计各帧图像之间的相对运动信息,获得高分辨率图像在非均匀间距采样点上的像素值,接着通过非均匀插值得到高分辨率图像栅格上的像素值,最后采用图像恢复技术来去除模糊和降低噪声。
典型的方法包括: Rajan和 Chaudhuri[2]通过分解、插值和融合3个步骤实现的通用插值方法;Taohj等[3]提出的小波域的双线性插值;Lertrat-tanapanich和 Bose[4]提出的使用基于光滑性约束的Delaunay三角化插值算法等。
图像超分辨率算法综述 摘要:介绍了图像超分辨率算法的概念和来源,通过回顾插值、重建和学习这3个层面的超分辨率算法,对图像超分辨率的方法进行了分类对比,着重讨论了各算法在还原质量、通用能力等方面所存在的问题,并对未来超分辨率技术的发展作了一些展望。 关键词:图像超分辨率;插值;重建;学习; Abstract: This paper introduced the conception and origin of image super resolu- tion technology. By reviewing these three kinds of methods(interpolation,reconstruct, study), it contrasted and classified the methods of image super-resolution,and at last, some perspectives of super-resolution are given. Key words: image super-resolution;interpolation;reconstruct;study; 1 引言 1.1 超分辨率的概念
图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low
resolution,LR)或图像序列恢复出高分辨率图像(high resolution, HR)。HR意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。要获得高分辨率图像,最直接的办法是采用高分辨率图像传感器,但由于传感器和光学器件制造工艺和成本的限制[1],在很多场合和大规模部署中很难实现。因此,利用现有的设备,通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。
图1 图像超分辨率示意图 图像超分辨率技术分为超分辨率复原和超分辨率重建,许多文献中没有严格地区分这两个概念,甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来,严格意义上讲二者是有本质区别的,超分辨率图像重建和超分辨率图像复原有一个共同点,就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同,超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息,而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理,即输入的原始数据是图像,处理后输出的也是图像,而重建处理则是从数据到图像的处理。也就是说输入的是某种数据,而处理结果得到的是图像。但两者的目的是一致的,都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄,只是指基于同一场景的图像序列和视频序列的超分辨处理,实际上,多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降,如传感器的形状和尺寸、光学系统的像差、大气扰动、运动、散焦等。另外,在成像、传输、存储过程中,会引入不同类型的噪声,这些都会直接影响到图像的分辨率。此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱混叠,使获取的图像因变形效应而发生降质。由于军事侦察及医学图像、卫星图像、视频应用及其它许多领域的实际需要,人们对得到的图像的质量要求越来越高。虽然光学元件能有效的限制传感器阵列上的图像频带宽度,使获取的图像又可能避免变形效应的发生。但这要求光学元件与传感器阵列进行有效的组合,而这在实际场合中是很难做到的,同时提升硬件要花费很高的经济成本,图像质量的提高也是有限的,因此,超分辨率图像复原技术就显得更加重要了,其中,图像超分辨率技术是数字图像处理领域中的一个重要分支。随着图像超分辨率理论和技术的日益成熟,图像超分辨率技术的应用更加广泛。本文着重对图像超分辨率方法进行阐述和分析,以向人们展示超图像分辨率技术的发展方向和应用前景。 1.2 图像超分辨率发展的背景及现状 超分辨率概念最早出现在光学领域。在该领域中,超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果,但实际应用中效果并不理想。Tsai &Huang首先提出了基于序列或多帧图像的超分辨率重建问题。 1982,D.C.C.Youla和H.Webb在总结前人的基础上,提出了凸集投影图像复原(Pocs)方法。1986年,S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年,B.R.Hunt和PJ.Sementilli在Bayes分析的基础上,提出了泊松最大后验概率复原(泊松-MAP)方法,并于1993年对超分辨率的定义和特性进行了分析,提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。 近年来,图像超分辨率研究比较活跃,美国加州大学Milanfar等提出的大量实用超分辨率图像复原算法,Chan等从总变差正则方面,Zhao等、Nagy等从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面,对超分辨率图像恢复进行了研究。Chan等研究了超分辨率图像恢复的预处理迭代算法。此外,Elad等对包含任意图像运动的超分辨率恢复进行了研究;Rajan和Wood等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法;韩国Pohang理工大学对各向异性扩散用于超分辨率。Chung-Ang图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率方面分别进行了研究。 国内许多科研院所和大学等对超分辨率图像恢复进行研究,其中部分是关于频谱外推、混叠效应的消除,其他主要是对国外超分辨率方法所进行的改进,包括对POCS算法和MAP算法的改进,对超分辨率插值方法的改进,基于小波域隐马尔可夫树(HMT)模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进。
2 图像超分辨率研究的主要方法 2.1图像超分辨率方法的分类 图像超分辨率按要处理的图像源可分为单幅图像超分辨和多幅图像超分辨。单幅图像超分辨率是指恢复出由于图像获取时丢失的信息(主要是指高频信息),多幅图像超分辨率是指从低分辨率的图像序列恢复出高分辨率的图像。基于序列或多幅图像的超分辨率增强就是利用这些不同,但相互补充的信息以及目标的先验信息,从一系列低分辨率的图像恢复出高分辨率的单幅图像。该思想与前述的单幅图像超分辨率方法相比,其优点是除了利用物体的先验信息和单幅图像的信息之外,还充分利用了不同图像之间的补充信息,因此,其超分辨率增强能力高于单幅图像超分辨率方法。但是在实际应用中,获得同一场景的图像序列常常是很困难,例如在未来高技术局部战争条件下,战场环境瞬息万变,战场信息稍纵即逝,因此给军事侦察提出了更高的要求,在这种情况下,要想获得同一场景的多幅图像很难,因此,单幅图像的超分辨率技术就显得尤为重要。同时,多幅图像的超分辨率方法大多都是以单幅图像的超分辨率为基础的,只有对单幅图像的超分辨率图像进行更广泛深入地研究,多幅图像的超分辨率技术才能有更广阔的前景。目前,单幅图像的超分辨率研究较少,多幅图像超分辨率已经成为研究的热点,就是因为多幅图像比单幅图像所含的可利用的信息量大。 图像超分辨率按实现的具体方法主要可分为空域法和频域法。频域方法是在频域上消除频谱混叠,改善空间分辨率;空间域方法是在图像像素的尺度上,通过对图像像素点的变换、约束而改善图像质量的方法。 频率域方法是图像超分辨率中的一类重要方法。目前比较流行的是能量连续降减法和消混叠重建方法。消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率。中国科学院遥感应用研究所从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发,给出了多次欠采样图像在频率域混叠的更一般的公式,并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法,该方法在有噪声的情况下也具有很好的收敛性,取得了很好的效果。 频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性。频域方法基于以下三条基本性质:(1)傅里叶变换的平移特性。(2)连续傅里叶变换和离散傅里叶变换之间的混叠关系。(3)原始场景的带宽有限。频域方法理论简单,运算复杂度低,很容易实现并行处理,具有直观的去变形超分辨率机制。但这类方法的缺点是所基于的理论前提过于理想化,不能有效地应用于多数场合,只能局限于全局平移运动和线性空间不变降质模型,包含空域先验知识的能力有限。 空域方法的适用范围较广,具有很强的包含空域先验约束的能力,主要包括迭代反投影方法(IBP)、集合论方法(如凸集投影:POCS)、统计复原方法(最大后验概率估计MAP和最大似然估计ML),混合MAP/POCS方法以及自适应滤波方法,人工神经网络法、基于非均匀采样的插值法、基于最优化技术的方法等。其中,非均匀样本内插方法、迭代反投影方法等结合先验信息的能力很弱,在改善图像超分辨率效果方面受到了一定的限制。因此,研究和应用较多的是凸集投影方法和最大后验概率估计方法。下面重点介绍几种常用的超分辨率方法的特点。 2.2 几种常用的图像超分辨率方法 2.2.1 超分辨率系统模型及技术概述 对超分辨率问题的求解,通常是构造一个前向关系模型,低分辨率图像和高分辨率图像之间的关系可以表述为 ,,1,,pkjnxMDByjjjkjk≤≤+= (1) 其中,p为图像序列帧数,jx、ky和jn分别为待求的第j帧高分辨率图像、第k帧观察到的低分辨率图像和图像获取时的噪声,矩阵D、jB和jkM,分别为下采样矩阵、模糊矩阵和第j帧和第k帧之间运动矢量所构成的运动矩阵。关于模糊矩阵和运动矩阵的先后关系,WANG Z Z等[2]指出,如果更换两者的位
置会引起系统误差。设H=DBM,则式(1)即可简化为
nHxy+= (2)
求解式(2)需要确定H,也就是求解或者确认式(1)中的D、B、M和噪声n,
这包括以下几个问题:(1)运动估计,需要从观察到的低分辨率图像得到精确的