图像退化与复原
- 格式:docx
- 大小:251.99 KB
- 文档页数:15
第五章图像退化模型同学们好,今天我们要给大家讲解的内容是图像退化与复原。
在开始之前我们先来看几张图片可以看到,第一幅图像是由于镜头聚焦不好引起的模糊,第二幅是由于小车运动产生的模糊,第三幅是大气湍流影响的结果,a中,大气湍流可以忽略不计,b为剧烈湍流影响的结果,c和d分别为中等湍流和轻微湍流影响的结果。
从以上几张图片可以看出,成像过程中不同因素的影响导致影响质量下降,这就是所谓的图像退化。
图像退化由此,我们给出图像退化的描述(图像退化及其过程描述)如下:图像的退化是指图像在形成、传输和记录过程中,由于成像系统、传输介质和设备的不完善,使图像的质量下降(变坏)。
其典型表现为:模糊、失真、有噪声。
产生原因:成像系统像差、传感器拍摄姿态和扫描非线性、成像设备与物体运动的相对运动、大气湍流、成像和处理过程中引入的噪声等。
图像复原针对这些问题,我们需要对退化后的图像进行复原。
这是我们本节内容的第二个关键词图像复原,图像复原就是尽可能恢复退化图像的本来面目,它是沿图像退化的逆过程进行处理,也就是如果我们知道图像是经历了什么样的过程导致退化,就可以按其逆过程来复原图像。
因此,图像复原过程流程如下:找退化原因→建立退化模型→反向推演→恢复图像典型的图像复原是根据图像退化的先验知识,建立退化现象的数学模型,再根据模型进行反向的推演运算,以恢复原来的景物图像。
因此,图像复原的关键是知道图像退化的过程,即图像退化模型。
并据此采用相反的过程求得原始图像。
针对不同的退化问题,图像复原的方法主要有:代数方法恢复、运动模糊恢复、逆滤波恢复、维纳滤波恢复、功率谱均衡恢复、约束最小平方恢复、最大后验恢复、最大熵恢复、几何失真恢复等。
这里也许同学们会有一个疑问,那就是图像复原和前面讲过的图像增强有什么区别呢?区别如下:图像增强不考虑图像是如何退化的,而是主观上试图采用各种技术来增强图像的视觉效果。
因此,图像增强可以不顾增强后的图像是否失真,只要达到想要的目视效果就可以。
题目图像复原教学目的(1)熟悉图像退化的过程与原因,充分理解图像复原的意义,熟悉图像复原的应用场景;(2)熟悉图像复原的数学模型;(3)了解图像复原的几种思路,熟悉与初步掌握约束复原的思路与方向;(4)了解盲复原的意义所在,理解如何实现盲复原。
教学思想面向图像退化的常见性与复原的应用广泛性,结合matlab仿真,根据退化是什么、为什么需要复原、复原的常见思路架构与流程、复原的关键技术、当前复原的不足等构成的整体思路进行循序渐进的讲解与分析,让学生了解相关概念与熟悉相关方法,思考在现实中的应用。
教学分析(内容、重难点)教学的内容:◆图像退化与复原的基本概念◆图像退化模型◆图像复原方法重难点:(1)图像退化的物理实质与数学模型;(2)图像复原的数学模型,图像复原的病态性,约束性复原。
教学方法和策略板书与PPT讲授为主。
针对具体的方法,结合matlab进行仿真实验,体验数学公式与算法经过计算机编程来实现图像处理的过程,演示图像结果。
通过分析输入图像,输出图像之间的变化与效果,领会图像退化与复原的实质。
讨论各类方法中存在的问题,针对特例,跟学生互动讨论,展开进一步的分析。
发现图像复原目前尚且存在的瓶颈问题,引导学生设想改进的方向,对未来发展的趋势展开联想,并结合产业趋势分析存在的应用方向与知识。
教学安排1、情景引学首先,我请同学们看关于图像复原的实例:(1)图像退化的常见例子—几何失真,运动模糊,离焦模糊等等;(2)针对图像退化,图像复原究竟能复原到什么程度—运用数学思维尽量把图像变清晰。
引出什么是图像复原,图像退化的常见性,也从侧面引入应用,引出相关概念。
2、讲授课程,结合问题与matlab仿真随着PPT,逐次介绍退化的由来,退化的物理实质,退化的数学模型;讲解图像复原要做的工作,目前的应用;指出目前复原工作中存在的问题,在接下去的学习中带着问题去思索,学会理论与实际的因果分析。
讲授图像复原,涉及到具体的方法,配合公式的推导,结合现场matlab的仿真演示,加深印象,使得数学理论与仿真实验结果直接对应起来!3、探究讨论(1)图像退化的实质是什么?日常生活中,成像过程中常见的退化有哪些,同学们怎么看这些退化,哪些可以怎么避免,哪些无法避免?(2)图像恢复与图像增强的异同如何?图像复原的本质与存在的困难。
4记录和整理实验报告。
图像降质的数学模型图像复原处理的关键问题在于建立退化模型。
输入图像f(x, y)经过某个退化系统后输出的是一幅退化的图像。
为了讨论方便,把噪声引起的退化即噪声对图像的影响一般作为加性噪声考虑,这也与许多实际应用情况一致,如图像数字化时的量化噪声、随机噪声等就可以作为加性噪声,即使不是加性噪声而是乘性噪声,也可以用对数方式将其转化为相加形式。
原始图像f(x,y)经过一个退化算子或退化系统H(x,y)的作用,再和噪声n(x,y)进行叠加,形成退化后的图像g(x,y)。
图2-1表示退化过程的输入和输出的关系,其中H(x,y)概括了退化系统的物理过程,就是所要寻找的退化数学模型。
图2-1图像的退化模型数字图像的图像恢复问题可看作是:根据退化图像g(x/Y)和退化算子H(x,y)f(x,y) ------------- ^(x,y)的形式,沿着反向过程去求解原始图像f(x,y),或者说是逆向地寻找原始图像的最佳近似佔讣。
图像退化的过程可以用数学表达式写成如下的形式:g(x,y)=H[f(x, y)] +n(x, y) (2-1)在这里,n(x,y)是一种统计性质的信息。
在实际应用中,往往假设噪声是白噪声,即它的频谱密度为常数,并且与图像不相关。
在图像复原处理中,尽管非线性、时变和空间变化的系统模型更具有普遍性和准确性,更与复杂的退化环境相接近,但它给实际处理工作带来了巨大的困难,常常找不到解或者很难用计算机来处理。
因此,在图像复原处理中,往往用线性系统和空间不变系统模型来加以近似。
这种近似的优点使得线性系统中的许多理论可直接用于解决图像复原问题,同时乂不失可用性。
匀速直线运动模糊的退化模型在所有的运动模糊中,山匀速直线运动造成图象模糊的复原问题更具有一 般性和普遍意义。
因为变速的、非直线运动在某些条件下可以被分解为分段匀速 直线运动。
本节只讨论山水平匀速直线运动而产生的运动模糊。
假设图象/Cv,y)有一个平面运动,令兀«)和几(“分别为在x 和y 方向上 运动的变化分量,T 表示运动的时间。
图像复原研究报告1 引言1.1 研究背景及意义随着科技的飞速发展,数字图像在各个领域得到了广泛应用,如医学成像、卫星遥感、安全监控等。
然而,在图像的获取、传输和存储过程中,往往受到各种噪声和模糊的影响,导致图像质量下降。
图像复原技术旨在从退化的图像中恢复出原始图像,对于提高图像质量、挖掘图像潜在信息具有重要意义。
近年来,图像复原技术在计算机视觉、模式识别等领域取得了显著成果,但仍面临许多挑战,如噪声类型多样、图像退化过程复杂等。
因此,研究图像复原技术不仅有助于解决实际问题,还具有很强的理论价值。
1.2 图像复原技术发展概况图像复原技术起源于20世纪50年代,经历了从线性到非线性、从全局到局部的演变过程。
早期的研究主要集中在逆滤波、维纳滤波等经典算法。
随着计算机硬件和算法的发展,图像复原技术逐渐向多尺度和多通道方向发展。
近年来,深度学习技术在图像复原领域取得了重大突破,如基于卷积神经网络的图像去噪、超分辨率等算法。
这些方法在许多国际权威评测中取得了优异的性能,为图像复原技术的研究和应用带来了新的机遇。
1.3 研究内容与组织结构本文主要研究以下内容:1.分析图像退化与复原的基本理论,包括图像退化模型和图像复原方法分类;2.对常见图像复原算法进行详细分析,如逆滤波、维纳滤波和非局部均值滤波等;3.探讨深度学习在图像复原中的应用,包括基于卷积神经网络的图像复原和基于生成对抗网络的图像复原;4.评估图像复原算法的性能,通过实验对比分析不同算法的优缺点;5.总结本文研究成果,并对未来研究方向进行展望。
本文的组织结构如下:1.引言:介绍研究背景、意义和发展概况;2.图像退化与复原基本理论:分析图像退化模型和图像复原方法分类;3.常见图像复原算法分析:详细分析逆滤波、维纳滤波和非局部均值滤波等算法;4.深度学习在图像复原中的应用:探讨基于卷积神经网络和生成对抗网络的图像复原方法;5.图像复原算法性能评估:评估不同算法的性能,并进行实验对比分析;6.结论与展望:总结本文研究成果,并对未来研究方向进行展望。
G(u,v) =F(u,v)+N(u, v)⑶实验名称:图像退化与复原 实验目的1. 了解光电图像的退化原因;2. 掌握和理解基本的噪声模型,并能对图像进行加噪处理;3. 了解点扩展函数(PSF)与光学传递函数(OTF)的关系,熟悉几种经典的退化模 型的模拟试验和OTF 估计方法;4. 熟悉和掌握几种经典的图像复原方法及其基本原理;5. 能熟练利用MATLAB 或C/C++工具进行图像的各种退化处理, 并能编程实现 退化图像的复原。
三. 实验原理光电成像系统出现图像退化的过程是复杂多变的,为了研究的需要,通常情 况下都把退化简化为化为一个线性移不变过程,见下图1所示。
障质过稈 | 屯原图1光电图像退化与复原原理图因此,在空域中退化过程可以表示如下:g (x,y) = f (x,y) * h(x,y) + h(x,y)(1)只有加性噪声不存在情况下,退化过程可以模型化如下表达式:g(x,y) = f (x,y) + h(x,y)(2)其频域表达式为:针对这种退化图像的复原,除了周期噪声以外,通常都可以采用空间域滤波 的方法进行图像复原,此时图像复原与图像增强几乎是没有区别的。
常见的空间 域滤波方法有均值滤波器和统计排序滤波器。
当退化图像存在线性移不变退化时,图像的复原不能采用简单空间域滤波器来实现,要实现线性移不变退化图像的复原, 必须知道退化系统的退化函数,即 点扩展函数h(x,y)。
在点扩展函数已知的情况下,常见图像复原方法有逆滤波 和维纳滤波两种。
在考虑噪声的情况下,逆滤波的原理可以表示如下:通常情况下,N (u,v)是未知的,因此即使知道退化模型也不能复原图像 此外,当H (u,v )的任何元素为零或者值很小时,N (u,v )/H (u,v )的比值决定 着复原的结果,从而导致图像复原结果出现畸变。
对于这种情况, 通常采用限制滤波频率使其难以接近原点值,从而减少遇到零值的可能性。
维纳滤波则克服了逆滤波的缺点,其数学模型表示如下:然而,为退化图像的功率谱很少是已知的,因此常常用下面表达式近似:因此,本实验的内容就是利用上述经典图像复原的原理,对降质退化图像进 行复原。
四. 实验步骤本次实验主要包括光电图像的退化模型和复原方法实现两大部分内容。
(一)图像的退化图像 1、大气湍流的建模°F(u,v) = G(u,v) UF(u,v) =G(u,v) H(u,v) F(u,v) +N(u,v)H(u,v)°犏 F (u,v)=犏 J _________(u,v) H (u,v) H *(u,v)2+ S h (u,v)/S f (u,v)G(u,v)1) 湍流引起图像退化的光学传递函数(OTF 生成。
已知湍流退化模型的 OTF 表达式如下:H (u,v) = exp[-k(u 2+ v 2)5/6 ](7)其中,k 为一个常数,反映了大气湍流的严重程度。
(u,v)分别代表了(x,y )方向的频率坐标。
为了生成中心化的 OTF 可以考虑将式(7)改写为:H (u,v)= exp[-k ((u- M /2)2 + (v- N/2)2)5"](8)其中,M ,N 为图像的长和宽。
2) 读入一幅灰度图像,设定式(8)中k= 0.0025,进行退化试验。
分别显示 原始图像、退化模型和退化图像。
3) 设定k= 0.001、0.00025重复上一步的试验。
2、运动模糊的图像退化试验1)匀速直线运动引起图像退化的光学传递函数(OTF )生成。
已知相机匀速直线运动的OTF 表达式如下:对原图形进行灰度处理由FP 与H 进行相关处理,读入原始图像V显示原图像将上述结果进行 fft 处理得到FP设计退化湍流模型为 H 显示传递函数显示退化图像结束图2大气湍流的退化过程结束图3运动模糊的图像退化(二)图像复原试验 1、逆滤波1) 根据试验(一)设计一幅退化图像(包括噪声污染+模糊退化两部分), 其中模糊退化可选高斯模糊、大气湍流模糊或运动模糊(方向可任意指定,如10度、20度、45度等),噪声模型可自行设定。
H (u,v) =sin[p(ua+ vb)]e - jp(ua+vb)p(ua + vb)(9)其中,T 为相机曝光时间,a ,b 分别表示(x,y )方向的速度;(u,v )分别对应(x, y )方向的频率坐标。
2)读入一幅灰度图像,设定式(9)中T = 1.0, a=b=0.1,编写MATLAB 代码进行模糊退化试验。
要求分别显示原始图像、退化模型和退化图像。
3)设定不同的值,a ,b 值,重复上一步的试验。
4)利用数字显微镜或其它图像采集设备,移动物体过程中,采集图像。
读入原始图像对原图形进行灰度处理显示原图像将上述结果进行fft 处理得到FP设计运动模糊模型为 H 显示传递函数由FP 与H 进行相关处理,显示退化图像2) 利用MATLAB 编程实现利用全逆滤波方法对退化图像的复原。
要求在同 一个窗口下显示原始退化图像、复原结果及复原结果与理想图像的差值图共 3个图,并对复原 结果进行必要的分析。
逆滤波复原公式如下:其中,G(u,v)为退化图像的傅立叶变换,H (u,v)为退化系统的光学传递函数 (OTF 。
3) 伪逆滤波:为了防止逆滤波中H(u,v)过小,使得复原后的图像数据过大和放大噪声,可采用频谱半径(阈值)限制下的逆滤波方法,即其中,R 为中心化频谱 H(u,v)中某点到原点(零频)的距离或半径。
另一种替代方法是直 接限制H(u,v)的值,即其中,c 为一个阈值,用于限制频谱的幅度值。
这种方法被称为伪逆滤波。
实验要求利用式(11)方式的伪逆滤波重复实验步骤内容 2)所涉及的图像。
2、Wiener 滤波1)针对以上逆滤波设计的退化图,编程实现利用Wiener 滤波对其进行复原。
滤波原理如下:F (u,v)= A^<G(u,v)(13)I(u,v)H (u,v) + kUF(u,v) =G(u,v) H(u,v)(10)9.P(u,v) =J0,H (u, v) £ s H (u, v) > s(12)1 1I其中,G(u,v)为退化图像的傅立叶变换,H (u,v)为退化系统的光学传递函数 (OTF , k 为一个与信噪比有关的调节因子。
要求在同一个窗口下显示理想图 像(退化前)、退化图像、复原结果等共3个图,并对复原结果进行必要的分析。
2)改变k 值,重复试验内容1 )。
以上应根据原理自行编写代码,不允许直接调用MATLAB!带的deconvwnr() 函数。
读入原始图像由实验一对fi 进行运动退 显示原始 化处理得f2 ( a=b=0.1 )退化图像对f2进行fft ,fftshift 处理得G1分别利用逆滤波,伪逆滤波, wiener 滤波对G1进行复原处理得到F1分别显示三种:]> J 方式下的复原结果 F 1^F将复原结果F1与理想图像做减法,得到差值F2分别显示三种V 七&方式下的差值结束图4全逆,伪逆,wiener 滤波复原过程五. 实验结果及分析1、大气湍流的建模图6图7分析:由上述结果可知,大气湍流会使图像变得模糊,而k值越大,其模糊效果越明显。
2、运动模糊的图像退化试验分析:由上述结果可知,随着 a , b 的值变大,图像模糊变得明显,人眼看起来好像是由于运动速度过快造成的模糊。
图8图93、图像复原试验原皓土址国* 屋值园图10:图11-图12分析:图10,图11,图12分别为全逆,伪逆,wiener对运动模糊(a=b=0.1)滤波的结果,从中可以看出wiener是三者中对运动模糊复原效果最好的滤波方式,且wiener中k值越小复原效果越好。
六.实验心得体会和建议心得体会:通过这次实验使我了解了图像退化的原因,以及相关的退化模型,并学会以matlab 为平台利用退化模型对图像进行退化处理以及退化图像的 复原处理建议:可以要求利用C 或C+世行图像的退化与复原处理七. 程序源代码% title : atmosphere% explain :本程序利用大气湍流模型对理想图像进行退化 f=imread('3.jpg'); figure(1)subplot(131),imshow(f),title(' 原始图像') f=rgb2gray(f); Fp=fft2(f);[m, n]=size(f);% 绘制网格点 [v,u]=meshgrid(1: n,1:m); u=u-floor(m/2); v=v-floor( n/2); k=0.00025; Duv=u.A 2+v.A 2;H=exp(-k.*Duv4(5/6)); G=H.*fftshift(Fp); f1=abs(ifft2(G));n char = nu m2str(k);ltext = strcat('k=', n char);% subplot(132),imshow(H),title(['subplot(133),imshow(f1,[]),title(' % title : move% explain :本程序利用运动模糊模型对理想图像进行退化 f=imread('3.jpg'); figure(1)subplot(131),imshow(f),title(' 原始图像') f=rgb2gray(f);[m, n]=size (f); [v,u]=meshgrid(1: n,1:m); u=u-floor(m/2); v=v-floor( n/2);标题注释传递函数',ltext]);退化图像');T=1.0; a=0.3;b=0.3;% a=0.1,b=0.1;% a=0.01,b=0.01;z=pi*(u*a+v*b)+eps;H=T./z.*si n(z) .*exp(-1j*z);Fp=fft2(f);G=H.*fftshift(Fp);f1=abs(ifft2(G));n char = nu m2str(a);ltext = strcat('a=b=', n char);subplot(132),imshow(H),title([' 传递函数:ltext]);subplot(133),imshow(f1,[]),title(' 退化图像');% title : recovery% explain :本程序利用运动模糊对加入椒盐噪声的理想图像进行退化,之后分别用全逆滤波%伪逆滤波,wiener滤波对设计的退化图进行处理,观察三种滤波的复原效果。