下载文档原格式
信息融合技术发展与应用信息融合或数据融合是指为完成决策和估计任务而利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析、综合的信息处理过程。
近十几年来，多传感器信息融合技术获得了广泛应用。
采用信息融合技术对多源战场感知信息进行目标检测、关联/相关、组合，以获得精确的目标状态和完整的目标属性/身份估计，以及高层次的战场态势估计与威胁估计，从而实现未来战争中陆、海、空、天、电磁频谱全维战场感知。
通过信息融合技术可以扩展战场感知的时间和空间的覆盖范围，变单源探测为网络探测；能改进对战场目标的探测能力，提高目标的发现概率和识别水平；能提高合成信息的精度和可信度，支持对重要战场目标的联合火力打击；能产生和维持一致的联合战场态势，支持联合作战决策和方案制定；能提高威胁判定的实时性和准确度，支持战场预警；能进行战场感知信息共享，提高战场信息使用效率；能科学配置和控制探测/侦察平台和传感器，充分利用战场空间感知资源。
1 国外信息融合技术的发展美国国防部三军实验室理事联席会（JDL）的对信息融合技术的定义为：信息融合是一个对从单个和多个信息源获取的数据和信息进行关联、相关和综合，以获得精确的位置和身份估计，以及对态势和威胁及其重要程度进行全面及时评估的信息处理过程；该过程是对其估计、评估和额外信息源需求评价的一个持续精练（refinement）过程，同时也是信息处理过程不断自我修正的一个过程，以获得结果的改善。
后来，JDL将该定义修正为：信息融合是指对单个和多个传感器的信息和数据进行多层次、多方面的处理，包括：自动检测、关联、相关、估计和组合。
信息融合技术自1973年初次提出以后，经历了20世纪80年代初、90年代初和90年代末三次研究热潮。
各个领域的研究者们都对信息融合技术在所研究领域的应用展开了研究，取得了一大批研究成果，并总结出了行之有效的工程实现方法。
美国在该项技术的研究方面一直处于世界领先地位，1973年，在美国国防部资助开发的声纳信号理解系统中首次提出了数据融合技术，1988年，美国国防部把数据融合技术列为90年代重点研究开发的20项关键技术之一。
子空间辨识彩色融合图像质量主观评价实验张晓东;高绍姝;王宇轩;仵宇【摘要】为了发掘图像质量单一评价指标对融合图像目标探测性的影响,采集典型场景图像,开展彩色融合图像主观评价实验.考虑相邻图像的质量评价结果对当前图像评价结果的影响,提出采用子空间辨识方法建立基于目标探测的融合图像综合质量高阶预测模型.通过对实验结果的分析与处理,证实该方法的可行性和有效性,获得了较好的实验结果和实验教学效果,为进一步实现基于目标探测的双波段彩色融合图像质量客观评价提供实验基础与理论依据.【期刊名称】《实验室研究与探索》【年(卷),期】2018(037)007【总页数】5页(P136-139,188)【关键词】彩色融合图像质量;子空间辨识;主观评价【作者】张晓东;高绍姝;王宇轩;仵宇【作者单位】中国石油大学(华东)计算机与通信工程学院,山东青岛266580;中国石油大学(华东)计算机与通信工程学院,山东青岛266580;东北农业大学电气与信息学院,哈尔滨150030;中国石油大学(华东)计算机与通信工程学院,山东青岛266580【正文语种】中文【中图分类】G6420 引言彩色(夜视)融合技术通过数字图像处理方法，将同一场景的可见光(微光)与红外多波段的灰度源图像合成一幅适于人眼观察的彩色图像，可以帮助观察者更快更准确的探测目标，在军事侦察，安全监控，海上救援等方面展现出广阔的应用前景。
研究人员能够通过目标亮度，目标与背景的亮度差，色调差等衡量彩色融合图像中目标的可探测程度[1]。
同时也能够根据目标探测率，虚警率以及目标与背景的颜色距离等评价融合图像的目标探测性[2-3]。
但目前缺乏公认的彩色(夜视)融合图像质量评价理论和方法，直接影响到彩色夜视成像系统的评价。
如何基于目标探测性评价融合图像的综合质量成为亟待解决的问题之一。
彩色(夜视)融合图像质量主观评价实验需要组织学生对图像质量进行主观评价，获取可靠的评价数据，为验证和比较图像质量客观评价模型提供统一的衡量标准。
微光夜视技术是现代军用光电子高新技术之一，在局部战争和夜战中的地位和作用更加突出和重要。
六十多年来，伴随着科学技术的迅速发展和武器装备现代化需求的牵引，微光夜视技术取得了长足的发展。
本文在系统回顾微光夜视技术发展历程的基础上，分析了微光夜视技术未来的主要发展方向以及在民用领域的应用前景。
微光夜视技术的发展现状及民用领域拓展■ 李金平 王 云 张 洋1.引言随着科学技术的迅速发展，现代战争早已突破人类视觉的限制。
夜间战争已成为拥有先进夜视技术的一方迅速取得对战胜利的决定性因素。
作为夜视技术的两大关键支撑技术之一，微光夜视技术是研究夜间微弱照度条件下对目标进行探测、观察、识别、定位、记录的一类高新技术，具有体积小、重量轻、图像清晰、隐蔽性强等特点，是目前夜战武器装备中使用最广泛的技术。
自上世纪50年代开始，微光夜视技术取得了巨大的进展，从零代发展到三代、四代产品，已形成多个品种规格的系列化、批量化配套。
在科学技术日新月异的今天，新材料、新技术、新工艺的层出不穷，为微光夜视技术的发展带来了机遇和挑战。
微光夜视技术在下一阶段将如何发展，成为微光夜视技术行业共同关注的热点话题。
本文在深入回顾、分析国内外微光夜视技术发展历程的基础上，分析了微光夜视技术未来主要的技术发展方向及潜在的应用领域拓展。
2.微光夜视技术的发展历程微光夜视技术包括了微光夜视仪的总体技术和微光夜视器件的设计和工艺研究等方面内容，其核心是微光像增强器（微光像管）的研究。
一般来讲，微光像增强器的发展历程就代表了微光夜视技术的发展历程。
从五十年代第一个微光像增强器的研发开始，可以根据其特征技术分为零代、一代、二代（超二代）、三代（高性能三代）、四代等不同阶段。
2.1 零代微光夜视技术上世纪40、50年代最早出现的像管以Ag-O-Cs光阴极、电子聚焦系统和阳极荧光屏构成静电聚焦二极管为特征技术的像管被称为“零代变像管”。
其阴极灵敏度典型值为60μA/m，将来自主动红外照明器的反射信号转变为光电子，电子在16kV的静电场下聚焦，能产生较高的分辨力（57lp/mm～71p/mm），但体积、重量比较大、增益很低。
第35卷，增刊红外与激光工程2006年10月1Vr01．35Suppl enl e nt I n n翟I e d and Las e r Engi nee r i ng O ct．2()06一种彩色夜视实时图像融合系统史世明，王岭雪，王霞，金伟其，赵源萌(北京理工大学光电工程系，北京100081)摘要：在彩色夜视图像融合基础上，针对线性组合算法和直接映射算法实时性高的特点，提出了一种基于C PLD的双通道彩色夜视的实时图像融合系统，并阐述了其设计原理，系统的结构、特点和功能。
用vem og H D L硬件描述语言实现了相关的算法和设计。
实验结果表明，融合图像接近自然色彩，同时能够反映两个波段的图像的特点。
该系统可以实现实时的线性组合算法和直接映射算法，将红外与微光或者微光与微光等不同波段组合，是一种简单、高效彩色夜视系统。
关键词：彩色夜视；图像融合；红外图像；微光图像．中圈分类号：T N219文献标识码：A文章编号；1007。
2276(2006)增D一0360一06R eal-t i m e f us i on s yst em f or col or ni ght访si onSm St l i—I I l i ng，W A N G“ng-xue，W A N G)【i a，J科W西一qi，劢璩O Y uan-m engm岫n咖of掣cal Engi nccr i ng，Bei j啦Inst i眦of低hnol o阱B ci j啦，10008l，C hi m)A bs t r a c t：A m ong也e m em ods of i I l l age m si on i n t11e fi el d of c ol of I l i ght V i s i on，m e H ne ar coIn_bi nat i on锄d d心ec t m appi ng m et hods a r e s i m pl e锄d cal l be r e m i ze d i n r ea l dm e．I n con s i der at i on of t he adV ant ages of nl e se m et l l ods，a dual ch咖el re al—t i m e f usi on sys t em f or col or ni g ht V i s i on is pr es ent．T he pr i nci pl es，m e s仇l ct ur e，char act er s锄d m e f un ct i o ns ofⅡl e syst em a r e i n昀duced．TI l e al gor i m m aI l d t t le proj ect is deV eI op ed by ver i l og H D L．A s s how n iI l t l le re sul t s of t ll e expe洳t，fusion i m age s a r e c l ose t o m e r eal i吼aI l d m ey f Lls o r epr es e nt m e c ha ra c t e rs of di行e re nt w ave baI l ds．nl i s sys t em caI l re al i z e r eal—t i I ne l i ne a r com b i nat i on and dm比t m appi ng f us i on of i I I l a gesf两m di虢r ent w a V e b觚d，such as l ow h曲t-l evel C C Dand unc001ed承im age巧，t、)l，o10w l i ght1eV el vi deos，锄d e t c．It’s a s i m pl e al l d I l i gh ef!f i ci ent re al—t i m e col or I l i g ht V i si on syst e m．K ey w or ds：C ol or ni g ht V i si on；I m ge f us i on；InmⅡed；Low H ghtO引育图像融合是将同一目标、不同波段的图像经过一定的处理结合成为一幅合成图像，以便观察和进一步处理。
收稿日期:2007-03-13;修回日期:2007-05-27 基金项目:国家自然科学基金资助项目(60672135);陕西省自然科学基金资助项目(2005F44)作者简介:胡钢(1979-),男,江西高安人,硕士研究生,主要研究方向为图像处理、信息融合(huhu i _xauot @163.co m );刘哲(1970-),女,陕西宝鸡人,副教授,硕导,博士,主要研究方向为图像处理、信息融合、模式识别、计算智能等;徐小平(1973-),陕西蓝田人,讲师,博士研究生,主要研究方向为小波分析;高瑞(1981-),男,陕西榆林人,硕士研究生,主要研究方向为图像处理.像素级图像融合技术的研究与进展*胡 钢1,2,刘 哲1,徐小平2,高 瑞1(1.西北工业大学理学院,西安710072;2.西安理工大学理学院,西安710054)摘 要:详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。
关键词:图像融合;多尺度变换;评价标准中图分类号:TP391141 文献标志码:A 文章编号:1001-3695(2008)03-0650-06R esearch and recent deve l op m en t o f i m age fusi on at pi xel levelHU G ang 1,2,L IU Zhe 1,XU X iao -p i ng 2,GAO R ui 1(1.S chool o f S cie n ce ,N ort hw estern P ol y t echnical Universit y,X i .an 710072,Ch ina;2.S c hool of Science ,X i .an University of T ec hnology ,X i .an 710054,Ch i na )Abstract :Th i s paper introduced the princi p l es based on m i age f usion at p i xel level i n detai,l anal ysed syntheti cally ands umm ed up the presen t routi ne al gorith m of m i age f usion at p i xel l evel and evaluati on criteri a of its qualit y .It poi nted ou t the recent devel op m en t of m i age f usion at p i xel leve,l and discussed the develop m ent tendency of technique of m i age f usi on at p i xel leve.lKey words :m i age fusi on ;mu lt-i scale transfor m;eval uati on criteria 图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程,从而可以有效地把不同图像传感器的优点结合起来,提高对图像信息分析和提取的能力[1]。
北京微光像增强器原理
北京微光像增强器是一种革命性的光学系统，它采用其独特的增益效果，可以有效提
高图像的质量。
该系统基于“非线性感光技术（NLGT）”的原理，以及利用“反射技术”
进行智能控制，解决了微小光线在视频图像中对画面质量的影响，从而实现了微光照像增强，使得画面清晰更加展现出来。
北京微光图像增强器的技术原理，主要有以下几个特点：
（1）非线性感光技术（NLGT）：NLGT是一种将微弱输入信号进行平台流动定位处理
的技术，其目的是在特定区域不同电压级别，可以有效提高图像信号的强度，有效改变图
像信号的对比度。
（2）反射技术：通过将长曝光时间和短曝光时间生成的双击波形，用来进行多种智
能控制，可以根据不同场景照明状况，自动进行图像改善处理，并有效缩小图像闪烁的可
视区域，实现图像的自动改善。
（3）增益：该系统可以根据图像的对比度和亮度来调整图像的增益效果，不仅可以
提高图像的亮度，还可以改善图像的对比度，使画面更加清晰、更有深度和远距离可见度。
（4）图像融合：景深感受，色彩感受，近景，远景的图像融合是图像改善的重要方面，该系统可以根据用户设定的参数来自动改善图像，从而实现立体空间感受。
总的来说，北京微光图像增强器的优点在于能够在低光照状况下有效提高图像质量，
改善图像对比度和色彩，提高图像的可见性，增强立体感，改善视觉效果，提高观看体验
和把握现实视觉。
因此，北京微光图像增强器作为一种新型的光学系统，是改善图像品质
和增加视觉空间感受的理想方案。
第一章绪论图像拼接技术的研究背景及研究意义图像拼接image mosaic是一个日益流行的研究领域,他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点;图像拼接解决的问题一般式,通过对齐一系列空间重叠的图像,构成一个无缝的、高清晰的图像,它具有比单个图像更高的分辨率和更大的视野;早期的图像拼接研究一直用于照相绘图学,主要是对大量航拍或卫星的图像的整合;近年来随着图像拼接技术的研究和发展,它使基于图像的绘制IBR成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点,在计算机视觉领域中,图像拼接成为对可视化场景描述Visual Scene Representaions的主要研究方法：在计算机形学中,现实世界的图像过去一直用于环境贴图,即合成静态的背景和增加合成物体真实感的贴图,图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图;在军事领域网的夜视成像技术中,无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片,更不用说360 度的环形图片了;但是在实际应用中,很多时候需要将360 度所拍摄的很多张图片合成一张图片,从而可以使观察者可以观察到周围的全部情况;使用图像拼接技术,在根据拍摄设备和周围景物的情况进行分析后,就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接,从而实时地得到超大视角甚至是360 度角的全景图像;这在红外预警中起到了很大的作用;微小型履带式移动机器人项目中,单目视觉不能满足机器人的视觉导航需要,并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野;利用图像拼接技术,拼接机器人双目采集的图像,可以增大机器人的视野,给机器人的视觉导航提供方便;在虚拟现实领域中,人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像,用来虚拟实际场景;这种基于全景图的虚拟现实系统,通过全景图的深度信息抽取,恢复场景的三维信息,进而建立三维模型;这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视,同时允许在环视的过程中动态地改变焦距;这样的全景图像相当于人站在原地环顾四周时看到的情形;在医学图像处理方面,显微镜或超声波的视野较小,医师无法通过一幅图像进行诊视,同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体;所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆;在遥感技术领域中,利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较,也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像,作为进一步研究的依据;从以上方面可以看出,图像拼接技术的应用前景十分广阔,深入研究图像拼接技术有着很重要的意义图像拼接算法的分类图像拼接作为这些年来图像研究方面的重点之一,国内外研究人员也提出了很多拼接算法;图像拼接的质量,主要依赖图像的配准程度,因此图像的配准是拼接算法的核心和关键;根据图像匹配方法的不同仁阔,一般可以将图像拼接算法分为以下两个类型：1 基于区域相关的拼接算法;这是最为传统和最普遍的算法;基于区域的配准方法是从待拼接图像的灰度值出发,对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异,对此差异比较后来判断待拼接图像重叠区域的相似程度,由此得到待拼接图像重叠区域的范围和位置,从而实现图像拼接;也可以通过FFT 变换将图像由时域变换到频域,然后再进行配准;对位移量比较大的图像,可以先校正图像的旋转,然后建立两幅图像之间的映射关系;当以两块区域像素点灰度值的差别作为判别标准时,最简单的一种方法是直接把各点灰度的差值累计起来;这种办法效果不是很好,常常由于亮度、对比度的变化及其它原因导致拼接失败;另一种方法是计算两块区域的对应像素点灰度值的相关系数,相关系数越大,则两块图像的匹配程度越高;该方法的拼接效果要好一些,成功率有所提高;2 基于特征相关的拼接算法;基于特征的配准方法不是直接利用图像的像素值,而是通过像素导出图像的特征,然后以图像特征为标准,对图像重叠部分的对应特征区域进行搜索匹配,该类拼接算法有比较高的健壮性和鲁棒性;基于特征的配准方法有两个过程：特征抽取和特征配准;首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集冈;然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来;一系列的图像分割技术都被用到特征的抽取和边界检测上;如canny 算子、拉普拉斯高斯算子、区域生长;抽取出来的空间特征有闭合的边界、开边界、交叉线以及其他特征;特征匹配的算法有：交叉相关、距离变换、动态编程、结构匹配、链码相关等算法;本文的主要工作和组织结构本文的主要工作：1 总结了前人在图像拼接方面的技术发展历程和研究成果;2 学习和研究了前人的图像配准算法;3 学习和研究了常用的图像融合算法;4 用matlab实现本文中的图像拼接算法5 总结了图像拼接中还存在的问题,对图像拼接的发展方向和应用前景进行展望;本文的组织结构：第一章主要对图像拼接技术作了整体的概述,介绍了图像拼接的研究背景和应用前景,以及图像拼接技术的大致过程、图像拼接算法的分类和其技术难点;第二章主要介绍讨论了图像预处理中的两个步骤,即图像的几何校正和噪声点的抑制;第三章主要介绍讨论了图像配准的多种算法;第四章主要介绍讨论了图像融合的一些算法;第五章主要介绍图像拼接软件实现本文的算法;第六章主要对图像拼接中还存在的问题进行总结,以及对图像拼接的发展进行展望;本章小结本章主要对图像拼接技术作了整体的概述,介绍了图像拼接的研究背景和应用前景,以图像拼接算法的分类和其技术难点,并且对全文研究内容进行了总体介绍;第二章图像拼接的基础理论及图像预处理图像拼接图像拼接技术主要有三个主要步骤：图像预处理、图像配准、图像融合与边界平滑,如图;图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合与边界平滑,图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等,让参考图像和待拼接图像不存在明显的几何畸变;在图像质量不理想的情况下进行图像拼接,如果不经过图像预处理,很容易造成一些误匹配;图像预处理主要是为下一步图像配准做准备,让图像质量能够满足图像配准的要求;图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取,在提取出的信息中寻找最佳的匹配,完成图像间的对齐;图像拼接的成功与否主要是图像的配准;待拼接的图像之间,可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况,一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息,将图像对齐;图像融合指在完成图像匹配以后,对图像进行缝合,并对缝合的边界进行平滑处理,让缝合自然过渡;由于任何两幅相邻图像在采集条件上都不可能做到完全相同,因此,对于一些本应该相同的图像特性,如图像的光照特性等,在两幅图像中就不会表现的完全一样;图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时,由于图像中的某些相关特性发生了跃变而产生的;图像融合就是为了让图像间的拼接缝隙不明显,拼接更自然图像的获取方式图像拼接技术原理是根据图像重叠部分将多张衔接的图像拼合成一张高分辨率全景图 ;这些有重叠部分的图像一般由两种方法获得 : 一种是固定照相机的转轴 ,然后绕轴旋转所拍摄的照片 ;另一种是固定照相机的光心 ,水平摇动镜头所拍摄的照片;其中 ,前者主要用于远景或遥感图像的获取 ,后者主要用于显微图像的获取 ,它们共同的特点就是获得有重叠的二维图像;图像的预处理图像的校正当照相系统的镜头或者照相装置没有正对着待拍摄的景物时候,那么拍摄到的景物图像就会产生一定的变形;这是几何畸变最常见的情况;另外,由于光学成像系统或电子扫描系统的限制而产生的枕形或桶形失真,也是几何畸变的典型情况;几何畸变会给图像拼接造成很大的问题,原本在两幅图像中相同的物体会因为畸变而变得不匹配,这会给图像的配准带来很大的问题;因此,解决几何畸变的问题显得很重要;图象校正的基本思路是,根据图像失真原因,建立相应的数学模型,从被污染或畸变的图象信号中提取所需要的信息,沿着使图象失真的逆过程恢复图象本来面貌;实际的复原过程是设计一个滤波器,使其能从失真图象中计算得到真实图象的估值,使其根据预先规定的误差准则,最大程度地接近真实图象;图像噪声的抑制图像噪声可以理解为妨碍人的视觉感知,或妨碍系统传感器对所接受图像源信息进行理解或分析的各种因素,也可以理解成真实信号与理想信号之间存在的偏差;一般来说,噪声是不可预测的随机信号,通常采用概率统计的方法对其进行分析;噪声对图像处理十分重要,它影响图像处理的各个环节,特别在图像的输入、采集中的噪声抑制是十分关键的问题;若输入伴有较大的噪声,必然影响图像拼接的全过程及输出的结果;根据噪声的来源,大致可以分为外部噪声和内部噪声；从统计数学的观点来定义噪声,可以分为平稳噪声和非平稳噪声;各种类型的噪声反映在图像画面上,大致可以分为两种类型;一是噪声的幅值基本相同,但是噪声出现的位置是随机的,一般称这类噪声为椒盐噪声;另一种是每一点都存在噪声,但噪声的幅值是随机分布的,从噪声幅值大小的分布统计来看,其密度函数有高斯型、瑞利型,分别成为高斯噪声和瑞利噪声,又如频谱均匀分布的噪声称为白噪声等;1.均值滤波所谓均值滤波实际上就是用均值替代原图像中的各个像素值;均值滤波的方法是,对将处理的当前像素,选择一个模板,该模板为其邻近的若干像素组成,用模板中像素的均值来替代原像素的值;如图所示,序号为0是当前像素,序号为1至8是邻近像素;求模板中所有像素的均值,再把该均值赋予当前像素点x, y,作为处理后图像在该点上的灰度gx,y,即gx,y=2-2-2-1其中,s为模板,M为该模板中包含像素的总个数;图模板示意图2.中值滤波中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术;它的核心算法是将模板中的数据进行排序,这样,如果一个亮点暗点的噪声,就会在排序过程中被排在数据序列的最右侧或者最左侧,因此,最终选择的数据序列中间位置上的值一般不是噪声点值,由此便可以达到抑制噪声的目的;取某种结构的二维滑动模板,将模板内像素按照像素值的大小进行排序,生成单调上升或下降的二维数据序列;二维德中值滤波输出为2-2-2-2其中,fx,y,g x,y分别为原图像和处理后的图像,w二维模板,k ,l为模板的长宽,Med 为取中间值操作,模板通常为33 、5 5 区域,也可以有不同形状,如线状、圆形、十字形、圆环形;本章小结本章主要介绍了图像几何畸变校正和图像噪声抑制两种图像预处理.第三章图像配准算法图像配准的概念图像配准简而言之就是图像之间的对齐;图像配准定义为:对从不同传感器或不同时间或不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程;为了更清楚图像配准的任务,我们将图像配准问题用更精确的数学语言描述出来;配准可以用描述为如下的问题:给定同一景物的从不同的视角或在不同的时间获取的两个图像I ,I 和两个图像间的相似度量SI ,I ,找出I ,I 中的同名点,确定图像间的最优变换T,使得STI ,I 达到最大值;图像配准总是相对于多幅图像来讲的,在实际工作中,通常取其中的一幅图像作为配准的基准,称它为参考图,另一幅图像,为搜索图;图像配准的一般做法是,首先在参考图上选取以某一目标点为中心的图像子块,并称它为图像配准的模板,然后让模板在搜索图上有秩序地移动,每移到一个位置,把模板与搜索图中的对应部分进行相关比较,直到找到配准位置为止;如果在模板的范围内,同一目标的两幅图像完全相同,那么完成图像配准并不困难;然而,实际上图像配准中所遇到的同一目标的两幅图像常常是在不同条件下获得的,如不同的成像时间、不同的成像位置、甚至不同的成像系统等,再加上成像中各种噪声的影响,使同一目标的两幅图像不可能完全相同,只能做到某种程度的相似,因此图像配准是一个相当复杂的技术过程;基于区域的配准逐一比较法设搜索图为s待配准模板为T,如图所示,S大小为M N,T大小为U V,如图所示;图搜索图S与模板T示意图逐一比较法的配准思想是:在搜索图S中以某点为基点i,j,截取一个与模板T大小一样的分块图像,这样的基点有M-U+1N-V+1个,配准的目标就是在M-U+1N-V+1个分块图像中找一个与待配准图像最相似的图像,这样得到的基准点就是最佳配准点;设模板T在搜索图s上移动,模板覆盖下的那块搜索图叫子图S ,i,j为这块子图的左上角点在S图中的坐标,叫做参考点;然后比较T和S的内容;若两者一致,则T和S之差为零;在现实图像中,两幅图像完全一致是很少见的,一般的判断是在满足一定条件下,T和S之差最小;根据以上原理,可采用下列两种测度之一来衡量T和S 的相似程度;Di,j的值越小,则该窗口越匹配;Di,j=S m,n-Tm,n3-1或Di,j=S m,n-Tm,n3-2或者利用归一化相关函数;将式3-1展开可得:Di,j=S m,n -2S m,nTm,n+Tm,n3-3式中等号右边第三项表示模板总能量,是一常数,与i,j无关;第一项是与模板匹配区域的能量,它随i,j的改变而改变,当T和S 匹配时的取最大值;因此相关函数为:Ri,j=3-4当Ri,j越大时,Di,j越小,归一化后为:Ri,j=3-5根据Cauchy-Schwarz不等式可知式3-5中0Ri,j1,并且仅当值S m, n/T m, n=常数时,Ri,j取极大值;该算法的优点:1算法思路比较简单,容易理解,易于编程实现;2选用的模板越大,包含的信息就越多,匹配结果的可信度也会提高,同时能够对参考图像进行全面的扫描;该算法的缺点:1很难选择待配准图像分块;因为一个如果分块选择的不正确,缺少信息量,则不容易正确的匹配,即发生伪匹配;同时,如果分块过大则降低匹配速度,如果分块过小则容易降低匹配精度;·2对图像的旋转变形不能很好的处理;算法本身只是把待配准图像分块在标准参考图像中移动比较,选择一个最相似的匹配块,但是并不能够对图像的旋转变形进行处理,因此对照片的拍摄有严格的要求;分层比较法图像处理的塔形或称金字塔:Pyramid分解方法是由Burt和Adelson首先提出的,其早期主要用于图像的压缩处理及机器人的视觉特性研究;该方法把原始图像分解成许多不同空间分辨率的子图像,高分辨率尺寸较大的子图像放在下层,低分辨率尺寸较小的图像放在上层,从而形成一个金字塔形状;在逐一比较法的思想上,为减少运算量,引入了塔形处理的思想,提出了分层比较法;利用图像的塔形分解,可以分析图像中不同大小的物体;同时,通过对低分辨率、尺寸较小的上层进行分析所得到的信息还可以用来指导对高分辨率、尺寸较大的下层进行分析,从而大大简化分析和计算;在搜索过程中,首先进行粗略匹配,每次水平或垂直移动一个步长,计算对应像素点灰度差的平方和,记录最小值的网格位置;其次,以此位置为中心进行精确匹配;每次步长减半,搜索当前最小值,循环这个过程,直到步长为零,最后确定出最佳匹配位置;算法的具体实现步骤如下:1将待匹配的两幅图像中22邻域内的像素点的像素值分别取平均,作为这一区域22像素值,得到分辨率低一级的图像;然后,将此分辨率低一级的图像再作同样的处理,也就是将低一级的图像44邻域内的像素点的像素值分别取平均,作为这一区域44点的像素值,得到分辨率更低一级的图像;依次处理,得到一组分辨率依次降低的图像;2从待匹配的两幅图像中分辨率最低的开始进行匹配搜索,由于这两幅图像像素点的数目少,图像信息也被消除一部分,因此,此匹配位置是不精确的;所以,在分辨率更高一级的图像中搜索时,应该在上一次匹配位置的附近进行搜索;依次进行下去,直到在原始图像中寻找到精确的匹配位置;算法的优点:1该算法思路简单,容易理解,易于编程实现;2该算法的搜索空间比逐一比较要少,在运算速度较逐一比较法有所提高;算法的缺点:1算法的精度不高;在是在粗略匹配过程中,移动的步长较大,很有可能将第一幅图像上所取的网格划分开,这样将造成匹配中无法取出与第一幅图像网格完全匹配的最佳网格,很难达到精确匹配;2对图像的旋转变形仍然不能很好的处理;与逐一比较法一样,该算法只是对其运算速度有所改进,让搜索空间变小,并无本质变化,因此对图像的旋转变形并不能进行相应处理;相位相关法相位相关度法是基于频域的配准常用算法;它将图像由空域变换到频域以后再进行配准;该算法利用了互功率谱中的相位信息进行图像配准,对图像间的亮度变化不敏感,具有一定的抗干扰能力,而且所获得的相关峰尖锐突出,位移检测范围大,具有较高的匹配精度;相位相关度法思想是利用傅立叶变换的位移性质,对于两幅数字图像s,t,其对应的傅立叶变换为S,T,即:S=F{s}=e T=F{t}=e3-6若图像s,t相差一个平移量x ,y ,即有:sx,y = tx-x ,y-y 3-7根据傅立叶变换的位移性质,上式的傅立叶变换为:S=e T3-8也就是说,这两幅图像在频域中具有相同的幅值,只是相位不同,他们之间的相位差可以等效的表示为互功率谱的相位;两幅图的互功率谱为:=e3-9其中为共扼符号, 表示频谱幅度;通过对互功率谱式3-9进行傅立叶逆变换,在x,y空间的x ,y ,即位移处,将形成一个单位脉冲函数 ,脉冲位置即为两幅被配准图像间的相对平移量x 和y式3-9表明,互功率谱的相位等价于图像间的相位差,故该方法称作相位相关法;相位相关度法的优点:1该算法简单速度快,因此经常被采用;对于其核心技术傅立叶变换,现在己经出现了很多有关的快速算法,这使得该算法的快速性成为众多算法中的一大优势;另外,傅立叶变换的硬件实现也比其它算法容易;2该算法抗干扰能力强,对于亮度变化不敏感;相位相关度法的缺点:1该算法要求图像有50%左右的重叠区域,在图像重叠区域很小的时,算法的结果很难保证,容易造成误匹配;2由于Fourier变换依赖于自身的不变属性,所以该算法只适用于具有旋转、平移、比例缩放等变换的图像配准问题;对于任意变换模型,不能直接进行处理,而要使用控制点方法,控制点方法可以解决诸如多项式、局部变形等问题;基于特征的配准比值匹配法比值匹配法算法思路是利用图像中两列上的部分像素的比值作为模板,即在参考图像T 的重叠区域中分别在两列上取出部分像素,用它们的比值作为模板,然后在搜索图S中搜索最佳的匹配;匹配的过程是在搜索图S中,由左至右依次从间距相同的两列上取出部分像素,并逐一计算其对应像素值比值;然后将这些比值依次与模板进行比较,其最小差值对应的列就是最佳匹配;这样在比较中只利用了一组数据,而这组数据利用了两列像素及其所包含的区域的信息;该算法的具体实现步骤如下:1在参考图像T中间隔为c个像素的距离上的两列像素中,各取m个像素,计算这m个像素的比值,将m个比值存入数组中,将其作为比较的模板;2从搜索图S中在同样相隔c个像素的距离上的两列,各取出m+n个像素,计算其比值,将m+n 个比值存入数组;假定垂直错开距离不超过n个像素,多取的n个像素则可以解决图像垂直方向上的交错问题;3利用参考图像T中的比值模板在搜索图S中寻找相应的匹配;首先进行垂直方向上的比较,即记录下搜索图S中每个比值数组内的最佳匹配;再将每个数组的组内最佳匹配进行比较,即进行水平方向的比较,得到的最小值就认为是全局最佳匹配;此时全局最佳匹配即为图像间在水平方向上的偏移距离,该全局最佳匹配队应的组内最佳匹配即为图像间垂直方向上的偏移距离;比值匹配法的优点:1算法思路清晰简单,容易理解,实现起来比较方便;2在匹配计算的时候,计算量小,速度快;比值匹配法的缺点:。
