Vol. 44 No. 11
2248计算机与数字工程
Computer &?Digital Engineering总第325期
2016年第11期基于S I F T算法的图像配准研究
朱林
(东南大学成贤学院南京210088)
摘要为了提高图像配准的质量，论文在分析常用图像配准方法的基础上，总结出根据特征进行图像配准的优势，进 而使用SIFT算法来提取特征点,使用高斯差分金字塔的分层构造确定和提取图像的空间极值点，从而得出精确而平稳的 配准结果，为图像配准的优化与发展打下基础。
关键词图像配准；SIFT算法；特征点
中图分类号TP301. 6 DOI：10. 3969/j. issa 1672-9722. 2016. 11. 031
Image Registration Based on SIFT Algorithm
ZHU Lin
(Southeast University Chengxian College, Nanjing 210088)
Abstract In order to improve the quality of image registration, based on the analysis of common image registration method, the advantage is summed up according to the characteristics of image registration And the SIFT algorithm is used to extract the feature points, using Gauss differential to determine and extract the image’s spatial extreme points, thus the accurate and stable results are obtained to lay the foundation for the optimization and development of image registration Key Words image registration, SIFT algorithm, feature points
Class Number TP301. 6
i引言
图像配准是计算机科学技术领域中一项非常
关键技术，也是重要的研究焦点，其主要研究内容
是将同一个场景、相同区域内的图像通过算法程序 进行空间匹配对准，需要配准的两张图像无论图像
内的同一物体的位移发生怎样的变化，都能利用图
像中的相似点匹配起来。图像配准技术在医学、遥
感、虚拟现实技术等方面应用很多[1]，解决了很多 问题。
图像配准的质量关键取决于提取特征点的精 度，本文考虑使用SIFT算法来确定特征点匹配图 像，在此方法中需要细化相同场景中图像的各个部
分，基于相同的视角测试两幅图像的一致特征点，
研究的核心问题是确定空间转变的模式，让不同的
图像内部存在着重叠的核心坐标点并加以对准，再
缝合为单个画面的最后视图。配准的方法不仅要确保配准的精度，还要保证配准演算量不能太大。2图像配准方法
相同场景在不同的条件下拍摄的二维图像会 产生明显的区别。主要是由于两幅图像所处的时 间、角度等不同引起的，当目标景物出现改变时，与 之关联的传感器自身也存在着误差现象[2]。目前，图像配准方法大体上可以分成如下三种：
2. 1根据灰度信息进行图像配准
此方法是根据两个图像所对应的灰度信息，用 RGB或是CMY的色彩体系来配准相似性，并根据
标准的灰度级确定图像配准的方位与重叠性区域[3]。此方法无需使用图像分割与特征提取等技 术，而是直接应用灰度相关信息来登记，所以此方 法一般必须假定应有光的内在吻合注册，同时迭代 所需光的初始化处理，并对图像灰度信息加以演 算，但缺点是有时演算过于密集化，同时难以旋转，
收稿日期=2016年5月2日，修回日期= 2016年6月23日
作者简介:朱林，男，硕士，讲师，研究方向:计算机体系结构、软件开发、图形图像、电子商务。
图像配准定义为：对从不同传感器、不同时相、不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程[2]。图像配准需要分析各分量图像上的几何畸变，然后采用一种几何变换将图像归化到统一的坐标系统中。在配准过程中，通常取其中的一幅图像作为配准的标准，称之为参考图像；另一幅图像作为配准图像。 图1-1 图像配准的基本流程 图1-2 图像配准方法分类
根据配准使用的特征，图像配准的方法大致可分为三类： (1)基于图像灰度的配准算法。首先从参考图像中提取目标区作为配准的模板，然后用该模板在待配准图像中滑动，通过相似性度量(如相关系数法、差的平方和法、差的绝对值法、协方差法)来寻找最佳匹配点。 (2)基于图像特征的配准算法。该算法是以图像中某些显著特征(点、线、区域)为配准基元，算法过程分为两步：特征提取和特征匹配。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。对于非特征像素点利用插值等方法作处理推算出对应匹配关系，从而实现两幅图像之间逐像素的配准。 (3)基于对图像的理解和解释的配准算法。这种配准算法不仅能自动识别相应像点，而且还可以由计算机自动识别各种目标的性质和相互关系，具有极高的可靠性和精度。这种基于理解和解释的图像配准涉及到诸如计算机视觉、模式识别、人工智能等许多领域。不仅依赖于这些领域中理论上的突破，而且有待于高速度并行处理计算机的研制。 从自动化角度来看，可以将配准过程分为自动、半自动和手动配准。 存在问题：如何提高图像的配准速度将是大范围遥感图像自动配准问题的要点；选取何种自动配准方案以保证图像的配准精度将是大范围遥感图像自动配准问题的另一要点。 2(,)[1((, f x y g f h x y 其中，h表示二维空间坐标变换。g表示灰度或辐射变换，描述因传感器类型的不同以及成像时气候等环境的影响所带来的图像灰度的变换。配准问题的实质就是要找到最优的空域变换h和灰度变换g，使得上述的等式成立，从而找到配准变换的参数 特征空间的选择通常要考虑以下几个因素：相似性；空间分布；唯一性。 在自动图像配准中对特征的理解可以分为两类。(1)基于灰度的方法：基于灰度的方法将重点放在特征匹配上，在其过程中并没有真正提取特征。一般所说的模板匹配法就是这种方法的代表。这种方法实际上将图像的灰度分布直接作为特征而构成匹配的基础。(2)基于特征的方法：基于特征的方法需要在图像中提取显著的特征：区域(森林、湖泊、农田等)、线(区域的边界、道路等)和点(区域的角
《数字医学图像》报告 内容：图像配准专题 专业： 2012级信息管理与信息系统班级：信管一班 小组成员： 20120701020 韩望欣 20120701008 毕卓帅 20120701005 胡庆 指导老师：彭瑜 完成日期： 2015 年 10月 25日
图像配准专题 简介：图像配准是对取自不同时间，不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。图像配准广泛用于多模态图像分析，是医学图像处理的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域中的关键技术之一，也是图像融合中要预处理的问题，待融合图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就是将这些图像变换到同一坐标系下，以供融合使用。 一：图像配准方法国内外进展情况 图像配准最早在美国七十年代的飞行器辅助导航系统、武器投射系统的末端制导以及寻地等应用研究中提出,并得到军方的大力支持与赞助。经过长达二十多年的研究,最终成功地用于中程导弹及战斧式巡航导弹上,使其弹着点平均圆误差半径不超过十几米,从而大大提高了导弹的命中率。八十年代后,在很多领域都有大量配准技术的应用,如遥感领域,模式识别,自动导航,医学诊断,计算机视觉等。各个领域的配准技术都是对各自具体的应用背景结合实际情况量身订制的技术。但是不同领域的配准技术之间在理论方法上又具有很大的相似性,从而使得在某领域的配准技术很容易移植到其它相关领域。目前国内外研究图像配准技术比较多的应用领域有红外图像处理、遥感图像处理、数字地图定位和医学图像处理等领域。 二、图像配准在医学领域的应用 20世纪以来随着计算机技术的不断发展,医学成像技术得到了快速的发展。尖端的新型医疗影像设备层出不穷,如计算机线摄影、数字减影等等,这些已经成为现代医学诊断必不可少的医学数字成像手段。由于这些医学数字成像设备有不同的灵敏度和分辨率,它们有各自的使用范围和局限性。多种模式图像的结合能充分利用图像自身的特点并做到信息互补。近几十年以来,图像配准在医学上的应用日益受到医学界和工程界的重视,己在世界范围广泛展开,在相关文献中己经提出了很多种医学图像配准的方法,这些研究成果广泛地运用到医学领域中。图像配准在医学中的应用领域主要有以下几方面: ?组织切片图像的处理与显微结构三维重建 ?疾病诊断及其发展和消退的过程检测 ?神经外科手术可视化、神经外科手术一计划及术前评估 ?感觉运动和认知过程的神经功能解剖学研究 ?神经解剖变异性的形态测量分析学 ?放射治疗和立体定向放射外科治疗计划 三、图像配准的定义 对于二维图像配准可定义为两幅图像在空间和灰度上的映射，如果给定尺寸的二维矩阵F 1和F2代表两幅图像F1（X，Y）和F2（X，Y）分别表示相应位置（X，Y）上的灰度值。则图像间的映射可表示为：F （X，Y）=G（F （H（X，Y））），式中H表示一个二维空间坐标变换，即（X’，Y’）=H（X，Y），且G是一维灰度变换。 四、图像配准方法的分类 1、维数 主要是根据待配准图像的空间维数及时间维数来划分的。图像仅含空间维数或者是图像的时间序列中带有空间数，其配准可根据图像的空间维数分2D/2D，2D/3D，3D/3D，4D/4D
图像配准技术方法研究 摘要随着信息技术的迅猛发展，图像配准技术已经在军事、遥感、医学、计算机视觉等多个领域得到了广泛的应用。图像配准技术是图像处理的一个基本问题，它是将不同时间、传感器或视角下获取的相同场景的多幅图像进行匹配的图像处理的过程。三类图像配准的方法大致如下：基于灰度的图像配准方法。基于变换域的图像配准方法。基于特征的图像配准方法。本文将应用这三种方法对图像配准进行研究。并重点研究基于特征的图像配准方法。 关键词图像配准，特征点匹配，灰度插值，控制点的提取 Abstract The technology of image registration is being widely used in the military, remote sensing , medical, computer, visual and any other fields with the rapid development of information technology. The technology of image registration is a kind of process to match different pictures getting from different periods and different cameras but a same scene, it is a basic point to handle the pictures. There are three kinds of ways to do the image registration:According to the level of the color of gray getting from the pictures.According to transforming domains.According to the features The three kinds of ways will be used to discuss the image registration in the thesis, and the way according to the features will be discussed more in the thesis.
医学图像配准技术 A Survey of Medical Image Registration 张剑戈综述，潘家普审校 （上海第二医科大学生物医学工程教研室，上海 200025） 利用CT、MRI、SPECT及PET等成像设备能获取人体内部形态和功能的图像信息，为临床诊断和治疗提供了可靠的依据。不同成像模式具有高度的特异性，例如CT通过从多角度的方向上检测X线经过人体后的衰减量，用数学的方法重建出身体的断层图像，清楚地显示出体内脏器、骨骼的解剖结构，但不能显示功能信息。PET是一种无创性的探测生理性放射核素在机体内分布的断层显象技术，是对活机体的生物化学显象，反映了机体的功能信息，但是图像模糊，不能清楚地反映形态结构。将不同模式的图像，通过空间变换映射到同一坐标系中，使相应器官的影像在空间中的位置一致，可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准，也是一个多参数优化过程。图像配准在病灶定位、PACS系统、放射治疗计划、指导神经手术以及检查治疗效果上有着重要的应用价值。 图像配准算法 可以从不同的角度对图像配准算法进行分类[1]：同/异模式图像配准，2D/3D图像配准，刚体/非刚体配准。本文根据算法的出发点，将配准算法分为基于图像特征(feature-based)和基于像素密度(intensity-based)两类。 基于特征的配准算法 这类算法利用从待配准图像中提取的特征，计算出空间变换参数。根据特征由人体自身结构中提取或是由外部引入，分为内部特征(internal feature)和外部特征(external feature)。
【作者简介】张剑戈（1972-），男，山东济南人，讲师，硕士 1. 外部特征 在物体表面人为地放置一些可以显像的标记物（外标记，external marker）作为基准，根据同一标记在不同图像空间中的坐标，通过矩阵运算求解出空间变换参数。外标记分为植入性和非植入性[2]：立体框架定位、在颅骨上固定螺栓和在表皮加上可显像的标记。Andre G[3]等将该方法用于机器人辅助手术，对于股骨移植，位移误差小于1.5mm，角度误差小于3°，由于计算量小，可以实现实时配准。但是标记物必须事先被固定好，不能用于回顾性配准，而且该方法只适用刚体配准。 2. 内部特征 从医学影像中可以提取出点、线和面：血管的交点、血管、胸腹之间的横膈膜等，这些特征作为内标记点(internal marker) ，利用其空间位置同样可以求解出空间变换参数。Hill DL[4]用11个形态点对脑部配准，误差<1mm，方差为1.73mm。Meyer CR[5]除了血管树的交点，还使用了左右脑之间的间隔等特征。Maurer CR[6,7]赋予点、线、面等几何特征不同的权重(weighted geometrical features, WGF)，进一步改进了算法。内标记点配准是一种交互性的方法，将3D图像配准简化为点、线和面的匹配，可以进行回顾性研究，不会造成患者的不适。但是医生对特征位置的判断影响到配准精度，为了克服人为误差，需要多次重复操作，以平均值作为最终结果。 表面匹配算法也利用了内部特征[8]：进行图像分割，提取出轮廓曲线、物体表面等内部特征，使2D/3D图像配准简化为2D曲线和3D曲面的匹配，不再考虑物体内部像素。典型的应用是刚体配准的“头帽”算法[9]，从头部的3D图像中分割出表面轮廓，分别作为头模型和帽模型。配准的目标函数是头表面和帽表面之间的均方距离，该距离是空间变换参数的函数。表面匹配算法是一种自动算法，在物体表面轮廓相似并且清晰的情况下，配准效果很好。其不足之处在于：准确地进行图像分割很困难；不同模式的图像，如CT/PET图像，由于器官的轮廓差异较大，难于精确地匹配。 3. 在非刚体配准中的应用 进行非刚体配准前要确定物理模型，常见有弹性模型、粘稠液体模型、生物力学模型。通过在感兴趣区域中提取参考点、2D或是3D轮廓线，使待配准图像
图像配准的方法 迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准 研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围 的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位 系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其 所采用的算法称之为图像相关等等。 图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择 多图像中的一张图像作为参考图像，将其它的相关图像与之配准，其坐标系统 是任意的。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来 进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文 主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射 关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制点(RCP)。目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别：基于灰度信 息法、变换域法和基于特征法[25]，其中基于特征法又可以根据所用的特征属 性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的 各种图像配准方法和原理。 1基于灰度信息的图像配准方法 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而 是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是 实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变 换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多 基于灰度信息的图像配准方法，大致可以分为三类：互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法。 (1)互相关法
第１４卷第６期２００７年１２月 电光与控制 ＥＵ￡ＣＴＲＯＮＩＣＳＯＰＴＩＣＳ＆ＣＯＮＴＲＯＬ Ｖ０１．１４№．６ Ｄｅｅ．２００７ 文章编号：１６７１—６３７Ｘ（２００７）０６—００９９—０７ 图像配准技术研究进展 刘松涛，杨绍清 （海军大连舰艇学院信息与通信工程系，辽宁大连１１６０１８） 摘要：图像配堆是解决图像融合、图像镶嵌和变化检测等问题的必要前提。其应用遍及军事、遥感、医学和计算机视觉等多个领域。筒要回顾了图像配准技术的发展史和研究现状．重点阐述了当前的技术热点和应用趋势，最后展望了进一步的研究方向。 关键词：图像配准；信息论；非刚性配准；虚拟结构 中图分类号：Ｖ２４３．６文献标识码：Ａ Ｐｒｏｇｒｅｓｓｉｎｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓ ＬＩＵＳｏｎｇ—ｔａａ，ＹＡＮＧＳｈａｏ—ｑｉｎｇ （Ｏｅｐｔ．ｏｆＩｎｆｏｒｍａｔｉｏｎ＆ＣｏｍｍｔｍｉｃｄｉｏｎＥｔ，ｇ泌ｒｉｔ，．ｇ，ＤａｆｉａｎＮａｖａｌＡｃａｄｅｍｙ，Ｄａｌｉａｎ１１６０１８，舀白Ⅺ） Ａｂｓｔｒａｃｔ：Ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｉｓｅｓｓｅｎｔｉａｌｆｏｒａｌｌｉｍａｇｅａｎａｌｙｓｉｓｔａｓｋｓｌｉｋｅｉｍａｇｅｆｕｓｉｏｎ，ｉｍａｇｅｍｏｓａｉｃａｎｄｃｈａｎｇｅｄｅｔｅｃｔｉｏｎ．Ｉｔｉｓｕｓｅｄｗｉｄｅｌｙｉｎｍｉｌｉｔａｒｙｓｙｓｔｅｍ，ｍｅｄｉｃａｌｉｍａｇｉｎｇ，ｒｅｍｏｔｅｓｅｎｓｉｎｇ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ｅｔｃ．Ｔｈｅｈｉｓｔｏｒｙａｎｄｃｕｒｒｅｎｔｅｔａｔｕｓｏｆｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓｆｉｒｅｒｅｖｉｅｗｅｄｋｅｆｌｙｗｉｔｈｅｍｐｈａｓｉｓｏｎｉｔｓｃｕｒｒｅｎｔｔｅｃｈｎｉｃａｌｈｏｔｓｐｏｔｓａｎｄａｐｐｌｉｃａｔｉｏｎｔｒｅｎｄｓ．Ｓｏｍｅｉｎｔｅｒｅｓｔｉｎｇａｓｐｅｃｔｓｆｏｒｆｕｒｔｈｅｒｓｔｕｄｙａ”ｐｏｉｎｔｅｄｏｕｔｉｎｔｈｅｅｎｄ． Ｋｅｙｗｏｒｄｓ：ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ；ｉｎｆｏｒｍａｔｉｏｎｔｈｅｏｒｙ；１１０ｎ—ｒｉｇｉｄｒｅｇｉｓｔｒａｔｉｏｎ；ｖｉｒｔｕａｌｓｔｒｕｃｔＵｒｅ ０引言 图像配准是许多应用问题必须的预处理步骤，比如：时序图像的变化检测或多模图像融合，这些问题遍及军事、遥感、医学、计算机视觉等多个领域。许多领域都需要图像配准，实际应用过程可能会有所不同，但其中关键的因素是类似的。概括地说，图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两橱或多幅图像进行最佳匹配的过程，包括像素灰度匹配和空间位置对齐。 配准方法的分类可以依据不同的准则。Ｂｒｏ．ｗｎ…依据变换模型的复杂程度对配准方法进行分类，并归纳了配准技术的实现步骤：特征空问、相似度测量、搜索空间和策略。Ｍａｉｎｔｚ”１等则提出了９ 收稿日期：２００６—０３—０９修回Ｅｔ期：２００６—０５—１５ 基金项目：国防预研基金资助项目（５１４０３０３０６０４ＪＢｌ４０Ｉ）；国家自然科学基金资助项目（６０５７２１６０） 一 作者简介：荆松涛（１９７８一），男，河南孟津人，博士，主要研究方向为图像融合、耳标识别、成像跟踪、ＤＳＰ开发 等。条分类准则，依次为：图像维数、配准特征的来源、变换模型、坐标变换域、交互性、优化策略、成像模式、配准对象、配准目标的特点等。作者参考Ｂｒｏｗｎ和Ｍａｉｎｌｚ的分类方法，将配准技术概括为８个方面，包括：配准对象、特征提取、特征匹配、变换模型、优化策略、坐标变换与插值、系统实现及算法评估，并考虑每项内容的技术特性进行细分，然后依据某一算法的创新点进行分类。囊括所有方法的分类准则是不存在的，所提方法侧重于从总体上对配准方法进行考察，是一种相对能反映配准方法本质特征的分类方法。依据新的分类准则，作者已对图像配准技术的８个子方向进行了系统研究ｕＪ。 １发展史和研究现状 国外从２０世纪６０年代就开始在图像配准领域进行研究“】，但直到１９８０年代才开始引起学者们的关注。到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式和领域的复杂性．仍需密切关注。国际上对图像配准技术曾做过调查”】，其结论是１９９０年代初技术文献明显增加。而
多模图像配准融合
浅析多模态医学图像的配准与融合技术 来源：本站原创作者：朱俊林发布时间：2009-06-07 1 医学图像的配准技术简介 医学图像的配准技术是90年代才发展起来的医学图像处理一个重要分支, 并且日益受到了医学界和工程界的重视。医学图像的配准是指对于一幅医学图 像寻求一种或者是一系列的空间变换,使两幅图像的对应点达到空间位置和解 剖结构的一致，这种一致是指人体上的同一解剖点在两张匹配的图像上有相同 的空间位置。简单地说医学图像配准就是解决两幅图像的严格对齐问题。配准 的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的解剖点及 手术感兴趣的点都达到匹配。 医学图像的配准按图像来源分为：单模态(mono-modality)与多模态配准(multi-modality)。单模态配准是指对来自同一成像设备的不同时刻或不同角 度的图像进行配准。但在实际临床应用中，单一模态的图像往往不能提供医生 所需要的足够信息，通常需要将不同模态的图像融合在一起得到更丰富的信息 量，从而作出准确的诊断，制订出合适的治疗方案。所谓多模态配准，是将来 自不同形式的医学图像进行空间上的对准，将对应的相同解剖位置标记出来以 实现图像融合和进一步后期处理。多模态图像之间的配准使用最频繁,主要应用在诊断方面,可分为解剖—解剖的配准和解剖—功能的配准两大类,前者将显示组织形态学不同方面的两幅图像混合,后者将组织的新陈代谢与它相对于解剖 结构的空间位置联系起来。目前，主要的研究工作重点是进行CT、MRI以及PET、fMRI等图像的配准。 2 医学图像融合技术简介 医学图像的融合是指将两幅(或两幅以上)来自不同成像设备或不同时刻获 取的已配准图像，采用某种算法，把各个图像的优点或互补性有机结合起来， 获得信息量更为丰富的新图像的技术。医学诊断往往要综合许多不同信息进行， 传统的方法是，临床医生利用灯箱分别观看这些胶片，综合对比，得到结果。 如果能够把这些互补信息以某种方式综合在一起作为一个整体作为医学诊断的 依据，使得临床医生只要在一张综合图像上就能看到不同原始图像的信息，那 么就能提供全方位的信息细节。 3 医学图像配准及融合的关系及意义 医学图像的配准和融合有着非常密切的关系，特别是对于多模态图像而 言，配准和融合是密不可分的。配准是融合的前提，也是决定图像融合技术发 展的关键技术，若事先不对待融合图像进行空间上的对准，那么融合后的图像 也是毫无意义的。融合是配准的目的，通过来自不同影像设备的图像融合，可 以得到更多的信息，提高影像数据的利用率。在多模态医学图像信息融合中， 是要把相对应的组织结构融合在一起，而待融合的图像往往来自不同的成像设 备，它们的成像方位、角度和分辨率等因素都是不同的，所以这些图像中相应 组织的位置、大小等都是有差异的，必须先进行配准处理，才能实现准确地融 合。
图像匹配的主要方法分析 在我国的图像处理中，有很多的关键技术正在不断的发展和创新之中。这些相关技术的发展在很大程度上推动了我国图像处理事业的发展。作为图像处理过程中的关键技术，图像匹配技术正在受到越来越多的关注。文章针对图像匹配的主要方法进行详细的论述，希望通过文章的阐述和分析能够为我国的图像匹配技术的发展和创新贡献微薄力量，同时也为我国图像处理技术的发展贡献力量。 标签：图像处理；图像匹配；特征匹配；方法 在我国的图像处理技术中，图像的匹配技术不仅仅是其中的重要组成部分，同时还是很多图像技术的发展创新的技术基础。例如图像技术中的立体视觉技术；图像技术中的运动分析技术以及图像技术中的数据融合技术等。通过上述内容可以看出，在我国的图像技术中，图像匹配技术具有非常广泛的应用。随着我国的相关技术不断的创新和发展，对于图像匹配技术的要求也是越来越高。这样就要求我国的图像匹配技术有更深层次的研究和发展。我国现阶段的研究主要是针对图像匹配过程中的匹配算法进行研究，希望借助研究能够更加有效的提升在实际的工作应用中的图像质量，同时也能够在很大程度上提升图像处理的图像分别率。文章的主要陈述点是通过图像匹配技术的具体方法进行优点和缺点的分析，通过分析优点和缺点来论述我国图像处理技术中的图像匹配技术的发展方向以及改进措施。近些年出现了很多的图像匹配方法，针对现阶段的新方法以及新的研究思路我们在实际的应用过程中要有一个非常清醒的选择。文章针对这一问题主要有三个内容的阐述。第一个是图像匹配技术的算法融合；第二个是图像匹配技术中的局部特征算法；最后一个是图像匹配技术中的模型匹配具体算法。 1 现阶段在世界范围内较为经典的图像匹配技术的算法 关于现阶段在世界范围内的较为经典的图像匹配技术的算法的阐述，文章主要从两个方面进行分析。第一个方面是ABS图像匹配算法。第二个方面是归一化相互关图像匹配算法。下面进行详细的论述和分析。 （1）算法一：ABS图像匹配算法。ABS图像匹配算法最主要的原理就是要使用模板的图像以及相应的匹配图像的搜索用窗口之间的转换差别来显示两者之间的关联性。图像匹配的大小在数值上等同于模板图像的窗口滑动顺序。窗口的每一次滑动都会引起模板图像的匹配计算。现阶段ABS的算法主要有三个，如下： 在选择上述三种计算方法的过程中要根据实际情况社情相应的阀值，否则会出现很高的失误率。上述的三种算法使用范围较狭窄。只使用与等待匹配的图像在模板影像的计算。 （2）算法二：归一化相互关图像匹配算法。归一化相互关的图像匹配算法在现阶段是较为经典的算法。通常专业的称法为NC算法。此计算方法主要是采
第1章绪论 1.1研究背景及意义 数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表示。通常，像素在计算机中保存为二维整数数组的光栅图像，这些值经常用压缩格式进行传输和储存。数字图像可以由许多不同的输入设备和技术生成，例如数码相机、扫描仪、坐标测量机等，也可以从任意的非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型是计算机图形学的一个主要分支。数字图像处理领域就是研究它们的变换算法。 数字图像处理(Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。 图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。 图像配准的方法迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。 目前主要图像配准方法有基于互信息的配准方法，基于相关性的配准方法和基于梯度的配准方法。其中基于梯度的方法基本很少单独使用，而作为一个辅助
图像配准算法阅读笔记 一．图像配准的基本概念 图像配准主要包括四个方面：特征空间、搜索空间、相似性度量和搜索策略。 1.1特征空间 特征空间指参考图像与浮动图像中可用于配准的特征。特征空间包括：图像的灰度值、点、边缘、曲线、曲面、不变矩等。 1.2搜索空间 搜索空间指在配准过程中对图像进行变换的范围及变换方式。 变换范围分为三类：全局的、局部的和位移场的。全局变换是指整幅图像的空间变换都可以用相同变换参数表示。局部变换是指在图像的不同区域可以有不同的变换参数，（通常在区域的关键点位置上进行参数变换，其他位置进行插值处理）。位移场变换是指对图像中的每一像素点独立地进行参数变换，通常使用一个连续函数来实现优化和约束。 变换方式分为两种形式：线性变换和非线性变换。线性变换包括刚体变换(Rigid Body Transformation)、仿射变换(Affine Transformation)和投影变换(Projective Transformation)。非线性变换一般使用多项式函数，如二次，三次函数及薄板样条函数，指数函数等表示。 1.3相似性度量 相似性度量是衡量每次变换结果优劣的准则，用来对变换结果进行评估，为搜索策略提供下一步动作提供依据。通常配准算法的抗干扰能力是由特征提取与相似性度量共同决定的。 常用的相似性度量有：互信息、归一化互信息、联合熵、相关性、欧式距离、梯度互相关等。 1.4搜索策略 搜索策略指在搜索空间中找到最优配准参数的方法。 常用的搜索策略有：黄金分割法、Brent法、抛物线法、三次插值法、Powell法、遗传算法、蚁群算法、牛顿法、梯度下降法等。其他降低计算量的算法包括先粗配，后精配。
function [TR, TT] = icp(model,data,max_iter,min_iter,fitting,thres,init_flag,tes_flag,refpn t) % ICP Iterative Closest Point Algorithm. Takes use of % Delaunay tesselation of points in model. % % Ordinary usage: % % [R, T] = icp(model,data) % % ICP fit points in data to the points in model. % Fit with respect to minimize the sum of square % errors with the closest model points and data points. % % INPUT: % % model - matrix with model points, [Pm_1 Pm_2 ... Pm_nmod] % data - matrix with data points, [Pd_1 Pd_2 ... Pd_ndat] % % OUTPUT: % % R - rotation matrix and % T - translation vector accordingly so % % newdata = R*data + T . % % newdata are transformed data points to fit model % % % Special usage: % % icp(model) or icp(model,tes_flag) % % ICP creates a Delaunay tessellation of points in % model and save it as global variable Tes. ICP also % saves two global variables ir and jc for tes_flag=1 (default) or % Tesind and Tesver for tes_flag=2, which % makes it easy to find in the tesselation. To use the global variables % in icp, put tes_flag to 0. % % % Other usage: % % [R, T] = icp(model,data,max_iter,min_iter,... % fitting,thres,init_flag,tes_flag) % % INPUT: % % max_iter - maximum number of iterations. Default=104 % % min_iter - minimum number of iterations. Default=4 % % fitting - =2 Fit with respect to minimize the sum of square errors. (default) % alt. =[2,w], where w is a weight vector corresponding to data. % w is a vector of same length as data.
第２５卷 第９期 ２０１７年９月 光学精密工程 Optics and Precision Engineering Vol ．２５ No ．９ Sep ．２０１７ 收稿日期：２０１７-０３-０６；修订日期：２０１７-０５-２８． 基金项目：国家自然科学基金资助项目（No ．８１６７１８４８，No ．８１３７１６３５）；山东省重点研发计划资助项目（No ： ２０１６GGX １０１０１７）文章编号 １００４-９２４X （２０１７）０９-２４６９-１４ 基于图像特征和光流场的非刚性图像配准 纪慧中，贾大宇，董恩清*，薛 鹏，唐振超 （山东大学（威海）机电与信息工程学院，山东威海２６４２００） 摘要：考虑传统非刚性图像配准方法无法同时满足配准精度和配准时间要求，综合图像的特征和灰度信息，提出了几种改进的非刚性图像配准方法：基于圆形描述子特征的非刚性配准方法（Circle Descriptor Feature ，CDF ），基于动态驱动力Demons 的非刚性配准方法（Dynamic Driving Force Demons ，DDFD ），和基于图像特征和光流场的非刚性配准方法。CDF 方法通过提取图像的特征点，采用圆形描述子代替传统方法的正方形描述子来保证图像的旋转不变性，提高配准 速度；DDFD 方法通过引入驱动力系数动态改变驱动力，有效地解决了传统方法配准时间和配准精度低的问题；基于图像特征和光流场的非刚性配准方法则首先提取浮动图像和参考图像的特征点，然后利用提取的特征点进行粗配准（特征级配准），再采用基于光流场的方法进行精细配准（像素级配准），最终实现配准精度和配准时间的兼顾。对checkboard 测试图像、自然图像、脑部M R 图像、肝部CT 图像进行了实验测试，结果表明，本文方法在配准时间、配准精度及对大形变图像的适应性方面均优于传统尺度不变特征转换（SIFT ）、加速鲁棒特征（SURF ）、Demons 、Active Demons 和全变差正则项-L １范数项（T V -L １）等方法。 关 键 词：图像配准；非刚性配准；特征提取；光流场模型；圆形描述子 中图分类号：T P ３９１．４ 文献标识码：A doi ：１０．３７８８／OPE ．２０１７２５０９．２４６９Non -rigid registrations based on image characteristics and optical flows JI Hui -zhong ，JIA Da -y u ，DONG En -q ing *，XU E Peng ，T ANG Zhen -chao （School o f Mechanical ，Electrical &In f ormation En g ineering ， Shandon g Universit y ，W eihai ２６４２００，China ） *Corres p onding author ，E -mail ：en q dong ＠sdu ．edu ．cn Abstract ：As the non -rigid image registration methods can not meet the requirements of registration accuracy and registration time simultaneously ，three kinds of improved non -rigid registration methods are proposed based on image characteristics and image gray ．T hese non -rigid registration methods were based on the Circle Descripto increases Feature （CDF ），Dynamic Driving Force Demons （DDFD ）and image characteristics and optical flow ，respectively ．In CDF method ，feature points were extracted from the images ，and the circle descriptor is used in the method instead of square descriptor in classical methods ，by w hich the rotation invariance was maintained and the speed of the registration was increased ．In DDFD method ，the driving force was changed by introducing the driving force coefficient ，so that the registration time and registration accuracy were improved effectively ．In registration methods based on image characteristics and optical flow ，the feature points were extracted 万方数据
工学硕士学位论文 基于视频序列的图像配准算法研究与应用 王帅 哈尔滨工业大学 2007年7月
国内图书分类号：TP391.4 国际图书分类号：681.39 工学硕士学位论文 基于视频序列的图像配准算法研究与应用 硕士研究生：王帅 导师：承恒达 教授 申请学位：工学硕士 学科、专业：计算机科学与技术 所在单位：计算机科学与技术学院 答辩日期：2007年7月 授予学位单位：哈尔滨工业大学
Classified Index: TP391.4 U.D.C: 681.39 Dissertation for the Master Degree in Engineering RESEARCH AND APPLICATION OF IMAGE REGISTRATION BASED ON VIDEO SEQUENCE Candidate：Wang Shuai Supervisor：Prof. Cheng Hengda Academic Degree Applied for：Master of Engineering Specialty：Computer Science and Technology Affiliation：School of Computer Science and Technology Date of Defence：July, 2007 Degree-Conferring-Institution：Harbin Institute of Technology
哈尔滨工业大学工学硕士学位论文 摘要 随着数字技术的不断发展，视频图像的分析与处理越来越受到人们的关注。数字化图像序列可以通过摄像机等光学设备获得，是真实世界在不同时间向成像平面的一系列投影。图像帧之间具有较大的相关性和信息冗余，找到并描述图像序列间的内在联系成为研究的关键所在。图像配准技术可以有效地解决这类问题。 图像配准问题是图像处理里的一个基本问题，是将不同时间、不同传感器、不同视角及不同拍摄条件下获取的图像对齐或匹配，消除存在的几何畸变。图像配准在计算机视觉、模式识别、医学图像处理和遥感信息处理方面有着广泛的应用。 本文提出了基于自适应聚类的特征匹配方法，满足大量图像配准的需求，提高匹配的速度，该方法基于正确匹配点对间形成矢量的一致性，对匹配点对进行自适应聚类，实验证明该方法在保证正确匹配不丢失的同时，可有效剔除绝大多数错误匹配，为进一步进行RANSAC匹配提供方便，且有效地提高了整个匹配过程的速度。 本文提出一种简单有效的图像合成方法。该方法针对摄像机固定位置，水平旋转拍摄的视频序列的特点，选取图像序列中部分帧，通过H矩阵确定重叠区域，再利用线性插值进行图像融合。实验证明在转角小于180 时，合成效果较好。 本文成功运用图像配准技术完成运动员滑行数据的测量，利用图像配准技术估计图像间摄像机运动，进而消除摄像机运动的影响，得到运动员的真实运动数据。根据这一原理，首先对冰场进行合理化建模，并确定相应的视频拍摄方案，设计了运动员冰场定位算法，利用帧间的H矩阵估计摄像机旋转角度，进而估计运动员的旋转角度完成滑行数据的测量。 关键词图像配准；特征点匹配；自适应聚类 - -I
杭州电子科技大学 毕业设计（论文）文献综述 毕业设计题目SIFT特征研究及应用 文献综述题目图像配准算法综述学院生命信息及仪器工程学院 专业电子信息技术及仪器 姓名 班级 学号 指导教师
图像配准算法综述 一．前言 图像配准是指找出场景中同一物体表面的结构点在不同图像上的投影像素点之间的对应关系，是图像信息处理领域中一项非常重要的技术，同时也是其它一些图像分析技术，如立体视觉、运动分析、数据融合等的基础。 目前图像配准广泛应用于虚拟现实、视频压缩、图像复原、图像数据库检索等技术中。图像配准的研究是计算机视觉中最困难也是最重要的任务之一。不同的图像配准方法总是对应于某种适用的图像变换模型，其核心问题是提高配准的速度、精度和算法的稳健度。 随着科学技术的发展现在约40%的机器视觉应用中都会使用图像匹配技术，所涉及的领域有：工业检测，导弹的地形匹配，光学和雷达的图像跟踪，交通管理，工业流水线的自动监控、工业仪表的自动监控，医疗诊断，资源分析，气象预报，文字识别以及图像检索等。 图像匹配研究按其处理步骤可以分为样本采集、样本预处理、样本分割、样本的特征提取等，并且与计算机视觉、多维信号处理和数值计算方法等紧密结合。它也是其它一些图像分析技术，如立休视觉、运动分析、数据融合等的基础。正因为其应用的广泛性，新的应用和新的要求逐步产生，使得匹配算法的研究逐步走向深入，出现了快速、稳定、鲁棒性好的匹配算法。因此，研究图像的匹配算法对于如何提高实际工程中的图像处理质量和识别精度具有非常重要的意义。 本文主要分析图像匹配常用方法的优点和不足之处，讨论了图像匹配中需要进一步研究和解决的问题。 二．图像配准算法的研究现状 图像配准是立体视觉、运动分析、数掘融合等实用技术的基础，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域有重要的应用价值。国内外学者针对不同的图像配准应用问题进行了大量的研究工作，早在1992年英国剑桥大学的Lisa Gottesfeld Brown在文献[1]习中就总结了图像配准的主要理论及图像配准在各个领域的应用。当时他讨论的图像配准技术主要还是著眼于医学图像处理、遥感图像处理等传统应用领域。图像配准是图像镶嵌技术的核心问题。 微软研究院的Richard Szeliski在1996年SIGGRAPH上提出了基于运动模型的全景图拼接算法[7]。Szeliski采用了非线性优化的方法来最小化像素两幅图像的亮度差以确定变换参数。该方法使用了全部像素进行优化处理，所以配准精度较高，但是计算速度较慢，且稳健性不佳。 国内的赵向阳。杜立民在2004年提出了一种基于特征点匹配的图像自动拼接算法[2]，其中使用了Harris算法[3]提取角点并进行匹配。赵的算法采用了鲁棒变换估计技术，在一定程度上提高配准算法的稳健性，但是计算速度依然较慢，且无法配准重
【关键词】医学图像；非刚性；图像配准；匹配矩阵；薄板样条 摘要：非刚性图像匹配问题已成为医学图像分析中一个非常具有挑战性的问题。基于薄板样条插值方法 ,引入实匹配矩阵,并给出相应配准变换算法，该算法将薄板样条参数表示成仿射分量和非仿射分量，并分别进行求解。与其它非刚性匹配算法相比，该算法不仅保证了对应特征点的双向对应，也实现了自动特征点选择，实验结果令人满意。编辑。 关键词：医学图像；非刚性；图像配准；匹配矩阵；薄板样条 1引言 在医学诊断和治疗过程中，常需要对比分析多幅图像，以获得更为精确和全面的信息。图像分析大都要求多幅图像的几何位置一致，因此，配准是医学图像分析的一个重大课题。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置。配准的结果应使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。图像配准不仅可以校正病人多次成像间的位置变化，也可以校正由于成像模式本身导致的畸变。对同一个病人的不同时间的图像进行配准，可以了解发育过程及肿瘤病变的病情；对不同人的图像进行配准，去除种族、年龄等临床及遗传差异，从而形成疾病或人群特异性图谱，可用于正常与否的分析；对不同成像模式进行配准，可以获得互补信息。 医学图像配准可分为刚性配准和非刚性配准两类。刚性配准在许多情况下不能满足临床的需要，因为很多形变的性质是非刚体、非线性的。比如为了精确定位mr图像左心室，常常伴有组织磁化系数差异、非水分子的化学位移以及血流流动等因素导致的几何畸变以及由于磁场不均匀、磁场梯度非线性及涡流等导致的探测畸变，因此在放疗计划制定中，将mr图像配准时，不能单纯地使用刚性配准，必须使用非刚性配准。 非刚性配准算法可分为灰度驱动、模型驱动及混合算法三种［1~3］。灰度驱动方法基于数学或统计尺度将一个灰度模式与另一个对准。典型情况下，需要定义源系统与目标系统之间的灰度相似性的数学量度。灰度相似性测度包括象素灰度的均方差、相关或互信息。模型驱动方法首先建立明确的几何模型，以此表示解剖标志。这些解剖标志包括有重要功能的表面、曲线和点。将源系统的解剖标志参数化，与目标系统的对应部分对准，以这种对应关系引导系统其余部分的变换。模型驱动算法包括点约束法、线约束法和面约束法。混合算法是结合使用以上两种算法的方法。薄板样条插值方法是非刚体变换中的一种特殊的变换，它允许局部调整，并符合某种连续性或平滑性要求。第2节讨论刚性能量函数；第3节给出非刚性能量函数；第4节设计并实现一个非刚性配准算法；最后给出实验结果。 2刚性能量函数 本研究之所以采用薄板样条，是因为它的独特性质，就是能够将空间变换分解为一个全局仿射变换和一个局部非仿射变换。booksteein［4］首先将薄板样条函数应用于标志点的匹配，结果证明它是一个非常有用的形状分析工具。假设在二维空间，已知两个具有n对对应点的点集，q={qi，i=1，2，…，n}和p={pi，i=1，2，…，n}，将点集q，p表示为： q=1 x1 y1 1 x 2 y2 ……… 1 xn ynp=1 x1 y1 1 x 2 y2 ……… 1 xn yn 下面我们建立从点集p到点集q的薄板样条映射f(pi)，由于薄板样条是不对称的，因此从