中图分类号 TP31 论文编号 1028703 07-0225 学科分类号 080402
硕士学位论文
多光谱图像配准算法研究
研究生姓名臧丽
学科、专业测试计量技术及仪器
研究方向计算机测控
指导教师王敬东副教授
南京航空航天大学
研究生院 自动化学院
二ΟΟ七年一月
Nanjing University of Aeronautics and Astronautics
The Graduate School
College of Automation Engineering Research on Multi-spectral Images
Registration
A Thesis in
Instrument Science and Technology
by
Zang Li
Advised by
Professor WANG Jing-dong
Submitted in Partial Fulfillment
of the Requirements
for the Degree of
Master of Engineering
Jan, 2007
承诺书
本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。
本人授权南京航空航天大学可以有权保留送交论文的复印件，允许论文被查阅和借阅,可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文。
(保密的学位论文在解密后适用本承诺书)
作者签名： 臧 丽
日 期： 2007-03-17
摘 要
本文针对多光谱图像配准中不同光谱图像间存在较大的灰度差异、同一景物在不同波段表现的特征也各不相同等问题，提出了基于互信息相似性测度的多光谱图像配准算法。在配准中，对图像中有多个相似前景目标的情况，提出了用归一化互信息替代最大互信息的配准方法，提高了图像配准的鲁棒性。针对图像间存在尺度、角度和平移变化的图像配准，本文采用了刚性仿射变换模型。在插值中，采用PV插值避免了局部极值的产生。由于互信息利用图像的统计信息，计算量大，速度慢。为了克服这个缺点，在搜索策略方面，本文采用了多分辨率分析和多参数优化相结合的方法，通过小波变换压缩图像信息量、多参数优化算法减少搜索次数，有效地加快了图像的配准速度。
实验的结果表明，基于归一化互信息的配准算法解决了灰度和图像特征存在较大差异的多光谱图像配准问题；同时通过采用小波变换与多参数优化策略相结合的方法，使该算法在原有配准速度的基础上提高了一个数量级且配准结果具有较高的准确性和稳定性。
关键字：图像配准，互信息，优化算法，小波变换
Abstract
Images of multi-spectral are very different in grey level and image features, so we bring forward a new algorithm based on mutual information to match multi-spectral images. Considering of images with multi similar objects, we adopt normal mutual information to improve the robust of image registration. We use rigid body affine transformation to solve the problem with scale, rotation, and translation changes between two multi-spectral images, and use PV interpolation algorithm to solve the problem of local extremum. The compute-cost of mutual information is too large, so we bring forward a new algorithm based on wavelet and optimization. This algorithm speed registration process through shrinking the search space and reducing search times.
Experimental results show that our algorithms solve the problem with multi-spectral images registration, and make registration time one magnitude faster than traditional algorithms. Simultaneously, the registration results achieve a high accuracy and stability.
Key words: image registration , mutual information , optimal algorithm, wavelet decomposition
目 录
第一章绪论 (1)
1.1研究目的和意义 (1)
1.2国内外研究进展 (2)
1.3本文的研究内容和创新点 (4)
第二章多光谱图像配准的组成 (6)
2.1特征空间 (6)
2.1.1基于像素的配准 (6)
2.1.2基于变换的配准 (7)
2.1.3基于特征的配准 (7)
2.2搜索空间 (8)
2.2.1局部模式 (9)
2.2.2全局模式 (9)
2.2.3半局部模式 (9)
2.3相似性测度 (9)
2.4搜索策略 (10)
2.5图像配准的流程 (10)
2.6本章小结 (11)
第三章基于互信息的相似性测度的研究 (12)
3.1互信息相关理论概述 (13)
3.1.1熵（Entropy） (13)
3.1.2联合熵和联合直方图 (13)
3.1.3互信息(Mutual Information) (14)
3.2基于互信息的多光谱图像配准 (15)
3.2.1最大互信息法图像配准 (15)
3.2.2互信息法的改进 (18)
3.3本章小结 (21)
第四章配准中的变换、插值与优化 (22)
4.1空间变换 (22)
4.1.1原理 (22)
4.1.2实验结果 (25)
4.2插值算法 (26)
4.3优化算法 (31)
4.3.1数值分析法 (32)
4.3.2非数值分析方法 (35)
4.3.3目标函数出现局部极值的原因分析 (37)
4.3.4优化策略的比较 (37)
4.4本章小结 (38)
第五章互信息法的快速实现 (39)
5.1小波变换 (39)
5.1.1小波变换的基本概念 (39)
5.1.2小波分析的基本元素 (40)
5.1.3多分辨率分析 (41)
5.2图像的小波分解 (42)
5.3实验结果 (45)
5.4本章小结 (48)
第六章互信息配准法的实现 (49)
6.1图像配准平台 (49)
6.2互信息法的配准流程 (50)
6.3实验结果及分析 (50)
第七章总结 (54)
7.1本文解决的问题及研究的内容 (54)
7.2图像配准技术的展望 (55)
参考文献 (56)
致谢 (59)
在学习期间的研究成果 (60)
图清单
图2.1 图像配准的基本步骤 (11)
图3.1 联合直方图 (14)
图3.2 两幅图像各种熵 (15)
图3.3 互信息方法配准 (16)
图3.4 互信息法产生误配 (17)
图3.5 边缘熵和联合熵随角度（-30，30）变化 (18)
图3.6 归一化互信息随角度变化 (20)
图3.7 0度时配准图像 (20)
图4.1 常见的几何变换 (22)
图4.2 仿射变换 (26)
图4.3 最近邻域法 (27)
图4.4 双线性插值法 (28)
图4.5 三次内插法 (29)
图4.6 PV插值算法 (30)
图4.7 不同优化算法的实验图像 (31)
图4.8 Powell方法计算过程示意图 (33)
图5.1 小波变换 (43)
图5.2 基于多分辨率的二维分解算法 (44)
图5.3 消失矩为3、对称性不同的小波基分解后的低频图像 (46)
图5.4 小波基选取实验图像 (47)
图6.1 多光谱图像配准实验系统的主界面 (49)
图6.2 互信息图像配准流程图 (50)
图6.3 基于互信息和小波变换的图像配准 (51)
表清单
表4.1 Powell 方法解 (33)
表4.2 Powell寻优能力比较 (34)
表4.3 模拟退火寻优能力比较 (36)
表4.4 各种多参数搜索策略性能比较 (38)
表5.1 Bior小波消失矩大小不同时的低频图像的熵及标准差 (47)
表6.1 简单采样与小波变换在配准后参数及速度的比较 (52)
表6.2 采用不同优化算法的配准速度的比较 (53)
第一章绪论
1.1研究目的和意义
随着科学技术的发展，图像配准（Images Registration）技术已成为近代信息处理领域中一项极为重要的技术。图像配准是指寻找联系两幅图像的几何变换，使两幅图像上的对应点达到空间上的一致。它是图像处理领域中的一个重要的和基本的研究课题，是航空航天技术、地理信息处理、图像镶嵌、医学图像处理、虚拟现实技术中的一项关键技术，还是图像重建、图像拼接和图像融合等研究的基础。
图像配准技术的应用范围相当广泛，其中包括导弹的地形和地图匹配制导、武器投射系统的末制导和寻的、目标跟踪、医疗诊断、天气预报、文字识别以及景物分析中的变化检测等。该技术是飞行器地图匹配制导和导航定位的一项关键技术，是当今各国竞相发展的精确制导技术之一，大力发展并装备此技术完全可以满足今后乃至2010年前后战术导弹对图像制导技术的需求。
对于对敌纵深进行攻击的飞行器来说，由于深入敌人腹地，很可能得不到地面导航设备的帮助或者地面导航信息受到干扰，所以必须强调其完全自主航行能力以提高其命中率。一般飞行器采用复合导航系统，飞行器在惯性导航设备的引导下按预定路线飞行，并由辅助导航系统校正惯性导航系统精度。使用图像制导作为辅助导航系统的飞行器，通过图像匹配定位可以精确校正主导航系统的误差，达到精确武器“发射后不用管”的要求。
如今，随着图像匹配制导和导航技术的发展，单波段的探测系统获取的图像信息已越来越不能满足需要。因为，单波段成像系统会随着使用区域的不同、气候温度的改变或目标的伪装等导致获取信息的减少，特别是当探测目标本身的操作或者行为的改变导致辐射波段移动时，会使成像系统探测不到目标或者探测准确度下降。所以，为了提高飞行器的作战适应性、抗干扰能力和武器的突防能力，新型的制导和寻的探测器系统开始采用多传感器组合方式[1]，已由原来单一的可见光探测系统向多光谱探测方向发展。由于红外探测系统，具有隐蔽性好、抗干扰能力强、灵敏度和空间分辨率高等优点，所以，现在一般都采
用可见光和红外复合探测系统。
所有探测技术都在向获取更多目标信息的方向发展。如果一个成像系统能同时在两个波段获取目标信息，就可对复杂的背景进行抑制，提高对目标的探测效果，在预警、搜索和跟踪系统中能明显的降低虚警率，显著地提高系统的性能和在各种武器平台上的通用性，满足各军、兵种、特别是空军、海军对热成像系统的需求。因此，开展多光谱图像配准技术的研究在今天是及为重要的。本文将对多光谱图像的配准方法进行研究，主要为解决红外图像与可见光图像配准中的难题作了一些探索。
1.2国内外研究进展
图像配准最早在美国七十年代从事的飞行器辅助导航系统、武器投射系统的末制导以及寻的等应用研究中提出，并得到军方的大力支持与赞助。经过长达二十年的研究，最终成功地用于中程导弹及战斧式巡航导弹上，使其弹着点平均圆误差半径不超过十几米，从而大大提高了导弹的命中率[2]。八十年代后，图像配准技术逐步从原来单纯的军事应用扩大到计算机视觉、医学图像处理[3]、光学和雷达图像目标跟踪、资源分析、气象预报及景物中的变化检测等领域的应用。不同传感器图像的配准意义更大，因为不同传感器图像的信息具有互补性，它们融合后的图像有效地应用于目标识别和跟踪等。
依据特征提取方法的不同，配准方法可分为基于区域的配准方法和基于特征的配准方法，基于区域的配准方法通常只适于两幅图像己经粗对准的情形。基于特征的配准方法提取图像中对比例、缩放、旋转、灰度变换具有不变性的特征，且提取可在空间域内进行，也可在变换域内进行。在空间域里，常使用的特征包括边缘、区域、线的端点、线交叉点、区域中心、曲率不连续点等。其中边缘和区域边界最常用，它们可以由边缘检测方法和区域分割方法得到。在变换域里，可以采用小波变换等得到特征点。
基于空间域的特征提取，Stockman[4]采用闭区域的中心作为控制点，并且用聚类方法确定配准控制点对。其研究结果表明：对于具有显著几何变换关系的图像配准，应采用线交叉点和线段端点。Ton和Jain[5]用物体的中心作为控制点，并用松弛算法得到匹配控制点对。他们的方法假设至少要有一个控制点。Li[6]等人将区域边界和其他强边缘作为特征，用链码相关和形状相似性规则来匹
配闭区域。而对开区域则检测角点，并进行匹配。对匹配得到的控制点对进一步进行一致性检查，消除错误匹配。这一方法被应用于不同传感器图像间的配准，如Lansat-TM, SPOT和Seasat SAR。
近年来，人们结合实际问题又在这些方法的基础上提出了一些新的配准方法，应用于变换域的特征提取。Hsieh[7]等用图像小波分解的局部模极大值作为侯选特征点，并筛选得到真实特征点。在用估计得到的图像之间的角度差对图像进行补偿后，用相关系数法得到补偿后的两幅图像之间的特征点对，再根据仿射变化条件下，同一幅图像中两点距离保持不变的特点消除错误匹配点对。变换参数通过迭代得到，实验对象仅为单一传感器所得图像。Kaymaz[8]等也是采用小波变换对参考图和输入图像进行分解，他在图像分解的LL分量上应用Lerner代数边缘检测算子和Sobel算子处理后的小波变换系数中极大值为特征点，然后采用从粗到精的迭代策略得到图像之间的旋转变换参数。文中将算法应用于热图像旋转参数估计。Wu[9]提出一种基于小波变换的多尺度配准方法得到两幅图像之间的平移和旋转参数。并首次将算法在数字信号处理器(DSP)上实现。但此法不包括图像比例变换，此方法仅对同类传感器遥感图像有效。
在国内，图像处理技术起步相对较晚，后来获得了很大的发展。李智[10]等提出了基于轮廓相似性测度的图像配准方法，它适用于轮廓特征丰富的图像的配准。王小睿[11]等提出并实现了一种自动图像配准方法，用于图像的高精度配准，但实际上它只是一种使用互相关系数作为相似性测度的半自动的图像配准方法。郭海涛[12]提出了一种将遗传算法(Genetic Algorithm，简称GA)用于图像配准的算法。张祖勋[13]提出了采用多级图像的概率松弛整体匹配技术，用于不同传感器、不同空间分辨率的图像的快速配准。
由此可见，图像配准技术经过多年的研究，己经取得了很多研究成果，例如在图像相似性检测方面研究出了多种技术方法。但是由于图像配准的输入数据来源的多样性，以及不同的应用对图像配准的要求各不相同，同时，由于影响图像配准的因素的多样性，以及配准问题的复杂性，图像配准的技术还有待于进一步发展，目前国内外同行都在研究图像配准的方法。目前，对不同光谱图像配准的研究，还存在许多难点，文本就提高多光谱图像配准的精度和速度问题作了一些有意义的探索。
1.3本文的研究内容和创新点
多光谱图像配准在图像配准中是一件非常困难的任务，在不同成像模式下，即便是相同场景下的同一目标，其灰度属性也常常存在非常大的差异。在某些情况下，同一目标在一种成像模式下，呈现出清晰的图像，而在另一种成像模式下，则无法成像，因而在图像中可能不出现。在多光谱图像配准中，不同光谱的图像常常含有互补的信息，同一物体结构或地理结构的图像尽管灰度属性常常不同，但包含着很高程度的共同信息，这些特点决定了多光谱图像配准具有理论上的可能性，同时又有实现方面的困难性。
为了解决多光谱图像配准中存在的问题，本文对图像配准方法进行了全面的研究。图像配准方法一般包括特征空间、搜索空间、相似性测度和搜索策略这四个部分。特征空间是指对待配准的图像的特征信息的提取；搜索空间是进行变换的方式及变换的范围；相似性测度是用来度量图像间相似性的一种标准；搜索算法决定下一步变换的具体方法以及得到最优的变换参数。
由于不同光谱图像间存在较大的灰度差异，同一景物在不同波段表现的特征也各不相同，因此，基于灰度相关和图像特征的配准算法将不再适用。针对这一图像特点，本文在相似性测度上提出了基于互信息的配准算法。这种方法利用的是图像灰度的统计信息，能实现图像的精确配准。在计算互信息值时，对于图像中有多个相似前景目标的情况，我们提出了用归一化互信息替代最大互信息的配准方法，得到了更好的配准效果，保证了配准的准确性。
在基于互信息的配准过程中，由于利用的是图像的统计信息，计算量大，速度慢。为了克服这个缺点，在搜索策略上时，我们将多分辨率分析方法和多参数优化算法相结合，先利用小波变换获取图像在各个分辨率下的信息，再对低分辨率图像利用多参数优化算法得到一个最优的变换数据，而后将此变换参数作为初始点，对更高分辨率下的图像进行配准，如此由粗到细进行各个分辨率下的图像配准直至最高分辨率图像。该方法通过小波变换压缩图像信息量、多参数优化算法加快相似性测度的收敛速度，有效地加快了图像的配准速度。
此外，在图像配准过程中还采用了刚性仿射变换模型和对联合直方图具有较好的平滑效果PV插值技术，较好地解决了存在任意尺度、角度和平移变换的图像配准问题，同时避免了多参数优化算法陷于局部最优值。
本文创新之处如下：
1、通过分析多光谱图像的特点，提出了采用互信息作为相似性测度的图像
配准算法，保证了配准的准确性。
2、对于有多个相似前景目标的多光谱图像配准，提出用归一化互信息法替
代最大互信息法，得到了更好的配准效果，保证了配准的准确性。 3、通过多种插值算法的分析比较，提出了对联合直方图有较好平滑效果的
PV插值技术，避免了局部极值的产生。
4、针对互信息配准中计算量大、速度慢的问题，提出了通过小波变换压缩
图像信息量的方法，有效的提高了配准的速度。
5、提出了多分辨率分析和多参数优化相结合的算法，进一步加快了图像配
准的速度。
第二章多光谱图像配准的组成
为了解决多光谱图像配准中存在的问题，本文对图像配准的方法进行了全面的研究。图像配准的方法是特征空间、搜索空间、相似性测度和搜索算法四个不同方面的组合[14] 。特征空间是指对待配准的图像的特征信息的提取；搜索空间是进行变换的范围；相似性测度是用来度量图像间相似性的一种标准；搜索算法决定下一步变换的具体方法以及得到最优的变换参数。
下面我们就图像配准的四个方面分别进行了介绍。
2.1特征空间
特征空间是由两幅图像中提取的特征信息组成。图像的特征包括灰度、特征点、线、边缘和纹理等。特征点是图像中满足一定结构要求的像素点，边缘是图像中由于灰度不连续形成的边界，纹理是由大量有序的模式或相似基元排列而成的一种结构。根据特征空间又可以把图像配准算法分为以下三大类：基于像素的算法、基于变换的算法和基于特征的算法。
2.1.1基于像素的配准
基于像素的方法直接用图像灰度信息进行配准，不需要将原始图像数据进行预分割，但为了降低噪声通常要对图像进行预处理(如滤波)。在离散坐标网格上直接进行像素灰度级匹配是可行的，不过，为了得到亚像素精度经常要在一个连续的框架中操作，将图像在离散域和连续域进行一致则需要用到插值技术。比较简单常用的是线性插值，复杂一点是样条插值，它能在计算精度和计算开销之间提供更好的平衡。有时候，插值后的图像表示出来的维数可能会比原来的多，比如将二维图像直接使用分级描述成三维空间的一个表面。这样做的主要好处是可以增加算法的稳健性。本文采用的算法就是基于像素的配准算法，利用了像素灰度的统计信息。
2.1.2基于变换的配准
基于变换的图像配准方法使用了傅立叶变换、小波变换等变换的基本特性，即通过确切的变换能够在变换域中更清晰地显示图像信息。
Chen QS和Defris M[15]利用傅立叶变换的位移不变性和Mellin变换的刻度不变性推导出图像平移、旋转等配准参数的估计算法。后来有人提出了Fourier-Mellin[16]变换的改进配准方法，根据两幅二值边缘图像来估计配准参数，因为基于边缘提取，具有更好的抗干扰性和稳健性，适合多模医学图像配准。
这些基于变换的方法主要与线性变形有关。从全局图像来看，线性和独立是基于变换方法的典型性质。
2.1.3基于特征的配准
基于特征的方法是建立在己经从图像中抽取出来的特征集的基础之上的，根据图像特征来确定配准参数。这时，特征集的维数一般会少于原始数据集的维数。基本的形变函数就处于特征集中，在没有信息可利用的地方就进行插值处理。特征提取过程通常是非线性的，经常要用到阈值计算。基于特征的方法有：点法、曲线法、表面法和点面结合法。
点法从特征点集中寻找刚体变换及仿射变换等变换的参数。配准中所用到的是一些相对特殊而稀疏的在两幅图像中都清晰可见的重要特征点。点法又可分为外点法和内点法。外标记点是人工设计且在多光谱图像中很容易识别，这种配准简单、自动、也不需要复杂的配准优化算法；其缺点也很明显，由于需要人工参与，在很多环境下难于实现。内点法通常是选用图像中的一些几何点。因为内点在图像内部，它们的位置固定且特征清晰，所以这种方法是可以进行回溯配准的，这种方法主要是求解刚体变换或仿射变换，如果得到的内特征点数目足够多，也能用来进行更复杂的非刚体变换。识别出来的特征点集比原始图像信息少，这样参数优化较快。
这类算法使用的最优化测度有：特征点与最近的适配点之间的平均距离、迭代的最小标记点距离。前者常用Arun算法优化求解，在匹配点对无法确定的情况下后者常用迭代最近点算法(ICP)及其派生算法优化求解。但由于受主观因素的影响，同一内部点的识别因人而异，配准精度很难达到外点法的水平。刘道海等提出了从待配准的两个特征点集之中找到两个全等的三角形，由这两个三角形确定两个匹配点对，由这两个匹配点对出发找出所有匹配点对的对应关
系。因为两个全等三角形容易找到，算法对配准精度和效率有一定的改进。
若图像的信息特征不能用点来描述的话，还可用曲线来描述。曲线法是将一些具有几何特征的线条提取出来进行匹配。例如通过连续的样条近似离散曲线，计算曲率和扭矩来达到匹配的目的，也可以直接用脊线直接匹配。Bader用人工的方法在两幅图像中寻找对应的开曲线，然后在两条曲线局部曲率最佳拟合的线段上用相同的采用率找出一组对应匹配点来，然后用点法实现两幅图像的配准。曲线法要求图像有较高的分辨率，以便提取几何特征。
基于表面的配准方法的典型例子是Chen和Pelizzari提出的“头帽”法，从一幅图像中提取的轮廓点集称为“帽子”，另一幅图像中提取的表面模型称为“头”，用刚体变换或选择性的仿射变换将“帽”的点集变换到“头”上，然后使用搜索算法来确定几何变换关系。基于表面的配准方法理论上来说能得到高精度的配准结果，但是由于点相关信息的缺乏导致基于面的配准算法必须建立在迭代搜索的基础上。迭代搜索容易收敛于局部极值点，且计算量大。表面配准法主要应用于PET -MR图像的配准，由于SPECT图像的边界模糊，难以使用这类方法进行配准。
点面结合的方法由A.Collignon和D.Vandermeulen提出。 Maurer CA. [17]和Maciunas R.J.在改善迭代最近点法、面和特征点法的基础上也用该方法解决配准问题。点面结合的方法用表面点集和特征点集的加权来计算两幅图像之间的相关点集的距离，可以减少特征点的使用。因为用到了表面信息，在那些基于特征点的方法中只要一个或两个特征点就可以完成配准，而在基于点特征的方法中至少需要三个标记点。作为对特征点集相关运算的加权迭代算法的改进，另有学者提出结合Procrustes正规化方法，并引入加权矩阵，得到了更精确的点配准方法。
2.2搜索空间
搜索空间是由所有的可行解所组成的空间。每一个可行解都可以被它的函数值所标记。问题的解就是搜索空间中的一个点，于是我们就是要从搜索空间中找到这个点。这样，求解问题就可以转化为在搜索空间中寻找极值点。
配准算法进行分类的一个重要因素就是算法所用到的搜索空间。由于存放算法数据的计算机内存容量有限，通常搜索空间中的每个形变函数会使用一种
叫形变模式的手段，由一套有限的参数集加以描述。我们根据参数的数目和与每个参数有关的空间扩展来对形变模式加以分类。
2.2.1局部模式
处于尺度一端的非参数的局部模式。在该模式中，所搜索的形变函数基本上是从属于一个大而没有限制的函数空间中。我们能够从一个往往与像素位置一致的网格中寻找形变函数值，其方法要么作为变分(定义了尺度的最小准则)来描述，要么就用偏微分方程来描述，通常偏微分方程用得较多。连续定义的形变函数最小化一个给定的准则或者对一个给定的偏微分方程求得其解。形变函数有时候会被间接构造，这样可以简化求解的维数，不过也降低了形变的一般性。
2.2.2全局模式
另一端，我们可以使用参数数量相对较少的全局模式来描述搜索空间里的对应函数。这种模式以线性、全局多项式或类似于统计学的原理来表示形变函数。对于上述方法，与某一特定形变空间相对应的形变模式和最小化准则是一样重要的。
2.2.3半局部模式
这是一种中间模式，它在局部范围内使用了适当数量的参数，并将控制点组成的网格应用到图像中。网格松散地与众多标记点的分布一致。在这种模式里，样条函数使用较多，有文献在使用基于Canny边缘提取和迭代最近点算法时用到了这种方法，先用全局刚体变换，再用仿射变换，最后用样条函数来描述局部曲线。
2.3相似性测度
为了求得搜索空间里函数的解，我们需要一种方法来衡量搜索空间里得到的不同点的对齐匹配的程度，这要用相似性测度来描述。相似性测度，也叫代价函数，一般形式为：
C(φn)=S(φn)+R(φn)。
其中，φn是以n为迭代子的形变域。S是数据项(是代价函数的主要项)，用
来测量匹配的质量。R是正则归一化项，用来确保形变域的光滑性。
(1)基于特征的配准方法中，数据项测度是目标图像和形变后的待配准图像相应特征点之间的平均距离、均方差距离。
(2)基于变换的配准方法中，数据项测度是最小二乘法。
(3)基于像素的配准方法中，数据项测度是两幅图像形变后的相似性测量。
互相关是一个重要的代价函数。当相关最大时，两幅图像对齐，这种算法要求图像的灰度具有一定的相似性，对于灰度差异较大的多光谱图像，这种方法将不再适用。对于多光谱配准，互信息准则是优秀的选择，互信息测度认为两幅体现共同物理结构的图像达到最佳配准时，它们对应像素灰度的互信息值达到最大，不需要对多光谱图像灰度之间的关系作任何事先假定，也不需要对图像进行分割和预处理(如提取特征点等)。互信息测度用到概率统计学中的联合概率分布、边缘概率分布理论和信息论中的熵、互信息原理，现在这种配准方式是国内外研究的热点，也是本论文主要研究的方法。
2.4搜索策略
选择了代价函数后，我们需要使用合适的搜索策略(优化算法)不断的改变变换参数以使代价函数所描述的相似性测度达到最优值。这是最后一步，配准问题至此转化为多参数的最优化计算。变换参数的计算有两类:
第一类是从实例中得到数据联立方程组求解得到参数。这类参数几乎完全限制在基于稀疏特征集的配准应用中。
第二类是通过对定义在参数空间的函数最优化搜索得到：
(1)穷尽搜索法。如果搜索空间较小，可以使用该方法。
(2)偏微分方程相关。
(3)多维优化算法。非线性的配准需要非线性的优化算法。包括Powell法[18]、下坡单纯形法[19]、梯度下降法、共扼梯度法[20]和各种牛顿法、模拟退火法[21]、和遗传算法[22]。
选择哪种优化算法，需要权衡精度与速度。
2.5图像配准的流程
按照上述组合，得出一般配准的基本步骤如下：
图2.1 图像配准的基本步骤
本文研究的多光谱图像配准方法，主要是从相似性测度和搜索策略这两个方面展开，目的是寻找出一种能够较好的衡量多光谱图像对齐程度的相似性测度和一种能够快速收敛于全局极值的搜索策略。
2.6本章小结
本章首先介绍了图像配准的四个组成部分：特征空间、搜索空间、相似性测度和搜索算法，接着就各个组成部分分别介绍了相关的概念及算法，最后还给出了图像配准的基本步骤。下面两章主要就相似性测度和搜索算法这两个方面对多光谱图像的配准方法进行了研究和实现。
图像配准定义为：对从不同传感器、不同时相、不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程[2]。图像配准需要分析各分量图像上的几何畸变，然后采用一种几何变换将图像归化到统一的坐标系统中。在配准过程中，通常取其中的一幅图像作为配准的标准，称之为参考图像；另一幅图像作为配准图像。 图1-1 图像配准的基本流程 图1-2 图像配准方法分类
根据配准使用的特征，图像配准的方法大致可分为三类： (1)基于图像灰度的配准算法。首先从参考图像中提取目标区作为配准的模板，然后用该模板在待配准图像中滑动，通过相似性度量(如相关系数法、差的平方和法、差的绝对值法、协方差法)来寻找最佳匹配点。 (2)基于图像特征的配准算法。该算法是以图像中某些显著特征(点、线、区域)为配准基元，算法过程分为两步：特征提取和特征匹配。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。对于非特征像素点利用插值等方法作处理推算出对应匹配关系，从而实现两幅图像之间逐像素的配准。 (3)基于对图像的理解和解释的配准算法。这种配准算法不仅能自动识别相应像点，而且还可以由计算机自动识别各种目标的性质和相互关系，具有极高的可靠性和精度。这种基于理解和解释的图像配准涉及到诸如计算机视觉、模式识别、人工智能等许多领域。不仅依赖于这些领域中理论上的突破，而且有待于高速度并行处理计算机的研制。 从自动化角度来看，可以将配准过程分为自动、半自动和手动配准。 存在问题：如何提高图像的配准速度将是大范围遥感图像自动配准问题的要点；选取何种自动配准方案以保证图像的配准精度将是大范围遥感图像自动配准问题的另一要点。 2(,)[1((, f x y g f h x y 其中，h表示二维空间坐标变换。g表示灰度或辐射变换，描述因传感器类型的不同以及成像时气候等环境的影响所带来的图像灰度的变换。配准问题的实质就是要找到最优的空域变换h和灰度变换g，使得上述的等式成立，从而找到配准变换的参数 特征空间的选择通常要考虑以下几个因素：相似性；空间分布；唯一性。 在自动图像配准中对特征的理解可以分为两类。(1)基于灰度的方法：基于灰度的方法将重点放在特征匹配上，在其过程中并没有真正提取特征。一般所说的模板匹配法就是这种方法的代表。这种方法实际上将图像的灰度分布直接作为特征而构成匹配的基础。(2)基于特征的方法：基于特征的方法需要在图像中提取显著的特征：区域(森林、湖泊、农田等)、线(区域的边界、道路等)和点(区域的角
２００８年４月张素等：基于形状匹配的快速图像配准 ２实验结果与分析 为检验本文算法的有效性，取一幅分辨率为５１２×５１２的腹部ｃＴ图像（图３（ａ）），依次进行伸缩、旋转、平移变换，再加入高斯噪声，得到另一幅图像（图３（ｂ））．变换公式为 ［≥］＝ｊ［一：；兰０］［二］＋［芝］（１８）式中：（Ｊ，ｙ）为参考图像上的点；（ｔ），’）为变换之后的点；Ｊ为伸缩比例；ｐ为参考图像的旋转角度，分别用Ｐｏｗｅｕ搜索算法和本文算法进行配准，配准参数的精度为０．００１．实验在一台ＣＰＵ为Ｃｅｌｅｒｏｎ、主频为２．８ＧＨｚ、内存为５１２Ｍ的计算机上进行．图３为算法流程中，轮廓提取、标记点自动提取以及形状匹配的结果．表１列出了一部分代表性的比较结果（其中丁为配准全过程所耗费的时间）． 图３轮廓提取、标记点自动提取以及形状匹配的结果 Ｆ１９３ Ｒｅ蛐№ｏｆｒｅｇｉ佃ｅ砷撇惦ｏｎ＇ａｕｔｏｍ雠ｌａｌＩ山ｍｒｂｄｅｔｅ甜仙姐ｄｓｈｐｅ删ｎｃ址啤 衷１本文算法与ＰｏｗｅⅡ算法结果的比较 Ｔ｜山．１Ｃ岫ｐａｒａ６ｖｅｒ器ＩＩｌｔｓｂｅｔｗ咖ｔｈｅｐｒｏ肼ｌｓｅｄｍ劬ｏｄ ａⅡｄＰｏｗｅｕａＩｇｏｒｉｔｈｍ 变换及配 旷无量纲占／（ｏ）厶ｘ｜缸ｌ ｒ，ｓ 准参数像素像素 变换参数０５００６０肿０２０ＤｏＯ３ⅢＤ００＿—— ＰｏｗｅＵ法０５０２６０Ｄ５２１９Ｊ０５５２８五５８５６０ 初始参数０４９７６０．０４０１９３１７３１５０ｌ＿—— 本文算法０５００６０．２９４１９．８８４２９．８２３２５变换参数ｌｏ∞４０肿０ｌＯ姗５０Ｄ００。—— ＰｏｗｅＵ法ｌＯ∞４０舶ｌ９．１１５５０ｊ０２ｌ１９０ 初始参数ｌ－０００４０．ｏｌＯ１０Ｊ昕３４９．９２ｌ●—— 本文算法１０００钧０９５９．９５２５００的３０ 变换参数１５∞１０Ｄｏｏ２０ＤＯＯ３０．０００＿——ｐｏｗｅＵ法１姗１０Ｄ０７２０３９９２９＿９９４６８０初始参数１５０２９．９９７１９３７２２９２１７＿—— 本文算法１５００１０ＪＤ４９２０．０５０３０２８３４２ 变换参数１５００３０加０４０肿０ＩＯ．０００ Ｐｏｖ岭Ｕ法１０４６２８鹏５．４８５７１．４３．６８７’ｌ２３０初始参数１５０５２９．９５５３９Ｄ０６７．９∥ 本文算法１５０１３０Ｊ０２２３９５１４ｌＯＪ昕３２７ 变换参数２肿Ｏ１０．ａＤＯ１５加Ｏ２０．０００●—— ＰｏｗｅＵ法１．９１９３９ｊ９２ｌ１５矗６４２３２７２‘ｌｌ∞ 初始参数２肿６１０．０１８ １３剃１７．盯５．●——本文算法２Ｄ００ｌＯ．１２６１６＿０１３２０ＪＤ２２５３注：用上标＃表示的数据稍偏离变换参数；用上标?表示的部分数据为错误结果． 由表１的结果可以看出，用Ｐｏｗｅｕ算法直接进行搜索，计算时间较长，且有时因收敛到局部极值而产生错误结果，如表中用卑号标出的数据．而采用本文的算法完全达到了预期目的，大大减少了计算量，精度达到了“亚像素”级水平，有效地避免了收敛于局部极值．观察表ｌ中用ＳＶＤ法求得的初始参数，可以看出，这些参数实质上已经非常接近最终的配准参数，这是因为形状信息本身就是比较精确的特征量；其中有几个数据稍偏离配准参数，这是因为较大的变换参数（主要是缩放参数ｓ）会使形状匹配过程中产生相对较大的误差．计算过程中，特征提取、形状匹配、ＳＶＤ法求初始参数等步骤所耗费的计算量均比较小，而Ｐｏｗｅｌｌ算法一旦得到了与变换参数较接近的初始参数，就会很快地收敛到正确结果，这是由ＰｏｗｅＵ算法本身的性质所决定的．本实验中，在绝大多数情况下，只需要计算一个循环即可收敛．因此，ＰｏｗｅＵ算法的作用其实相当于对ＳＶＤ法所得的参数进行修正． ３结语 本文将形状特征和互信息搜索相结合，有效地提
第１４卷第６期２００７年１２月 电光与控制 ＥＵ￡ＣＴＲＯＮＩＣＳＯＰＴＩＣＳ＆ＣＯＮＴＲＯＬ Ｖ０１．１４№．６ Ｄｅｅ．２００７ 文章编号：１６７１—６３７Ｘ（２００７）０６—００９９—０７ 图像配准技术研究进展 刘松涛，杨绍清 （海军大连舰艇学院信息与通信工程系，辽宁大连１１６０１８） 摘要：图像配堆是解决图像融合、图像镶嵌和变化检测等问题的必要前提。其应用遍及军事、遥感、医学和计算机视觉等多个领域。筒要回顾了图像配准技术的发展史和研究现状．重点阐述了当前的技术热点和应用趋势，最后展望了进一步的研究方向。 关键词：图像配准；信息论；非刚性配准；虚拟结构 中图分类号：Ｖ２４３．６文献标识码：Ａ Ｐｒｏｇｒｅｓｓｉｎｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓ ＬＩＵＳｏｎｇ—ｔａａ，ＹＡＮＧＳｈａｏ—ｑｉｎｇ （Ｏｅｐｔ．ｏｆＩｎｆｏｒｍａｔｉｏｎ＆ＣｏｍｍｔｍｉｃｄｉｏｎＥｔ，ｇ泌ｒｉｔ，．ｇ，ＤａｆｉａｎＮａｖａｌＡｃａｄｅｍｙ，Ｄａｌｉａｎ１１６０１８，舀白Ⅺ） Ａｂｓｔｒａｃｔ：Ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｉｓｅｓｓｅｎｔｉａｌｆｏｒａｌｌｉｍａｇｅａｎａｌｙｓｉｓｔａｓｋｓｌｉｋｅｉｍａｇｅｆｕｓｉｏｎ，ｉｍａｇｅｍｏｓａｉｃａｎｄｃｈａｎｇｅｄｅｔｅｃｔｉｏｎ．Ｉｔｉｓｕｓｅｄｗｉｄｅｌｙｉｎｍｉｌｉｔａｒｙｓｙｓｔｅｍ，ｍｅｄｉｃａｌｉｍａｇｉｎｇ，ｒｅｍｏｔｅｓｅｎｓｉｎｇ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ｅｔｃ．Ｔｈｅｈｉｓｔｏｒｙａｎｄｃｕｒｒｅｎｔｅｔａｔｕｓｏｆｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓｆｉｒｅｒｅｖｉｅｗｅｄｋｅｆｌｙｗｉｔｈｅｍｐｈａｓｉｓｏｎｉｔｓｃｕｒｒｅｎｔｔｅｃｈｎｉｃａｌｈｏｔｓｐｏｔｓａｎｄａｐｐｌｉｃａｔｉｏｎｔｒｅｎｄｓ．Ｓｏｍｅｉｎｔｅｒｅｓｔｉｎｇａｓｐｅｃｔｓｆｏｒｆｕｒｔｈｅｒｓｔｕｄｙａ”ｐｏｉｎｔｅｄｏｕｔｉｎｔｈｅｅｎｄ． Ｋｅｙｗｏｒｄｓ：ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ；ｉｎｆｏｒｍａｔｉｏｎｔｈｅｏｒｙ；１１０ｎ—ｒｉｇｉｄｒｅｇｉｓｔｒａｔｉｏｎ；ｖｉｒｔｕａｌｓｔｒｕｃｔＵｒｅ ０引言 图像配准是许多应用问题必须的预处理步骤，比如：时序图像的变化检测或多模图像融合，这些问题遍及军事、遥感、医学、计算机视觉等多个领域。许多领域都需要图像配准，实际应用过程可能会有所不同，但其中关键的因素是类似的。概括地说，图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两橱或多幅图像进行最佳匹配的过程，包括像素灰度匹配和空间位置对齐。 配准方法的分类可以依据不同的准则。Ｂｒｏ．ｗｎ…依据变换模型的复杂程度对配准方法进行分类，并归纳了配准技术的实现步骤：特征空问、相似度测量、搜索空间和策略。Ｍａｉｎｔｚ”１等则提出了９ 收稿日期：２００６—０３—０９修回Ｅｔ期：２００６—０５—１５ 基金项目：国防预研基金资助项目（５１４０３０３０６０４ＪＢｌ４０Ｉ）；国家自然科学基金资助项目（６０５７２１６０） 一 作者简介：荆松涛（１９７８一），男，河南孟津人，博士，主要研究方向为图像融合、耳标识别、成像跟踪、ＤＳＰ开发 等。条分类准则，依次为：图像维数、配准特征的来源、变换模型、坐标变换域、交互性、优化策略、成像模式、配准对象、配准目标的特点等。作者参考Ｂｒｏｗｎ和Ｍａｉｎｌｚ的分类方法，将配准技术概括为８个方面，包括：配准对象、特征提取、特征匹配、变换模型、优化策略、坐标变换与插值、系统实现及算法评估，并考虑每项内容的技术特性进行细分，然后依据某一算法的创新点进行分类。囊括所有方法的分类准则是不存在的，所提方法侧重于从总体上对配准方法进行考察，是一种相对能反映配准方法本质特征的分类方法。依据新的分类准则，作者已对图像配准技术的８个子方向进行了系统研究ｕＪ。 １发展史和研究现状 国外从２０世纪６０年代就开始在图像配准领域进行研究“】，但直到１９８０年代才开始引起学者们的关注。到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式和领域的复杂性．仍需密切关注。国际上对图像配准技术曾做过调查”】，其结论是１９９０年代初技术文献明显增加。而
图像配准技术方法研究 摘要随着信息技术的迅猛发展，图像配准技术已经在军事、遥感、医学、计算机视觉等多个领域得到了广泛的应用。图像配准技术是图像处理的一个基本问题，它是将不同时间、传感器或视角下获取的相同场景的多幅图像进行匹配的图像处理的过程。三类图像配准的方法大致如下：基于灰度的图像配准方法。基于变换域的图像配准方法。基于特征的图像配准方法。本文将应用这三种方法对图像配准进行研究。并重点研究基于特征的图像配准方法。 关键词图像配准，特征点匹配，灰度插值，控制点的提取 Abstract The technology of image registration is being widely used in the military, remote sensing , medical, computer, visual and any other fields with the rapid development of information technology. The technology of image registration is a kind of process to match different pictures getting from different periods and different cameras but a same scene, it is a basic point to handle the pictures. There are three kinds of ways to do the image registration:According to the level of the color of gray getting from the pictures.According to transforming domains.According to the features The three kinds of ways will be used to discuss the image registration in the thesis, and the way according to the features will be discussed more in the thesis.
图像配准的方法 迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准 研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围 的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位 系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其 所采用的算法称之为图像相关等等。 图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择 多图像中的一张图像作为参考图像，将其它的相关图像与之配准，其坐标系统 是任意的。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来 进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文 主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射 关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制点(RCP)。目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别：基于灰度信 息法、变换域法和基于特征法[25]，其中基于特征法又可以根据所用的特征属 性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的 各种图像配准方法和原理。 1基于灰度信息的图像配准方法 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而 是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是 实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变 换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多 基于灰度信息的图像配准方法，大致可以分为三类：互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法。 (1)互相关法
医学图像配准技术 A Survey of Medical Image Registration 张剑戈综述，潘家普审校 （上海第二医科大学生物医学工程教研室，上海 200025） 利用CT、MRI、SPECT及PET等成像设备能获取人体内部形态和功能的图像信息，为临床诊断和治疗提供了可靠的依据。不同成像模式具有高度的特异性，例如CT通过从多角度的方向上检测X线经过人体后的衰减量，用数学的方法重建出身体的断层图像，清楚地显示出体内脏器、骨骼的解剖结构，但不能显示功能信息。PET是一种无创性的探测生理性放射核素在机体内分布的断层显象技术，是对活机体的生物化学显象，反映了机体的功能信息，但是图像模糊，不能清楚地反映形态结构。将不同模式的图像，通过空间变换映射到同一坐标系中，使相应器官的影像在空间中的位置一致，可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准，也是一个多参数优化过程。图像配准在病灶定位、PACS系统、放射治疗计划、指导神经手术以及检查治疗效果上有着重要的应用价值。 图像配准算法 可以从不同的角度对图像配准算法进行分类[1]：同/异模式图像配准，2D/3D图像配准，刚体/非刚体配准。本文根据算法的出发点，将配准算法分为基于图像特征(feature-based)和基于像素密度(intensity-based)两类。 基于特征的配准算法 这类算法利用从待配准图像中提取的特征，计算出空间变换参数。根据特征由人体自身结构中提取或是由外部引入，分为内部特征(internal feature)和外部特征(external feature)。
【作者简介】张剑戈（1972-），男，山东济南人，讲师，硕士 1. 外部特征 在物体表面人为地放置一些可以显像的标记物（外标记，external marker）作为基准，根据同一标记在不同图像空间中的坐标，通过矩阵运算求解出空间变换参数。外标记分为植入性和非植入性[2]：立体框架定位、在颅骨上固定螺栓和在表皮加上可显像的标记。Andre G[3]等将该方法用于机器人辅助手术，对于股骨移植，位移误差小于1.5mm，角度误差小于3°，由于计算量小，可以实现实时配准。但是标记物必须事先被固定好，不能用于回顾性配准，而且该方法只适用刚体配准。 2. 内部特征 从医学影像中可以提取出点、线和面：血管的交点、血管、胸腹之间的横膈膜等，这些特征作为内标记点(internal marker) ，利用其空间位置同样可以求解出空间变换参数。Hill DL[4]用11个形态点对脑部配准，误差<1mm，方差为1.73mm。Meyer CR[5]除了血管树的交点，还使用了左右脑之间的间隔等特征。Maurer CR[6,7]赋予点、线、面等几何特征不同的权重(weighted geometrical features, WGF)，进一步改进了算法。内标记点配准是一种交互性的方法，将3D图像配准简化为点、线和面的匹配，可以进行回顾性研究，不会造成患者的不适。但是医生对特征位置的判断影响到配准精度，为了克服人为误差，需要多次重复操作，以平均值作为最终结果。 表面匹配算法也利用了内部特征[8]：进行图像分割，提取出轮廓曲线、物体表面等内部特征，使2D/3D图像配准简化为2D曲线和3D曲面的匹配，不再考虑物体内部像素。典型的应用是刚体配准的“头帽”算法[9]，从头部的3D图像中分割出表面轮廓，分别作为头模型和帽模型。配准的目标函数是头表面和帽表面之间的均方距离，该距离是空间变换参数的函数。表面匹配算法是一种自动算法，在物体表面轮廓相似并且清晰的情况下，配准效果很好。其不足之处在于：准确地进行图像分割很困难；不同模式的图像，如CT/PET图像，由于器官的轮廓差异较大，难于精确地匹配。 3. 在非刚体配准中的应用 进行非刚体配准前要确定物理模型，常见有弹性模型、粘稠液体模型、生物力学模型。通过在感兴趣区域中提取参考点、2D或是3D轮廓线，使待配准图像
图像匹配的主要方法分析 在我国的图像处理中，有很多的关键技术正在不断的发展和创新之中。这些相关技术的发展在很大程度上推动了我国图像处理事业的发展。作为图像处理过程中的关键技术，图像匹配技术正在受到越来越多的关注。文章针对图像匹配的主要方法进行详细的论述，希望通过文章的阐述和分析能够为我国的图像匹配技术的发展和创新贡献微薄力量，同时也为我国图像处理技术的发展贡献力量。 标签：图像处理；图像匹配；特征匹配；方法 在我国的图像处理技术中，图像的匹配技术不仅仅是其中的重要组成部分，同时还是很多图像技术的发展创新的技术基础。例如图像技术中的立体视觉技术；图像技术中的运动分析技术以及图像技术中的数据融合技术等。通过上述内容可以看出，在我国的图像技术中，图像匹配技术具有非常广泛的应用。随着我国的相关技术不断的创新和发展，对于图像匹配技术的要求也是越来越高。这样就要求我国的图像匹配技术有更深层次的研究和发展。我国现阶段的研究主要是针对图像匹配过程中的匹配算法进行研究，希望借助研究能够更加有效的提升在实际的工作应用中的图像质量，同时也能够在很大程度上提升图像处理的图像分别率。文章的主要陈述点是通过图像匹配技术的具体方法进行优点和缺点的分析，通过分析优点和缺点来论述我国图像处理技术中的图像匹配技术的发展方向以及改进措施。近些年出现了很多的图像匹配方法，针对现阶段的新方法以及新的研究思路我们在实际的应用过程中要有一个非常清醒的选择。文章针对这一问题主要有三个内容的阐述。第一个是图像匹配技术的算法融合；第二个是图像匹配技术中的局部特征算法；最后一个是图像匹配技术中的模型匹配具体算法。 1 现阶段在世界范围内较为经典的图像匹配技术的算法 关于现阶段在世界范围内的较为经典的图像匹配技术的算法的阐述，文章主要从两个方面进行分析。第一个方面是ABS图像匹配算法。第二个方面是归一化相互关图像匹配算法。下面进行详细的论述和分析。 （1）算法一：ABS图像匹配算法。ABS图像匹配算法最主要的原理就是要使用模板的图像以及相应的匹配图像的搜索用窗口之间的转换差别来显示两者之间的关联性。图像匹配的大小在数值上等同于模板图像的窗口滑动顺序。窗口的每一次滑动都会引起模板图像的匹配计算。现阶段ABS的算法主要有三个，如下： 在选择上述三种计算方法的过程中要根据实际情况社情相应的阀值，否则会出现很高的失误率。上述的三种算法使用范围较狭窄。只使用与等待匹配的图像在模板影像的计算。 （2）算法二：归一化相互关图像匹配算法。归一化相互关的图像匹配算法在现阶段是较为经典的算法。通常专业的称法为NC算法。此计算方法主要是采
图像配准是对取自不同时间，不同传感器或者不同视角的同一区域的两幅或者多幅图像进行匹配叠加的过程。随着技术手段的不断发展，人们对图像配准的要求也越来越离。包括配准方法的鲁棒性、算法的难易程度、算法的自主性等都是考量算法的指标。图像配准的方法中，有人提出过被广泛认同的四个巧骤： a．特征空间的选择 特征空间是指将运用到配准中元素的集合。特征空间包括很多方面，比如像素值，比如点、线，或者平面甚至是曲面。 b．搜索空间 搜索策略是指一系列配准变换操作的集合。搜索空间是建立在几何形变基础上的。而几何形变一般包括全局的和局部的几何形变。典型的全局变形包括平移，缩放，扭曲等变形以及它们的组合。而局部形变，对变换参数要求比较苛刻，因为某一套变换参数只能作用在局部形变区域，而其余区域需采用插值技术补充。然而，另外的变形区域则需要另外的变换参数去表述。在一般的处理中，我们将变换模型看成是一种先验知识。不然则需要考量所有的变换模型。 c．搜索策略 搜索策略是实施变换的依据。它的存在是为了找寻变换模型的最优解。常用的搜索策略有松弛模型法、牛顿法和共扼梯度法。 d．相似性度量 相似性度量是对采用的变换模型的评价。相似性度量主要是采用参考图像和配准图像之间的共有的特征之间的差异比较的方法来评价配准的情况。这其中的差异可以包括点位的误差，或者是灰度值相关的差异，还可以是在变换域之间的差异值等等。最常见的相似性度量是检测特征的欧氏距离。 上述的几个步骤构成了图像配准的基本框架。许许多多的算法充斥其中产生了种类繁多的配准方法。下面主要介绍下几种典型的配准算法。目前典型的配准算法中大致可分成基于灰度、基于特征和基于模型的方法。 基于灰度的配准算法 基于灰度的算法中，重点是对图像配准的过程上，而不是特征集的选择
function [TR, TT] = icp(model,data,max_iter,min_iter,fitting,thres,init_flag,tes_flag,refpn t) % ICP Iterative Closest Point Algorithm. Takes use of % Delaunay tesselation of points in model. % % Ordinary usage: % % [R, T] = icp(model,data) % % ICP fit points in data to the points in model. % Fit with respect to minimize the sum of square % errors with the closest model points and data points. % % INPUT: % % model - matrix with model points, [Pm_1 Pm_2 ... Pm_nmod] % data - matrix with data points, [Pd_1 Pd_2 ... Pd_ndat] % % OUTPUT: % % R - rotation matrix and % T - translation vector accordingly so % % newdata = R*data + T . % % newdata are transformed data points to fit model % % % Special usage: % % icp(model) or icp(model,tes_flag) % % ICP creates a Delaunay tessellation of points in % model and save it as global variable Tes. ICP also % saves two global variables ir and jc for tes_flag=1 (default) or % Tesind and Tesver for tes_flag=2, which % makes it easy to find in the tesselation. To use the global variables % in icp, put tes_flag to 0. % % % Other usage: % % [R, T] = icp(model,data,max_iter,min_iter,... % fitting,thres,init_flag,tes_flag) % % INPUT: % % max_iter - maximum number of iterations. Default=104 % % min_iter - minimum number of iterations. Default=4 % % fitting - =2 Fit with respect to minimize the sum of square errors. (default) % alt. =[2,w], where w is a weight vector corresponding to data. % w is a vector of same length as data.
杭州电子科技大学 毕业设计（论文）文献综述 毕业设计题目SIFT特征研究及应用 文献综述题目图像配准算法综述学院生命信息及仪器工程学院 专业电子信息技术及仪器 姓名 班级 学号 指导教师
图像配准算法综述 一．前言 图像配准是指找出场景中同一物体表面的结构点在不同图像上的投影像素点之间的对应关系，是图像信息处理领域中一项非常重要的技术，同时也是其它一些图像分析技术，如立体视觉、运动分析、数据融合等的基础。 目前图像配准广泛应用于虚拟现实、视频压缩、图像复原、图像数据库检索等技术中。图像配准的研究是计算机视觉中最困难也是最重要的任务之一。不同的图像配准方法总是对应于某种适用的图像变换模型，其核心问题是提高配准的速度、精度和算法的稳健度。 随着科学技术的发展现在约40%的机器视觉应用中都会使用图像匹配技术，所涉及的领域有：工业检测，导弹的地形匹配，光学和雷达的图像跟踪，交通管理，工业流水线的自动监控、工业仪表的自动监控，医疗诊断，资源分析，气象预报，文字识别以及图像检索等。 图像匹配研究按其处理步骤可以分为样本采集、样本预处理、样本分割、样本的特征提取等，并且与计算机视觉、多维信号处理和数值计算方法等紧密结合。它也是其它一些图像分析技术，如立休视觉、运动分析、数据融合等的基础。正因为其应用的广泛性，新的应用和新的要求逐步产生，使得匹配算法的研究逐步走向深入，出现了快速、稳定、鲁棒性好的匹配算法。因此，研究图像的匹配算法对于如何提高实际工程中的图像处理质量和识别精度具有非常重要的意义。 本文主要分析图像匹配常用方法的优点和不足之处，讨论了图像匹配中需要进一步研究和解决的问题。 二．图像配准算法的研究现状 图像配准是立体视觉、运动分析、数掘融合等实用技术的基础，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域有重要的应用价值。国内外学者针对不同的图像配准应用问题进行了大量的研究工作，早在1992年英国剑桥大学的Lisa Gottesfeld Brown在文献[1]习中就总结了图像配准的主要理论及图像配准在各个领域的应用。当时他讨论的图像配准技术主要还是著眼于医学图像处理、遥感图像处理等传统应用领域。图像配准是图像镶嵌技术的核心问题。 微软研究院的Richard Szeliski在1996年SIGGRAPH上提出了基于运动模型的全景图拼接算法[7]。Szeliski采用了非线性优化的方法来最小化像素两幅图像的亮度差以确定变换参数。该方法使用了全部像素进行优化处理，所以配准精度较高，但是计算速度较慢，且稳健性不佳。 国内的赵向阳。杜立民在2004年提出了一种基于特征点匹配的图像自动拼接算法[2]，其中使用了Harris算法[3]提取角点并进行匹配。赵的算法采用了鲁棒变换估计技术，在一定程度上提高配准算法的稳健性，但是计算速度依然较慢，且无法配准重
诚信声明 本人声明： 我所呈交的本科毕业设计论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致中所罗列的容以外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了意。本人完全意识到本声明的法律结果由本人承担。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期：2010 年05 月20日
毕业设计（论文）任务书 设计（论文）题目： 学院：专业：班级： 学生指导教师（含职称）：专业负责人： 1．设计（论文）的主要任务及目标 (1) 了解图象匹配技术的发展和应用情况，尤其是基于特征的图象匹配技术的发展和应用。 (2) 学习并掌握图像匹配方法，按要求完成算法 2．设计（论文）的基本要求和容 （1）查阅相关中、英文文献，完成5000汉字的与设计容有关的英文资料的翻译。（2）查阅15篇以上参考文献，其中至少5篇为外文文献，对目前国外图象匹配技术的发展和应用进行全面综述。 （3）学习图象匹配算法，尤其是基于特征的图象匹配算法。 （4）实现并分析至少两种基于特征的图象匹配算法，并分析算法性能。 3．主要参考文献 [1]谭磊, 桦, 薛彦斌．一种基于特征点的图像匹配算法[J]．天津理工大学报，2006， 22(6)，66-69． [2]甘进，王晓丹，权文．基于特征点的快速匹配算法[J]．电光与控制，2009，16(2)， 65-66． [3]王军，明柱．图像匹配算法的研究进展[J]．大气与环境光学学报，2007，2(1)， 12-15．
4
工学硕士学位论文 基于视频序列的图像配准算法研究与应用 王帅 哈尔滨工业大学 2007年7月
国内图书分类号：TP391.4 国际图书分类号：681.39 工学硕士学位论文 基于视频序列的图像配准算法研究与应用 硕士研究生：王帅 导师：承恒达 教授 申请学位：工学硕士 学科、专业：计算机科学与技术 所在单位：计算机科学与技术学院 答辩日期：2007年7月 授予学位单位：哈尔滨工业大学
Classified Index: TP391.4 U.D.C: 681.39 Dissertation for the Master Degree in Engineering RESEARCH AND APPLICATION OF IMAGE REGISTRATION BASED ON VIDEO SEQUENCE Candidate：Wang Shuai Supervisor：Prof. Cheng Hengda Academic Degree Applied for：Master of Engineering Specialty：Computer Science and Technology Affiliation：School of Computer Science and Technology Date of Defence：July, 2007 Degree-Conferring-Institution：Harbin Institute of Technology
哈尔滨工业大学工学硕士学位论文 摘要 随着数字技术的不断发展，视频图像的分析与处理越来越受到人们的关注。数字化图像序列可以通过摄像机等光学设备获得，是真实世界在不同时间向成像平面的一系列投影。图像帧之间具有较大的相关性和信息冗余，找到并描述图像序列间的内在联系成为研究的关键所在。图像配准技术可以有效地解决这类问题。 图像配准问题是图像处理里的一个基本问题，是将不同时间、不同传感器、不同视角及不同拍摄条件下获取的图像对齐或匹配，消除存在的几何畸变。图像配准在计算机视觉、模式识别、医学图像处理和遥感信息处理方面有着广泛的应用。 本文提出了基于自适应聚类的特征匹配方法，满足大量图像配准的需求，提高匹配的速度，该方法基于正确匹配点对间形成矢量的一致性，对匹配点对进行自适应聚类，实验证明该方法在保证正确匹配不丢失的同时，可有效剔除绝大多数错误匹配，为进一步进行RANSAC匹配提供方便，且有效地提高了整个匹配过程的速度。 本文提出一种简单有效的图像合成方法。该方法针对摄像机固定位置，水平旋转拍摄的视频序列的特点，选取图像序列中部分帧，通过H矩阵确定重叠区域，再利用线性插值进行图像融合。实验证明在转角小于180 时，合成效果较好。 本文成功运用图像配准技术完成运动员滑行数据的测量，利用图像配准技术估计图像间摄像机运动，进而消除摄像机运动的影响，得到运动员的真实运动数据。根据这一原理，首先对冰场进行合理化建模，并确定相应的视频拍摄方案，设计了运动员冰场定位算法，利用帧间的H矩阵估计摄像机旋转角度，进而估计运动员的旋转角度完成滑行数据的测量。 关键词图像配准；特征点匹配；自适应聚类 - -I
关于图像匹配的综述 1.图像匹配的背景及定义 1.1图像匹配的背景及意义 图像匹配技术广泛的应用于日常生活中的诸多领域，如医疗诊断中各种医学图片的分析与识别、遥感图片识别、天气预报中的卫星云图识别、指纹识别、人脸识别等。图像匹配技术主要指通过计算机，采用数学技术方法，对获取的图像按照特定目的进行相应的处理。图像匹配技术是人工智能的一个重要分支和应用，随着计算机技术及人工智能技术的发展，图像识别技术逐渐成为人工智能的基础技术之一。它涉及的技术领域相当的广泛，也越来越深入，其基本分析方法也随着数学工具的不断进步而不断发展。现在，图像识别技术的应用范围己经不仅仅局限于视觉的范围，也体现在机器智能和数字技术等方面。 1.2图像匹配的定义 所谓图像匹配是指在一幅(或一批)图像中寻找与给定目标图像相似的图像或者图像区域(子图像)的过程。通常将已知目标图像称为模板图像，而将待搜索图像中可能与它对应的子图称作该模板的待匹配的目标图像。图像匹配是在来自不同时间或者不同视角的同一场景的两幅或多幅图像之间寻找对应关系，该技术隶属于计算机视觉哺领域。图像匹配的具 体应用包括目标或场景识别、在多幅图像中求解3D结构、立体对应和运动跟踪等。由于拍摄时间、拍摄角度、自然环境的变化，多种传感器的使用、传感器本身的缺陷及噪声等影响，拍摄的图像会存在灰度失真和几何畸变。同时，图像预处理过程会引入的误差，这都是导致模板图像与待匹配的目标图像之间通常存在着一定程度上的差异。在这种情况下，如何使匹配算法精度高、正确匹配率高、速度快和抗干扰性强成为人们关心的问题。 2.图像匹配算法的分类 图像匹配算法的选取对图像匹配结果的影响很大。实用的匹配算法不仅要求计算量小，还必须具有良好的抗噪能力和抗几何形变的能力。通常情况下，图像匹配算法可以分为以下两大类：基于灰度相关的匹配算法、基于特征的图像匹配算法。 1) 基于灰度分布的相关匹配算法，也称为基于区域的匹配方法。常见的基于图像灰度的匹配方法有：（1）归一化灰度相关匹配、（2）最小二乘影像匹配、和（3）序贯相似性检测法匹配等。该类算法直接利用整幅图像的灰度信息，建立两幅图像之间的相似性度量，然后采用某种搜索方法，寻找使相似性度量值最大或最小的变换模型的参数值。在灰度及几何畸变
第1章绪论 1.1研究背景及意义 数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表示。通常，像素在计算机中保存为二维整数数组的光栅图像，这些值经常用压缩格式进行传输和储存。数字图像可以由许多不同的输入设备和技术生成，例如数码相机、扫描仪、坐标测量机等，也可以从任意的非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型是计算机图形学的一个主要分支。数字图像处理领域就是研究它们的变换算法。 数字图像处理(Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。 图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。 图像配准的方法迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。 目前主要图像配准方法有基于互信息的配准方法，基于相关性的配准方法和基于梯度的配准方法。其中基于梯度的方法基本很少单独使用，而作为一个辅助
角点检测算法综述 范娜，俞利，徐伯夏 （中国航天科工集团第三研究院8357所天津300308） 摘要：角点作为图像的一个重要特征，它保留了图像绝大部分的特征信息。角点在三维场景重建、运动估计、目标跟踪以及图像配准与图像匹配等计算机视觉领域有着重要的作用。本文对角点检测算法的类别进行总结，对各类算法进行了详细介绍，并对近几年来各类算法发展与改进进行了总结。 关键词：特征信息；计算机视觉；角点检测 Survey of Corner Detection Algorithms FAN Na, YU Li, and XU Bo-xia (The 8357 Research Institute of the Third Research Academy of CASIC Tianjin 300308) Abstract：As a more important feature of image, corner contains voluminous information of image features.In the domain of computer vision, such as three-dimensional reconstruction, motion estimation, object tracking, image registration and image matching, corner of image play an important role.this paper attempt to summarize and detailedly introduce corner detection algorithms, and summarize the developments of these algorithms in recent years. Key words: Feature Information；Computer Vision；Corner Detection 1 引言 角点并没有明确的定义，一般将图像中亮度变化剧烈的点或图像边缘上曲率取极大值的点认为是角点。从形态上来说，角点包括L、T、Y、X和箭头型角点等。角点作为图像的重要特征，保留了图像的绝大部分的特征信息，又有效地减少了信息的数据量，从而有效地提高了运算速度以及匹配的可靠性。总结现有的角点检测算子的评价方法，总体上有以下几个标准[1]： (1)稳定性：即同一场景图像在亮度、对比度等因素变化的情况下，检测出的角点数目及位置应当稳定 (2)可靠性：即在算子的可变参数改变情况下，不影响生成的角点的质量，只改变检测出角点的数目；检测到的角点具有平移、旋转、伸缩不变性 (3)鲁棒性：即算法的抗噪性能，在一定的噪声干扰下，算子仍然具有很强的角点检测能力 (4)准确性：主要指不发生误检测以及角点位置定位准确 (5)高效性：是指算法的计算速度快慢，算法速度必须足够快以满足图像处理系统的要求 经过几十年的研究与探索，产生了许多检测角点的方法，但大致可以分为四类：基于灰度图像的角点检测算法、基于二值图像的角点检测算法、基于边缘特征的角点检测算法以及支持矢量机角点检测算法。本文中
基于Demons算法的图像配准研究 摘要 图像配准实质上是评价两幅图或多幅图像的相似性以确定同名点的过程，其作为图像处理中的一个基本问题，同时也是众多图像分析和处理任务的关键步骤，被广泛应用于医学、军事、遥感、计算机视觉等众多领域，严格地说, 图像配准问题就是将位于不同坐标系下同一场景的二幅或多幅图像,寻找一种特定的最优几何变换,将两幅或多幅图像变换到同一坐标系的过程。图像配准算法则是设法建立两幅或多幅图像之间的对应关系，确定相应几何变换参数，对两幅图像中的一幅进行几何变换的方法，是图像配准最关键的技术，直接决定图像配准的准确性。本文在学习了解了现有的图像配准算法后，主要针对重要的图像配准算法—Demons算法，通过研究原始Demons算法、Active Demons算法和Symmetric Demons算法的基本原理和各自在图像配准中的应用，对三种算法的性能进行对比分析，确定三种算法的优缺点，进而找到影响图像配准结果的根本原因。 关键词：图像配准原始的Demons算法Active Demons算法Symmetric Demons算法 Abstract Image registration is to determine corresponding point evaluation two pictures or images virtually, as a basic problem of image processing, meanwhile, it is also the key steps of many image analysis and processing tasks. It is widely used in medical, military, remote sensing, computer machine vision fields. Strictly speaking, the problem of image registration is finding a certain optimal geometric transformation to make two or more images in different coordinate systems transform into the same coordinate system. Image registration algorithm is trying to establish the correspondence between two or more images, determining the corresponding geometric parameters. It is the key of image registration It also directly determines the accuracy of image registration. On the base of understanding of the existing image registration algorithms .The