基于角点检测的图像匹配算法及其在图像拼接中的应用

第46卷　第4期厦门大学学报(自然科学版)Vol.46　No.4　2007年7月Journal of Xiamen University (Nat ural Science )J ul.2007　基于角点检测的图像匹配算法及其在图像拼接中的应用庄志国,孙惠军,董继扬3,陈　忠(厦门大学物理学系,福建省半导体照明工程技术研究中心,福建厦门361005)收稿日期:2006211221基金项目:国家自然科学基金(10375049,20573084)资助3通讯作者:jydong @摘要:研究了图像匹配与图像角点匹配之间的关系,并在此基础上提出一种基于角点检测的图像匹配算法,成功地应用于图像拼接中.该算法将角点作为图像的特征点,并通过角点值、邻域角点数、角点间距及参数一致性等4个指标对角点集进行逐级筛选,有效地剔除了不匹配的角点,保证了匹配精度,同时避免了传统算法中进行模板匹配的繁重计算,大大提高了匹配速度.图像拼接实验验证了本文算法的快速、准确和稳定的特性.关键词:图像匹配;角点检测;图像拼接中图分类号:TP 391 文献标识码:A 文章编号:043820479(2007)0420501205 图像匹配是计算机视觉研究领域中的热点问题,也是许多计算机视觉理论和应用的基础.同时,图像匹配又是该领域的一个瓶颈,许多重要的计算机视觉理论与应用都是在假设匹配问题已经解决的前提下展开的[1-2].因此,实现精确、快速、稳定的图像匹配算法有利于对视觉信息后续处理的研究.图像匹配方法大致分为3类:基于图像灰度的匹配[3]、基于特征的匹配[4-5]和基于变换域的匹配[6-7].其中,基于特征的匹配方法由于利用了图像中数量较少、特征较稳定的一些点、线或边缘等进行匹配,大大压缩了所需处理信息量,使得匹配搜索的计算量小、速度较快.而且该方法对图像灰度的变化具有鲁棒性,是目前研究最多、应用最广的一类匹配方法.但常见的基于图像特征的匹配算法中存在两个不足之处:一是算法的匹配精度不高、稳定性不好.由于匹配算法只用到了图像的一小部分信息,因此匹配结果容易受到噪声、图像信息分布等因素的影响,且对特征点的准确性及稳定性的依赖较高.二是特征点的匹配搜索速度仍有待于提高.大多数匹配算法采用模板相关方法进行遍历性的匹配搜索,因此,算法的计算量大、速度慢.针对上述两个不足之处,本文提出了一种新的基于角点检测的匹配算法.首先用计算量较少、稳定性较好的Harris 算子[8]提取图像的特征点,分别得到参考图像和待匹配图像的角点集;再根据图像匹配与角点集匹配之间的关系,从角点值、邻域角点数和角点间距等3个方面对图像角点进行逐步筛选,然后利用匹配参数的一致性进行检验,进一步剔除误匹配点,保证图像匹配的精度,有效降低了因角点检测算法的不稳定性等因素给图像匹配带来的影响,并最终获得准确、稳定的匹配角点集.此外,由于该算法充分利用了角点的特性,将图像匹配搜索转化为角点匹配搜索,从而避免了已有算法中进行模板匹配的繁重计算量,大大提高了搜索速度.最后将此匹配算法成功地应用于图像拼接中,验证了本文算法的有效性.1　H arris 角点及其性质角点,又称为兴趣点,是像素点在其邻域内的各个方向上灰度变化量足够大的点.它是一种重要的图像特征点,包含了图像中丰富的二维结构信息,广泛应用于各种图像处理技术中.本文选用Harris 算子提取的角点作为特征点,并应用于图像匹配中.Harris 算子是Harris 和Step hens [8]提出的一种基于信号的角点特征提取算子,具有计算简单、提取的角点特征均匀合理、可以定量提取特征点以及算子稳定的特点.其处理过程表示如下M =G ( s )g 2x g x gy g x g yg 2x(1)R =det (M )-k ・t r 2(M ),k =0.04(2)其中g x 为x 方向的梯度,g y 为y 方向的梯度,G ( s )为高斯模板,det 为矩阵的行列式,t r 为矩阵直迹,k 为常数,R 表示图中相应象素点的兴趣值.若某一象素的兴趣值处于邻域最大,且大于阈值(R 0)时,则该象素称为角点,相应的兴趣值称为该角点的角点值. 图1　两个重叠图像块的角点示意图(a )参考图的角点;(b )待匹配图的角点Fig.1　Sketch map of the corners in two overlap image blocks角点反映了图像的一个局部灰度特征.各种基于角点的图像处理方法的本质是:用角点代表其邻域图像块进行各种操作,从而减小图像处理的复杂度,提高计算速度.我们的意图也是用角点代表图像进行图像匹配.当然,与图像本身所包含的复杂信息相比,角点反映出来的信息极其有限,因此,从严格意义上讲,任何角点关系都不足以作为图像精确匹配的充分条件.幸好在实际应用中,大多数情况只涉及平滑的自然图像,而这种图像可以用角点很好地近似描述,本文也只讨论平滑的自然图像.从Harris 算子的计算公式可见,若两幅图像间只存在平移和旋转,可用相同的阈值(R 0)提取这两幅图像的角点.设两图像的重叠部分的角点集分别为C 和C ′,如图1所示,则有结论1　角点数相同,即C ={c 1,c 2,…,c n }和C ′={c ′1,c ′2,…,c ′n }包含相同的角点数.结论2　设c i 和c ′i 为对应角点,则它们的角点值相同,即R (c i )=R (c ′i ).结论3　设c i 和c ′i 为对应角点,则c i 邻域的角点数应该等于c ′i 邻域的角点数,即N r (c i )=N r (c ′i ),r 为邻域半径.如图1(a )中的角点I 和(b )中的对应角点I ′,其邻域的角点数均为3.结论4　设c i ,c j ∈C ,c ′i ,c ′j ∈C ′,c i ,c ′i 是对应角点,c j ,c ′j 也是对应角点,则它们的距离相等,即d (c i ,c j )=d (c ′i ,c ′j ).如图1(a )中的角点I 和(b )中的对应角点I ′,它们到周围其它对应角点的距离相等.上述4个结论是图像匹配时反映在角点集上的一些必要条件,它们还不足以作为图像匹配的充分条件.因此,局部匹配并不一定表明总体也匹配.由于角点本身只反映图像的局部特征,上述4个结论也只涉及到局部的角点性质,因此不能作为图像匹配的充分条件.显然,作为匹配图像的角点集,各角点必须满足一致性原则,即结论5　设c i 与c ′i 为一对任意的匹配角点,c j 与c ′j 是另一对任意的匹配角点(c i ,c j ∈C ,c ′i ,c ′j ∈C′),根据c i 、c ′i 、c j 、c ′j 可以计算出匹配参数P ij =(Δx ij ,Δy ij ,Δθij ),其中Δx ij ,Δy ij 为待匹配图像相对于参考图像在x 轴和y 轴上的平移量,Δθij 为旋转角度;下标ij 表示角点对的序号.这样对于集合C 和C ′中的任意两对相应角点对,其匹配参数应相等,即P ij 为常矢量.结论5从图像的整体上描述了图像匹配时,角点集应该满足的关系.至此,结论1～5不仅在局部上,而且在整体上都保证了图像的匹配.接下来我们根据上述5个角点集关系,给出一种新的图像匹配算法.2　基于角点的匹配算法为了简单起见,本文只考虑刚体图像匹配问题.设A 和B 为两幅待拼接图像,用相同的阈值R 0提取其角点,设角点集分别为C A ={c 1,c 2,…,c m }和C B ={c ′1,c ′2,…,c ′n }.由于A 和B 往往仅有一部分区域重叠,而且重叠区域的大小未知,因此,图像匹配问题就是分别从C A 和C B 中寻找两个子集,使得C 和C ′满足上一小节给出的5个结论.匹配算法分为4个步骤逐层抽取C A 和C B的子集.2.1　角点值匹配根据结论2,若图像A 和B 匹配,则其上的两个匹配角点的角点值相同.因此,C A 和C B 中具有相同角点值的角点可认为是可能的匹配角点.但由于在图像获取过程中,常常会受到光照、噪声、图像离散化等因素的影响,角点值的计算存在一定的波动,因此,在角点值匹配时,匹配条件须适当的放宽.若R (c i )-R (c ′j )≤δ(3)其中δ>0为允许误差,则认为c i 和c ′j 是可能的匹配角点.根据式(3),可以在C A 和C B 中找到两个子集合C 1={c 1,c 2,…,c l }和C ′1={c ′1,c ′2,…,c ′k }.应该注・205・厦门大学学报(自然科学版) 2007年意,角点值匹配后的集合C1和C′1中的角点不一定一一对应,即C1和C′1所包含的角点数可能不相同. 2.2　邻域角点数匹配根据结论3,若图像A和B匹配,则其上的两个匹配角点在相同邻域内的角点数应相同.因此,通过邻域角点数匹配剔除C1和C′1中不满足该条件的角点,得到新的角点集C2={c1,c2,…,c g}和C′2={c′1,c′2,…,c′h}.类似地,C2和C′2中的角点数也可能不相同. 2.3　角点间距匹配根据结论4,图像A和B中对应的两个角点与各自邻域内其余对应角点间的距离应相同,因此,角点间距匹配就是进一步剔除C2和C′2中不满足该条件的角点,得到新的子集合C3和C′3.具体操作如下:设c i和c′i是一对已满足角点值匹配和邻域角点数匹配的角点,设邻域角点数为p,c i和c′i到其邻域各角点的距离按降序排列分别为{d1,d2,…,d p}和{d′1, d′2,…,d′p},若{d1,d2,…,d p}和{d′1,d′2,…,d′p}在偏差允许范围内一一对应相等,则认为c i和c′i是匹配角点,否则不然.经上述步骤后,两个角点集(C3和C′3)所包含的角点数仍然有可能不一致.为了计算方便,可以直接剔除“多一对应”或“一多对应”的角点,使得C3和C′3所包含的角点数相同,即C3={c1,c2,…,c f}和C′3= {c′1,c′2,…,c′f},同时满足结论1的要求.2.4　一致性检验根据结论5,对于任意的匹配角点对,其匹配参数(即旋转角度Δθ)应该是相同的.一致性检验的目的是:剔除匹配参数偏差较大的角点,使得角点集合中各角点的匹配参数一致.如图2所示,利用待参考图像和匹配图像的两对相应角点的连线关系,可以计算出一个角度参数(Δθ).理论上,任意两对相应角点的角度参数值应该是相等的.利用这点性质,我们很容易找出C3和C′3中的误匹配角点.剔除C3和C′3中的误匹配角点,可得到新的角点集C4=c1,c2,…,c e和C′4={c′1,c′2,…,c′e},它们满足匹配参数一致性.C4和C′4从整体上进一步提高了图像的匹配精度.2.5　计算复杂度分析设图像的角点总数为n,特征点邻域的平均角点数为b,则上述4个匹配步骤的计算量大致为:O(n2)、O(n)、O(nb2)和O(n2),因此上述算法的总计算量大致为O(n2)+O(2n)+O(nb2)+O(n2)=　图2　图像旋转角度的计算(a)参考图像的部分角点;(b)待匹配图像的对应角点Fig.2　Rotation angle computing method　O(2n2+2n+b2n)(4)对于相关法,由于算法采用模板匹配法进行搜索,设模板大小为t×t,则相关法匹配搜索的计算复杂度为O(n2t2).可见上述算法的计算量比相关法的计算量小得多,因此搜索速度也将得到提高.3　图像拼接的应用3.1　图像拼接图像拼接是将两幅或多幅来自同一场景的有重叠区域的小尺寸图像合成为一幅大视野图像;图像拼接在遥感图像处理、图像镶嵌、医学成像处理、虚拟现实技术中都有着广泛的应用[9-10].图像匹配是图像拼接的一个关键步骤,因此,通过图像拼接应用可以检验图像匹配算法的性能.设(x,y)为待匹配图像像素点坐标,(x′,y′)为参考图像像素坐标,则两者之间的关系可以表示为[11]: uvw=m0m1m2m3m4m5m6m71xy1(5)其中(u,v,w)T和(x,y,1)T分别是x′,y′和x,y的齐次坐标表示,m0,…,m7称为变换参数.根据精确匹配后的角点集C4和C′4的角点对坐标,采用随机采样算法(Random Sample Consensus, RANSAC)[12]就可以方便地估计出m0,…,m7这8个参数.然后将这8个参数代回方程(5),可得:x′=uw=m0x+m1y+m2m6x+m7y+1,y′=vw=m3x+m4y+m5m6x+m7y+1(6)利用式(6)可以将待拼接图像中的各像素的坐标映射到参考图像坐标系中.此外,由于光照条件不尽相同,两幅待拼接图像在总体亮度上可能会有所差异.如果简单地将图像拼接・35・第4期 庄志国等:基于角点检测的图像匹配算法及其在图像拼接中的应用　图3　实际图像的拼接结果(a )参考图像;(b )待拼接图像;(c )图像拼接结果Fig.3　Stitching result of two images接起来,在图像的拼合处会存在亮度的不连续现象,产生明显的拼缝,影响拼接的效果.为了使待拼接的两幅图像在重叠区域上能够平滑拼接,通常采用渐入渐出法[13]进行平滑拼接.3.2　实验及结果分析为了检验本文提出的图像匹配算法的性能,我们将它应用到图像拼接中.1)实验1　实际图像的匹配与拼接图3(a )和(b )是用普通数码相机在同一时间、一视点,采用相同焦距拍摄到的两幅景观图(图中的“+”表示所提取的部分角点的位置).用本文提出的算法对图3(a )和(b )进行特征匹配和拼接,拼接结果见图3(c ).可见,图像拼接过渡区平滑,不存在明显的拼接痕迹.表1是各匹配步骤后,两幅图像的角点集剩余的角点数.由此说明本文提出的图像匹配算法可以实现比较精确的匹配.表1　各匹配步骤后的角点数Tab.1　Number of remainder corners in each matching step图像匹配步骤总角点数角点值邻域角点数角点间距一致性检验参考图　324188157133129待匹配图3012161671331292)实验2　合成图像匹配与拼接图4(a )和(b )是来自同一幅图像的不同位置的两幅具有重叠区域的小图像,其中(b )图的旋转角度为10°.用本文算法对图4(a )和(b )进行匹配和拼接,拼接结果见图4(c ).作为对比,我们实现了基于相关的角点匹配算法[13]并对图4(a )和(b )进行匹配和拼接.由于两种算法的拼接效果相差不多,很难从拼接结果图上看出两　图4　合成图像的拼接结果(a )参考图像;(b )待匹配图像;(c )图像拼接结果Fig.4　Stitching result of two synthetical images种算法的区别,因此我们采用如下方法评价匹配算法的精度:把一幅大图像分割成两幅具有重叠部分的小图像,然后将其中一幅小图像绕其图像中心旋转一定的角度Δθ,对这两幅小图像进行匹配,计算匹配后两幅图之间的旋转角度Δθ′,并与实际旋转角度Δθ做比较.结果如表2所示.・405・厦门大学学报(自然科学版) 2007年表2　两种匹配方法的比较Tab.2　The comparison of the two matching algorithms实际旋转角度/(。

角点提取与匹配算法实验报告1 说明本文实验的目标是对于两幅相似的图像，通过角点检测算法，进而找出这两幅图像的共同点，从而可以把这两幅图像合并成一幅图像。

下面描述该实验的基本步骤:1.本文所采用的角点检测算法是Harris 角点检测算法，该算法的基本原理是取以目标像素点为中心的一个小窗口，计算窗口沿任何方向移动后的灰度变化，并用解析形式表达。

设以像素点(x,y)为中心的小窗口在X 方向上移动u ，y 方向上移动v ，Harris 给出了灰度变化度量的解析表达式：2,,|,|,,()(x y x y x u y v x y x y I I E w I I w uv o X Y∂∂=-=++∂∂∑∑ (1) 其中，,x y E 为窗口内的灰度变化度量；,x y w 为窗口函数，一般定义为222()/,x y x y w e σ+=；I 为图像灰度函数，略去无穷小项有：222222,,[()()2]2x y x y x y x y E w u I v I uvI I Au Cuv Bv =++=++∑（2）将,x y E 化为二次型有：,[]x yu E u v M v ⎡⎤=⎢⎥⎣⎦(3)M 为实对称矩阵：2,2x y x x y x y y I I I M w I I I •⎤⎡=⎥⎢•⎢⎥⎣⎦∑ (4)通过对角化处理得到：11,200x y E R R λλ-⎛⎫= ⎪⎝⎭(5)其中，R 为旋转因子，对角化处理后并不改变以u,v 为坐标参数的空间曲面的形状，其特征值反应了两个主轴方向的图像表面曲率。

当两个特征值均较小时，表明目标点附近区域为“平坦区域”；特征值一大一小时，表明特征点位于“边缘”上；只有当两个特征值均比较大时，沿任何方向的移动均将导致灰度的剧烈变化。

Harris 的角点响应函数(CRF)表达式由此而得到：2(,)det()(())CRF x y M k trace M =-(6)其中：det(M)表示矩阵M的行列式，trace(M)表示矩阵的迹。

基于特征点匹配的图像拼接算法图像拼接算法是将多个相似但不完全相同的图片拼接成一个整体的过程，应用于全景拍摄、视频合成等领域。

其中基于特征点匹配的图像拼接算法是应用最为广泛的方法之一。

一、特征点及其提取特征点是一幅图像中独特、易于识别的点，如角点、边缘交点等。

提取特征点是图像处理的关键之一。

在实际应用中，常用的特征点提取算法有SIFT、SURF、ORB等。

这些算法的原理大致相同，都是在图像中寻找局部极值点，并通过对邻域像素的判断，保留具备可分性、稳定性、独特性等特点的关键点。

二、特征点匹配特征点匹配是指将两幅图片中的特征点进行对应，以便进行后续的图像拼接。

匹配算法的难点在于对噪声、变形、重叠等情况的适应性。

其中，最常用的匹配算法有暴力匹配和基于FLANN的匹配。

暴力匹配法是最简单的匹配方法，即对所有特征点进行两两比较，选取最小距离的点对。

由于存在大量冗余比较，当图像规模增大时，该算法的计算时间将急剧增长。

因此，基于FLANN的匹配算法被广泛应用。

基于FLANN的匹配算法采用kd树搜索的方法，通过对特征点以及其特征描述子进行预处理，提高匹配效率。

此外，改进的距离评价函数和匹配点筛选等技术也能有效提高匹配精度和鲁棒性。

三、图像变换完成特征点的匹配后，就需要将相邻两张图片进行转换和拼接。

其中，变换包括两个方面：一是计算两张图片之间的变换关系；二是根据变换关系，将图片进行相应的变形。

图像变换的方法主要有仿射变换和透视变换。

仿射变换是在二维平面上对图形进行线性变换，主要包括平移、缩放、旋转、错切等操作。

透视变换是一种非线性变换，能够通过调整图像的四个角点，对图像进行变形。

四、图像拼接图像拼接分为横向拼接和纵向拼接两种。

横向拼接是指将两张图片在横向上进行拼接，纵向拼接则是在纵向上进行拼接。

完成图片变换后，拼接的核心是根据变换矩阵对关键点进行平移和旋转，以保证两张图片之间的连续性。

此外，还需进行重叠区域的平滑处理，如线性混合、多项式混合等，以避免拼接后出现明显的接合线。

基于特征点的图像匹配技术研究及应用文献综述1.图像匹配的概念图像匹配[1]是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。

其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。

图像匹配中事先获得的图像称为基准图像（base image），在匹配过程中在线或者实时获得的图像称为实时图像（real time image）。

基准图像可以比实时图像大也可以比实时图像小。

当基准图像比实时图像大时，匹配过程就是在基准图像中搜寻实时图像位置的过程；当实时图像比基准图像大时，匹配过程就是在实时图像中寻找作为目标的基准图像的过程。

在地图导航系统[2]中，基准图像比实时图像大。

如图1.1所示。

M2图1.1 地图导航系统中的图像匹配示意图基准图像和实时图像是对同一对象有差别的近似描述，设和分别为基准图像和实时图像的灰度分布，在不考虑关照变换等影响下，两者存在如下关系：鍏紡其中是高斯白噪声，可以通过一定的滤波方法滤除。

是上的点在X和Y方向上的位置偏差，称为定位噪声。

位置偏差往往是因为图像的几何形变造成的。

实际上利用计算机进行处理的并不是连续图像，图像的位置和灰度都被划分为离散的值，常用像素矩阵来表示一副图像。

在地图匹配导航中，通常基准图像比实时图像大。

直接进行相关匹配的两幅图像应该是大小一样的，为了确定实时图像在基准图像中的位置，就必须在基准图像中提出与实时图像大小相等的基准子图，并逐个与实时图像进行比较，以便找出与实时图像匹配的那个基本子图，从而确定实时图像在基准图像中的位置。

所以一般图像匹配的过程就是不断从基准图像中提取基准子图与实时图像进行相关运算的过程，这个过程可以是线性遍历式的，也可以是非线性随机的搜索过程。

在本课题中，我们选取左上角为原点作为坐标基准。

如图1.1所示，大方框为基准图像，小方框代表实时图像，虚线方框内事待选的实验匹配位置区域，也就是进行匹配的搜索区域。

基于角点检测的图像处理方法研究摘要：本文主要研究了图像的角点检测方法，在计算机视觉中，机器视觉和图像处理后总，特征提取都是一个重要的方向。

而角点又是图像的一个重要局部特征，它决定了图像中目标的形状，因此在图像匹配，目标描述与识别及运动估计，目标跟踪等领域，角点提取都具有重要的意义。

角点的信息含量很高，可以对图像处理提供足够的约束，减少运算量，极大地提高运算速度。

角点检测问题是图像处理领域的一个基础问题,是低层次图像处理的一个重要方法。

角点检测的目的是为了匹配，而匹配的效率取决于角点的数量。

Harris角点检测原理是对于一副图像，角点于自相关函数的曲率特性有关，自相关函数描述了局部局部图像灰度的变化程度。

在角点处，图像窗口的偏移将造成自相关函数（图像灰度的平均变化）的显著变化。

harris算子是一种简单的点特征提取算子，这种算子受信号处理中自相关函数的启发，给出与自相关函数相联系的矩阵M。

M阵的特征值是自相关函数的一个阶曲率，如果两个曲率值都高，那么久认为该点是特征点。

关键词：角点，角点检测，Harris角点ABSTRACTThis paper studies the image of the corner detection methods in computer vision, machine vision and image processing general, feature extraction is an important direction. The corner is an important local feature image, which determines the shape of the target image, so the image matching, object description and recognition and motion estimation, target tracking and other fields, corner detection are of great significance. Corner of the information content is high, image processing can provide sufficient constraints to reduce the amount of computation greatly improve the processing speed. Corner detection is a basic image processing problems, low-level image processing is an important way. Corner detection is designed to match the efficiency of the matching depends on the number of corners。

摘要数字图像配准技术是将不同时间、不同传感器、不同视角以及不同拍摄条件下获取的同一场景的两幅或多幅图像进行配准的处理过程，是数字图像处理中的一个基本问题。

配准的效果将直接影响到其后续图像处理工作的效果。

数字图像配准主要分为三类方法：基于变换域的方法、基于特征的方法、基于灰度的方法。

尽管图像配准技术的算法很多，但是没有哪一种算法能够适用于所有的图像。

我们往往需要结合具体的情况，在算法精度、速度、鲁棒性上找到平衡，开发出适合图像特点的算法。

本文重点研究了在基于变换域和基于特征的图像配准方法，并提出了一种基于特征的算法。

基于变换域的算法是图像配准中经常使用的算法，它思路简单、具有一定程度的抗噪特性。

文章详细讨论了利用傅里叶相位相关理论解决图像旋转、平移的问题，该方法引入了极坐标变换，将旋转角度因子变换为平移因子，再利用相位相关技术完成角度的估计。

但是该方法必须以图像中心为旋转中心，否则会出现估计错误，故限制了自身的应用。

本文介绍了基于特征的配准方法的概念、原理和常用算法。

在此基础上提出一种鲁棒的基于特征点的配准算法。

首先使用多尺度Harris角点检测算法，有效提高提取特征点的稳定度和精度；然后，利用欧式距离对特征点进行基于投票策略的初始配准；最后使用RANSAC(Random Sample Consensus)算法剔除伪匹配对，实现由粗到细(coarse-to-fine)的图像配准。

实验结果表明，该算法精度高，鲁棒性强，对处理大旋转和平移的图像配准问题显示出良好的效果。

图像配准技术的一个重要应用是对图像进行拼接。

文章介绍了图像插值、拼缝消除等常见的图像拼接技术，采用渐入渐出的算法对完成配准后的图像进行了合成，取得了良好的效果。

最后对本文的工作进行了总结，并对本文在图像配准领域仍需要深入研究的地方进行了展望。

关键词：图像配准，相位相关法，角点特征配准，图像拼接AbstractDigital image registration technology matches two or more images of certain scene from different viewpoints or sensors, at different times, or under diverse conditions. The quality of image registration would affect the following processing steps directly.There are three main methods in this field: transform-domain-based, feature-based and gray-based. Although they have their own advantages, none of them can deal with all the problems. In practice, a proper method is chosen at the balance of speed, accuracy and robustness. The dissertation describes transform-domain-based and feature-based methods deeply, and a novel image registration algorithm is proposed.Transform-domain-based method often exists in image registration, for it is easy to compute and has a certain degree of robust against noise. Firstly, we discuss the estimation of rotation and translation with Fourier phase correlation method. Secondly, polar coordinate method is used to estimate the rotation which often failed to be computed in Cartesian coordinate. But the above method requires that the image must rotate around the image centre, which seriously narrows the spectrum of its utilization.The dissertation describes the concepts, theories and classic algorithms of feature-based registration methods. Then, a robust registration method is proposed. Multi-scale Harris corner detector is applied in feature extraction which leads to stable and accurate corners; a voting-strategy-based algorithm is employed to reduce the unstable and mismatched points, in order to obtain a coarse feature set; RANSAC is used to estimate the transform matrix. The experimental results show that the method has high accuracy with lower computation load.The most important use of image registration technology is image stitching. In chapter 5, we discuss the stitching techniques, such as image interpolations and gap-reducing. At last, a conclusion is made and future work is illustrated.Keywords: Image Registration, Phase Correlation Method, Corner-feature-based registration, Image Stitching目录第一章绪论 (1)1.1图像配准技术的研究意义 (1)1.2国内外研究现状和发展趋势 (1)1.3本文的主要内容和各章节安排 (3)第二章图像配准方法综述 (4)2.1图像配准技术简介 (4)2.2图像配准的理论基础 (4)2.2.1图像配准的定义 (4)2.2.2图像变换模型 (5)2.3图像配准的方法介绍 (8)2.4本章小结 (11)第三章基于变换域的图像配准算法 (13)3.1基于相位相关的图像配准算法 (13)3.1.1相位相关理论 (13)3.1.2相位相关算法的介绍 (14)3.1.3实验结果及分析 (15)3.2基于相位相关图像配准算法的改进 (19)3.2.1极坐标相位相关理论 (19)3.2.2极坐标相位相关算法的介绍 (20)3.2.3实验结果及分析 (20)3.3本章小结 (23)第四章基于特征的图像配准方法 (25)4.1特征的提取 (25)4.1.1边缘特征 (25)4.1.2区域特征 (26)4.1.3点特征 (26)4.2常用的角点检测算子 (26)4.2.1角点的定义 (26)4.2.2Moravec角点检测算子 (27)4.2.3SUSAN角点检测算子 (28)4.2.4Harris角点检测算子 (30)4.2.5多尺度Harris角点检测算子 (32)4.3角点匹配算法 (35)4.3.1局部区域相关法(LACC-Local Area Correlation Coefficient) (35)4.3.2基于投票策略的角点匹配算法 (38)4.4变换矩阵的估计算法 (42)4.4.1最小二乘法(LSM) (42)4.4.2修剪的最小二乘法(Trimmed LSM) (42)4.4.3随机采样一致性算法(RANSAC) (43)4.4.4实验结果及分析 (45)4.5基于角点特征的图像配准算法 (48)4.5.1算法结构框图 (48)4.5.2实验结果及分析 (48)4.6本章小结 (56)第五章图像配准技术在图像拼接中的应用 (58)5.1图像插值技术 (58)5.2拼接缝隙的消除 (59)5.3实验结果与分析 (60)5.4本章小结 (62)第六章总结与展望 (63)6.1本文工作的总结 (63)6.2未来工作的展望 (64)致谢 (66)参考文献 (67)攻读硕士学位期间的研究成果 (70)图目录图2-1 计算器按键图像的刚体变换 (6)图2-2 计算器按键图像的仿射变换 (6)图2-3 计算器按键图像的投影变换 (7)图2-4 计算器按键图像的非线性变换 (8)图3-1 具有平移关系的源图像和目标图像频谱幅值比较 (13)图3-2 相位相关函数不同的峰值情况 (15)图3-3 参考图像 (15)图3-4 Lena:平移矢量的相位相关法估计结果 (16)图3-5 Lena参考图像和目标图像的配准示例 (16)图3-6 Aero Map:平移矢量的相位相关法估计结果 (17)图3-7 Aero Map参考图像和目标图像的配准示例 (17)图3-8 Parking Lot:平移矢量的相位相关法估计结果 (18)图3-9 Parking Lot参考图像和目标图像的配准示例 (18)图3-10 Lena参考图像和具有旋转参数的目标图像的配准 (19)图3-11 Cameraman参考图像和目标图像 (21)图3-12 预设旋转参数值和估计参数值的误差曲线图 (21)图3-13 旋转10度的目标图像和源图像的配准情况 (22)图3-14 基于频谱幅值极坐标变换的配准情况 (23)图4-1 圆形模板在图像中的不同位置 (28)图4-2 37个像素的模板 (29)图4-3 多尺度Harris算法分别在21，22，23尺度下角点检测情况 (34)图4-4 Harris算子和多尺度Harris算子角点检测情况对比 (34)图4-5 加入高斯噪声的实验结果对比 (34)图4-6 LACC算法角点匹配情况 (37)图4-7 LACC算法误匹配角点对 (37)图4-8 目标图像旋转角度为20度的所有误匹配角点对 (38)图4-9 源图像和目标图像的角点位置 (39)图4-10 Cameraman：基于投票策略算法的误匹配率曲线 (41)图4-11 Cameraman：目标图像的角点匹配总数与误匹配数目 (41)图4-12 LSM各个参数的估计误差 (46)图4-13 Trimmed LSM各个参数的估计误差 (47)图4-14 RANSAC各个参数的估计误差 (47)图4-15 基于角点特征的图像配准算法框图 (48)图4-16 航空图像配准结果 (49)图4-17 扫描文档的配准结果 (50)图4-18 书架图像的配准结果 (51)图4-19 草地图像的配准结果 (52)图4-20 书桌图像的配准结果 (52)图4-21 不同方差高斯噪声条件下的书架图像 (53)图4-22 本文算法在高斯噪声条件下的鲁棒性测试 (54)图4-23 不同密度椒盐噪声条件下的书架图像 (55)图4-24 本文算法在椒盐噪声条件下的鲁棒性测试 (56)图5-1 双线性插值 (59)图5-2 航空图像的拼接 (61)图5-3 扫描文档图像的拼接 (62)表目录表2-1 图像变换模型（√代表满足条件） (5)表4-1 角点个数统计 (34)表4-2 角点个数统计 (35)表4-3 LACC 算法误匹配率 (38)表4-4 不同条件下k的期望值 (44)第一章绪论第一章绪论1.1图像配准技术的研究意义数字图像配准技术(Digital Image Registration)是将不同时间、不同成像设备或不同条件下(光照、拍摄姿态等)获取的关于同一场景的若干幅图像进行匹配的处理过程。