基于凸壳的透视变换下的点模式匹配方法

特征匹配和透视变换是计算机视觉领域中的重要技术，它们广泛应用于图像处理、目标识别、机器人导航等领域。

在opencv中，特征匹配和透视变换是两个非常重要的功能模块，能够帮助开发者实现各种复杂的图像处理任务。

本文将为大家介绍opencv中特征匹配和透视变换的相关知识和应用实例。

一、特征匹配特征匹配是计算机视觉领域中的一项基础技术，它的主要作用是在两幅图像中寻找相似的特征点，并将它们进行匹配。

在opencv中，特征匹配主要依靠SIFT（尺度不变特征变换）算法和SURF（加速稳健特征）算法来实现。

这两种算法都能够在图像中提取出关键点和它们的描述子，然后根据描述子的相似度来进行匹配。

特征匹配在图像配准、目标跟踪等领域中有着广泛的应用。

比如在图像配准中，我们可以利用特征匹配来将两幅图像进行配准，使它们在同一坐标系下对齐；在目标跟踪中，我们可以通过特征匹配来实现目标的快速识别和跟踪。

特征匹配是计算机视觉中非常重要的一环，它为图像处理和分析提供了基础支持。

二、透视变换透视变换是一种常用的图像变换技术，它可以将原始图像投影到一个新的空间中，从而实现图像的旋转、放缩、重构等操作。

在opencv 中，透视变换主要依靠透视变换矩阵来实现，该矩阵能够将原始图像的坐标映射到新空间中的坐标。

透视变换在计算机视觉领域中有着广泛的应用。

比如在图像校正中，我们可以利用透视变换来对图像进行校正，使其在视觉上更加真实和准确；在三维重构中，我们可以通过透视变换来还原三维场景的视图，从而实现对场景的深度理解和分析。

透视变换是计算机视觉中一个非常重要的图像处理技术，它为图像的变换和重构提供了重要手段。

三、opencv中的特征匹配和透视变换实例下面我们以一个例子来演示opencv中特征匹配和透视变换的应用。

假设我们有两幅图像A和B，我们希望通过特征匹配和透视变换将图像B对齐到图像A上。

1、我们利用SIFT算法在图像A和B中提取特征点，并计算它们的描述子。

第39卷第7期自动化学报Vol.39,No.7 2013年7月ACTA AUTOMATICA SINICA July,2013一种透视不变的图像匹配算法蔡国榕1李绍滋2,3吴云东1苏松志2陈水利1摘要针对ASIFT(Affine scale invariant feature transform)算法存在的仿射采样策略、采样点离散设置等问题,提出了一种基于粒子群优化的图像透视不变特征PSIFT(Perspective scale invariant feature transform)算法.该算法通过虚拟相机的透视采样来模拟景物在多视角图像中的变形.在此基础上,将图像匹配问题转换为透视变换的优化问题,并以粒子群算法为工具,研究了虚拟相机旋转参数搜索空间、适应值函数的合理设定.针对三组不同类型低空遥感图像的实验结果表明,该算法比ASIFT、SIFT(Scale invariant feature transform)、Harris affine和MSER(Maximally stable extremal regions)等算法获得更多的特征匹配对,有效地提高了算法对视角变化的鲁棒性.关键词图像匹配,透视变换,SIFT特征,粒子群优化引用格式蔡国榕,李绍滋,吴云东,苏松志,陈水利.一种透视不变的图像匹配算法.自动化学报,2013,39(7):1053−1061 DOI10.3724/SP.J.1004.2013.01053A Perspective Invariant Image Matching AlgorithmCAI Guo-Rong1LI Shao-Zi2,3WU Yun-Dong1SU Song-Zhi2CHEN Shui-Li1Abstract To solve the problem of affine transform and discrete sampling in ASIFT(Affine scale invariant feature transform),the PSIFT(Perspective scale invariant feature transform),which is based on particle swarm optimization,is proposed in this paper.The proposed algorithm uses a virtual camera and homographic transform to simulate perspective distortion among multi-view images.Therefore,particle swarm optimization is employed to determine the appropriate homography,which is decomposed into three rotation matrices.Experimental results obtained on three categories of low-altitude remote sensing images show that the proposed method outperforms significantly the state-of-the-art ASIFT, SIFT,Harris-affine and MSER,especially when images suffer severe perspective distortion.Key words Image matching,perspective transform,SIFT(Scale invariant feature transform)feature,particle swarm optimization(PSO)Citation Cai Guo-Rong,Li Shao-Zi,Wu Yun-Dong,Su Song-Zhi,Chen Shui-Li.A perspective invariant image matching algorithm.Acta Automatica Sinica,2013,39(7):1053−1061收稿日期2012-09-20录用日期2013-03-19Manuscript received September20,2012;accepted March19, 2013国家自然科学基金(61103052,61202143),国家教育部博士点基金(20090121110032),福建省产学重大科技项目(2011H6020),福建省自然科学基金项目(2011J01013,2013J01245,2013J05100)深圳市科技计划项目(JC200903180630A,ZYB200907110169A),厦门市科技计划项目(3502Z20123022,3502Z20110010),福建省教育厅基金项目(JK2012025)资助Supported by National Natural Science Foundation of China (61103052,61202143),the National Research Foundation for the Doctoral Program of Higher Education of China (20090121110032),the Key Project for Industry-Academia-Research of Fujian Province(2011H6020),the Natural Sci-ence Foundation of Fujian Province(2011J01013,2013J01245, 2013J05100),Shenzhen Science and Technology Research Foun-dation(JC200903180630A,ZYB200907110169A),the Natu-ral Science Foundation of Xiamen City(3502Z20123022, 3502Z20110010),and the Projects of Education Department of Fujian Province(JK2012025)本文责任编委田捷Recommended by Associate Editor TIAN Jie1.集美大学理学院厦门3610212.厦门大学信息科学与技术学院厦门3610053.福建省仿脑智能系统重点实验室(厦门大学)厦门3610051.School of Science,Jimei University,Xiamen3610212. School of Information Science and Technology,Xiamen Univer-sity,Xiamen3610053.Fujian Key Laboratory of the Brain-图像匹配技术(Image matching)是计算机视觉与图像处理的关键环节,其任务是将不同时间、不同传感器或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程.图像匹配的方法可以归纳为基于灰度的方法和基于特征匹配的方法.其中,基于灰度的方法利用图像本身具有的灰度统计信息来衡量图像之间的相似程度.主要方法包括互相关、交互信息法等[1−4].这类算法的特点是能实现像素的稠密匹配,精度较高,但对于尺度变化、旋转以及不均匀光照等因素比较敏感.基于图像特征的匹配方法通常包含特征提取、特征匹配、变换模型估计与重采样等步骤.在特征提取方面,点特征是最常采用的图像特征,一般包括角点、极值点、交叉点等.常用的点特征提取方法包括Harris算子[5]、Forstner算子[6]、Susan算子[7]、FAST算子[8]以及ORB算子[9]等,主要是利用邻域梯度变化极值或像素比对来检测特征点.近年来,Lowe提出了一种具有尺度和旋转不变的like Intelligent Systems(Xiamen University),Xiamen3610051054自动化学报39卷SIFT(Scale invariant feature transform)[10−11]算子,该算法利用尺度空间的性质,把尺度域和空间域取得极值的点作为特征点,并通过梯度方向分配实现尺度与旋转不变性.SIFT算法提出后,在图像处理领域引起了极大的关注,并衍生出了一系列改进算法,如利用主成分分析的PCA-SIFT[12],与SIFT相比,该算法在旋转和缩放变换、噪声干扰和光照变化情况下的特征匹配效率有了较大提高.2006年5月,Bay等提出了SURF(Speeded up robust features)算法[13],匹配性能超过了SIFT且能获得更快的速度.曾峦等[14]通过分析SIFT特征点邻域信息,提出了一种在圆形区域内基于扇形区域分割的特征描述符,在保持性能的同时把SIFT特征降低到64维.尽管上述算法在特征描述与匹配方面取得了很好的效果,Mikolajczyk等[15]论述了基于SIFT的特征提取方法对多视角图像的匹配效果不佳.特别是景物之间存在剧烈变形时,此类算法基本失效.针对这个问题,Random ferns[16]以及Robust feature matching[17]算法通过对特征点为中心的块进行仿射变换,并利用像素比对的信息构造图像特征快速分类器,在加快匹配速度的同时提高了对视角变化的鲁棒性.Lobaton等则根据同源性原理提出了鲁棒拓扑特征[18],在局部变形图像匹配中得到了良好的匹配效果.Schmidt等在分析了自然界各种对称特点后,提出了局部对称特征[19].在建筑物受到光照、纹理变化的情况下能有效提高多视角图像匹配的鲁棒性.2009年,Morel等分析了SIFT在仿射变化条件下的效率,提出以图像变换集为基础的ASIFT(Affine scale invariant feature transform)算法[20],该算法通过离散仿射采样的方式来模拟目标在不同角度的变形.与SIFT、Harris-Affine等算法的实验对比表明,ASIFT不但对旋转、平移、尺度缩放保持不变性,而且对因视角变化导致的变形问题具有很强的鲁棒性.ASIFT算法提出后引起了广泛关注,其中,Podbreznik等结合图像分割方法把AISFT推广到大视角的匹配[21].Cao等利用全局背景信息,改进了ASIFT对重复模式的匹配效果[22].同样针对重复模式问题,Brese等利用图变换匹配(Graph transform matching)[23]的方法删除ASIFT错配,提高了特征提取与匹配的鲁棒性[24]. Liu等则把ASIFT算法推广到了行为识别中的特征点匹配,并取得了良好的识别效果[25].在我们前期的工作中,在ASIFT算法获取变换模型的基础上,提出了采用基于模糊控制的单纯性法搜索最优匹配附近的变换模型[26],得到了较好的匹配效果.虽然ASIFT算法利用仿射采样有利于增强多视角图像匹配的鲁棒性,但通过理论分析后,我们发现ASIFT存在两个问题:1)ASIFT通过仿射变换采样来模拟视角变化带来的景物变形.然而,根据相机透视成像原理,景物与像平面之间的对应关系是透视变换关系,可以通过共线模型描述;2)ASIFT 对变换参数(旋转角)的采样是离散的,也就是通过有限个采样点来“猜测”图像之间的变换模型.尽管ASIFT通过实验对比给出了采样点设置准则,但旋转角参数是连续的,因此,由ASIFT算法得到的解一般不是最优变换模型.针对第一个问题,本文提出了基于透视变换采样方法的特征提取算法,用透视变换采样模拟景物在不同拍摄角度的变形.对于第二问题,本文在透视变换采样方法的基础上,以粒子群算法[27]为优化工具,对采样参数进行优化,目的是在连续的旋转参数空间中搜索图像之间的最优变换模型.通过三组不同图像类型的实验结果表明,采用粒子群优化的算法比ASFIT、SIFT以及Harris affine[28]和MSER (Marimally stable extremal regions)[29]等算法得到更多的正确匹配点,搜索到更优的变换模型,也更加合理地反映匹配图像之间的对应关系.1图像透视变换采样模型变换采样的目的是模拟多视角拍摄图像中的景物变形.目前的方法主要是将待匹配图像分别放置于世界坐标中心,通过虚拟相机模拟景物在各个方位的观测图像.下面将简要描述ASIFT算法与透视变换采样的基本原理.1.1ASIFT算法原理标准ASIFT算法通过图像仿射采样的方式来模拟目标在不同角度的变形.与SIFT、Harris-Affine等算法相比,ASIFT对视角变化导致的变形问题具有很强的鲁棒性.对于任意的正定的仿射变换A,ASIFT通过奇异值分解(Singular value decomposition,SVD)验证了A可以分解为A=λRθt001=λcosθ−sinθsinθcosθt001×cosκ−sinκsinκcosκ(1)其中,λ>0表示尺度变化,κ∈[0,π),φ=arccos1t, t≥1,Rθ和Rκ是相机方位对应的旋转矩阵.在采样过程中,待匹配图像被放置在世界坐标中心,采样图像则根据相机方位与角度推导得出.由7期蔡国榕等:一种透视不变的图像匹配算法1055图1t 和κ的采样点设置Fig.1Samples of t andκ图2视角变化导致的透视变形Fig.2Perspective distortion results from viewpoint change于SIFT 算子对旋转和尺度具有不变性,ASIFT 仅对式(1)中的t 和κ采样.因此,采样图像的仿射变换可以通过式(2)得到:I t,κ= t 001 R κ(I )(2)图1描述了ASIFT 推荐的t 和κ采样点设置,其中,黑点表示虚拟相机放置的位置.Morel 通过实验分析,推荐t ∈{1,√2,2,2√2,4,4√2}和κ={0,b/t,···,kb/t }可以保证算法速度与匹配精度的均衡,其中,b =2π/5,κ=πt/b .在采样图像生成后,所有图像均进行SIFT 特征提取与匹配.为了加快算法运算速度,ASIFT 采用了双分辨率策略.即先对图像进行3×3降采样,降低图像分辨率,以加快SIFT 特征提取与匹配,并保存匹配最多的5个变换模型.最后,对原始的高分辨率图像进行相应模型的重采样,以提高SIFT 特征对仿射变换的鲁棒性.1.2透视采样模型虽然基于仿射采样的ASIFT 、Random ferns等算法在多视角匹配中取得了很好的效果.但根据相机成像原理,物点与像点之间是透视对应关系.如图2,相框在不同拍摄视角存在变形现象,其中,图2(a)是正视图像,图2(b)和图2(c)是侧视图.从图2(b)可以看出,仿射变换(平行四边形框)无法模拟图像的变形;反之,如图2(c)所示,透视变换可以较好地拟合多视角拍摄的透视变形.为此,本文利用透视采样代替仿射采样,目的是提高算法对多视角拍摄图像的匹配鲁棒性.下面将基于透视采样的SIFT 匹配方法简称为PSIFT (Perspective scale invariant feature transform)算法.如图3,在图像采样过程中,参考图像被放置在世界坐标中心(XOY 平面中心).假设S =(X S ,Y S ,Z S )为模拟相机方位,根据透视变换成像原理,参考图像上的点(x,y,z )T 及其在采样图像平面上的对应点(x ,y )T 之间的对应关系可以通过共线方程[30]表示:x =−fa 1(x −X S )+b 1(y −Y S )+c 1(z −Z S )a 3(x −X S )+b 3(y −Y S )+c 3(z −Z S )y =−fa 2(x −X S )+b 2(y −Y S )+c 2(z −Z S )a 3(x −X S )+b 3(y −Y S )+c 3(z −Z S )(3)1056自动化学报39卷其中,f 表示相机焦距,R = a 1a 2a 3b 1b 2b 3c 1c 2c 3=R θR φR κ是由三个旋转角构成的旋转矩阵,(X S ,Y S ,Z S )=(r sin φsin κ,−r sin φcos κ,r cos κ)为相机的世界坐标,r 表示投影中心和原点之间的距离.由于参考图像放置于XOY 平面,可以得到z =0.另一方面,由于在采样过程中主光轴始终对准参考图像中心点(世界坐标原点,如图3).因此,只需对κ和φ进行采样,旋转矩阵R 可改写为R = 1000cos(−φ)−sin(−φ)0sin(−φ)cos(−φ) ×cos(−κ)−sin(−κ)0sin(−κ)cos(−κ)0001 =cos κsin κ0−cos φsin κcos φcos κsin φsin φsin κ−sin φcos κcos φ(4)图3透视采样的摄像机模型Fig.3Camera model of perspective sampling把式(4)代入式(3)中,可得图像之间的单应变换矩阵为H =−f cos κ−f sin κ0f cos φsin κ−f cos φcos κ0sin φsin κ−sin φcos κ−r(5)图4(a)和图4(b)是集美大学国际学术交流中心的两幅低空遥感图像(白色框为建筑物外轮廓).可以看出不同视角的建筑物图像存在透视变形.其中,图4(c)是参考图像图4(a)的采样图,采样参数φ=arccos 1/4,κ=5π/4.可以看出在采样图像中,建筑物的外观与输入图像(图4(b))基本一致.图4透视采样示例(φ=arccos 14,κ=5π4)Fig.4An example of perspective sampling (φ=arccos 14,κ=5π4)2基于粒子群优化的PSIFT 算法ASIFT 算法的采样点是离散设置的,只能产生有限、固定角度的采样图像,因此,在连续的参数空间中并不能保证获取的图像有最大的匹配.如图5(a)和图5(b),两幅图像之间存在变形.通过对参考图像的φ和t 仿射采样,并计算SIFT 特征匹配数,与旋转角对应的匹配点函数如图5(c)所示.可以看出匹配特征是个多峰问题,通过有限离散采样点得到的匹配数并不能保证具有全局最优.为此,本文在透视采样的基础上引入了粒子群优化算法(Particle swarm optimization,PSO)[30],目的是利用粒子群优化算法的快速搜索能力优化图像之间对应的φ和κ角.本节将简要叙述PSO 算法原理、PSIFT 参数空间与适应度函数设置.2.1粒子群算法及相关改进PSO 算法是Kennedy 等于1995年提出的一种群体智能搜索算法.该算法在问题空间中初始化n 个随机粒子,然后通过粒子之间的信息传输、迭代找到最优解.在每一次迭代中,粒子通过跟踪两个极值来更新自己.即粒子本身所找到的最优解p best 和种群目前找到的最优解g best .得到这两个最优值后,粒子根据如下的公式来更新速度和位置:v id (t +1)=wv id (t )+c 1rand()(p id −x id (t ))+c 2Rand()(p gd −x id (t ))(6)x id (t +1)=x id (t )+v id (t +1)(7)其中,x i (t )=(x i 1(t ),x i 2(t ),···,x iN (t ))表示第i 个粒子在t 时刻的位置,x id (t )(i =1,2,···,n )表7期蔡国榕等:一种透视不变的图像匹配算法1057图5采样参数对SIFT匹配的影响Fig.5Sampling parameters and its effect to SIFT-based matching示粒子当前的位置的第d维分量,v i(t)= (v i1(t),v i2(t),···,v iN(t))表示粒子在t时刻的速度,p i=(p i1,p i2,···,p iN)表示第i个粒子曾到达过的最好的位置,p g=(p g1,p g2,···,p gN)表示种群的历史最优点.w为惯性权重(Inertia weight),c1和c2为加速因子(Acceleration coefficient),rand()和Rand()为两个在[0,1]范围内变化的随机函数. PSO使用式(6)和(7)反复改变粒子的速度和位置,直到满足终止条件为止.粒子群优化提出以后,围绕着早熟问题有许多改进的算法,其中包含模糊自适应策略、自组织多结构等[31−32].在我们的前期工作中,针对种群多样性问题,基于群熵的概念提出了一种具有自适应迁移能力的多种群PSO算法[33],有效提高了粒子群的全局搜索能力.2.2PSIFT的粒子编码与适应度函数在PSIFT的优化过程中,每个粒子表示待匹配图像的采样角度φ和κ.因此,粒子编码可表示为:θ=(φi1,κi1,φi2,κi2).其中,φij∈[0,π/2],κij∈[0,2π](i=1,2,···,N;j=1,2)表示第i个粒子对于第j幅待匹配图像的变换参数.由于优化的目的是搜索最优匹配的采样图像对,因此,以采样图像之间的SIFT正确匹配值作为适应度函数.最后的输出结果融合了种群在迭代过程中提取的正确匹配特征.2.3算法流程算法1.基于粒子群优化的PSIFT算法输入.待匹配图像I1,I2输出.I1,I2的特征匹配数与匹配特征坐标.步骤1.设置初始参数(包括种群规模n、加速因子c1,c2、惯性权值w、迭代次数t max等);步骤2.根据每个粒子对应的旋转角对图像进行透视采样.计算采样图像的SIFT特征匹配数作为粒子的适应值,并记录匹配特征坐标.步骤3.根据每个粒子的适应值更新历史最优p best和全局最优g best;步骤4.对每个粒子,根据式(6)和(7)更新粒子的速度和位置;步骤5.若迭代次数达到设定值,则输出优化结果,否则转步骤2.3实验与分析实验的目的是测试PSO+PSIFT、PSO+ ASIFT、ASIFT、SIFT、Harris affine以及MSER 等6种算法对于尺度、视角变化的稳定性.由于低空遥感图像一般具有景深差异大、分辨率高、视角变化剧烈等特点,因此,本文选取了3组低空遥感图像作为评价各种匹配算法效率的数据集.图像由集美大学影像信息工程技术中心的无人低空遥感系统获取.3组图像分别具有尺度变化、弱视角变化、大视角变化等特点.实验的评价指标为图像特征点的正确匹配数目.3.1实验设置在PSIFT参数中,设置r=3d,f=2d,其中,d表示图像的对角线长度.在粒子群方面,由于粒子编码只有四维,搜索空间较小.在实验中,发现种群一般在较少迭代次数便可收敛.因此,设置PSO算法种群规模M=15,最大迭代次数为t max=100代.惯性权值w随迭代次数线性递减,其中,w Initial=1,w Final=0.2,c1=c2= 2.0.参数搜索范围为φ∈[0,π/2],κ∈[0,2π]. PSO+PSIFT、PSO+ASIFT、ASIFT、SIFT算法均采样用RANSAC算法去除错配.1058自动化学报39卷3.2结果与分析第一组实验主要评价各种算法对于尺度变化的鲁棒性.以图6为例,图像Corridor 拍摄于2011年7月,建筑物为集美大学连廊.可以看出图6(a)和图6(b)的拍摄高度不同,导致景物之间存在尺度变化.图6(c)∼图6(e)分别是PSO +PSIFT 、PSO +ASIFT 、ASIFT 算法的匹配结果,SIFT 、Harris affine 以及MSER 算法的匹配结果如表1所示.可以看出Harris affine 和MSER 对尺度变化十分敏感,而SIFT 算法找到了50个正确特征匹配对,说明SIFT 算子的高斯金字塔能有效克服尺度变化对特征提取与描述的影响.另一方面,基于SIFT 特征的ASIFT 、PSO +PSIFT 、PSO +ASIFT 由于生成了大量的采样图像,虽然增加了时间代价,但也能得到比SIFT 算法更多的匹配特征.图6尺度变化匹配鲁棒性对比(Corridor)Fig.6Robustness to scale change (Corridor)第二组实验主要分析弱视角变化对算法的影响.以图7为例,该图像(HQU)拍摄于华侨大学厦门校区,由于无人机拍摄视角变化,获取的图像之间存在旋转、尺度变化、弱透视变形等现象.从表1以及图7(c)∼图7(e)可以看出,SIFT 特征对景物旋转具有较好的匹配效果.另一方面,由于多视角景物的透视变形,PSIFT 算法通过透视采样得到的特征对视角变化更加鲁棒,能比ASIFT 获得更多的特征匹配对.此外,由于两幅图像的拍摄高度差别不大,景物的尺度变化并不明显,因此,Harris-affine 和MSER 也找到了足够多的特征匹配对.在第三组图像中,由于无人机飞行高度很低,拍摄视角变化剧烈,建筑物的透视变形现象明显.以图8为例,该组图像(Campus 1)拍摄于2011年9月,建筑物为集美大学新校区教学裙楼.因视角变化大,两幅图像中相应的建筑物之间存在剧烈的变形.另一方面,嘉庚风格的建筑物屋顶结构类似,存在大量重复模式,因此,提取的特征点容易产生混淆.图8(c)∼图8(e)分别是PSO +PSIFT 、PSO +ASIFT 以及ASIFT 算法的匹配结果.从表1中可以看出,ASIFT 、SIFT 、Harris affine 以及MSER 算法在重复模式与大视角变化的背景下基本失效;采用PSO 优化的ASIFT 算法提取到了5对正确匹配特征.相比上述方法,PSO +PSIFT 策略找到了83对正确的匹配特征,这也说明重复模式在不同的视角下会展示出不同的特点,正如前面分析的,透视采样策略能模拟重复模式的视角变化,因此,得到的特征在大视角变化以及重复模式下的匹配鲁棒性更强.图7尺弱视角变化匹配鲁棒性对比(HQU)Fig.7Robustness to slight viewpoint change(HQU)图8大视角变化与重复模式匹配鲁棒性对比(Campus 2)Fig.8Robustness to severe viewpoint change andrepeat pattern (Campus 2)7期蔡国榕等:一种透视不变的图像匹配算法1059图9低空遥感图像集Fig.9Low-altitude remote sensing dataset表1六种图像匹配方法在低空遥感数据集上的匹配结果Table1Number of correct matches of six methods conducted on low-altitude remote sensing dataset图像类别图像PSO+PSIFT PSO+ASIFT ASIFT SIFT Harris affine MSER Park149814551206221148尺度变化Corridor213146665035 Railway1981791683503Lecture hall582486431661745弱视角变化HQU835487265743363 Apartments459197197933528Library377152139201742Lake723528600大视角变化Campus18350000 Campus2926554000Campus32500000图9是三组实验数据中其余的低空遥感图像,相关的匹配结果如表1所示.可以看出基于SIFT的算法对景物的尺度、旋转变化能保持良好的匹配效果,特别是对尺度变换图像的匹配效果优于Harris affine和MSER.另一方面,分析PSO+PSIFT、PSO+ASIFT以及ASIFT的匹配结果后发现,变换采样策略则能模拟景物在各个观测角度的变形,因此,具有较好的视角不变形.特1060自动化学报39卷别是基于PSO 优化的图像匹配,由于参数的变化范围更大,可能得到的采样图像也更多,因此,能提高大视角图像的匹配鲁棒性.而PSIFT 算法通过透视采样模拟景物变形,相比其他算法,在大视角变化以及重复模式环境下的匹配效果都有显著提高.3.3算法复杂度分析如实验设置中阐述,在采样图像生成过程中,每个粒子编码只有四维,搜索空间较小.因此,设置PSO 算法种群规模M =15,最大迭代次数为t max =100代.由于每个粒子对应两幅采样图像,因此,PSO 迭代过程中需要进行1500次的图像特征提取、匹配与RANSAC 去错配.在ASIFT 算法方面,Morel 通过实验分析,推荐t ∈{1,√2,2,2√2,4,4√2}和κ={0,b/t,···,kb/t }作为离散采样点集.因此,每幅参考图像大约生成5+5√2+10+10√2+20+20√2≈83幅采样图像.对于输入的两幅参考图像,需要进行83+83=166幅图像的特征提取、83×83=6889次图像之间的特征匹配与RANSAC 去错配过程.实验表明,图像特征提取与描述的时间代价和图像本身的特点有关,而图像匹配与RANSAC 去错配则与特征数目相关.针对本文低空遥感数据运行时间的统计结果表明,两幅图像特征提取、特征匹配、RANSAC 的平均时间代价比大约为55:12:1.因此,PSO +PSIFT 与ASIFT 总时间复杂度比大约为1500(55+12+1)163×55+6889(12+1)≈1.03.4结论基于仿射采样的ASIFT 特征提取算法已被验证具有较好的视角不变性.但通过计算机视觉的几何理论分析,我们发现ASIFT 算法存在的仿射变换原理、采样点离散设置等问题.因此,本文提出了一种基于粒子群优化的透视不变图像匹配PSIFT 算法,通过透视变换采样模拟景物在不同拍摄角度的变形.并以粒子群算法为优化工具,对旋转角进行优化,目的是在连续的参数空间中搜索图像之间的最优变换模型.通过3组不同图像类型的实验结果表明,采用粒子群优化的PSIFT 算法比AS-FIT 、SIFT 、Harris affine 以及MSER 等算法得到更多的正确匹配点,提高了算法对视角变化与重复模式的鲁棒性.References1Bardera A,Feixas M,Boada I,Sbert M.Image registra-tion by rmation Sciences ,2010,180(7):1121−11332Rajwade A,Banerjee A,Rangarajan A.Probability density estimation using isocontours and isosurfaces:applicationsto information-theoretic image registration.IEEE Transac-tions on Pattern Analysis and Machine Intelligence ,2009,31(3):475−4913Sun Yan-Yue,He Xiao-Hai,Song Hai-Ying,Chen Wei-Long.A block-matching image registration algorithm for video super-resolution reconstruction.Acta Automatica Sinica ,2011,37(1):37−43(孙琰玥,何小海,宋海英,陈为龙.一种用于视频超分辨率重建的块匹配图像配准方法.自动化学报,2011,37(1):37−43)4Han Yu,Wang Wei-Wei,Feng Xiang-Chu.Iteratively reweighted method based nonrigid image registration.Acta Automatica Sinica ,2011,37(9):1059−1066(韩雨,王卫卫,冯象初.基于迭代重加权的非刚性图像配准.自动化学报,2011,37(9):1059−1066)5Harris C,Stephens M.A combined corner and edge detec-tor.In:Proceedings of the 4th Alvey Vision Conference.Manchester,UK:University of Sheffield Printing Unit,1988.147−1516F¨o rstner W.A feature based correspondence algorithm for image matching.International Archives of the Photogram-metry and Remote Sensing ,1986,26(3):150−1667Smith S M,Brady J M.SUSAN —a new approach to low level image processing.International Journal of Computer Vision ,1997,23(1):45−788Rosten E,Porter R,Drummond T.Faster and better:a ma-chine learning approach to corner detection.IEEE Transac-tions on Pattern Analysis and Machine Intelligence ,2010,32(1):105−1199Rublee E,Rabaud V,Konolige K,Bradski G.ORB:an ef-ficient alternative to SIFT or SURF.In:Proceedings of the International Conference on Computer Vision.Barcelona,US:IEEE,2011.2564−257110Lowe D.Object recognition from local scale-invariant fea-tures.In:Proceedings of the 7th IEEE International Conference on Computer vision.Corfu,US:IEEE,1999.1150−115711Lowe D G.Distinctive image features from scale-invariantkeypoints.International Journal of Computer Vision ,2004,60(2):91−11012Ke Y,Sukthankar R.PCA-SIFT:a more distinctive repre-sentation for local image descriptors.In:Proceedings of the 2004IEEE Computer Society Conference on Computer Vi-sion and Pattern Recognition.Washington D.C.,US:IEEE,2004.506−51313Bay H,Tuytelaars T,van Gool L.Surf:speeded up robustfeatures.In:Proceedings of the European Conference on Computer Vision.Graz,Germany:Springer,2006.404−41714Zeng Luan,Gu Da-Long.A SIFT feature descriptor basedon sector area partitioning.Acta Automatica Sinica ,2012,38(9):1513−1519(曾峦,顾大龙.一种基于扇形区域分割的SIFT 特征描述符.自动化学报,2012,38(9):1513−1519)15Mikolajczyk K,Schmid C.Scale and affine invariant interestpoint detectors.International Journal of Computer Vision ,2004,60(1):63−8616Ozuysal M,Calonder M,Lepetit V,Fua P.Fast key-point recognition using random ferns.IEEE Transactions on Pattern Analysis and Machine Intelligence ,2010,32(3):448−46117Taylor S,Rosten E,Drummond T.Robust feature matchingin 2.3µs.In:Proceedings of the 2009International Confer-ence on Computer Vision and Pattern Recognition.Miami,US:IEEE,2009.15−227期蔡国榕等:一种透视不变的图像匹配算法106118Lobaton E,Vasudevan R,Alterovitz R,Bajcsy R.Robust topological features for deformation invariant image match-ing.In:Proceedings of the2011International Conference on Computer Vision.Washington D.C.,USA:IEEE,2011.2516−252319Schmidt U,Roth S.Learning rotation-aware features:from invariant priors to equivariant descriptors.In:Proceedings of the2012International Conference on Computer Vision and Pattern Recognition.Providence,USA:IEEE,2012.2050−205720Morel J M,Yu G S.ASIFT:a new framework for fully affine invariant image comparison.SIAM Journal on Imaging Sci-ences,2009,2(2):438−46921Podbreznik P,Potoˇc nik B.Estimating correspondence be-tween arbitrarily selected points in two widely-separated views.Advanced Engineering Informatics,2010,24(3): 367−37622Cao B,Ma C W,Liu A T.Affine-invariant SIFT descriptor with global context.In:Proceedings of the3rd International Congress on Image and Signal Processing.Yantai,China: IEEE,2010.68−7123Aguilara W,Frauela Y,Escolanob F,Martinez-Perez M E, Espinosa-Romero A,Lozano M A.A robust graph trans-formation matching for non-rigid registration.Image and Vision Computing,2009,27(7):897−91024Le Brese C,Zou J J,Uy B.An improved ASIFT algorithm for matching repeated patterns.In:Proceedings of the17th IEEE International Conference on Image Processing.Hong Kong,China:IEEE,2010.2949−295225Liu J,Yang J.Action recognition using spatiotemporal fea-tures and hybrid generative/discriminative models.Journal of Electronic Imaging,2012,21(2):02301026Cai Guo-Rong,Li Shao-Zi,Chen Shui-Li,Wu Yun-Dong,Su Song-Zhi.Affine SIFT feature optimization algorithm based on fuzzy control.Fuzzy Systems and Mathematics,2012, 26(5):147−153(蔡国榕,李绍滋,陈水利,吴云东,苏松志.基于模糊控制的ASIFT 图像特征优化算法.模糊系统与数学,2012,26(5):147−153)27Kennedy J,Eberhart R.Particle swarm optimization.In: Proceedings of the1995IEEE International Conference on Neural Networks.Perth,Australia:IEEE,1995.1942−194828Mikolajczyk K,Schmid C.An affine invariant interest point detector.In:Proceedings of the7th European Conference on Computer Vision.London,UK:Springer,2002.128−14229Matas J,Chum O,Urban M,Pajdla T.Robust wide-baseline stereo from maximally stable extremal regions.Image and Vision Computing,2004,22(10):761−76730Hashimoto T,Takagi M,Kajiware E.Remote Sensing Note.Tokyo:Japan Association on Remote Sensing,199931Shi Y H,Eberhart R C.Fuzzy adaptive particle swarm optimization.In:Proceedings of the2001IEEE Congress on Evolutionary Computation.San Francisco,USA:IEEE, 2001.101−10632Ratnawecra A,Halgamuge S,Watson H C.Self-organizing hierarchical particle swarm optimizer with time-varying ac-celeration coefficients.IEEE Transactions on Evolutionary Computation,2004,8(3):240−25533Cai Guo-Rong,Chen Shui-Li,Li Shao-Zi,Wu Yun-Dong.Cooperative particle swarm optimization algorithm based on adaptive migratory operator.Journal of Xiamen Univer-sity(Natural Science),2010,49(6):772−778(蔡国榕,陈水利,李绍滋,吴云东.一种具有自适应迁移能力的多粒子群协同优化算法.厦门大学学报(自然科学版),2010,49(6): 772−778)蔡国榕博士,集美大学理学院讲师.主要研究方向为图像处理,计算智能.E-mail:************************(CAI Guo-Rong Ph.D.,lecturer atthe School of Science,Jimei Univer-sity.His research interest covers im-age processing and computational intel-ligence.)李绍滋厦门大学信息科学与技术学院教授.主要研究方向为计算机视觉,计算智能.本文通信作者.E-mail:*************.cn(LI Shao-Zi Professor at the Collegeof Information Science and Technology,Xiamen University.His research inter-est covers computer vision,image pro-cessing,and computational intelligence.Corresponding au-thor of this paper.)吴云东集美大学理学院教授.主要研究方向为遥感信息处理,计算智能.E-mail:*******************.cn(WU Yun-Dong Professor at theSchool of Science,Jimei University.Hisresearch interest covers remote sensinginformation processing and computa-tional intelligence.)苏松志博士,厦门大学信息科学与技术学院助理教授.主要研究方向为计算机视觉,模式识别.E-mail:***********.cn(SU Song-Zhi Ph.D.,assistant pro-fessor at the College of Information Sci-ence and Technology,Xiamen Univer-sity.His research interest covers com-puter vision and pattern recognition.)陈水利集美大学理学院教授.主要研究方向为智能计算,模糊信息处理.E-mail:************.cn(CHEN Shui-Li Professor at theSchool of Science,Jimei University.Hisresearch interest covers computationalintelligence and fuzzy information pro-cessing.)。

基于Laplace谱的点模式匹配方法研究鲍新雪;王晓红【摘要】点模式匹配涉及诸多研究应用领域，是一个重要而基础的问题，对点模式匹配问题研究的技术方法也多种多样。

利用特征点的空间信息，研究基于Laplace谱的点模式匹配方法，首先对特征点构建的图进行Laplace矩阵构建，通过对L aplace矩阵进行的奇异值分解获取匹配矩阵，实现图像匹配。

实验研究表明，该匹配算法能够减轻计算负担，缓解传统的基于图像局部灰度信息匹配速度慢、效果不理想的问题，具有很好的匹配效果。

%Point pattern matching is a basic and important problem involving many applied research fields . The methods which focus on the problem of point pattern matching remain various .This paper uses the spatial information of feature points , and studies the point pattern match method based on Laplacespectrum .First ,it constructs the Laplace matrix of the figure constructedby feature points ,then ,does the singular value decomposition of Laplace matrix to obtain the matching matrix ,and achieves the imagematching .The experiment results show , the matching method not only can reduce the computational burden ,but alleviate the problems of slow speed and the ineffective image matching based on local gray level information ,w hich has good matching effect .【期刊名称】《黑龙江工程学院学报（自然科学版）》【年(卷),期】2015(000)006【总页数】5页(P5-9)【关键词】点模式匹配;谱图理论;L aplace矩阵;奇异值分解【作者】鲍新雪;王晓红【作者单位】贵州大学矿业学院，贵州贵阳 550025;贵州大学林学院，贵州贵阳 550025【正文语种】中文【中图分类】P227图像匹配就是指通过一定的匹配算法在两幅或多幅图像之间识别同名点。

两点透视校正算法全文共四篇示例，供读者参考第一篇示例：两点透视校正算法是一种用于纠正图像或者视频中透视畸变的算法，它可以通过识别和校正图像中的平行线来消除透视畸变，使图像看起来更为真实和准确。

这种算法在计算机视觉和图像处理领域被广泛应用，特别是在建筑设计、摄影修正、虚拟现实等领域。

在使用两点透视校正算法进行图像处理时，首先需要找到图像中的两个关键点，这两个关键点通常是图像中的两条平行线在图像中的对应位置。

将这两个关键点通过算法计算得出的变换矩阵应用到图像中，就可以消除透视畸变，使图像中的平行线变得垂直。

通过这种方式，我们可以改善图像的视觉效果，使之更符合现实感。

两点透视校正算法的原理是基于透视变换的数学模型来实现的，它利用了图像中的投影技术来计算出变换矩阵，从而实现校正图像中的透视畸变。

透视变换是一种能够模拟人眼所看到的视角的数学技术，可以将图像中的三维场景转换为二维平面上的投影图像。

通过计算两点透视校正算法所需的变换矩阵，我们可以实现对图像的透视畸变进行校正。

在实际应用中，两点透视校正算法可以帮助摄影师在拍摄建筑物或者景观照片时，消除由透视造成的垂直线倾斜现象，使照片更加美观和真实。

在建筑设计中，这种算法也可以用来校正建筑图纸中的透视畸变，使建筑师更加准确地观察和评估建筑设计方案。

在虚拟现实技术中，两点透视校正算法也可以帮助实现对虚拟场景中透视效果的模拟，使用户体验更加真实和逼真。

两点透视校正算法是一种强大的图像处理技术，它可以帮助我们消除图像中的透视畸变，使图像更加真实和准确。

随着计算机视觉和图像处理技术的不断发展，两点透视校正算法将会在更多领域得到应用，为我们提供更加优质和美观的图像和视频体验。

【2000字】第二篇示例：两点透视校正算法是一种通过数学方法将透视变形的图像进行校正的技术。

透视变形是由于摄影或绘画时观察点和图像之间的相对位置关系导致的一种失真现象。

在日常生活中，我们经常会遇到这种情况，比如拍摄建筑物或景观时，由于相机的位置角度不同，图像会出现扭曲或变形。

基于三维凸包的指纹匹配识别方案研究作者：马远征来源：《科技创新与应用》2016年第07期摘要：文章在基本指纹加密的基础上，加上三维凸包思想，在理论上将指纹加密三维进行立体化匹配。

在加锁时进行指纹三维凸包的构造，解锁时进行指纹三维凸包的匹配。

简单介绍了三维指纹的提取办法，及三维凸包的构造，通过引进三维凸包匹配思想，为指纹加密识别提供新的思路。

关键词：网络安全；三维凸包；指纹加密1 指纹加密发展人类和指纹识别的渊源要从公元前7000年开始，当时的古叙利亚人和古中国人就开始把指纹印在陶器上，方便辨识和认取。

直到十九世纪末，很多国家开始将指纹加密用于侦破案件，这也是现代指纹加密技术的雏形。

再后来，伴随着计算机的出现，指纹加密技术又开始通过计算机进行运用，效率和准确度都有了前所未有的提升。

指纹加密技术虽然已经有很长的历史，拥有了完善的技术，但还是存在着改善的空间和可能1.1 目前指纹加密技术存在的问题目前的2D指纹加密系统，大约有5%的人无法有效地录入指纹，或者注册困难，就是我们通常所说的“指纹丢失族”，这部分人因为个人原因没法进行指纹加密识别，还有很多时候，因为指压力度不均，直接导致了识别处的误差，因为手指表面变形或者污痕等人为因素，而出现不必要的误差，这显然是亟需解决的问题。

因此3D指纹技术应运而生，传统的2D指纹技术主要是利用光的反射成像原理进行加密和识别，受到很多外界因素的干扰和局限，其中包括潮湿度，干净程度，指纹过浅等问题，3D指纹技术很好地规避了这些问题，目前的3D技术主要采用的是晶体传感的原理，通过采集3D指纹的指定特征点位进行匹配判断。

但是经过常规3D的划分、强化、二值化、精密化、类型抽象后最终提取指纹的关键特征点，然后将特征点与样本进行特征匹配，这个过程比较复杂和繁琐，目前无法保证很高的准确率，因此文章提出了将三维凸包匹配结合进3D指纹的匹配，可以对今后的改进方向有一定的提示帮助作用。

1.2 指纹特征提取的方法图1是指纹的特征。

结合聚类参数的圆投影模板匹配改进算法田明锐;胡永彪;金守峰【摘要】To overcome the information loss in radical-projection-transform template matching algorithm, the proposed method introduces the clustering model parameters robust to linear illumination. The method eliminates the influence of illumination by linear contrast stretch, and takes the Gaussian mixture model clustering result as the template image feature. The matching errors are obtained by once iterative, and the iterative calculation can be implemented by using a simple look-up table. In searching stage, down sampling matching strategy is used to reduce computation cost and the average error of this stage is set to an adaptive threshold for precise matching. Then, the pixel-wise matching is operated in the neighbor-hood of the down sampling point whose error is less than the threshold, and finally the point of minimum error is set to be the target position. The test shows that the proposed method has better positioning accuracy and reliability than the nor-malized correlation based radical-projection-transform template matching algorithm.%针对圆投影模板匹配方法特征提取过程中损失大量图像信息的缺点，提出了结合聚类模型参数的线性光照鲁棒圆投影模板匹配方法。

基于p^2-不变量的透视变换下的点模式匹配方法
张立华;徐文立
【期刊名称】《中国图象图形学报：A辑》
【年(卷),期】2000()11
【摘要】点模式匹配是计算机视觉和模式识别领域中的一个重要问题 .通过研究 ,在假定待匹配的两个点模式中已知有三对点整体对应的前提下 ,基于射影坐标以及对投影变换和排序变换同时保持不变的 p2 -不变量等理论 ,通过定义一种广义距离 ,给出了一种求解透视变换下 ,点数不等的两个平面点模式匹配问题的新算法 .理论分析和仿真实验表明 ,该算法是快速。

【总页数】5页(P948-952)
【关键词】点模式匹配;透视变换;p^2--不变量;计算机视觉
【作者】张立华;徐文立
【作者单位】清华大学自动化系
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.基于时空序列模式匹配的兴趣点推荐方法 [J], 夏英;孙冲武
2.基于Laplace谱的点模式匹配方法研究 [J], 鲍新雪;王晓红
3.基于p2-不变量的透视变换下的点模式匹配方法 [J], 张立华;徐文立
4.基于双灭点的图像透视变换方法 [J], 罗晓晖;杜召彬
5.基于凸壳的透视变换下的点模式匹配方法 [J], 张立华;徐文立
因版权原因，仅展示原文概要，查看原文内容请购买。