基于改进SIFT特征的深度图像匹配

Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ　计算机应用，２０１６，３６（ｓ２）：１３５—１３８　ＩＳＳＮ　１００１—９０８１　ＣＯＤＥＮ　ＪＹＩＩＤＵ　２０１６．．１２．．１５　ｈｔｔｐ：／／ｗｗｗ．ｊｏｃａ．ｃｎ　

文章编号：１００１—９０８１（２０１６）ｓ２．０１３５．０４　

基于改进ＳＩＦＴ特征的深度图像匹配　

向程谕　，王冬丽　，李建勋　，周　彦　

（１．湘潭大学控制工程研究所，湖南湘潭４１１１０５；２．上海交通大学自动化系，上海２００２４０）　（｝通信作者电子邮箱ｗａｎｇｄｌ＠ｘｔｕ．ｅｄｕ．ｃｎ）　

摘要：针对尺度不变特征变化（ＳＩＦＴ）在深度图像匹配中存在较多不稳定的边缘特征点、特征维数过高、运算速　

度过慢等问题，提出一种改进的ＳＩＦＴ特征提取与表示方法。首先，在提取ＳＩＦＴ关键点的基础上，利用Ｈａｒｒｉｓ角点检　

测算子对提取的特征点进行筛选，以剔除深度图像边缘区域中大量不稳定的伪特征点；然后，采用统计抽样法对提取　的特征点描述子进行降维处理；最后，利用最近邻搜索进行特征匹配。实验结果表明，所提算法在不同视点、缩放与旋　

转、含噪等情况下的匹配正确率均在８０．０％以上，与ＳＩＦＴ算法和ＳＵＲＦ算法相比平均匹配正确率提高了９％，运行时　

间较ＳＩＦＴ算法降低了８％左右。　

关键词：图像匹配；深度图像；尺度不变特征变化；Ｈａｒｒｉｓ角点检测；统计抽样　

中图分类号：ＴＰ３９１．４１　文献标志码：Ａ　

Ｄｅｐｔｈ　ｉｍａｇｅ　ｍａｔｃｈｉｎｇ　ｂａｓｅｄ　ｏｎ　ｉｍｐｒｏｖｅｄ　ＳＩＦＴ　ｆｅａｔｕｒｅ　

ＸＩＡＮＧ　Ｃｈｅｎｇｙｕ　，ＷＡＮＧ　Ｄｏｎｇｌｉ　，ＬＩ　Ｊｉａｎｘｕｎ　，ＺＨＯＵ　Ｙａｎ　

（１．Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｃｏｎｔｒｏｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉａｎｇｔａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉａｎｇｔａｎ　Ｈｕｎａｎ　４１　１　１０５，Ｃｈｉｎａ；　２．Ｄｅｐａｒｔｍｅｎｔ　ｏｆＡｕｔｏｍａｔｉｏｎ，Ｓｈａｎｇｈａｉ　Ｊｉａｏ　Ｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ　２００２４０，Ｃｈｉｎａ））　

Ａｂｓｔｒａｃｔ：Ｃｏｎｃｅｒｎｉｎｇ　ｔｒａｄｉｔｉｏｎａｌ　Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）ｅｘｉｓｔｓ　ｓｏｍｅ　ｐｒｏｂｌｅｍｓ　ｉｎ　ｉｍａｇｅ　ｍａｔｃｈｉｎｇ　ｓｕｃｈ　ａｓ　

ｍｕｃｈ　ｕｎｓｔａｂｌｅ　ｐｏｉｎｔｓ　ｉｎ　ｔｈｅ　ｅｄｇｅ　ｏｆ　ｔｈｅ　ｒａｎｇｅ　ｉｍａｇｅ，ｅｘｃｅｓｓｉｖｅ　ｈＪ　ｇｈ　ｃｈａｒａｃｔｅｒ　ｄｉｍｅｎｓｉｏｎｓ　ａｎｄ　ｌｏｗ　ｃａｌｃｕｌａｔｉｏｎ　ｓｐｅｅｄ，ａｎ　ｉｍｐｒｏｖｅｄ　

ＳＩＦＩ＂ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ　ａｎｄ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｍｅｔｈｏｄ　ｗａｓ　ｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔ，ａ　ｓｅｌｅｃｔｉｏｎ　ｏｎ　ｔｈｅ　ｅｘｔｒａｃｔｅｄ　ＳＩＦｒ　ｋｅｙ　ｐｏｉｎｔｓ　Ｗａｓ　ｔａｋｅｎ，　

ｗｈｉｃｈ　ｕｓｅｄ　ｔｈｅ　Ｈａｒｒｉｓ　ｃｏｍｅｒ　ｄｅｔｅｃｔｉｏｎ　ｏｐｅｒａｔｏｒ　ｔｏ　ｔｉｃｋ　ｏｕｔ　ｌａｒｇｅ　ａｍｏｕｎｔ　ｏｆ　ｆａｌｓｅ　ｆｅａｔｕｒｅ　ｐｏｉｎｔｓ　ｅｘｉｓｔｅｄ　ｉｎ　ｔｈｅ　ｅｄｇｅ　ｏｆ　ｔｈｅ　ｄｅｐｔｈ　

ｉｍａｇｅ．Ｔｈｅｎ，ｔｈｅ　ｓｔａｔｉｓｔｉｃａｌ　ｓａｍｐｌｉｎｇ　ｍｅｔｈｏｄ　ｗａｓ　ｕｓｅｄ　ｔｏ　ｒｅｄｕｃｅ　ｔｈｅ　ｄｉｍｅｎｓｉｏｎ　ｏｆ　ｔｈｅ　ｓｅｌｅｃｔｅｄ　ｋｅｙ　ｐｏｉｎｔ　ｄｅｓｃｒｉｐｔｏｒｓ．Ｆｉｎａｌｌｙ，ｔｈｅ　

ｎｅａｒｅｓｔ　ｎｅｉｇｈｂｏｒ　ｓｅａｒｃｈ　Ｗａｓ　ｔａｋｅｎ　ｔｏ　ｒｅａｌｉｚｅ　ｔｈｅ　ｆｅａｔｕｒｅ　ｍａｔｃｈｉｎｇ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｄｅｍｏｎｓｔｒａｔｅ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍ　

ｃａｌｌ　ｇｕａｒａｎｔｅｅ　ｔｈｅ　ｍａｔｃｈｉｎｇ　ａｃｃｕｒａｃｙ　ｏｆ　ａｂｏｖｅ　８０％ｉｎ　ｓｉｔｕａｔｉｏｎｓ　ｏｆ　ｄｉｆｆｅｒｅｎｔ　ｖｉｅｗｐｏｉｎｔｓ．ｓｃａｌｅ　ａｎｄ　ｒｏｔａｔｉｏｎ．ｎｏｉｓｅｄ　ｉｍａｇｅｓ　ａｎｄ　ＳＯ　

ｏｎ．Ｍｏｒｅｏｖｅｒ．ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍ　ｃａｎ　ｉｍｐｒｏｖｅ　９％ｏｆ　ａｖｅｒａｇｅ　ｍａｔｃｈｉｎｇ　ａｃｃｕｒａｃｙ　ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ＳＩＦＴ　ａｌｇｏｒｉｔｈｍ　ａｎｄ　Ｓｐｅｅｄ—Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅ　ｆＳＵＢ＿ｒ）ａｌｇｏｒｉｔｈｍ，ａｎｄ　ｒｅｄｕｃｅ　ａｒｏｕｎｄ　８％ｏｆ　ｒｕｎｎｉｎｇ　ｔｉｍｅ　ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ＳＩＦＴ　ａｌｇｏｒｉｔｈｍ．　

Ｋｅｙ　ｗｏｒｄｓ：ｉｍａｇｅ　ｍａｔｃｈｉｎｇ；ｄｅｐｔｈ　ｉｍａｇｉｎｅ；Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）；Ｈａｒｒｉｓ　ｃｏｒｎｅｒ　ｄｅｔｅｃｔｉｏｎ；　

ｓｔａｔｉｓｔｉｃａｌ　ｓａｍｐｌｉｎｇ　

０　引言　

随着Ｋｉｎｅｃｔ传感器　的问世与发展，深度图像匹配技术　

迅速成为图像处理和计算机视觉领域的热点。目前已在相关　

领域得到大量研究和广泛应用，如医学诊断与辅助治疗、模式　

识别、三维重建和数字地图定位等。从方法上来说，深度图像　

匹配大致可以分为以下两类　：特征匹配和曲面间距离最　

小化。后者计算相邻的两幅深度图像之间的曲面距离和，并　通过迭代地使之最小化来优化两幅深度图像的运动参数，其　典型代表是迭代最近点（Ｉｔｅｒａｔｉｖｅ　Ｃｌｏｓｅｓｔ　Ｐｏｉｎｔ，ＩＣＰ）法　。它　

通过迭代计算，使得两深度图像上对应点对的距离均方误差　

最小来实现深度图像的匹配，可以得到较好的匹配精度但对　初值有严格要求；如果初始值选择得不合适，很容易造成局部　

最小化，收敛结果不正确；并且ＩＣＰ法迭代过程复杂，计算量　

较大。　基于特征匹配的方法可以很好地克服上述缺点，并且在　

鲁棒性方面表现优异。首先，定义并计算在图像特定区域上　唯一确定物体位置的特征，然后在近邻的深度图像中搜索与　之匹配的特征区域，再通过建立两幅深度图像上特征区域的　

对应关系从而达到图像匹配的目的。近几年来，基于局部不　变特征的匹配方法广泛应用于图像配准、图像融合和图像检　索。Ｍｉｋｏｌａｊｃｚｙｋ等　对多种最具代表性的局部特征描述算　

子，在具有光照变化、图像几何变形、分辨率差异、旋转、模糊　

和图像压缩等情况进行了实验和性能比较，结果表明尺度不　变特征变换（Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）描述子　。Ｊ　

的性能最佳。但是，目前将ＳＩＦＴ算法用于深度图像匹配的研　究还很少，在文献［３］中用ＳＩＦＴ算法提取两幅深度图像的特　

征，然后在进行特征匹配，得出结论传统ＳＩＦＴ特征用于深度　图像匹配效果较差；在文献［７］中作者首先将深度图像转换　

为特征图像，再用ＳＩＦＴ算法进行图像匹配，虽然这样可以得　

到较好的匹配效果，但是算法较为复杂，运行时间过长，实时　性不高。所以本文针对深度图像匹配中ＳＩＦＴ特征提取与表　

示存在的缺陷，如较多不稳定的边缘特征点、特征维数过高、　

运算速度过慢等，提出一种基于改进ＳＩＦＴ特征的深度图像匹　

收稿日期：２０１５－１２—０７；修回Ｅｔ期：２０１６・０３－１７。　基金项目：国家自然科学基金资助项目（６１　１００１４０，６１　１０４２１０，６１　１７５００８）；湘潭大学控制科学与工程重点学科建设项目。　作者简介：向程谕（１９９Ｏ一），男，山东博兴人，硕士研究生，主要研究方向：模式识别、智能信息处理；王冬丽（１９８０一），女，山东聊城人，副　教授，主要研究方向：模式识别、机器视觉；　李建勋（１９６９一），男，河北蔚县人，教授，博士生导师，主要研究方向：传感器网络、目标跟踪；　周彦（１９７８一），男，湖南邵阳人，副教授，博士，主要研究方向：信息融合、传感器网络。

　ｌ３６　计算机应用　第３６卷　

配方法。首先　提取ＳＩＦｑ　父键点的基础上，利用Ｈａｎ’ｉｓ角点　检测算子对提取的特ｆ【Ｆ点进行筛选，以剔除深度罔像边缘区　

域中大世不稳定的伪特征点；然后采刚统计抽样法对提取的　特征点捕述于进行降维处理；基于此进行深度　像　配。实　

验结果验证了所提ｆＩＪ方法的行效性　

ｌ　ＳＩＦＴ基础　

ＳＩＩ＂Ｉ＂ｆ｝｛Ｌｏｗｅ　下１９９９年提出，并在２００４年加以完善：　

对图像进行特　提取时主要包括４个环节：１）特征点检测；　

２）不稳定特　点去除；３）特征点方向汁算；４）特征点描述符　

生成　这里对ＳＩＨ、特征每个环节进行简要概述，更多细节请　参考文献［７］：．　

１．１　ＳＩＦＩ＇特征点检测　利川不同ｆ　度的高斯核函数Ｇ（　，　，　）对原始罔像　，（　，，）作卷积运算，进行』　度变换，得到　像，（　，Ｙ）的尺度　

空间。　

Ｌ（　，　）＝Ｇ（　，１，　）Ｘ，（　，，）　（１）　其中高斯核函数为：　

Ｇ（　，ｙ，　＝七ｅ—ｉ　（２）　（丁　其中　是Ｊ，Ｌ　Ｊ￣『太１了，体现　像的外貌与细节。　

对输入　像进行２倍降采样建立图像的高斯金字塔，然　

后将高斯金字塔的卡Ｉｊ邻层卡¨减，得到高斯　分（Ｄｉｆｆｅｒｅｎｃｅ　Ｏｆ　

Ｇａｕｓｓｉａｎ，ＤＯＣ）金字塔　．即：　

Ｄ（　，）　，ｒ，）＝（Ｇ（　，Ｙ，ｋｏ－）一Ｇ（　，　ｖ，ｒ，））×，（Ｘ，，）＝　

（　，ｙ，ｋｏ－）一Ｌ（　，Ｙ，ｒ，）　（３）　其ｒｆ１　是卡Ｉ｛邻的阴幅　像之问的尺度比例。　

在ＤＯＣ高斯金字塔空间内每一个像素点要ｆＪｊ它所有相　

邻位置的像素点进行比较，如果最终得到的像素点为极大值　

或极小值，则该像素点所处的位置ＨｌＪ为特征点　

１．２去除不稳定特征点　

【太Ｊ为Ｄ０（　算子对边界较为敏感，会产生很强的边缘响　

应，所以在上面检测到的特征点中，会¨｛现一些不稳定、低对　

比度的特征点　为ｒ去除这些伪特征点、增强　配的稳定性、　

提高抗噪　能力．ＳＩＨ’算法中采用【ｆｆ１线拟合的方法去除掉低　

对比度的特　，肝　利川海森砸阵除去不稳定的边缘点、、　

１．３计算特征点方向　对最终得到的特征点Ｌ（２ｔ＂，　）计算其梯度幅值和方向：　

Ｍ（　，　）＝［（Ｌ（　＋１，Ｊ）一，Ｊ（　一ｌ，Ｊ。））‘＋　

（Ｌ（．ｒ，’＋１）一　（ｒ，ｖ一１））　］。　（４）　

…ｒｃｔａｔ　

然后，用梯度直方　统汁ｔ以特征点为叶１心点的周罔像素　

的梯度方向和模值　悌度血方罔的范嗣是０。～３６０。，其中　

１０。／柱，总共３６个枉　统计得到的　方　峰值所在的方向就　

ｆｌ＝表了该特　点的主　‘向。　

１．４生成特征描述符　对于任意一个特征点，存其所　的　度空间，以特征点为　

中心取１６×ｌ６像素大小的窗ｆ：Ｉ，阿将此窗口均匀地分为ｌ６　

个子块（每个子块大小为４　Ｘ４像素），在每个子块内计算８　

个方向（０。，４５。，９０。，１３５。，１８０。，２２５。，２７０。，３ｌ５。）的梯度值以　

及梯度方向直方　然后对８个　向的悌度累加值进行统　

计，这样就构成了特征描述符的特征向量，该向量为４×４　Ｘ　８＝１２８维。最后将此１２８维向量进行【Ｊ］一化处理，最终生成