基于角点特征的图像自动拼接算法

第３２卷第２期　２００９年４月　电子器件　

Ｃｈｉｎｅｓｅ　Ｊｏｕｒｎａｌ　Ｏｆ　Ｅｌｅｃｔｒｏｎ　Ｄｅｖｉｃｅｓ　Ｖｏ１．３２　Ｎｏ．２　

Ａｐｒ．２００９　、　

Ｂａｓｅｄ　ｏｎ　Ｃｏｒｎｅｒ　Ｆｅａｔｕｒｅ　Ａｕｔｏｍａｔｉｃ　Ｉｍａｇｅ　Ｍｏｓａｉｃ　Ａｌｇｏｒｉｔｈｍ　ＬＩＵＭｅｉ—ｙｉｎｇ，ＷＥＮ　Ｄｅ－ｓｈｅｎｇ’，ＣＡＯ　Ｈｏｎｇ—ｘｉｎｇ　，１．Ｘｉ＇ａｎ　Ｉｎｓｔｉｔｕｔｅ　ｏｆＯｐｔｉｃｓＰｒｅｃｉｓｉｏｎＭｅｃｈａｎｉｃｓ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙ　ｏｆＳｃｉｅｎｃｅｓ，Ｘｉ＇ａｎ　７１０１１９，Ｃｈｉｎａ－、　２．Ｇｒａｄｕａｔｅ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ　１０００３９，Ｃｈｉｎａ　，　

Ａｂｓｔｒａｃｔ：Ａｎ　ａｕｔｏｍａｔｉｃ　ｉｍａｇｅ　ｍｏｓａｉｃ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ｃｏｒｎｅｒ　ｆｅａｔｕｒｅ　ｉｓ　ｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔ　ｗｅ　ａｎａｌｙｚｅ　ｔｈｅ　ｐｒｉｎｃｉｐｌｅ　ａｎｄ　ｄｉｓａｄｖａｎｔａｇｅ　ｏｆ　ｔｈｅ　Ｈａｒｒｉｓ　ｃｏｒｎｅｒ　ｄｅｔｅｃｔｉｏｎ，ｂａｓｅｄ　ｏｎ　ｔｈｉｓ，ａｎ　ｉｍｐｒｏｖｅｄ　Ｈａｒｒｉｓ　ｃｏｒｎｅｒ　ｄｅｔｅｃ－　ｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｉＳ　ｐｒｏｐｏｓｅｄ　ｔｏ　ｅｘｔｒａｃｔ　ｆｅａｔｕｒｅ　ｐｏｉｎｔｓ，ｗｈｉｃｈ　ｒｅｄｕｃｅｄ　ｔｈｅ　ａｍｏｕｎｔ　ｏｆ　ｃａｌｃｕｌａｔｉｏｎ，ａｎｄ　ｉｍ—　ｐｒｏｖｅｄ　ｔｈｅ　ｐｏｓｉｔｉｏｎｉｎｇ　ａｃｃｕｒａｃｙ，ｅｎｈａｎｃｅｄ　ｔｈｅ　ｃａｐａｂｉｌｉｔｙ　ｏｆ　ａｎｔｉ—ｎｏｉｓｅ．Ｔｈｅ　ｔｒａｎｓｆｏｒｍｉｎｇ　ｍａｔｒｉｘ　Ｈ　ｉｓ　ｃｏｒｎ—　ｐｕｔｅｄ　ｗｉｔｈ　ＰＥＲＡＮＳＡＣ　ａｌｇｏｒｉｔｈｍ．ＬＭ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｕｓｅｄ　ｔｏ　ｐｕｒｉｆｙ　ｔｈｅ　ｔｒａｎｓｆｏｒｍｉｎｇ　ｍａｔｒｉｘ　Ｈ．Ｆｉｎａｌｌｙ。　ｉｍａｇｅ　ｍｏｓａｉｃ　ｉｓ　ｃｏｍｐｌｅｔｅｄ　ｗｉｔｈ　ｓｍｏｏｔｈｉｎｇ　ａｌｇｏｒｉｔｈｍ．Ｔｈｅ　ｒｅｓｕｌｔ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｅ　ａｃｃｕｒａｃｙ　ｏｆ　ｒｅｇｉｓｔｒａｔｉｏｎ　ｉｓ　ｉｍｐｒｏｖｅｄ　ｇｒｅａｔｌｙ　ｗｉｔｈ　ｔｈｉｓ　ａｌｇｏｒｉｔｈｍ．Ｉｔ　ｉｓ　ｈｉｇｈ　ｖａｌｕａｂｌｅ　ｉｎ　ｐｒａｃｔｉｃｅ．　Ｋｅｙ　ｗｏｒｄｓ：ｉｍａｇｅ　ｍｏｓａｉｃ；Ｈａｒｒｉｓ　ｃｏｒｎｅｒ　ｄｅｔｅｃｔｉｏｎ；ＰＥＲＡＮＳＡＣ　ＥＥＡＣＣ：６１４０Ｃ　

基于角点特征的图像自动拼接算法　刘美莹，汶德胜　，曹红杏　（１．中国科学院西安光学精密机械研究所，西安７１０１１９；２．中国科学院研究生院，北京１０００３９）　

摘　要ｉ提出了一种基于角点特征的图像自动拼接方法。分析了Ｈａｒｒｉｓ角点检测算子的实现原理及其不足，提出一种改进　的Ｈａｒｒｉｓ角点检测算法提取图像特征角点，减少了计算量，同时提高角点的定位精度，增强了算法的抗噪性能。然后用快速　ＲＡＮＳＡＣ算法求出图像变换矩阵Ｈ的初值并使用ＬＭ非线性迭代算法精炼Ｈ，最后采用像素值加权的方法进行图像融合。　实验结果表明，该算法能有效提高配准精确性，具有较高的实用价值。　关键词：图像拼接；Ｈａｒｒｉｓ角点检测；快速ＲＡＮＳＡＣ　中图分类号：ＴＰ３９１．９　文献标识码：Ａ　文章编号：１０Ｏ５－９４９Ｏ（２Ｏ０９）Ｏ２－ｏ２５４－ｏ４　

图像拼接就是将一组互相有重叠部分的图像序　列，进行空间配准，拼成一幅包含各图像序列信息的　宽视角、完整的新图像，以满足现实要求［１］。图像拼　接技术现已成为计算机视觉和计算机图形学的研究　热点，它广泛应用于遥感图像处理、地理信息系统、虚　拟现实技术、视频拼接、医学图像分析、机器人视觉和　３Ｄ图像重建等领域【２］。图像拼接方法主要有基于区　域的和基于特征的，其中基于特征的方法因其鲁棒性　好得到广泛应用，研究较多的是抽取角点作为特征　点，如Ｈａｒｒｉｓ角点算法［３］和ＳＵＳＡＮ角点算法［４３。但　传统的Ｈａｒｒｉｓ角点算法定位精度较差，需要三次高斯　平滑，计算量相对较大，而且对噪声较敏感。　针对上述不足，本文提出了一种基于角点特征的　图像自动拼接方法。先分析了Ｈａｒｒｉｓ角点检测算子　的实现原理及其不足，提出了一种改进的Ｈａｒｒｉｓ角点　检测算法提取图像特征角点，可以减少计算量，同时　提高角点的定位精度，增强了算法的抗噪性能。然后　用快速ＲＡＮＳＡＣ算法求出图像变换矩阵Ｈ的初值　并使用ＬＭ非线性迭代算法精炼Ｈ，最后采用像素值　加权的方法进行图像融合中。实验结果表明，该算法　能有效提高配准精确性，具有较高的实用价值。　

１特征角点的提取和匹配　１．１　Ｈａｒｒｉｓ角点检测算法　Ｈａｒｒｉｓ算子是Ｃ．Ｈａｒｒｉｓ和Ｍ．Ｊ．Ｓｔｅｐｈｅｎｓ于　１９８８年提出的一种点特征提取算子。他们在　Ｍｏｒａｖｅｃ算子的基础上进行了改进，形成了Ｈａｒｒｉｓ　角点检测算法。它与Ｍｏｒａｖｅｃ方法主要不同在于　

收稿日期：２００８—０９—０８　作者简介：刘美莹（１９８４一），女，中科院西安光学精密机械研究所，硕士，研究方向为信号与信息处理、图像处理等，ｌｉｕｍｅｉｙ－　ｉｎｇ２００２＠１６３．ｃｏｍ；　汶德胜（１９６５一），男，教授，博士生导师，从事光电信息处理　２５６　电　子　器件　第３２卷　③角点的定位精度较差；　④需要三次高斯平滑，计算量相对较大；　⑤对噪声较敏感，图（ｂ１）中将许多噪声点被检　测为角点；　⑥检测结果与参数有密切的关系，因此，参数　设置就成为算法的重要一环，影响了算法的鲁棒性。　１．２改进的Ｈａｒｒｉｓ角点检测算法　本文对Ｈａｒｒｉｓ算法采用由粗到精的角点检测　策略进行改进。先将图像Ｊ在长、宽各缩小一倍，得　到，　（，　中的每一点对应于原图Ｊ上的四个点灰度　的均值）。先在　上检测角点，再将得到的角点对应　到原图Ｊ上，并在以对应点为中心的一个窗口范围　内寻找灰度变化的绝对和最大的点作为角点的精确　位置。这种改进可以减少计算量，同时提高角点的　定位精度。另外图像上四点灰度取平均值，是一个　低通滤波的过程，增强了算法的抗噪性能和减少对　斜边的错误响应。　改进后的ｈａｒｒｉｓ角点检测结果如图２（ａ２）、　（ｂ２）所示。从图中可以看出，改进后：　①虽然检测出的角点数量减少，但角点质量提　高。斜边上检测出的伪角点减少；　②定位精度有所改善，如（ａ２）、（ｂ２）；　③抗噪能力提高。如图（ｂ２）；　④计算量减少，计算时间也有所减少。例如图　（ａ２），改进前，提取Ｈａｒｒｉｓ角点用时７０３　ｍｓ，改进后　为４８４　ｍｓ，可见计算效率有较大的提高。　提取特征点后，每幅图像的特征点有很多冗余，　采用以特征点为中心的灰度窗互相关法［５］来对特征　点集合进行匹配计算，以像素为中心选择一个（２Ｎ　＋１）×（２Ｎ＋１）的灰度窗，在两幅图像间做互相关　运算，可以减少不匹配的特征点，当然留下的匹配特　征点中也会存在一些伪匹配特征点。　往往存在误差，以及选取的４点中，有可能存在３点　共线的情况，因此这种线性方程解很不稳定，必须对　多特征点进行非线性优化。　２．２用ＰＥＲＡＮＳＡＮＣ过滤特征点　对于以上取得的特征点，可以用随机抽样一致性　ＲＡＮＳＡＣ（ｒａｎｄｏｍ　ｓａｍｐｌｅ　ｃｏｎｓｅｎｓｕｓ）算法进行过滤。　ＲＡＮＳＡＣ是在计算机视觉领域内应用最广泛的估计　算法之一，它能够在失匹配率超过５０　时依然保持　有效，其缺点是ＲＡＮ　算法计算效率较低。本文　采用快速ＲＡＮＳＡＣ（ｐｒｅｖｉｅｗ　ｍｏｄｅｌ　ｐａｒａｍｅｔｅｒｓ　ｅｖａｌｕａ—　ｔｉｏｎ　Ｒ　，简称ＰＥＲＡＮ　）算法［６］，该算法在　保证计算结果置信概率不变的前提下，过滤掉大量偏　差较大的模型参数，提高了　ＳＡＣ算法的整体效　率。特征角点可以被分为内点（ｉｎｌｉｅｒｓ）和外点（ｏｕｔｌｉ—　ｅｒｓ）两类，这里定义一个误差函数Ｆ：　Ｆ一∑（　（　）　＋ｄ（ｘｌ，Ｈｘ。）。）　（７）　

Ｆ＞［ｔｈｒｅｓｈ］，判断为外点。Ｆ＜［ｔｈｒｅｓｈ］，则判断　为内点，ｔｈｒｅｓｈ为预先定义的门限，为了防止程序死　循环，还要设定随即取样次数。在试验中，通过随机　采样，这样就得到了很稳定的匹配点。　２．３　Ｈ的非线性估计　以式（７）中Ｆ为优化目标函数，需要优化的参　数为｛ｈ。，ｈ　”，ｈ。），利用ＬＭ非线性优化算法来最　小化式（７），可以求得ＬＭ算法所需的近似Ｈｅｓｓｉａｎ　矩阵口和加权梯度向量ｂ，其各个分量元素为　

ａｋｌ一∑　ｂｋ一一∑Ｆ（Ｈ）　一厶■　—　一一厶ｒｕ　—　这样就可以求得Ｈ参数增量：△Ｈ一（Ａ＋　ｉｔＩ）＿。ｂ，　是一个随迭代步骤自动调节的因子［７］，如果　误差Ｆ（Ｈ）减小则　减小，否则　增大，每一步更新参　数Ｈ（州’一Ｈｎ＋△Ｈ直到Ｆ（Ｈ）下降到指定的精度。　实验表明此算法可以快速得到准确的变换矩阵Ｈ。　２　图像变换的自动鲁棒估计　３　图像的拼接与融合　

２．１图像变换的线性估计　假设，　（ｚ　，Ｙ　）和Ｉ（ｘ，　）分别为待拼接两幅图　像，其对应的变换关系为　

志　０　ｈｌ＾ｈ　２　

㈣　Ｌ础＿Ｊ　６　ｈｖ　ｈ８］　或　一ＨＸ　（６）　其中：志是比例因子，表示图像间的缩放关系，　一（ｚ　，ｙ　，　）　，ｘ一（ｚ，ｙ，训）　为待拼接两幅图像　上的点坐标。其中Ｈ有８个独立参数，只要选择４　对匹配点就可以估计出Ｈ。但是由于选取的特征点　

把输入图像按照图像间变换矩阵映射到参考图　像中，就完成了图像的拼接。对于图像的重叠部分，　采用了快速简单的加权平滑算法进行融合。该算法　的主要思想是：图像重叠区域中像素点的灰度值　Ｐｉｘｅｌ由两幅图像中对应点的灰度值［Ｐｉｘｅｌ—Ｌ］和　［Ｐｉｘｅｌ—Ｒ］ＪＪＩ权平均得到，即：Ｐｉｘｅｌ＝ｋ×［Ｐｉｘｅｌ—Ｉ　］　＋（１－－ｋ）×［ＰｉＸｅｌ—Ｒ］，其中ｋ是可调因子。　通常情况下０＜ｋ＜１，即在重叠区域中，沿图　像１向图像２的方向，志由１渐变为０，从而实现重叠　区域的平滑拼接。为使图像重叠区域中的点与两幅