2009-一种基于自然纹理特征的增强现实跟踪算法_图文(精)

第３１卷第１０期２００９年１０月文章编号：１００１—５０６Ｘ（２００９）１０—２４８０—０５系统工程与电子技术ＳｙｓｔｅｍｓＥｎｇｉｎｅｅｒｉｎｇａｎｄＥｌｅｃｔｒｏｎｉｃｓＶ０１．３１Ｎｏ．１０Ｏｃｔ．２００９一种基于自然纹理特征的增强现实跟踪算法康波，任鹏（电子科技大学自动化工程学院，四川成都６１００５４）摘要：给出了一种面向增强现实（ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ，ＡＲ）的基于自然纹理特征的实时跟踪算法，算法分为目标检测与跟踪两个过程。

以真实场景中的目标物体的表面纹理图像作为模板，用基于朴素贝叶斯分类的宽基线匹配方法进行目标检测与方位参数估计；将分层Ｌ＿Ｋ光流算法与鲁棒的ＩＣ算法结合，提出一种基于角点与纹理的混合跟踪算法，并用于其跟踪过程。

实验结果表明，所提算法具有较好的实时性、准确性与鲁棒性，并解决了宽基线匹配算法在ＡＲ应用中出现的抖动现象。

关键词：宽基线匹配；贝叶斯分类器；纹理；跟踪；增强现实中图分类号：ＴＰ３９１．４文献标志码：ＡＮａｔｕｒａｌｔｅｘｔｕｒｅ－ｂａｓｅｄｔｒａｃｋｉｎｇａｌｇｏｒｉｔｈｍｆｏｒａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙＫＡＮＧＢｏ，ＲＥＮＰｅｎｇ（ＳｃｈｏｏｌｏｆＡｕｔｏｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖ．ｏｆＥｌｅｃｔｒｏｎｉｃａｎｄＳｃｉｅｎｃｅＴｅｃｈｎｏｌｏｇｙｏｆＣｈｉｎａ，Ｃｈｅｎｇｄｕ６１００５４，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ａｎａｔｕｒａｌｔｅｘｔｕｒｅ－ｂａｓｅｄｒｅａｌ—ｔｉｍｅｔｒａｃｋｉｎｇａｐｐｒｏａｃｈｃｌｕｄｅｓｄｅｔｅｃｔｉｎｇｐｒｏｃｅｄｕｒｅａｎｄｔｒａｃｋｉｎｇｐｒｏｃｅｄｕｒｅ．ＧｉｖｉｎｇｔｈｅａｔＯａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙｉｓｐｒｅｓｅｎｔｅｄ，ｗｈｉｃｈｉｎ—ｓｃｅｎｅ，ｔｅｘｔｕｒｅｉｍａｇｅｔｅｍｐｌａｔｅｏｆｔｈｅｏｂｊｅｃｔｉｎｒｅａｌｏｎｏｂｊｅｃｔｄｅｔｅｃｔｉｎｇａｎｄｐｏｓｅｅｓｔｉｍａｔｅｃｌａｓｓｉｆｅｒ．ＣｏｍｂｉｎｉｎｇａａｒｅａｃｈｉｅｖｅｄｂｙｕｓｉｎｇａｗｉｄｅｂａｓｅｌｉｎｅｍａｔｃｈｉｎｇａｐｐｒｏａｃｈｂａｓｅｄａａｎａｉｖｅＢａｙｅｓｉａｎｈｉｅｒａｒｃｈｉｃａｌＬ－Ｋｏｐｔｉｃａｌｆｌｏｗａｌｇｏｒｉｔｈｍａｎｄｏｎｃｏｒｎｅｒｒｏｂｕｓｔｉｎｖｅｒｓｅｃｏｍｐｏｓｉｔｉｏｎａｌａｌｇｏ—ｒｉｔｈｍ，ａｔｒａｃｋｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｐｒｏｃｅｄｕｒｅｂｕｓｔ，ａｎｄａｍｄｔｅｘｔｕｒｅｆｅａｔｕｒｅｓｉｓｐｒｏｐｏｓｅｄ，ｗｈｉｃｈｉｓａｐｐｌｉｅｄｉｎｔｈｅｔｒａｃｋｉｎｇａｃｃｕｒａｔｅａｂｏｖｅ．Ｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｄｅｍｏｎｓｔｒａｔｅｔｈａｔｔｈｅｐｒｅｓｅｎｔｅｄａｐｐｒｏａｃｈｉｓｆａｓｔｅｒ，ｍｏｒｅｃａｎａｎｄｒｏ—ａｖｏｉｄｔｈｅｊｉｔｔｅｒｏｆｗｉｄｅｂａｓｅｌｉｎｅｍａｔｃｈｉｎｇｉｎＡＲａｐｐｌｉｃａｔｉｏｎ．ｃｌａｓｓｉｆｅｒ；ｔｅｘｔｕｒｅ；ｔｒａｃｋｉｎｇ；ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙＫｅｙｗｏｒｄｓ：ｗｉｄｅｂａｓｅｌｉｎｅｍａｔｃｈｉｎｇ；Ｂａｙｅｓｉａｎ０引言统中，取得了一定成效。

由于ＫＬＴ算法与光照条件密切相关，且在摄像机移动较快或出现较大遮挡时。

跟踪会失效，对应用场景要求较为苛刻。

另一种是基于图像匹配（点匹配）的跟踪方法，文献［５３利用离线的３Ｄ模型信息，结合自然特征匹配与关键帧匹配，提出了一种无标志物的实时跟踪算法，由于需要相应的３Ｄ模型，应用也受到限制。

在特征点匹配方面，以基于不变性特征检测的宽基线匹配为主要方法。

２００４年，文献［６］提出了ＳＩＦＴ算子，并将其应用于ＡＲ系统的跟踪与配准［７Ｊ。

ＳＩＦＴ算子是一种基于尺度空间对图像变换保持不变性的图像局部特征描述算子，近年来在图像匹配与模式识别等领域得到了较为广泛的应用和研究邛］。

但是，由于ＳＩＦＴ算子的计算复杂性，在算法实时性方面仍存在较大局限性。

针对该问题，文献［９］将宽基线匹配问题转化为分类问题，用模式分类的方法来解决点匹配问题，从而提高了算法的实时性，但单纯的基于模式分类的宽基线匹配用于ＡＲ跟踪，其计算量仍然偏大。

同时，由于其精度问题，在具体ＡＲ系统的跟踪中还存在虚拟物增强现实（ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ，ＡＲ），是在虚拟现实的基础上发展起来的一类新型的计算机应用模式与人机交互技术。

它致力于将计算机产生的虚拟信息（场景）与用户所处的真实环境之间的完美融合。

虚实融合是增强现实的根本特征，其关键技术在于对用户场景的跟踪与虚实配准。

在相关的跟踪技术中。

基于视觉的跟踪技术在ＡＲ系统中应用较为普遍，其中以基于标志物的视觉跟踪应用最为广泛，如著名的ＡＲＴｏｏｌｋｉｔ［１】就是一种典型的基于标志物的ＡＲ软件包。

由于基于标志物的跟踪需要预先布置标志物，在应用场景上受到较大局限。

因此，各种无标志物的跟踪技术成为近年来ＡＲ领域的一个重要研究热点。

无标志物跟踪，就是利用场景中的自然特征来估计摄像机的姿势。

主要有两种方法，一种是基于特征的跟踪，其中较为典型的是Ｔｏｍａｓｉ等提出的ＫＬＴ跟踪器＂］，文献［３３和文献［４］分别将ＫＬＴ跟踪算法应用到无标志物的ＡＲ系收稿日期：２００８一０８—１２；修回日期：２００９—０２—２８。

基金项目：国家自然科学基金（６０６７４０７７）资助课题作者简介：康波（１９６８一），男，副教授，博士，主要研究方向为增强现实、人机交互．Ｅ—ｍａｉｌ：ｋａｎｇｂｏ＠ｕｅｓｔｅ．ｅｄｕ．ｃｎ万方数据第１０期康波等：～种基于自然纹理特征的增强现实跟踪算法・２４８１・体的抖动（ｊｉｔｔｅｒ）现象。

本文基于模式分类的宽基线匹配算法思想，探讨了一种基于自然纹理特征的跟踪算法。

将整个算法分为目标检测与跟踪过程两个部分，用基于贝叶斯分类的宽基线匹配进行目标检测，提出一种基于角点与纹理特征的混合跟踪算法进行跟踪，较好地解决了跟踪过程的实时性与抖动问题。

ｌ基于模式分类的宽基线匹配１．１基于模式分类的宽基线匹配基本原理传统的宽基线匹配算法，运算负担主要在特征提取和特征匹配上。

以ＳＩＦＴ特征匹配算法为例，由于生成１２８维的特征描述符与进行高维特征匹配，都需要花费大量运算资源，一般很难满足实时性要求。

文献［９一１０３针对以上问题，提出了基于模式分类的宽基线匹配算法，将特征点匹配问题转换为模式分类问题，某一类对应于相应特征点在不同视角下所生成图像的集合。

在训练阶段，给定目标物体一幅模板图像，利用该图像。

采用图形学的方法，生成特征点在不同摄像机位置下的成像集合。

在匹配阶段．根据输入图像，用模式分类的方式确定图像中各特征点归属的类别，即获取相应的匹配点。

与ＳＩＦＴ算子相比，该算法增加了训练的步骤，但这种训练可以事先离线进行，在线对每帧图像的处理中，不用进行特征描述符的计算，而且分类算法计算代价一般较小，因而在线计算量得到很大压缩，提高了算法的实时性。

算法的总体流程可描述为：首先，对图像提取基本特征点，采用图形学方式，生成各特征点在不同视角下的图像，构造训练集；然后，用ｉＪｉＩ练集对分类器进行学习；最后，检测图像特征点，用分类器对其进行分类，建立各特征点的对应关系，确定摄像机的姿态参数。

１．２训练集的构造对于各特征点训练集的生成策略有两种：一种是依次对每个点分别生成在不同视角下对应的图像；另一种是对整个物体生成其在不同视角下的图像，再从图像中找到对应特征点，取其图像块。

后者具有较好的运算效率，同时，在该方式中，如果一个点在变换图像中被检测到的概率较低，则可以认为该点不稳定，而保留被检测到概率较高（较稳定）的点作为特征点。

因此，本文采样第二种方式。

对于平面物体在不同视角下的图像生成，可以用仿射变换的方式来近似平面单应性变化，如下所示（竹一ｎ。

）＝Ａ（ｍ—ｍｏ）＋ｔ（１）式中，ｍ。

为原图像上特征点的坐标；咒。

为生成训练样本集图像小块的坐标中一ｆｌ，；ｔ－－Ｅｔ．，ｔ。

］７为二维的平移矩阵。

在原图中坐标为ｍ的点，在样本集中坐标变为，￡。

上述仿射变换矩阵Ａ可以被分解为Ａ＝Ｒ小ｉ１ＤＲ．（２）式中，风、风为旋转矩阵，其旋转角度分别为日和妒；Ｄ＝ｄｉａｇ［Ａ。

，Ａ：］为缩放矩阵。

设向量（０，７，Ａ，，Ａ：，ｔ。

，ｔ。

）表示一个仿射变换，这样，可以通过随机产生一组向量来生成一幅训练图像。

在ｉ／ｉｌ练集图像生成后，需要确定稳定的特征点，在ｉＪｉｌ练集中可检测到概率较高的特征点，即为稳定的特征点。

图１（ａ）是万方数据物体的原始图像，图１（ｂ）是选择的稳定特征点。

特征点检测在３种分辨率下进行，图中分别用３种不同大小和颜色的圆来标注，圆越大，表示该特征点所处的分辨率越低。

这样，在图像较为模糊的时候，仍然能检测到稳定的特征点。

为了增强系统的鲁棒性，在生成训练集图像时，可加入白噪声作为背景，以模拟实际检测阶段背景较为混乱的情况。

图２为原始图像经随机仿射变换生成的两幅图像。

对具体的一个特征点，则从上述一系列随机生成图像中，以该点为中心形成相应的小图像块。

图３是所生成的某特征点对应的部分训练集图像块示例。

图１原始纹理图像模板及其特征点选择图２由随机仿射变换生成的图像图３生成的训练集图像块示例１．３分类器设计在构造训练集后，需要设计适当的分类器，并用训练样本对分类器进行训练。

可以采用Ｋ均值聚类、支撑矢量机、神经网络、随机树和朴素贝叶斯分类等多种形式，由于朴素贝叶斯分类方法简单、计算效率较高，本文采用朴素贝叶斯分类器…］。

将每个特征点对应的所有图像块归为一类，记图像块类为ｃｌ（ｉ－－１，２，…，Ｈ），共Ｈ类，图像块特征由一组二进制数来描述，即工（ｊ＝１，２，…，Ｎ），其中工的取值由图像块中随机选取的两个像素位置ｔ。

和ｔ：的色饱和度来确定。

即ｆ—ｌ１，Ｊ（以。

）＜Ｊ（Ｚ２）０，其他分类的目标就是对给定的图像块求其最大可能的归属的类，即Ｃ。

‘＝ａｒｇｍａｘＰ（ｃ．ｆｆｌ，＾，…，ｆＮ）（３）式（３）中的后验概率可由贝叶斯公式给出盹㈨山…，ｆＮ）＝出赢等铲设每一类具有相同的先验概率Ｐ（ｃ；），上式分母相当于一个与类无关的比例因子，这样式（３）可简化为ｆ？＝ａｒｇｍａｘＰ（＾，＾，…，＾ＩｃＩ）（４）ｌＷＤ・２４８２・系统Ｔ程与电子技术第３１卷当Ｎ较大时，要估计以上联合条件概率是不现实的。

在朴素贝叶斯分类中，假设各特征分量之问是相互独立的，则有～Ｐ（ｆ－，ｆ２，…，＾ｈ）＝ＩＪＰ（六ｈ）（５）Ｊ一１针对本文实际情况，即如果完全忽略各特征分量之间的相关性，其效果并不好。

一种折衷方法是采用半朴素贝叶斯分类，将所有的特征分成Ｍ组，则每组特征个数Ｓ＝Ｎ／Ｍ。

则上述条件概率变为肘Ｐ（＾，＾，…，＾ｈ）＝ＬＪＰ（＾ｌｃ。

）（６）●一ｌ式中，Ｆｔ一｛＾，，＾。