增强现实中的跟踪技术
- 格式:pdf
- 大小:274.24 KB
- 文档页数:5
增强现实跟踪预测方法研究摘要:为提高增强现实系统中标记跟踪注册的实时性,本文基于视频帧图像块匹配运动估计方法,通过连续帧间运动相关性预测标记运动方向,在预测方向区域检测标记,降低了全帧检测标记的时间复杂性。
基于artoolkit,验证了本方法可显著提高标记跟踪的时间性能。
关键词:增强现实;块匹配;跟踪注册;跟踪预测中图分类号:tp391.41文献标识码:a文章编号:1007-9599 (2013) 05-0000-021引言增强现实(augmented reality,简称ar)是将虚拟物体注册于现实环境中,其中虚拟物体由计算机生成,并允许用户与之实时交互。
增强现实在教育培训、工业设计、机械制造、医疗手术等方面得到了广泛的应用,并且在这些领域取得了成功的经验,尤其是在室内ar与移动ar方面。
如在移动ar方面,geiger,c.等人[2]设计了一个ar soccer游戏,屏幕中出现一个虚拟的球和虚拟的场景,用户通过摄像机捕捉现实世界中脚的运动完成踢球的动作。
邵峰晶等人设计了一个基于增强现实技术的网络游戏,并且针对跟踪注册速度过慢的问题,提出了一种快速角点检测算法(cfd),另外针对ar系统抖动的问题,提出了一种手持增强现实系统中摄像机姿态抖动补正算法。
基于标记的跟踪注册是增强现实的关键技术,它通过对预先放置于真实世界中的标记进行实时检测与识别,计算摄像机相对于标记的位置,实现虚拟物体在真实场景中的注册。
在这一过程中,计算机需逐帧进行标记检测与识别,导致计算量较大,对虚拟物体的实时注册性能产生较大的影响。
基于此,本文在增强现实中引入帧图像块匹配运动估计方法,预测其后续帧图像中标记的运动方向,在预测方向的图像区域检测标记,提高虚拟物体跟踪注册的实时性。
视频图像处理的主要问题之一是运动估计,其是通过帧与帧之间存在的相关性对帧图像进行适当处理。
现有的方法中,如陈靖[6]等人基于运动估计方法中的光流法预测标记点的图像坐标位置,然后通过采用局部搜索法对图像的重心位置的坐标进行搜索。
AR技术介绍范文AR技术(Augmented Reality,增强现实技术)是一种将虚拟信息与真实环境相结合的技术。
通过在真实世界中叠加虚拟元素,用户可以直接与这些虚拟元素进行交互,从而创造出一个增强现实的体验。
与其它虚拟现实技术相比,AR技术更注重在现实世界上覆盖虚拟图像和信息。
AR技术的基础是通过计算机生成的图像叠加在真实世界上,这些图像可以是三维图像、视频、实时数据等等。
为了实现这一功能,AR技术通常包括以下几个关键组成部分:感知技术、跟踪技术和显示技术。
感知技术是AR技术中最重要的一部分,它用于感知和理解用户的环境以及与用户的互动。
常用的感知技术包括:摄像头、麦克风、传感器等。
通过这些设备可以收集环境信息,并传送到计算机进行处理,从而实现AR体验。
跟踪技术用于跟踪用户或物体在环境中的位置和动作。
常用的跟踪技术包括:图像识别、姿态识别、定位和跟踪系统等。
这些技术可以确保虚拟元素与真实世界相对位移一致,从而保证用户的交互体验。
显示技术是AR技术中呈现虚拟元素的关键。
常用的显示技术包括:眼镜、头盔、手机或平板电脑等。
这些设备通过显示屏幕或透明器官将虚拟元素叠加到真实环境上,从而创造出AR的视觉效果。
AR技术在许多领域具有广泛的应用潜力。
下面是几个典型的应用领域:1. 娱乐和游戏:AR技术已经广泛应用于游戏和娱乐产业中。
通过AR技术,用户可以在现实环境中体验虚拟游戏角色或虚拟游戏世界。
例如,Pokemon GO就是一个十分成功的AR游戏。
2.教育和培训:AR技术可以为学生和教师提供更具交互性和实践性的学习工具。
通过AR技术,学生可以直接与虚拟元素进行互动,从而更好地理解和学习知识。
3.医疗保健:AR技术可以用于医疗诊断、手术模拟和康复治疗等方面。
通过将虚拟图像叠加在真实患者身上,医生可以更准确地进行诊断和手术操作。
4.建筑和设计:AR技术可以在建筑和设计领域提供更直观的体验。
通过将虚拟建筑模型叠加在真实环境中,建筑师和设计师可以更好地了解建筑物的外观和布局。
vuforia原理
Vuforia是一种增强现实(AR)技术,它的原理主要涉及计算
机视觉和图像识别。
Vuforia利用移动设备的摄像头捕获现实世界
中的图像或物体,然后通过算法识别这些图像或物体,并在其上叠
加虚拟信息,从而实现增强现实的效果。
Vuforia的原理包括以下几个关键步骤:
1. 图像识别,Vuforia使用特定的算法来识别现实世界中的图
像或物体。
这些算法可以识别图像的特征点、边缘和颜色等信息,
从而确定图像的身份和位置。
2. 跟踪技术,一旦识别出现实世界中的图像或物体,Vuforia
会使用跟踪技术来追踪这些图像或物体的位置和姿态。
这样,虚拟
信息就可以准确地叠加在识别出的图像或物体上。
3. 虚拟信息叠加,一旦识别和跟踪到现实世界中的图像或物体,Vuforia会将预先设定的虚拟信息(比如3D模型、动画或文本)叠
加在这些图像或物体上,使其看起来好像与现实世界融为一体。
总的来说,Vuforia的原理就是通过图像识别和跟踪技术,将虚拟信息与现实世界相结合,从而实现增强现实的效果。
这种技术可以应用于教育、娱乐、工业等各个领域,为用户提供沉浸式的体验和丰富的信息展示。
希望这个回答能够满足你的需求。
增强现实技术了解增强现实技术的原理和应用增强现实(Augmented Reality,简称AR)技术是一种结合现实世界和虚拟信息的交互技术。
它通过在现实环境中叠加计算机生成的视觉、声音、动画等信息,将虚拟世界与现实世界融为一体,使用户能够与虚拟信息进行交互。
本文将介绍增强现实技术的原理和应用。
一、增强现实技术的原理增强现实技术的实现主要依赖于以下几个方面的原理:1. 视觉跟踪技术:视觉跟踪是增强现实技术的重要基础。
它通过识别、追踪现实世界中的物体,确定用户在现实环境中的位置和方向,从而实现对虚拟信息的精确定位和叠加。
常用的视觉跟踪技术包括:基于标记的跟踪、基于特征的跟踪和基于深度学习的跟踪等。
2. 虚拟信息生成技术:为了在现实环境中叠加虚拟信息,需要生成与现实环境相匹配的虚拟内容。
虚拟信息生成技术包括:三维建模、计算机图形学、计算机视觉等。
通过这些技术,可以将虚拟物体、文字、声音等信息与现实环境进行融合。
3. 环境感知技术:环境感知是增强现实技术中的关键环节。
它能够通过感知设备中的传感器,获取现实世界的相关信息,包括位置、方向、光线等。
这些信息能够帮助系统更准确地识别现实环境,并作出相应的虚拟叠加响应。
二、增强现实技术的应用增强现实技术广泛应用于各个领域,以下是几个常见的应用领域:1. 教育和培训:增强现实技术可以为学生和员工提供更加直观、生动的学习和培训体验。
通过增强现实技术,可以将教科书中的知识变成具体且可视化的内容,帮助学生更好地理解和记忆。
在培训中,增强现实技术可以提供真实的仿真场景,使员工能够实地操作和体验。
2. 娱乐和游戏:增强现实技术在娱乐和游戏行业中有着广泛的应用。
通过AR技术,用户可以与虚拟角色进行互动,参与到虚拟世界中的游戏中去。
例如,通过AR眼镜或手机应用,在现实世界中捕捉和控制虚拟精灵的行为,成为了近年来流行的游戏方式。
3. 零售和商业领域:增强现实技术在零售和商业领域的应用越来越广泛。
DOI:10.13878/j.cnki.jnuist.2018.02.012刘佳1,2㊀王强1,2㊀张小瑞1,2㊀陆熊3移动增强现实跟踪注册技术概述摘要随着移动设备软硬件性能的不断提高,将增强现实技术与移动终端相结合已成为国内外研究的热点问题.三维跟踪注册技术是移动增强现实中的关键技术之一.文中综述了移动增强现实中的三类跟踪注册方法:基于传感器㊁基于机器视觉和基于混合的跟踪注册,并对各方法的特点进行了详细的探讨和比较.最后对移动增强现实跟踪注册技术进行了总结与展望.关键词移动增强现实;跟踪注册;移动设备中图分类号TP242文献标志码A收稿日期2016⁃01⁃18资助项目国家自然科学基金(61773219,61203316,61502240);江苏省自然科学基金(BK20141002)作者简介刘佳,女,博士,副教授,主要研究虚拟现实/增强现实人机交互.liujia@nuist.edu.cn1南京信息工程大学江苏省大数据分析技术重点实验室,南京,2100442南京信息工程大学江苏省大气环境与装备技术协同创新中心,南京,2100443南京航空航天大学自动化学院,南京,2100160㊀引言㊀㊀增强现实(AugmentedReality,AR)技术[1]是在虚拟现实的基础上发展起来的新技术.它结合了计算机图形图像技术㊁空间定位技术㊁可视化技术以及交互技术等,通过将计算机生成的虚拟物体㊁场景或系统提示信息叠加到真实的场景中,从而实现对真实环境的增强,给用户一个全新的感官体验.增强现实的最大特点就是能够实现虚实结合和三维注册以及实时交互.目前,增强现实技术已经在娱乐㊁商业㊁军事㊁医疗等方面得到广泛应用.随着计算技术㊁增强现实技术以及移动设备软硬件技术的迅猛发展,增强现实的应用开发不再局限于PC端,国内外学者逐渐把研究的目光转向了移动增强现实上[2⁃3].移动增强现实(MobileAugmentedReality,MAR)[4⁃5]就是增强现实技术在移动设备终端上的有效应用.早期的移动增强现实系统多选择PC作为应用运行平台,用户需要携带必要的头盔显示器或数据手套等装置,影响了应用的便携性.随着平板电脑㊁智能手机等手持设备的出现,再次给移动增强现实应用的发展提供了一条崭新的途径.这些手持移动设备不仅便于携带,而且具备快速的处理器㊁高像素级的CCD/CMOS摄像头㊁较大存储空间等[6]诸多优点.所以,通过手持移动设备与增强现实相结合,可以摆脱传统增强现实在人机交互性㊁便携性等方面的缺陷,让用户获得更好的增强现实体验.1㊀移动增强现实的主体架构移动增强现实系统与传统增强现实系统的基本过程相同[7],其主要包括4个功能模块(图1):1)场景信息获取;2)对场景信息跟踪注册;3)场景融合绘制;4)增强信息显示.为实现虚拟与真实场景的完美结合,增强现实系统中的虚拟场景需通过跟踪注册方法与真实场景保持精确的对准关系.将虚拟场景显示在现实世界准确位置的定位过程称为注册.在此过程中要求系统从当前场景中获得真实空间的实时数据,包括观察者的位置㊁头部角度㊁运动情况等来决定如何按照观察者的当前视场重新建立坐标系并将虚拟物体显示到正确位置,这叫做跟踪.绘制的虚拟物体需要被准确地放置在场景中,并应与周边不同深度的景物实现交互,确保正确的遮挡关系和交互关系.场景融合绘㊀㊀㊀㊀图1㊀移动增强功能模块Fig 1㊀Blockdiagramofmobileenhancedfunction制模块要能够实现有效的遮挡处理㊁碰撞检测以及渲染绘制[8].在诸多移动设备中,平板电脑和高性能的移动智能手机逐渐成为增强现实技术的主流载体.以移动智能手机为例,实现增强现实应用的架构方式主要分为2种:独立架构方式和客户端/服务端(C/S)架构方式.目前,部分功能强大的智能手机,能够完全脱离PC端对以上4个功能模块进行独立处理.如果将上述4个功能模块中的一部分任务交给服务器解决,由智能手机和PC分别承担处理任务的方式称为客户端/服务端架构方式,该方式可以提高系统的运行效率.2㊀移动增强现实的跟踪注册的难点移动增强现实系统的关键技术之一在于进行精确的跟踪注册.系统对跟踪注册的精度要求较为苛刻,同时用户对视觉上的误差非常敏感,即便微小的跟踪注册误差也会影响用户的增强现实体验.因此,跟踪注册的实时性㊁精确性㊁鲁棒性以及稳定性将直接决定增强现实系统的成败[9⁃11].如何提高增强现实的跟踪注册精确性一直是增强现实技术研究的重点和难点.尽管当前移动智能设备的配置不断提高,但其计算能力和存储能力相比较PC而言依然有不小的差距.要实时地对真实场景进行识别和跟踪注册,对移动智能设备而言还有很大的挑战性.基于PC端的传统跟踪注册方法不能直接移植到移动端,亟需对原有的跟踪注册算法进行优化改进,提高其运算效率以及降低对存储空间的要求.同时,高效的新方法的提出也尤为重要.所以,如何在保证跟踪注册高精确性情况下确保AR系统的实时性和鲁棒性,也是亟待解决的问题.针对目前移动智能设备的不足,很多移动增强现实系统依然采用 客户端/服务器 的架构方式.由于这种方式需要无线网络进行数据传输,所以在对用户位置高效跟踪定位以及渲染绘制等复杂计算时,还应解决移动智能端与不同设备运算的协同以及对场景真实㊁高效渲染时传输数据的冗余问题.3㊀移动增强现实的跟踪注册技术当前研究人员将移动增强现实跟踪注册技术分为3种:基于传感器的跟踪注册技术㊁基于机器视觉的跟踪注册技术㊁混合跟踪注册技术.3 1㊀基于传感器的跟踪注册技术目前移动智能设备各方面性能得到了不断提升和优化,基本满足了移动增强现实的开发条件.基于传感器的移动增强现实系统开发技术逐渐成熟,其开发涉及移动智能设备中的多种传感器,跟踪注册技术一般也是建立在这些传感器的基础上.Rolland等[12]总结了基于传感器的几种跟踪注册技术,其中包括磁场跟踪注册技术㊁机械式跟踪注册技术㊁声学跟踪注册技术㊁光学跟踪注册技术㊁GPS跟踪注册技术以及惯性跟踪注册技术.基于传感器的跟踪注册技术开发增强现实应用系统[13⁃17]的方法由来已久,基于该技术的移动增强现实系统大多根据GPS定位技术获得当前位置信息,并由方向传感器确定移动智能设备摄像头朝向以及指南针确定的视角朝向,通过移动智能设备的摄像头对准现实场景,使得虚拟增强信息叠加在移动智能设备显示屏上.哥伦比亚大学的Feiner等[18]开发了第一个户外移动增强现实应用,实现了校园导航功能,该应用通过磁力计㊁GPS和倾角计实现了跟踪注册.2010年,SPRX⁃mobile公司推出全球第一款增强现实手机浏览器Layar[19],同类型的典型应用还有美国的Wikitude公司开发的一款比较著名的移动增强现实应用Wiki⁃tude[20]世界浏览器,分别如图2和图3所示.英国朴次茅斯大学[21]在安卓手机系统上实现了一个基于位置和传感器方法的 AR城市 移动增强现实应用,实现了较好的导航功能.基于传感器跟踪注册的移动增强现实利用内置的多种传感器即可完成跟踪注册,相对基于机器视觉跟踪注册方法来说具有减少计算量等优点.正是因为该方法一般采用GPS和电子罗盘等传感器完成跟踪注册,而这些传感器又容易受到外界环境因素的干扰,所以其在跟踪注册过程中存在传感器抖动的问题.402刘佳,等.移动增强现实跟踪注册技术概述.LIUJia,etal.Overviewoftrackingregistrationtechniquesinmobileaugmentedreality.图2㊀浏览器Layar[19]Fig 2㊀Layarbrowser图3㊀Wikitude世界浏览器[20]Fig 3㊀Wikitudeworldbrowser3 2㊀基于机器视觉的跟踪注册技术在增强现实系统中,基于机器视觉的跟踪注册技术是在计算机视觉的基础上发展起来的,它是通过设备上的摄像机对视频图像进行处理得到跟踪信息,并根据这些跟踪信息确定所要添加的虚拟物体在真实环境中的位置等信息.基于机器视觉的跟踪注册技术原理相对简单,在利用图像处理技术和计算机视觉技术结合进行注册的同时能够动态地纠正造成的误差[22],是目前增强现实跟踪注册技术领域的主流技术.基于机器视觉的跟踪注册技术主要有两种,一种是基于标识(marker)的跟踪注册技术,另一种是基于自然特征(naturalcharacteristics)的跟踪注册技术.3 2 1㊀基于标识的跟踪注册技术基于标识的跟踪注册技术是目前AR系统中最成熟的注册技术,该跟踪注册技术具有较高的鲁棒性和较低的处理能力要求,其方法的使用由来已久.基于标识的跟踪注册技术是先在现实场景中放置人工标识,然后利用摄像机对图像中的标识进行识别,同时结合摄像机标定原理,完成虚拟信息的跟踪注册.其跟踪注册系统工作流程如图4所示.图4㊀基于标识系统的工作流程Fig 4㊀Workflowbasedonmarkidentificationsystem当前人工标识的识别方法主要有基于图像匹配的标识识别和基于编码特征的标识识别[23]两种.早期的标识都是黑白平面的正方形标记,基本形状多为正方形,如ARToolKit[24]㊁ARTag[25⁃26]㊁ARToolKit⁃Plus[27]㊁ARStudio[28]㊁VisualCode[29]等标识.ARToolKit是由美国华盛顿大学的HTL实验室设计开发的AR跟踪注册软件包,该标识最初是用于传统PC端增强现实中的,在2002年,奥地利格拉茨大学的Kato[30]成功将ARToolKit移植入到WindowsCE中,实现了ARToolKit在移动智能端的增强现实应用.在之后出现的移动增强现实应用中,依然有部分应用[31⁃32]使用该标识进行跟踪注册.ARTag标识与ARToolKit标识的三维注册方法大体一致,不同之处在于其设计上使用CRC编码技术,使其对光照及遮挡仍具有一定的鲁棒性.ARToolKitPlus标识受到ARTag标识启发,是针对移动设备上的增强现实开发的工具包,可以较好地应用在移动终端上[33].AR⁃ToolKitPlus标识相较于ARTag标识而言,其边框宽度是可变的,而且识别率更高,但是标识在被遮挡时不能完成三维跟踪注册.ARStudio标识是背景为黑色正方形㊁内部为白色规则多边形的图案,由于其在实际应用中比较复杂,所以很少会被使用,不适合移动端的应用.瑞士苏黎世理工学院的Rohs[29]针对手持设备设计了VisualCode标识,其采用类似二维条码方式设计标识,扩大了可识别标识的数量,但是它仅能提供三自由度的摄像机姿态信息,虚拟物体的注册位置精度不够高.以上所述标识系统如图5所示.罗马尼亚布加勒斯特政法大学[34⁃35]提出了一种QR码的标识跟踪系统.基于QR码具有大容量㊁纠错502学报(自然科学版),2018,10(2):203⁃212JournalofNanjingUniversityofInformationScienceandTechnology(NaturalScienceEdition),2018,10(2):203⁃212图5㊀标识系统Fig 5㊀Markidentificationsystem能力强㊁自动编码等优点,包括虚拟信息在内,可以通过透视变换矩阵得到相关的物理位置信息.但是QR码标识不足之处在于其识别效率较低,识别角度较小,在复杂场景中使用存在一定局限性.当前很多应用[36⁃37]都证明基于QR码的增强现实能够较好地应用于移动智能终端.上海大学Li等[38]设计了由16个圆点组成的正方形边框作为Cop⁃Tag标识(图6),它采用投影不变式规则中的椭圆不变式㊁线性不变式和交叉比规则对标识进行检测和识别.该标识不仅减少了标识的存储空间,并且解决了增强现实系统中标识遮挡后无法三维注册的问题.由于该标识的识别依赖于直线的宽度和圆点的大小,所以识别率会受到摄像机与标识之间距离的影响.南京理工大学的夏德芳等[39]提出了利用水漫填充法和外接矩形的几何特征快速检测标识4个角点,设计了基于海明编码特征的人工标识,提高了标识的识别速度,具有一定的抗局部遮挡性能.实验表明利用该标识能够很好地在移动端实现增强现实效果,并有良好的实时性和有效性,其设计的人工标识如图7所示.图6㊀Cop⁃Tag标识[38]Fig 6㊀Cop⁃Tagmark[38]阿尔及利亚的Mohamed[40]设计了一种正十二边形的3D标识,该标识的每个面上都有ARTookit设计的标识(图8).该标识在一定程度上与2009年上海大学的Hu等[41]设计的基于ARTookit的3D正方体标识相类似.Mohamed设计的标识解决了不同观察视角情况下的遮挡问题,但由于该标识在真实图7㊀人工标识[39]Fig 7㊀Artificialmark[39]场景中占据空间较大,所以它不适合在复杂场景使用.沈阳工业大学的刘嘉敏等[42]提出了一种基于三角形的图案标识.该标识是一个等边三角形的标识,其内部是一个矩形图案,标识如图9所示.相较于ARTookit标识而言,该标识在不同复杂背景和不同光照强度条件下识别率较高.图8㊀3D标识[40]Fig 8㊀3Dmark[40]图9㊀等边三角形标识[42]Fig 9㊀Equilateraltrianglemark[42]602刘佳,等.移动增强现实跟踪注册技术概述.LIUJia,etal.Overviewoftrackingregistrationtechniquesinmobileaugmentedreality.沈阳工业大学的Liu等[43]提出了一种三角彩色标识的目标实时跟踪注册方法,标识如图10所示.该颜色标识上可以使用不同的颜色,满足标识颜色的多样性要求,但是在标识尺寸相对图像尺寸较小时,将无法实现准确的跟踪注册.阿尔及利亚的Belghit等[44]也设计了一种彩色标识,标识如图11所示.该标识的4个角上分别是4种不同的颜色,左下角表示真正目标的检测.该标识的检测受场景中相似颜色的影响,而且在标识被遮挡情况下无法完成跟踪注册.Chuang等[45]设计了一种ArUco颜色标识,该标识可以在室内和室外使用,在手持设备上可以很好地完成三维注册,其标识如图12所示.图10㊀三角彩色标识[43]Fig 10㊀Color⁃codedtriangle[43]图11㊀彩色标识[44]Fig 11㊀Color⁃codedmark[44]上述部分标识并没有研究人员将其应用到移动端,而且由于移动智能设备的自身条件限制,若将这些标识跟踪注册方法应用到移动智能设备上还应根据具体需要进行适当的优化,以便更好地在移动端实现跟踪注册.目前,出现了一些基于自定义标识的移动增强现实应用[46],这些自定义标识的出现预示着标识设计正朝着生动㊁多样化的方向发展.基于标识的跟踪注册技术使用人工标识跟踪注册方法,该方法不需要重建真实场景,跟踪注册计算复杂度较低,能够达到较好的实时性以及精确性,比较适合用于资源受限的移动智能设备.但是在真实图12㊀ArUco颜色标识[45]Fig 12㊀ArUcocolor⁃codedmark[45]环境中放置标识会影响真实环境的完整性以及自然性,这将降低用户的增强现实体验.同时,在跟踪注册过程中还存在漂移和标识遮挡问题.3 2 2㊀基于自然特征的跟踪注册技术基于自然特征的跟踪注册技术实现原理与基于标识的跟踪注册技术本质上是相同的,不同之处在于基于自然特征的跟踪注册技术不需要预先放置标识物,它直接利用真实场景中的一些自然特征来提取基准点,进行跟踪注册.基于自然特征的跟踪注册技术主要是通过相应算法的方式进行跟踪注册,目前常用的算法有SIFT(Scale⁃InvariantFeatureTrans⁃form)算法[47]㊁FAST(FeaturesfromAcceleratedSegmentTest)算法[48]㊁SURF(Speed⁃UpRobustFea⁃tures)算法[49]㊁ORB(OrientedFASTandRotatedBRIEF)算法[50]㊁BRISK(BinaryRobustInvariantScal⁃ableKeypoints)算法[51]㊁Freak(Fastretinakeypoint)算法[52]㊁BRIEF(BinaryRobustIndependentElementaryFeatures)算法[53]㊁LLDB(Learning⁃basedLocalDifferenceBinary)算法[54]等.由于移动智能设备自身的不足,所以在对算法的实时性㊁鲁棒性以及计算效率方面有着更高的要求,表1对上述算法进行了比较.同时,这些算法都有各自的优缺点,最初大多用于PC端,并不适合直接用于移动端的增强现实开发应用中.目前,基于自然特征的跟踪注册技术逐渐成为主流,亟需研究人员提出更好的跟踪注册算法.很多研究人员将上述一些算法进行结合或者加以改进,较好地在移动智能设备上完成了AR系统的跟踪注册[55⁃58].格拉茨科技大学的Wagner和剑桥大学的Reit⁃mayr等[59⁃60]对SIFT算法进行了改进,使其更适合在移动端上应用,同时基于分类的自然特征点完成匹702学报(自然科学版),2018,10(2):203⁃212JournalofNanjingUniversityofInformationScienceandTechnology(NaturalScienceEdition),2018,10(2):203⁃212表1㊀常用算法比较Table1㊀Comparisonbetweencommonlyusedtrackregistrationalgorithms算法实时性鲁棒性计算效率SIFT[47]较低较高较低FAST[48]较高较高较高SURF[49]一般较高一般ORB[50]较高较高一般BRISK[51]一般一般一般Freak[52]一般较高较高LLDB[54]较高较高较高配,成功开发了第一款基于自然特征点的移动增强现实虚拟注册方法.瑞尔森大学的Ufkes等[61]提出了使用ORB二进制特性和光流法相结合的方法.该方法使用ORB算法对视频图像特征进行检测匹配,同时利用光流法进行姿态跟踪,实现图像特征的跟踪注册,并通过相应的实验证明该方法可以有效提升系统的运行效率,拓展了其跟踪范围,但会受到光照因素的影响.厦门大学的肖斌等[62]提出了一种基于ORB和KLT的移动增强现实三维注册算法,该算法分为离线和在线2个阶段,2个阶段都使用ORB进行特征提取和匹配,提高算法效率.同时对KLT算法进行了改进,实现对特征位置的预测跟踪,保证了系统的实时性和匹配性能.韩国首尔Chung⁃Ang大学的Kim等[63]通过将FAST算法与SIFT算法相结合,实现特征点的检测,并通过测试证明该方法相对SIFT算法和SURF算法提高了检测效率.北京理工大学的桂振文等[64]提出了一种智能手机上的场景实时识别算法.该算法对FAST算法进行了改进,首先构建一组不同尺度的高斯滤波图像,剔除噪声引起的变化剧烈像素点,再对不同尺度图像进行降采样处理形成三阶高斯金字塔,最后通过稳定点查找算法,减少特征点匹配时间.该算法能有效地运行在智能手机上,适合在实际应用中使用.意大利乌迪内大学的Martinel等[65]提出的方法主要有3个模块:RPR检测器模块㊁匹配模块和AR显示模块,并使用SURF算法结合RANSAC单应性矩阵输出对当前RPR与全局特征的候选目标RPR进一步提取,完成了注册.2015年,Zhang等[66]提出DoP⁃RIEF(selectiveDifferenceofPatchRobustIndependentElementaryFeatures)算法,DoP⁃RIEF算法跟踪过程分为4个阶段:1)特征提取;2)特征分布拟合;3)特征选择;4)分类更新.该算法具有较高的特征匹配速度㊁精确度以及鲁棒性优点,并通过实验表明该算法能够很好地适用于移动增强现实应用.基于自然特征跟踪注册方法直接利用真实环境中的特征进行跟踪注册,弥补了基于标识跟踪注册方法需放置标识物的缺陷,具有更广阔的应用前景.由于基于自然特征的移动增强现实跟踪注册方法依赖于算法的实现,同时这种方法计算复杂性较高,所以采用适当的算法是完成跟踪注册的关键.3 3㊀基于混合的跟踪注册技术混合跟踪注册技术就是利用两种或两种以上的三维跟踪注册技术来确定物体的姿态和位置,这样可以集多种方法的优势于一体,取长补短,有效地解决单一跟踪注册技术无法全面解决增强现实应用中的跟踪注册难题,实现更好的增强现实效果.首先使用电子罗盘与GPS进行初步定位,然后再利用视频检测方法实现更精确的跟踪注册.这种技术也是目前国内外很多大学和研究机构人员看好的跟踪注册技术之一.目前基于混合的跟踪注册技术结合方式有多种形式:机器视觉结合惯性传感器㊁机器视觉结合GPS㊁机器视觉结合多种传感器等.当前的研究工作多集中于机器视觉与GPS跟踪注册结合,实现基础定位导航和增强现实效果.目前基于混合跟踪注册的移动增强现实多应用于智能导航信息服务方面.Choi等[67]开发了一个导游移动AR系统 智能小册子.该系统通过GPS获得用户准确的位置信息,提供用户特定信息.它使用2个二进制特征描述符(BRISK和Freak)相结合完成图像特征匹配,实现更精确的注册.沈阳科技大学的秦勇旭等[68]在安卓系统上实现了一个校园导航的移动增强现实应用系统.该系统包括3个功能模块:1)用户位置模块:利用高德地图API[69]实现用户导航,获得目标建筑精确位置以及通往路径;2)标记检测模块:建筑物上的标记由ARToolKit[70]设计,在获得建筑物数据和精确位置后,通过摄像机对建筑物上特定标记物进行跟踪注册,标记物上的确切数据将实现在导航界面上;3)三维显示和校园指南模块.3 4㊀跟踪注册方法的比较移动增强现实应用开发要根据实际需要选择跟踪注册方法,为了方便选择合适的方法进行跟踪注册,表2对上述几种跟踪注册方法进行了比较.802刘佳,等.移动增强现实跟踪注册技术概述.LIUJia,etal.Overviewoftrackingregistrationtechniquesinmobileaugmentedreality.表2㊀跟踪注册方法的比较Table2㊀Comparisonbetweentrackregistrationmethods跟踪注册方法优点缺点基于传感器的跟踪注册方法相比基于机器视觉的跟踪注册方法具有更小的延迟,稳定性㊁实时性更高,计算量更少.跟踪注册存在抖动问题,精度低㊁校准难㊁易受环境影响.基于标识的跟踪注册方法该方法比基于自然特征跟踪注册方法具有更高的实时性㊁更低的计算复杂度,精确性比基于传感器的方法高.计算复杂度比基于传感器的跟踪方法更高,同时稳定性较差,跟踪注册过程存在漂移和遮挡的问题.基于自然特征的跟踪注册方法该方法比基于传感器的跟踪注册方法具有更高的匹配精度,实现方便,弥补基于标识方法破坏真实场景完整性的缺陷,应用范围更广.计算复杂度较之前两种方法更高㊁实时性更差,系统时延较高,跟踪注册难度更高.基于混合的跟踪注册方法结合不同跟踪注册方法,具有更高的定位精度㊁鲁棒性和实时性.系统开发成本更高,难度更大.4㊀总结与展望近年来,AR技术取得了非常大的成果,其涉及领域也越来越广泛,在医疗㊁军事㊁工业㊁教育㊁娱乐㊁城市规划㊁旅游展览以及可视化信息检索服务等方面得到了广泛应用.随着移动智能设备的普及和性能的不断完善,移动增强现实技术终将为我们带来更好的生活体验.其发展将呈现以下趋势:1)基于自然特征的跟踪注册技术与移动智能手机将更加紧密结合.随着当前移动智能手机性能的不断提高,移动智能手机已经在一定程度上满足了AR技术的要求,基于自然特征的跟踪注册不需要用户佩戴设备㊁标签等标识物,便于推广使用.2)基于混合的跟踪注册技术的移动增强现实将会逐渐成为主流.其中涉及的基于自然特征的跟踪注册技术尤为重要,需要不断提高基于自然特征跟踪注册的准确性㊁实时性㊁鲁棒性,对现有算法进行改进优化和提出更好的跟踪算法来优化移动AR系统是未来研究的热点之一.3)空间信息在移动增强现实中将起到重要作用.移动增强现实主要解决在室外环境下的应用问题,如何实现在大范围场景的跟踪注册也是未来研究的重点,基于空间信息㊁地理信息的跟踪注册具有重要的现实意义.参考文献References[1]㊀AzumaBRT.Asurveyofaugmentedreality[J].PresenceTeleoperatorsandVirtualEnvironments,1996,6(4):355⁃385[2]㊀VerbelenT,StevensT,SimoensP,etal.Dynamicdeploy⁃mentandqualityadaptationformobileaugmentedrealityapplications[J].TheJournalofSystemsandSoftware,2011,84(11):1871⁃1882[3]㊀ChouTL,ChanlinLJ.Augmentedrealitysmartphoneen⁃vironmentorientationapplication:AcasestudyoftheFu⁃JenUniversitymobilecampustouringsystem[J].Procedia⁃SocialandBehavioralSciences,2012,46:410⁃416[4]㊀周国众.移动增强现实关键技术及应用[J].测绘与空间地理信息,2012,35(9):140⁃144ZHOUGuozhong.Technologyandapplicationofmobileaugmentedreality[J].Geomatics&SpatialInformationTechnology,2012,35(9):140⁃144[5]㊀林倞,杨柯,王涌天,等.移动增强现实系统的关键技术研究[J].中国图象图形学报,2009,14(3):560⁃564LINLiang,YANGKe,WANGYongtian,etal.Keyissuesstudyformobileaugmentedrealitysystem[J].ChineseJournalofImageandGraphics,2009,14(3):560⁃564[6]㊀李丹,程耕国.基于Android平台的移动增强现实的应用与研究[J].计算机应用与软件,2015,32(1):16⁃19LIDan,CHENGGengguo.Applicationandresearchonandroidplatform⁃basedmobileaugmentedreality[J].JournalofComputerApplicationsandSoftware,2015,32(1):16⁃19[7]㊀王涌天,陈靖,程德文.增强现实技术导论[M].北京:科学出版社,2015WANGYongtian,CHENJing,CHENGDewen.Introductiontotechnologyofaugmentedrealitytechnology[M].Beijing:SciencePress,2015[8]㊀周忠,周颐,肖江剑.虚拟现实增强技术综述[J].中国科学(信息科学),2015,45(2):157⁃180ZHOUZhong,ZHOUYi,XIAOJiangjian.Surveyonaug⁃mentedvirtualenvironmentandaugmentedreality[J].ScientiaSinicaInformationis,2015,45(2):157⁃180[9]㊀汪燕.增强现实中的注册技术研究[D].无锡:江南大学物联网工程学院,2008WANGYan.Researchoftheregistrationtechnologyinaugmentedreality[D].Wuxi:SchoolofInternetofThingsEngineering,JiangnanUniversity,2008[10]㊀LivingstonMA,AiZM.Theeffectofregistrationerrorontrackingdistantaugmentedobjects[C]ʊIEEE&ACMInternationalSymposium,2008:77⁃86[11]㊀范利君,童小念.移动增强现实中视觉三维注册方法的实现[J].计算机与数字工程,2011,39(12):138⁃141902学报(自然科学版),2018,10(2):203⁃212JournalofNanjingUniversityofInformationScienceandTechnology(NaturalScienceEdition),2018,10(2):203⁃212。
虚拟现实和增强现实的开发技术虚拟现实(Virtual Reality,简称VR)和增强现实(Augmented Reality,简称AR)是近年来备受关注的新兴技术,促使了数字娱乐、教育、医疗、工业等领域的创新发展。
本文将详细分析虚拟现实和增强现实的开发技术,并探讨其应用前景。
一、虚拟现实技术的开发1. 头戴式设备头戴式设备是虚拟现实体验的关键,主要由显示屏、传感器和运算装置等组成。
近年来,随着技术的进步,虚拟现实设备逐渐变得更小、更轻、更舒适。
领先的VR头戴设备如Oculus Rift、HTC Vive等都在不断优化,提供更好的沉浸式体验。
2. 位置跟踪技术在虚拟现实中,位置跟踪技术是至关重要的一环。
通过使用摄像头、传感器或激光雷达等装置,可以精确追踪用户在虚拟世界中的位置和动作。
其中的核心技术包括光电式跟踪、磁力式跟踪和惯性式跟踪等。
3. 虚拟环境建模为了创造逼真的虚拟现实体验,开发者需要构建具有真实感的虚拟环境。
虚拟环境建模主要包括三维建模、纹理映射、动画设计等技术。
其中,三维建模技术是非常重要的,可以通过计算机生成三维模型,并为其添加纹理、光照等效果,使虚拟环境更加逼真。
4. 用户交互技术用户交互是虚拟现实体验的关键之一。
传统的交互方式主要是通过手柄或控制器实现,用户可以通过手势、按钮等方式与虚拟环境进行交互。
而如今,虚拟现实设备开始采用手势识别、眼球追踪等新技术,使得用户交互更加自然、便捷。
二、增强现实技术的开发1. 智能眼镜/头盔增强现实技术的入口设备主要是智能眼镜或头盔。
这些设备使用透明显示器,将虚拟图像叠加在用户看到的真实世界之上。
目前市面上较为知名的增强现实设备有Microsoft HoloLens、Google Glass等。
2. 传感器和相机增强现实技术依靠精确的传感器和相机来感知和识别真实世界中的元素。
传感器能够感知用户的位置、姿态和动作,而相机则用于捕捉和识别现实世界中的物体、图像或文字。
增强现实知识:AR技术如何使用技术和算法来定位和跟踪位置增强现实技术是在真实世界中叠加虚拟信息的一种技术。
它通过识别和跟踪现实世界中的物体,来在这些物体上叠加虚拟的图像或者三维模型,实现真实和虚拟的混合。
AR技术的其中一个核心问题就是如何精确的定位和跟踪用户的位置信息。
本文将从技术和算法两方面来探讨AR技术如何实现定位和跟踪位置的。
一、AR技术的定位和跟踪技术AR技术的定位和跟踪技术主要有两种:基于传感器的方法和基于计算机视觉的方法。
基于传感器的方法是指利用设备内置或外挂的各种传感器,如GPS、陀螺仪、加速度计、磁力计等,来获取设备的运动姿态和位置信息,再将这些信息传递给AR引擎,从而实现将虚拟信息叠加到现实世界中的精准位置。
而基于计算机视觉的方法则是利用计算机视觉技术来对现实世界中的场景进行分析和理解,从而得到场景中物体的位置和姿态信息,再将这些信息传递给AR引擎,在相应位置上叠加虚拟信息。
二、AR技术的位置定位AR技术的位置定位是指如何精准地获取用户所在的位置信息,以此为基础来叠加虚拟信息。
AR技术的位置定位主要有两种方法:基于GPS定位和基于视觉定位。
1.基于GPS定位GPS定位是一种基于卫星的定位技术,能实现全球范围内的高精度定位。
在AR技术中,通过获取GPS设备所在的位置信息,可以将用户的位置和虚拟信息结合起来,实现精准的增强现实体验。
2.基于视觉定位基于视觉定位是指利用计算机视觉技术,通过对摄像头所拍摄的画面进行分析和识别,来获取用户所在的位置信息。
这种方法需要对场景中的物体进行识别和跟踪,从而得到用户的位置信息,并将虚拟信息在合适的位置上叠放。
三、AR技术的位置跟踪AR技术的位置跟踪是指如何在用户移动的过程中,动态地更新虚拟信息的位置,从而保证虚拟信息和真实世界的对齐。
AR技术的位置跟踪也有两种方法:基于惯性测量单元(IMU)的方法和基于视觉位置跟踪的方法。
1.基于IMU的方法IMU是一种用于测量设备的加速度和旋转率的传感器,它能够测量设备在三个轴向上的加速度、角速度和磁场强度等信息,从而计算出设备的位置和姿态信息。
增强现实技术的分类增强现实技术的分类随着科技的不断进步,增强现实技术已经成为了一种非常流行的技术。
它可以将虚拟世界和真实世界进行结合,使得用户可以更加直观地感受到虚拟世界的存在。
针对不同的应用场景,增强现实技术也被分为了多个不同的分类。
下面将对这些分类进行详细介绍。
一、基于标记的增强现实技术基于标记的增强现实技术是指通过识别特定标记来触发虚拟内容的显示。
这些标记可以是二维码、条形码、图像等等。
当用户使用相应设备扫描这些标记时,设备会自动识别并在用户视野范围内显示出相应的虚拟内容。
二、基于位置的增强现实技术基于位置的增强现实技术是指通过识别用户所处位置来触发虚拟内容的显示。
这种技术通常需要使用GPS等定位设备来获取用户当前所在位置,并根据该位置信息来确定需要显示哪些虚拟内容。
三、基于姿态跟踪的增强现实技术基于姿态跟踪的增强现实技术是指通过识别用户的身体姿态来触发虚拟内容的显示。
这种技术通常需要使用摄像头等设备来获取用户身体姿态信息,并根据该信息来确定需要显示哪些虚拟内容。
四、基于手势识别的增强现实技术基于手势识别的增强现实技术是指通过识别用户手部动作来触发虚拟内容的显示。
这种技术通常需要使用摄像头等设备来获取用户手部动作信息,并根据该信息来确定需要显示哪些虚拟内容。
五、基于语音识别的增强现实技术基于语音识别的增强现实技术是指通过识别用户语音命令来触发虚拟内容的显示。
这种技术通常需要使用麦克风等设备来获取用户语音命令,并根据该命令来确定需要显示哪些虚拟内容。
六、基于混合现实的增强现实技术基于混合现实的增强现实技术是指将真实世界和虚拟世界进行结合,使得用户可以同时感受到两个世界中存在的元素。
这种技术通常需要使用AR眼镜等设备,将虚拟内容叠加在用户眼前的真实场景中。
七、基于虚拟现实的增强现实技术基于虚拟现实的增强现实技术是指将虚拟世界与真实世界进行结合,使得用户可以在虚拟世界中感受到真实世界中存在的元素。