引言
增强现实技术（Augmented Reality，AR）是一种利用计算机产生附加信息，对使用者所看到的真实世界景象进行增强或扩张的技术。增强现实技术是虚拟现实技术（Virtual Reality，VR）的重要分支，是近年来的研究热点。增强现实技术借助计算机图形技术和可视化技术，产生现实环境中不存在的虚拟对象，通过传感技术将虚拟对象准确地放置在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并将一个感官效果真实的新环境[1]呈现给用户。增强现实系统不是把真实世界与使用者隔离开，而是将计算机生成的虚拟物体或场景叠加到真实场景中，实现对现实世界的“增强”。
图1为典型的增强现实场景。其中桌子和电话是真实的，灯和椅子是虚拟的。从这幅图中可以看出，增强现实系统呈现给用户一个复合场景。在增强现实场景中，使用者既可以看到真实环境（桌子、电话、房间），又可以看到计算机产生的增强信息（灯、椅子）。在理想情况下，用户是无法看出虚拟物体与真实物体的区别的，所看到的只是一个无缝拼接的完整场景。由此可见，通过增强现实技术可以把一些有用的信息（包括文字、图像和三维物体等）以视觉融合的方式添加到真实场景中，在用户面前展示一个增强的世界。
增强现实技术是一个新兴的研究领域，国际上很多知名大学和研究机构都开展了对增强现实系统及其关键技术的系统性研究[2]，如美国的哥伦比亚大学、麻省理工学院、北卡罗莱那
增强现实技术研究
王涌天 刘 越 王 宇
北京理工大学
关键词：
视觉融合 增强现实
图1 增强现实场景
专题报道
大学、中佛罗里达大学、科罗拉多矿业大学、波音公司，以及加拿大的多伦多大学、日本的索尼公司和佳能公司、德国的弗朗霍夫（Frauhofer）研究院1和奥地利的格拉茨（Graz）技术大学等都在从事相关研究工作，并已取得一批重要成果。在国内，在国家重点基础研究发展计划（973计划）以及多项国家自然科学基金项目的支持下，北京理工大学率先系统地对增强现实的关键技术进行了深入研究，成功研制出国内第一个增强现实用透视式头盔显示器，同时提出了基于单个摄像机和平面彩色标志点的户内增强现实三维环境注册定位算法，并且在突破三维环境注册定位算法、透视式融合显示和立体显示图形生成等关键技术的基础上，完成了国内第一个实时增强现实实验系统。
增强现实系统的构成
硬件构成
如图2所示，一个典型的增强现实系统由虚拟场景发生器、透视式头盔显示器、实现用户观察视线跟踪的头部方位跟踪设备、虚拟场景与真实场景对准的定位设备和交互设备等部
件构成[3]。其中，虚拟场景发生器负责虚拟场景的建模、管理和绘制以及其它外设的管理；头部方位跟踪设备用于跟踪用户视线变化，实现用户观察坐标系与虚拟场景坐标系的匹配；交互设备则用于实现感官信号及环境控制操作信号的输入输出。由于定位设备负责测量在真实环境中作为虚拟场景对准基准的参照物体的空间方位，因而其性能的优劣直接影响到增强现实系统中最关键的指标—对准精度。
软件构成
增强现实系统的软件结构会影响到系统组件和结构的复用，并且决定了系统的品质。与增强现实系统品质相关的属性中，从优先权上看，具有高优先权的属性有跟踪、融合、无线通信、使用混合跟踪装置、附加组件与复用，以及与现存增强现实组件的整合能力等；较低优先权的属性有CPU的限制条件、容错性能和系统运行时间、安全指标以及系统运行时的结构变化，还有多模式的输入、用户的适应性、多硬件平台和组件整合的方便性能等。图3给出一个增强现实软件体系结构的参考图。在这个体系结构中共有6个子系统，分别列出如下：
1．应用子系统 包含逻辑关系请求、继承
1
http://www.fraunhofer.de/
图2 典型的增强现实系统结构图
接入和数据库。
2．跟踪子系统 用户和其他物体的姿态。3．控制子系统 收集处理用户输入。4．表达子系统 三维或其他输出形式。5．关系子系统 收集不同形式的关系数据，使之可被其他子系统使用。
6．世界模式子系统 储存和提供用户使用的指示或者虚拟物体。
增强现实的主要研究内容与关键技术
增强现实技术中具有挑战性的难点包括将虚拟物体和真实环境精确对准的定位手段，以及将虚拟场景与真实环境融为一体的显示设备[4]这两部分。在定位手段方面，增强现实技术不仅对虚拟现实系统中方位跟踪系统的精度、数据刷新频率以及延迟等指标有很高的要求，还要求实现虚拟环境坐标系、真实环境坐标系和用户本身视觉坐标系之间的精确对准，以及在运动过程中对准关系的维持，还包括在虚拟环境坐标系中虚拟物体运动的精确性和其相对真实环境坐标系运动的精确性。
对显示设备的要求不再局限于对虚拟环境的浸没感，也不是对虚拟环境与真实环境的
简单叠加，关键的要求是虚拟环境深度细节、照明条件和分辨率等与真实环境诸因素的匹配等。因为不相匹配的环境会导致感觉的倾向性甚至误导性。
目前，阻碍增强现实系统得以广泛应用的技术难点有两个方面：一是增强现实的显示技术；另一方面是增强现实的三维环境注册（Registration）技术。
显示技术
头盔显示器（Head-Mounted Display，HMD）是增强现实系统中最典型的显示设备。目前大多数增强现实系统采用透视式头盔显示器以实现虚拟环境与真实环境的融合。透视式头盔显示器由3个基本环节构成：虚拟环境显示通道、真实环境显示通道、图像融合与显示通道。其中虚拟环境的显示原理与浸没式头盔显示器基本相同。图像融合与显示通道是实现与用户交互的最终接口，基本取决于真实环境的表现形式。目前，根据真实环境的表现形式，头盔显示器主要有视频透视式头盔显示器和光学透视式头盔显示器两种[5]。
1．视频透视式头盔显示器
视频透视式头盔显示器原理如图4所示，由安装在头盔上的微型CCD 2摄取外部真实环
2
Charge Coupled Device，电荷藕合器件
图3 增强现实系统软件体系结构的参考图
专题报道
境的图像，通过计算机处理，将所要添加的信息或图像信号叠加在摄像机的视频信号上，实现计算机生成的虚拟场景与真实场景融合。最后，通过类似于浸没式头盔显示器的显示系统呈现给用户。视频透视式头盔显示器具有合成景象灵活、视野广阔、可减小动态注册误差从而提高注册精度等优点。
由于摄像机与人眼的实际视点在物理上不可能一致，用户看到的视频景象与真实景象会存在偏差，因此对于视频透视式头盔显示器来说，最重要的难点在于摄像机与用户观察视点的匹配。如果不匹配，就会形成视觉效果与本体感觉的差异。尽管心理学研究表明，人对这种感觉差异能够很快适应，但其后所产生的效应也不容忽视。例如，在适应性测试结束时，受实验者不是把水杯送到嘴边，而是举到了额头上。
2．光学透视式头盔显示器
基于光学原理的透视式头盔显示器工作原理如图5所示，通过安装在眼前的一对半反半透镜，将真实场景直接呈现给用户；由光学系统放大的虚拟场景经半反半透镜反射进入人眼。半反半透镜实现了真实场景和虚拟场景的融合[6]。
对于光学透视式头盔显示器，一个主要问题是计算机生成的虚拟物体不能完全遮挡住真实环境中的物体。这是因为光学透视式头盔显示器前方的光学透镜组允许来自真实和虚拟环境中的光线同时通过。由于这个问题，使得注册的虚拟物体呈现出半透明的状态，从而破坏了真实景象与虚拟场景相融合的真实感，以及由于遮挡而提供给人们的深度信息。尽管如此，光学透视式头盔显示器的优势也比较多，如具有结构简单、价格便宜、分辨率较高、不存在视点的偏差和安全性能好等优点。综上所述，光学透射式头盔显示器与视频透射式头盔显示器各有利弊。究竟该选用何种形式，应根据所开发增强现实系统的应用领域决定。大多数机械装配和维修应用系统采用光学透视式头盔显示器，因为其价格较低，且安全性好。如果试用成功，便于在工厂内推广应用。大多数医学应用选用视频透视式头盔显示器，因为其真实对象图像和虚拟对象图像的融合很灵活，三维整合策略丰富。
注册技术
在增强现实系统中，三维跟踪注册精度是衡量增强现实系统性能、影响其实用性的关键指标。注册误差可分成两大类：静态注册误差和动态注册误差。当用户的视点与真实环境中的物体均保持静止时，系统产生的误差称静态注册误差；当用户的视点或环境中的物体发生相对运动时，会出现动态注册误差。动态注册误差是造成增强现实系统注册误差的主要来源，也是限制增强现实系统广泛应用的主要因素。
目前增强现实的研究中主要采用以下几种图4 视频透视式头盔显示器 图5 光学透视式头盔显示器
三维注册方法：
1．基于跟踪器的跟踪注册
跟踪用户头部位置的方位跟踪器主要有电磁跟踪器、惯性跟踪器、测距仪、超声波定位仪和全球定位系统（Global Position System，GPS）等，用以探测和跟踪真实环境中目标的位置和方向。这些跟踪器各有优缺点。为了弥补各跟踪器的缺点，许多研究者采用混合跟踪的方法以取长补短，满足增强现实系统高精度注册的要求[8]。
2．基于视觉的跟踪注册
目前，增强现实领域中基于计算机视觉的注册技术研究处于主导地位[9]。它是通过对一
幅或多幅视频图像进行处理，获得跟踪信息，来判断固定在使用者头部的摄像机在真实环境中的位置和方向。仅仅根据头部跟踪系统提供的信息进行三维注册属于开循环控制，系统没有反馈增强信息与真实环境之间的匹配程度，因而难以取得最佳匹配效果。基于视觉的增强现实系统可利用图像处理和计算机视觉的方法协助注册，从而将注册误差限制在像素级（以像素为单位，而不再是以真实世界空间坐标系中的米或英寸为单位）范围内。
基于视觉跟踪的方法大体可以分为以下3类：（1）利用单幅图像中已知的3个或3个以上的标志点进行跟踪。目前许多增强现实系统的研究者均采用此种算法；（2）对从运动摄像机拍摄到的序列图像或从拍摄到的运动目标序列图像进行跟踪，通过运动目标的序列图像研究运动目标的运动特征。这种方法要求首先利用序列图像来估计目标的运动参数和确定目标的结构。在具有系统噪声和测量噪声的情况下，通过对序列图像的处理，从统计意义上对运动目标参数做出精确的估计；（3）单幅图像的模板匹配。桑代尔斯沃伦（Sundareswaran）使用模板匹配的方法，从不同视点提取真实环境的图像作为模板，匹配真实环境的数字化图像，一旦找到相匹配的真实环境图像，虚拟物体就被添加到与之相对应的位置。
在第一类视觉跟踪算法中，使用标定的摄像机，利用单幅图像中已知点的坐标实现三维跟踪注册。这些已知点可以是物体上的特征点，如拐点、孔洞或人为放置的标志点等。目前，在增强现实的研究中，这种方法使用最为广泛。标志点多采用平面标志物作为定位基准，如长方体、圆环、五边形和条形码等。卡内基·梅隆大学的“魔眼”项目（Magic Eye Project）就是使用这种方法实现了增强信息的添加。如图6所示，为了在正确位置添加虚拟的骨骼图像，人体的腿部放置了一组黑色标志点。
3．基于认知（knowledge-based）的三维注册
基于认知的三维注册方法源自美国哥伦比亚大学计算机科学系的图形与用户接口实验室开发的增强现实应用项目—基于认知的增强现实的辅助维护（Knowledge-based Augmented Reality for Maintenance Assistance，KARMA）。KARMA是一个用于帮助终端用户维护激光打印机的增强现实应用系统。通过将几个三维跟踪器安装于打印机的几个关键部件上，系统可以对它们的位置和状态分别进行监控，并做出相
应的增强信息添加。为了能够根据不同的跟踪图6 基于视觉的三维注册系统“增强”图像
专题报道
信息确定部件的状态，系统必须了解打印机的结构，因此称之为基于认知的增强现实系统。
现有的三维注册方法各有优缺点和适用性。通常，使用头部跟踪器的增强现实系统跟踪过程比较复杂，并且会引入系统固有误差；而基于认知的三维注册需要借助多个安置在系统关键部件上的三维跟踪器进行定位监控，这样不仅系统安装和控制复杂，而且注册精度对各个跟踪器间的安装误差也相当敏感；基于计算机视觉的三维注册是一种综合性能比较好的注册方法，由于其通用性较强，仅通过图象分析的方式就可以得到头盔显示器的方位信息，并且系统构造简单，减少了系统误差（不存在摄像机和跟踪器之间的误差），因而非常适用于使用光学透视式头盔显示器的增强现实系统。但是，它的计算量较大，系统的延迟性问题比较严重。
综上所述，增强现实系统的关键技术在于三维环境注册技术[7, 10]。三维环境注册技术是实现增强现实技术的基础，也是表征增强现实系统性能的重要指标。它一直以来都是增强现实研究领域的热点。国外众多的著名学府和研究机构都投入了大量的人力和物力对其进行研究开发，致力于与应用系统相配套的注册算法的研制。
增强现实的应用
增强现实技术是一个较新的研究领域。由于其具有很大的应用和发展潜力，正逐渐引起人们越来越多的关注。增强现实不仅继承了虚拟现实的特点，而且还具有虚实结合的独特性。因此，增强现实技术不但具有与虚拟现实技术相类似的应用领域，诸如尖端武器与飞行器的研制开发、战场虚拟训练、太空探险、样机设计、制造与装配和教育培训等，而且在医疗研究、解剖训练、精密仪器制造、装配与维修、军事训练、工程设计和远程机器人等领域具有比虚拟现实技术更加明显的优势。
目前增强现实系统按其应用领域大体可分为如下几个方面。
1．医疗研究
医学领域中各种成像技术的盛行，为增强现实技术应用于医学领域奠定了良好的基础。目前，比较成熟的CT3技术、MRI4扫描、X光透视和B超技术为人体内部解剖结构可视化提供了大量图像数据（如图7所示）。
增强现实技术在解剖训练、教学、诊疗
图7 人体内部解剖结构可视化
现实也有相当出色的表现。例如，在做脑部手术过程中，增强现实系统给医生提供病人头部需要开刀的精确手术位置，帮助医生准确定手术位。也就是说，通过利用增强现实系统提供精确的文字和图像，可以帮助医生逐步地完成手术全过程。
科罗拉多矿业大学研究小组利用超声波传感器扫描孕妇子宫，得到三维的胎儿图像，并将其显示在医生佩戴的头盔显示器上，从而使医生看到正在运动的胎儿图像。
2．军事应用
多年来，军用飞机和直升机利用平视显示
器或透视式头盔显示器，将矢量图形和文字符号叠加到飞行员的视野中，从而提供导航和瞄准信息。增强现实系统的透视式头盔显示器可以让战士在看到战场实际景象的同时，还能看到红外或夜视图像，以及指挥部用远程通信方式传来的各种侦察信息、指挥命令和对特殊情况的帮助（如战场医疗急救、排雷指导等）。目前，美国军方正在致力于注册跟踪目标的研究工作，其中包括为飞机上装载的武器装备提供瞄准路径等方面的增强信息。
3．装配与维修
在复杂机械和仪器的组装、维护和修理方面，增强现实系统亦有着出色的表现。在装配一台复杂而陌生的精密仪器时，结合CAD/ CAM/CAE5技术，增强现实系统将装配流程指南按照工作进度准确地显示给用户，指导用户顺利地完成任务。对于用户而言，这些附加的文字、图像与厚厚的安装手册相比更加生动和易于理解（如图8所示）。
4．教育培训
在教育培训方面，增强现实系统可用于对物体或环境进行注释说明，提供公共或私人信息。欧洲计算机工业研究中心（ECRC6）将增强现实应用于注解机械模型方面。当指向机械模型的某一部位时，增强现实系统的用户将看到由计算机生成并叠加在该部位的名称信息图。此外，与建筑物结构信息的数据库配合后，增强现实还可以显示建筑物内部的结构信息，例如墙内管道、电线和支撑结构的位置。与此类似，在观察条件非常差的情况下（比如水下、大雾中），虚拟增强图形图像能够辅助
导航或加强场景的理解等（如图9）。
图8 增强信息在几何物体上的添加
图9 加强场景的理解
5 Computer Aided Design，计算机辅助设计；Computer Aided Manufacturing，计算机辅助制造；Computer Aided Engineering，计算机辅助工程
6 European Computer-Industry Research Centre
专题报道
5．机器人远程操作
机器人远程操作是一项非常艰巨的任务。特别是当机器人位于遥远的地方时，信息处理在时间上滞后是不能允许的。在这种情况下，工程师可以通过实时控制本地虚拟机器人做出各种计划的动作，通过增强现实系统的头盔显示器将虚拟机器人的运动结果显示在用户眼前（如图10）。一旦计划动作通过测试，由虚拟
机器人操作异地机器人去执行这些特殊任务，以避免由于时间滞后所造成的“导航震动”。
6．娱乐
娱乐也是增强现实的主要应用方向之一。佐藤研究组开发出的实时交互性增强现实系统可以玩曲棍球游戏。该游戏是交互式的。在游戏过程中，用户双方持球棒驱动虚拟的球体，模仿真实的比赛，当球棒撞击虚拟球体时，球体以一定的速度和方向发生运动。
7．商业应用
近年来，增强现实技术在商业上已被应用于实时视频转播领域。请看2个实例：虚拟广告和比赛项目的文字图像注释。图11显示的是虚拟广告；图12显示的是在汽车拉力赛实况转播过程中，为便于观众能够实时了解赛车和车手的状况，系统实时地添加了虚拟注释文字。
结语
增强现实技术是近年来的一个研究热点。它是一门跨学科的综合体，综合了不同研究领域的多种技术，例如虚拟现实技术、计算机视觉技术、人工智能技术、可佩戴移动计算机技术、人机交互技术和生物工程学技术等等。增强现实技术必将使人类的生活方式和生产方式发生重大改变。发展增强现实技术、创建增强现实产业是高科技领域的又一次重大机遇。■
图11 虚拟电视广告
图12 实况转播中的虚拟注释
虚
拟
的
广
告
文
字
虚
拟
添
加
的
注
释
图10 机器人远程操作
王涌天
北京理工大学光电信息技术与颜色工程研究所所长，教育部“长江学者奖励计划”特聘教授。1986年获英国瑞丁大学（Reading University）物理系博士学位。主
要研究领域包括技术光学、虚拟现实与增强现实技术及其应用、人机交互技术、医学图像处理与手术导航等。
刘 越
北京理工大学信息科学技术学
院光电信息技术与颜色工程研究所研究员。2000年获吉林大学信息工程学院通信与信息系统专业博士学位。主要研究领域包括虚拟现实与增强现实人机交互技术、摄像机位置和姿态的准确跟踪、环境特征标志的准确提取、三维立体图形的生成与显示、摄像机标定技术等。
参考文献
[1] Azuma R T. A Survey of Augmented Reality [J]. Presence: Teleperators and Virtual Environments, 1997,
6(4):355-385
[2] Feiner S, et al. A Touring Machine: Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban
Environment [C]. Proc. 1st Int’1 Symp. Wearable Computers (ISWC’97), Los Alamitos.Calif. IEEE CS Press, 1997:74-81
[3] Julier S, et al. Information Filtering for Mobile Augmented Reality [C]. Proc. Int’ 1 Symp. Augmented Reality
2000(ISAR 00), Los Alamitos, Calif, IEEE CS Press, 2000
[4] Hua Hong, Argotti Yann, Rolland J P. Documentation of the 3D bench prototype see-through Head-Mounted
Display[R]. Technical Report TR-002-99, School of Optics and CREOL, University of Central Florida, 1999[5] 哈涌刚, 周雅, 王涌天, 闫达远. 用于增强现实的头盔显示器的设计[J]. 光学技术, 2000,26(4):350-353[6] 刘涛, 赵国荣, 李冀鑫. 头盔显示器的光电技术发展研究[J]. 光电技术应用, 2005
[7] Rekimoto, J. Matrix: a real-time object identification and registration method for augmented reality Computer
Human Interaction[C]. Proceedings. 3rd Asia Pacific15-17 July , 1998:63 -68
[8] You S, Neumann U, Azuma R. Hybrid Inertial and Vision Tracking for Augmented Reality Registration[C]. Proc.
IEEE Virtual Reality.Los Alamitos, Calif, IEEE CS Press, 1999:260-267
[9] Audrei State, Hirota Gentaro, Chen Daid T, et al. Superior Augmented-Reality Registration by Integrating
Landmark Tracking and Magnetic Tracking[C], Proceedings of SIGGRAPH 96, 1996
[10] Kukulakos K N, Vallino J R. Calibration-Free Augmented Reality [J]. IEEE Trans Visualization and Computer
Graphics, 1998, 4(I):1-20