虚拟现实技术总结

虚拟现实技术总结 第一章 1. 虚拟现实概念、内涵及理解 概念：虚拟现实是人工构造的，由计算机生成的，存在于计算机内部的环境，用户可以通过自然的方式进入此环境，并与环境进行交互，从而产生置身于相应真实环境的虚幻感、身临其境的感觉。 2. 虚拟现实三特征：沉浸感、交互式、构想性 3. 为何使用VR技术，有何优势，举例说明其应用 1) 立体成像显示器增强视觉立体感 2) 沉浸式体验减少外界干扰而增强代入感 3) 头部追踪技术让使用者有更强的参与感 4) 更丰富的体感操作将增强代入感 5) 虚拟现实技术可以让内容从体验上突破矩形屏幕的边界限制 4. VR技术目前存在问题 1) 3D眩晕、近视、视觉疲劳等操作不适感较重 2) 2不良内容对使用者的伤害被放大 3) 沉浸式体验放大“网络游戏成瘾”等问题 4) 全封闭式体验难以实现用户间现实的交流分享体验。

第二章 1. 用户界面设计准则 1) 性能(Performance)：效率，准确性和生产力 2) 易用性(Usability)：易于使用和学习 3) 有效性(Usefulness)：专注于任务 2. 用户界面核心功能 1) 导航(Navigation)：旅行，寻路... 2) 选择(Selection)：选择一个或多个对象 3) 操控(Manipulation)：改变系统状态 3. 多点触控技术 1) 定义：把任务分解为两方面的工作，一是同时采集多点信号，二是对每路信号的意义进行手势识别，实现屏幕识别人的手指同时做的点击、拖拉等触控动作。 2) 多点触控实现技术？ a) LLP技术(Laser Light Plane)：主要运用红外激光设备把红外线投影到屏幕上。当屏幕被阻挡时，红外线便会反射，而屏幕下的摄影机则会捕捉反射去向。再经系统分析，便可作出反应。 b) FTIR技术：在屏幕的夹层中加入LED光线，当用户按下屏幕时，便会使夹层的光线造成不同的反射效果，感应器接收光线变化而捕捉用户的施力点，从而作出反应。 c) ToughtLight技术：运用投影的方法，把红外线投影到屏幕上。当屏幕被阻挡时，红外线便会反射，而屏幕下的摄影机则会捕捉反射去向。再经系统分析，便可作出反应。 d) Optical Touch技术：在屏幕顶部的两端，分别设有一个镜头，来接收用户的手势改变和触点的位置。经计算后转为座标，再作出反应。 4. 实现多点触控的主要技术 - LLP (Laser Light Plane) - FTIR (Frustrated Total Internal Reflection) - ToughtLight技术 - Optical Touch技术

三维模型获取与处理 1. 主动式“三角化”感知场景深度原理 2. 基于视觉测距的三维扫描重建基本流程 第三章（1） 感官、视觉系统、建模 1. 人类主要感官：视觉/听觉/触觉/嗅觉/味觉/平衡 2. 视觉感知 - 成像系统：角膜、瞳孔、晶状体；视杆/视锥细胞；暗/亮适应 - 颜色感知：加色（RGB）、减色（C：Cyan、M：Magenta、Y：Yellow） - 运动感知（视觉暂留）：人眼在观察景物时，光信号传入大脑神经，需经过一段短暂的时间（感光细胞感光），光的作用结束后，视觉形象并不立即消失，这一现象被称为“视觉暂留”。视神经的反应速度是二十四分之一秒。动画、电影等视觉媒体形成和传播的根据。 - 深度感知：双眼视差

3. OpenGL库函数，复杂场景绘制（矩阵堆栈）

第三章（2） 光照 1. 光与物质的交互： 吸收：强度下降/颜色变化，方向不变 散射：光线方向变化，强度不变 发射：创建新光源; 不会经常出现在阴影中 2. OpenGL光照模型 - 漫反射 - 环境光 - 镜面高光 - 发射光（光源） 3. 网格表面绘制及顶点法线计算 4. OpenGL中光源位置及属性设置

第三章（3） 纹理映射 1. 什么是纹理映射、作用 定义：将n维图像粘贴到几何对象上。 目的：更改对象模型的表面属性，例如颜色、漫反射和像素法向量等。 作用：首先，增强了场景的细节等级和真实度。其次，基于透视变换提供了较好的三维空间线索。最后，纹理的使用极大地减少了场景中多边形的数量，可以提高帧刷新率。（用更便宜的方式更现实主义。） 2. 纹理图像的放大与缩小 3. 最近邻法 4. 双线性插值法 5. Mipmaps（Image pyramid）（贴图（图像金字塔）） 6. OpenGL中实现纹理映射基本过程 （1）指定纹理 ➢ 读取或生成图像 ➢ 分配到纹理 ➢ 启用纹理和绑定 （2）指定纹理参数 ➢ 包装，过滤 （3）将纹理坐标分配给顶点 7. Bump mapping（凹凸贴图）原理与特点 让纹理修改每个像素处的法线，然后使用此法线计算光照

第四章 阴影与光线追踪 1. 阴影形成过程，及硬阴影与软阴影区别 四过程： （1）仅使用环境照明渲染场景 （2）渲染前面临阴影卷多边形到模板缓冲区，递增计数。 （3）将阴影体多边形渲染为模板，递减。 （4）在模板缓冲区为0时渲染漫反射和镜面反射。 区别：硬阴影破坏了场景的真实性，因此，我们必须仿造软阴影来提升场景的可视效果 2. 平面阴影投射矩阵计算

3 光线追踪：通过追踪图像平面中像素的光线路径来生成图像，并模拟与虚拟物体相遇的效果。 第六章 听觉与立体声 1. 人耳的解剖结构及功能 - 外耳：它是可见的并且由皮肤和软骨的褶皱构成。收集声波，沿着耳道传播并振动耳膜。 - 中耳：包含耳膜。放大声音 - 内耳：分析声波并且包含维持身体平衡的装置。16000个毛细胞感应运动；31000听觉神经元产生电脉冲；不同的地点和不同的方式感应各种频率；连接到听觉神经 2. 描述声音的三个技术指标 ➢ 音高/频率：人类听力范围从20到20,000赫兹 其中T是张力，μ是线密度，L是弦的振动部分的长度。 ➢ 响度：与声音幅度成正比的属性。声音的功率，以分贝（+10 dB = 10倍声功率） L是分贝数值； I为量度的“密度”，I0为“特定参考密度”； P为量度的压力，P0为“特定参考压力” 。 ➢ 音色：音符或声音或音调的质量，区分不同类型的声音制作，如声音和乐器 3. HRTF如何产生立体音效？ HRTF利用IID(Inter Aural Intensity Difference)两耳音量大小差和ITD(Inter Aural Time Delay)两耳时间延迟量差等技术产生立体音效，使声音传递至人耳内时，聆听者会有环绕音效之感觉，通过DSP，可实时处理虚拟世界音源。

第七章 计算机动画与电影 1. 动画与电影实现的视觉基础

2. 定义： 通过在屏幕上显示或者在记录设备上记录动态场景的一系列单独状态来创建运动错觉的技术。 3. 计算机动画技术 - 运动捕获：描述记录运动并将运动转换为数字模型的过程。 - 夸张：艺术家的技巧、挤压和伸展、运动模糊 - 基于物理的动画

第八章 增强现实 1. AR概念、特征及与VR的区别 概念：一种动态融合虚拟场景和真实场景的技术。虚拟景物对真实场景起增强作用。属于虚拟现实条件弱化类，允许用户在看到虚拟环境的同时还能感知所在的真实世界。实时人机交互。 与虚拟现实的区别： ➢ 虚拟现实要求在与人所处环境完全隔离的场景中体现沉浸感。 ➢ 增强现实的目标是使用户处于一种融合的环境中，无法区分真实与虚拟。 2. 不同类型的AR系统 - 基于光学的透视HMD系统：利用光学镜片的部分透光性和反光性

- 基于视频的透视式HMD系统： - 基于监视器立体眼镜系统 比较 （1）基于光学的AR系统能较好地保持真实场景图像，失真小； （2）基于光学的AR系统安全性较好； （3）基于视频的AR系统融合灵活，亮度匹配容易。 3. AR系统实现基本步骤 1) 获取真实场景信息; 2) 对真实场景和相机位置信息进行分析; 3) 生成虚拟景物; 4) 合并视频并显示。 4. AR系统实现的关键技术 1) 聚焦与对比度(Focus and contrast) 由计算机生成的虚拟对象恒聚焦，而摄像机摄取的真实世界由于景深及焦距的原因将造成部分聚焦，部分散焦。人眼能够检测高对比度的物体，而摄像机和显示器能响应的动态对比度很有限。 2) 融合精度与实时性问题(Registration) 增强现实系统对融合精度要求很高，随用户视点变化应在几十毫秒内融合完，技术上实现起来非常困难。若整合精度较低或显示发生滞后，将有可能造成环境中的人出现“平衡不适应感”或“位置不适应感”，这会导致所谓的“运动病”。 3) 系统可移动性(Portability) 增强现实需要用户在较大范围内移动，甚至要求用户位于任务现场。因此增强现实强调系统的移动性，特别要求能远离系统控制环境，在室外或野外自由活动。 4) 传感系统(Sensing) 构建有效的增强现实系统的最大障碍是缺乏能有效检测用户及其周围对象位置的精确的远程传感器和跟踪器，这种追踪误差对于虚拟现实系统也同样存在。

第九章 触觉、味觉、嗅觉与VR 1. 触觉器官： - 皮肤（热感受器/疼痛感受器/机械性感受器）

基于视觉的触觉反馈原理 基于视觉判断是否接触，普遍采用。通过碰撞检测计算，在虚拟境界中显示两个物体相互接触情景。 充气式触觉反馈原理 传感手套中有一些微小气泡，每一气泡都有两条进气和出气管，所有气泡的进/出气管汇总在一起，与控制器中的微型压缩泵相连，使气泡可以按要求充气和排气。充气时气泡膨胀而压迫皮肤，排气时气泡收缩而释放压迫，达到触觉反馈的目的。 振动式触觉反馈原理 ➢ 将音圈缠绕在指尖，通过音圈产生的振动刺激皮肤以获得触觉； ➢ 用轻型的形状记忆合金(Shape Memory Metal)作为传感装置，当记忆合金丝通电加热时，将产生收缩，从而拉动触头，接触手指皮肤而产生触觉感知。 压电刺激式触觉反馈原理 通过压力生成电脉冲信号刺激皮肤，以达到触觉反馈的目的，压电晶体受到适当的电激励时将发生颤动，从而产生触觉感知。 神经肌肉刺激式触觉反馈原理 通过生成相应刺激信号去刺激用户感觉器官的外壁，产生相应的触觉反馈。 压电刺激式和神经肌肉刺激式都用物理刺激信号，具有一定的操作危险性。 2. 触觉系统 - 视觉式、充气式、振动式、压电刺激式、神经肌肉刺激式

3. 味觉器官： - 舌头（甜/酸/咸/苦）

4. 嗅觉器官： - 鼻子（挥发性物质） - 嗅觉感知/味道展示（气味“投影机”）

期末考试：填空题：15*2 = 30 选择题：5*2 = 10 简答题：5*5 = 25 计算题：1*10 = 10 程序设计：(1/2)*5 + (1/2)*5 = 10 论述题：1*15 = 15