第2讲 VR的关键技术及应用

位置定位实现用户和虚拟环境的融合
动作捕捉建立用户和虚拟环境之间的 连接
1、交互技术
① 眼部追踪
• 可以获知人眼的真实注视 点，从而得到虚拟物体上 视点位置的景深。 • 虽有一些限制，但可行性 还是比较高的，比如外接 电源、将VR的结构设计做 的更大等。 • 更大的挑战在与通过调整 图像来适应眼球的移动。
② 输入控制（动作捕捉）
• 运动捕捉的实质就是 要测量、跟踪、记录 物体在三维空间中的 运动轨迹。 • 典型的运动捕捉一般 由传感器、信号捕捉 设备、数据传输设备 、数据处理设备四个 部分组成。
代表性公司： Rokoko Electronics 代表性产品： SmartSuit Pro，全身动作 捕捉方案
②输入控制（手部动作捕捉）
② 输入控制（手势识别）
③ 肌电模拟
VR拳击设备Impacto用肌电模拟 实现交互。包括两部分： （1）震动马达，产生震动感， 通过游戏手柄可以体验； （2）肌肉电刺激系统，通过电 流刺激肌肉收缩运动。
④ 触觉反馈
• 触觉反馈主要是按钮和震 动反馈，大多通过虚拟现 实手柄实现。 • 目前三大VR头显厂商都采 用了虚拟现实手柄作为标 准的交互模式：两手分立 、6个自由度空间跟踪，带 按钮和震动反馈。
VR主题公园——The Void
⑧ 无线传输
• 数据进行无线传输是未来头显发展 一个最重要的趋势。 • 传输高分辨率屏幕来营造沉浸感这 就提出了很高的带宽要求。 • 未来VR也将逐步摆脱线缆的束缚。
2、数据采集技术
静态数据的获取：
1 2 3 4 三维扫描仪 基于图像 三维物体的断层扫面 使用探针或激光读数器逐点获取数据
动态数据的获取：
运动捕捉设备 用多摄像机实时重构三维数据
坐标数据采集
某型号三维扫描仪
• JR系列三维扫描系统
设备
技睿RECAM扫描软件
• 1 光栅发生器 • 2 工业摄像机 • 3 工业镜头 • 4 云台 • 5 三脚架 • 6 标定块
RECAM扫描界面--初阶
RECAM扫描过程
RECAMPro扫描界面--高阶
⑥ 空间定位
• 代表性公司：HTC Vive、 Oculus 、索尼
• 代表性产品：激光扫描定 位技术、主动式光学定位 技术、可见光主动式光学 定位技术
Lighthouse空间定位技术
⑥ 空间定位
主动式光学定位技术
⑥ 空间定位
可见光主动式光学定位技术
⑦ 环境交互
• 造出一个与虚拟世界的墙壁 、阻挡和边界等完全一致的 可自由移动的真实场地，这 种真实场地通过仔细的规划 关卡和场景设计就能够给用 户带来种种外设所不能带来 的良好体验。 • 缺点是规模及投入较大，且 只能适用于特定的虚拟场景 ，在场景应用的广泛性上受 限。
④ 输出系统（触觉反馈）
• 触觉的实质是在虚拟世界 中创建一个完整且自由的 人
Hale Waihona Puke Baidu代表性公司：Cerevo 代表性产品：Taclim，手、足 触觉反馈
④ 输出系统（触觉反馈）
指尖触摸反馈
④ 输出系统（触觉反馈）
触觉反馈手套
⑤ 语音交互
• 由于图形上的指示会干扰 到用户在VR中的沉浸感， 使用语音与VR世界进行交 互，会更加自然。
怎样理解VR
第三种情况是模仿真 实世界中的人类不可 见的环境。例如，分 子的结构，空气中速 度、温度、压力的分 布等。
一个蛋白质分子的示例
VR技术的特征
完全沉浸式的交互体验 让用户跨越时间空间限制
沉浸性：参与者感受到作为主角存在于虚拟环境中，具有和在真实环境中一样的感觉 交互性：参与者与虚拟世界中的物体进行自然的交互
代表性公司—FOVE公司
② 输入控制（动作捕捉）
• 特定超重度的场景中使 用，需要用户花费比较 长的时间穿戴和校准才 能够使用。 • Kinect这样的光学设备 在某些对于精度要求不 高的场景可能也会被应 用。 • 交互设计的一大痛点是 没有反馈，用户很难感 觉到自己的操作是有效 的。
代表性公司：诺亦腾 代表性产品：Project Alice，商用全身动 作捕捉解决方案，可多人交互
2D 3D和VR的区别
2D：平面显示，就像看到一面白墙一样，没有立体感 3D：立体显示，让我可以看到立体的图像，但是不能感知到多少物体； VR：立体显示，使我们真的身处在那个空间里，可以突破时间和空间的限制。当我们戴上VR头盔，
就可以直接穿越进我们想要的场景里，可以是一段我们未来要去的旅游景点，也可以是任何
构想性：有广阔的可想像空间
VR结构体系图
内容采集 大型显示 桌面级显示 内容加工 内容生成
视觉信息 视觉呈现端 内容生成端
移动显示
VR结构体系图
语音交互 计算机系统
局部追踪 全身追踪 生物电 其他
肢体交互
人机交互 端 听觉 触力觉
中控系统
应用端
其他部分
通讯系统 其他辅助
人机接口
嗅觉 味觉信息
其他反馈设备
三维扫描仪功能介绍
标志点全自动拼接：
三维扫描仪功能介绍
离线数据编辑功能： 所有单面及拼接数据保存 在硬盘上，方便随时调用历史 数据进行修改、拼接、调整等 操作。
2 VR关键技术及应用
2.1. VR特征 2.2. 关键技术 2.3. 重要技术指标 2.4 VR应用
VR特征
VR概念定义
怎样理解VR
第一种情况是模仿 真实世界中的环境 。
怎样理解VR
第二种情况是人 类主观构造的环 境。例如，用于 影视制作或电子 游戏的三维动画 。环境是虚构的 ，几何模型和物 理模型可以完全 虚构。
计算机视觉 数字图像处理 模式识别
虚拟现实 人工智能
计算机网络
人机交互
科学计算可视化 输入/输出设备
计算机图形学
自动化控制
生理学、心理学等
VR的核心技术
实时三维计算机技术
虚 拟 现 实
广角的立体显示技术
头、眼、手的跟踪技术 触觉、力觉反馈技术 立体声技术
语音输入输出技术
VR系统的关键技术
人与虚拟环境的交互包括位置定位、 动作捕捉等关键技术。
我们想要去的地方。
VR关键技术
人机交互方式的变化
时间+空间上解放用户 智能手机 电脑 电视 感知 便携 交互 视觉 视觉 听觉 交互 视觉 听觉 虚拟现实设备 交 互 内 容 （ 从 信 息 到 环 境 ）
广播
平面媒体
便携
交互 视觉 听觉
视觉
听觉
听觉
交互方式（单向信息传播到双向互动沟通）
虚拟现实及其相关学科