课程名称：虚拟现实与人机交互
一、课程编码：0700014
课内学时：48学分：3
二、适用学科专业：计算机科学与技术
三、先修课程：无
四、教学目标
通过本课程的学习，使学生了解并掌握虚拟现实的基本概念、发展概况、应用领域；了解虚拟现实所涉及的基本理论、方法和相关知识。掌握虚拟现实系统的基本组成及应用，掌握虚拟现实系统建模、渲染、显示技术，掌握虚拟声音生成与空间定位技术，掌握数据采集和人机交互技术，了解虚拟人建模及运动仿真，了解虚拟环境与应用。提升空间思维和构建能力，使学生理解虚拟现实的基本组成和原理，具有根据给定的主题或项目建立虚拟现实系统的能力。
本课程的任务如下：
1.学习虚拟现实的系统的基本方法，包括虚拟现实系统的基本概念和系统组成等。
2.学习虚拟现实建模技术的基本原理和方法，了解虚拟现实技术的建模工具和基本使用方法。
3.学习虚拟现实渲染技术的基本原理和方法，了解虚拟现实系统的开发引擎和开发方法。
4.学习虚拟现实显示技术的基本原理和方法。
5.学习虚拟声音的生成原理，。
6.学习虚拟现实系统的基本输入输出设备和交互控制。主要内容包括三维位置跟踪器、漫游和操纵接口等。
7.了解虚拟人和虚拟环境的概念。
五、教学方式
课堂讲授为主，辅以实验、课下实践与课堂讨论。
六、主要内容及学时分配
1虚拟现实的特征及概述3学时
1.虚拟现实的特性
2.虚拟现实的发展简史
3.虚拟现实系统的典型组成部分
2虚拟现实系统的人机交互设备6学时
1.立体显示设备
2.位置跟踪设备
3.虚拟声音输出设备
4.人机交互设备
3虚拟现实建模技术6学时
1.几何建模
2.运动建模
3.物理建模
4.行为建模
3虚拟现实渲染技术6学时
1.绘制流水线
2.图形学编程工具：OpenGL
3.图形变换与观察
4.纹理贴图与光照
5.常用渲染引擎
4基于图像的建模与渲染6学时
1.图像变换与摄像机标定
2.基于图像的建模技术
3.基于图像的绘制
5虚拟现实全景技术4学时
1.全景技术概述
2.全景技术常用的硬件与软件
3.虚拟全景空间
4.全景视频
6虚拟人建模及运动仿真6学时
1.虚拟人
2.人体运动建模
3.人体运动仿真
7虚拟环境与应用4学时
1.综合自然环境（SNE）
2.分布式虚拟现实技术的发展
3.基于HLA/RTI的分布式虚拟现实系统
8虚拟现实系统设计和评价方法2学时
1.虚拟现实技术在军事中的应用
2.战场环境仿真
3.信息可视化技术
9增强现实技术2学时
1.增强现实技术概述
2.增强现实核心技术
3.增强现实开发工具
4.增强现实应用与发展
10课程总结3学时七、考核与成绩评定
考核：采用日常性考核和期末终结性考核相结合的方式。
成绩评定：成绩以百分制衡量。平时作业、实验和日常表现占20%，大作业成绩占40%，期末笔试成绩占40％。
八、参考书及学生必读参考资料
教材：
1.喻晓和，虚拟现实技术基础教程，清华大学出版社，2015
2.娄岩，虚拟现实与增强现实，清华大学出版社，2016
3.张茂军，虚拟现实系统，科学出版社，2009
4.张菁，虚拟现实技术及应用，清华大学出版社，2011
5.赵沁平，分布式虚拟环境DVENET,科学出版社，2001
九、大纲撰写人：余月
中北大学软件学院 实验报告 专业软件工程 课程名称人机交互 学号 姓名 辅导教师何志英成绩 实验日期2012/3/13实验时间19:00-22:00
1实验名称 试验一：最新人机交互技术 2、实验目的 了解最新人机交互的研究内容 3、实验内容 通过网络查询最新人机交互相关知识。 (1)在百度中找到“最新人机交互视频”的相关网页，查看视频。 (2)什么是Kinect技术。 (3)人机交互技术在各个领域的应用。 4、测试及结果 (1)已在百度中查看“最新人机交互视频”的相关网页。 (2)Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字。 (3)人机交互技术已成为解决医疗、教育、科研、环保等各类重大社会问题不可或缺的重要工具 5、心得 通过此实验，我了解人机交互技术在社会各个行业的重大作用。辅导教师何志英成绩 实验日期2012/3/13实验时间19:00-22:00 1、实验名称 实验二：立体视觉 2、实验目的 掌握立体视觉的原理
3、实验要求 通过网络查询立体视觉相关知识。 (1)在虚拟环境是如何实现立体视觉？ (2)3D和4D电影的工作原理。 4、测试及结果 (1)实物虚化的视觉跟踪技术使用从视频摄像机到x-y平面阵列，周围光或者跟踪光在图像投影平面不同时刻和不同位置上的投影，计算被跟踪对象的位置和方向。 视点感应必须与显示技术相结合，采用多种定位方法（眼罩定位、头盔显示、遥视技术和基于眼肌的感应技术）可确定用户在某一时刻的视线。例如将视点检测和感应技术集成到头盔显示系统中，飞行员仅靠“注视”就可在某些非常时期操纵虚拟开关或进行飞行控制 (2) 4D电影是在3D立体电影的基础上加环境特效模拟仿真而组成的新型影视产品。所谓4D电影，也叫四维电影；即三维的立体电影和周围环境模拟组成四维环境。观众在看立体电影时，顺着影视内容的变化，可实时感受到风暴、雷电、下雨、撞击、喷洒水雾、拍腿等身边所发生与立体影象对应的事件,4D的座椅是具有喷水、喷气、振动、扫腿等功能的，以气动为动力的。环境模拟仿真是指影院内安装有下雪、下雨、闪电、烟雾等特效设备，营造一种与影片内容相一致的环境。 5、心得 通过本次试验，我明白了立体视觉以及3D、4D电影的工作原理。
人机交互风格及其发展趋势 (UI设计发展趋势) 摘要人机交互的风格经历了命令界面、图形界面、多媒体界面等主要发展阶段，目前正向虚拟现实技术和多通道用户界面的方向发展。本文简要回顾人机交互技术的历史，并进而探讨什么是理想、自然的人机交互模式。 关键词人机交互交互风格多通道用户界面虚拟现实 Abstract The style of human computer interaction has gone through several stages includingcommand user interface, graphical user interface, direct manipulation user interface,multimedia user interface, and is rogressing toward multimodal user interface and virtualreality. This paper reviews the history of human computer interaction and discuss what isthe ideal and natural human computer interaction mode. Key Words Human computer interaction Interaction style Multimodal user interface Virtualreality 引言 人们对人机系统关系的认识问题，伴随着人机关系基本观点的变化由来已久。在计算机出现的不足半个世纪的时间里，人机交互技术经历了巨大的变化。以下从几个不同的角度来观察和总结人机交互技术发生的变化及发展趋势： (1)就用户界面的具体形式而言，过去经历了批处理、联机终端(命令接口)、(文本)菜单等多通道——多媒体用户界面和虚拟现实系统。 (2)就用户界面中信息载体类型而言，经历了以文本为主的字符用户界面(CUI)、以二维图形为主的图形用户界面(GUI)和多媒体用户界面，计算机与用户之间的通信带宽不断提高。 (3)就计算机输出信息的形式而言，经历了以符号为主的字符命令语言、以视觉感知为主的图形用户界面、兼顾听觉感知的多媒体用户界面和综合运用多种感观(包括触觉等)的虚拟现实系统。在符号阶段，用户面对的只有单一文本符号，虽然离不开视觉的参与，但视觉信息是非本质的，本质的东西只有符号和概念。在视觉阶段，借助计算机图形学技术使人机交互能够大量利用颜色、形状等视觉信息，发挥人的形象感知和形象思维的潜能，提高了信息传递的效率。早期的计算机系统只有单调的峰鸣声，虽然多媒体技术将声频形式和视频形式同时带入人机交互，但仍缺少听觉交互手段，即人处于被动收听状态，声音缺少位置和方向的变化，交互输入方面仍沿用图形用户界面所采用的键盘和鼠标器等交互设备。当前，在人机交互中结合进视觉的、听觉的以及更多的通道是必然趋势，特别是将听觉通道作为补充的或替换的信息通道已显示出重要性和优越性〔1〕。 (4)就人机界面中的信息维度而言，经历了一维信息(主要指文本流，如早期电传式终端)、二维信息(主要是二维图形技术，利用了色彩、形状、纹理等维度信息)、三维信息(主要是三维图形技术，但显示技术仍利用二维平面为主)和多维信息(多通道的多维信息)空间。 不论从何种角度看，人机交互发展的趋势体现了对人的因素的不断重视，使人机交互更接近于自然的形式，使用户能利用日常的自然技能，不须经过特别的努力和学习，认知负荷降低，工作效率提高。这种“以人为中心”的思想特别是自80年代以来，在人机交互技术的研究中得到明显的体现。本文通过简要回顾和
实验一： 实验名称最新人机交互技术 实验目的了解最新人机交互的研究内容。 实验内容通过网络查询最新人机交互相关知识。 1、在百度中找到“最新人机交互视频”的相关网页，查看视频。 2、什么是eTable 。 3、人机交互技术在各个领域的应用。 实验二： 实验名称立体视觉 实验目的掌握立体视觉的原理。 实验内容通过网络查询立体视觉相关知识。 1、在虚拟环境是如何实现立体视觉？ 2、3D和4D电影的工作原理。 实验三： 实验名称交互设备 实验目的掌握常用的交互设备的工作原理如键盘、鼠标、显示器、扫描仪。 实验内容通过网络查询人机交互设备相关知识。 1、重点查找液晶显示器和扫描仪的工作原理和方法 2、什么是数字纸？工作原理是什么？ 实验四： 实验名称虚拟现实系统中的交互设备 实验目的掌握虚拟现实系统中人机交互设备的工作原理和方法。 实验内容通过网络查询人机交互设备相关知识。重点查找虚拟现实中使用的交互设备和较新的交互设备的工作原理和方法，如：数据手套、三维鼠标、空间跟踪定位器、触觉和力反馈器、头盔式显示器等。（实验报告中写出3种以上） 实验五： 实验名称人机交互界面表示模型 实验目的掌握人机交互界面表示模型中的GOMS、LOTOS和UAN的方法。 实验内容1、简述GOMS和LOTOS表示模型的方法。 2、结合GOMS和LOTOS对任务“中国象棋对弈”进行描述。 3、UAN描述“文件拖入垃圾箱”。 实验六： 实验名称WEB界面设计 实验目的掌握WEB界面设计的原则，了解页面内容、风格、布局、色彩设计的方法。
实验内容1、找到三种类型的网站：旅游景区、购物网站、政府部门网站，每种类型找三个以上网站，总结功能、布局、风格、色彩设计有什么相同和不同。 实验七： 实验名称移动界面设计 实验目的掌握移动界面设计的原则。 实验内容比较移动界面设计与WEB界面设计有什么相同和不同。 实验八： 实验名称可用性分析与评估 实验目的掌握可用性分析与评估的方法。 实验内容对某个网上银行进行可用性分析与评估（银行自定）。 辅导教师成绩
人机交互技术的发展与 现状精编W O R D版 IBM system office room 【A0816H-A0912AAAHH-GX8Q8-GNTHHJ8】
人机交互技术的发展与现状 一. 什么是人机交互技术 二. 人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输 入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。 也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二.人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。 1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由
课程名称：虚拟现实与人机交互 一、课程编码：0700014 课内学时：48学分：3 二、适用学科专业：计算机科学与技术 三、先修课程：无 四、教学目标 通过本课程的学习，使学生了解并掌握虚拟现实的基本概念、发展概况、应用领域；了解虚拟现实所涉及的基本理论、方法和相关知识。掌握虚拟现实系统的基本组成及应用，掌握虚拟现实系统建模、渲染、显示技术，掌握虚拟声音生成与空间定位技术，掌握数据采集和人机交互技术，了解虚拟人建模及运动仿真，了解虚拟环境与应用。提升空间思维和构建能力，使学生理解虚拟现实的基本组成和原理，具有根据给定的主题或项目建立虚拟现实系统的能力。 本课程的任务如下： 1.学习虚拟现实的系统的基本方法，包括虚拟现实系统的基本概念和系统组成等。 2.学习虚拟现实建模技术的基本原理和方法，了解虚拟现实技术的建模工具和基本使用方法。 3.学习虚拟现实渲染技术的基本原理和方法，了解虚拟现实系统的开发引擎和开发方法。 4.学习虚拟现实显示技术的基本原理和方法。 5.学习虚拟声音的生成原理，。 6.学习虚拟现实系统的基本输入输出设备和交互控制。主要内容包括三维位置跟踪器、漫游和操纵接口等。 7.了解虚拟人和虚拟环境的概念。 五、教学方式 课堂讲授为主，辅以实验、课下实践与课堂讨论。 六、主要内容及学时分配 1虚拟现实的特征及概述3学时 1.虚拟现实的特性 2.虚拟现实的发展简史 3.虚拟现实系统的典型组成部分 2虚拟现实系统的人机交互设备6学时 1.立体显示设备 2.位置跟踪设备 3.虚拟声音输出设备 4.人机交互设备 3虚拟现实建模技术6学时 1.几何建模 2.运动建模 3.物理建模 4.行为建模 3虚拟现实渲染技术6学时 1.绘制流水线
习题1 1.什么是人机交互？ 人机交互技术(Human-Computer Interaction Techniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。 它包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题等。人机交互技术是计算机用户界面设计中的重要容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。 1.简单介绍人机交互技术的研究容。 1.人机交互界面表示模型与设计方法 2.可用性分析与评估 3.多通道交互技术 4.认知与智能用户界面 5.群件 6.Web设计 7.移动界面设计。 2.简单介绍人机交互技术的发展历史。 人机交互的发展过程，也是人适应计算机到计算机不断地适应人的发展过程。它经历了几个阶段： 命令行图形用户界面自然和谐的交互
1.命令行界面交互阶段 计算机语言经历了由最初的机器语言，而后是汇编语言，直至高级语言的发展过程。这个过程也可以看作早期的人机交互的一个发展过程 2.图形用户界面（GUI）交互阶段 1）图形用户界面（Graphical User Interface，GUI）的出 现，使人机交互方式发生了巨大变化。GUI 的主要特点是桌 面隐喻、WIMP技术、直接操纵和“所见即所得”。 2）与命令行界面相比，图形用户界面的人机交互自然性和效 率都有较大的提高。图形用户界面很大程度上依赖于菜单选 择和交互小组件（Widget）。 3）图形用户界面给有经验的用户造成不方便，他们有时倾向 使用命令键而不是选择菜单，且在输入信息时用户只能使用 手这一种输入通道。 4）图形用户界面需要占用较多的屏幕空间，并且难以表达和 支持非空间性的抽象信息的交互。 3.自然和谐的人机交互阶段 随着虚拟现实、移动计算、无处不在计算等技术的飞速发展，自然和谐的人机交互方式得到了一定的发展。基于语音、手写体、姿势、视线跟踪、表情等输入手段的多通道交互是其主要特点，其目的是使人能以声音、动作、表情等自然方式进行交互操作。习题2
基于手势识别的人机交互综述 摘要：近年来，得益于虚拟现实、人机界面技术、计算机视觉等领域的发展，基于手势识别的人机交互技术得到大力的推动。本文就基于手势识别的人机交互技术展开综述。首先概括手势交互的涉及领域，回顾其发展史和国内外研究现状。接着阐明它的基本界定和分类，并在此基础上分析其热点关键技术。然后实例讨论了几种类型手势交互的典型应用。最后给出了结论。 关键词：虚拟现实；手势交互；计算机视觉；手势识别；特征跟踪 1．引言 人机交互技术通过输入、输出设备，以有效的方式实现交互主体与交互客体的对话。当前的人机交互技术已经从过去交互主体适应交互客体，发展为交互客体不断地适应交互主体的习惯和以交互主体为中心的新阶段[1,2,3,4]。以用户为中心的，新型、自然的人机交互技术逐渐成为开发者和科研工作者的关注重点。这类交互方式要求输入与输出能够最大限度地符合交互主体的行为习惯，并能够在交互主体的脑中顺利构建交互环路。由于手势具有极强的信息表述功能，加之人手操作行为本身就是人与世界相互作用的主要方式，因此，基于手识别的人机交互技术相关研究有着重要的理论价值和应用价值。基于手势识别的人机交互技术涉及计算机科学、认知心理学、行为学等诸多方面的知识。本文不能面面俱到，仅就手势交互的基本问题：手势语义的分类，以及当前发展概况、研究热点技术和典型系统应用等相关问题进行综述。 2．研究现状 目前，基于视觉的手势交互已被广泛的研究，由于手势本身的多义性及时空差异性，加之手形变的高维度及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的究课题[5]。需要解决的核心问题是对手形的识别，对手势的跟踪等。传统的方法主要分为两大类：（1）基于模型（model-base）的方法；（2）基于表征(appearance-based)的方法[6]。这些方法及其衍生算法极大程度地依赖于计算机科学中虚拟现实、机器视觉、模式识别、人机交互等多个领域的交流与合作。相关的国际会议：CHI、ICCV、CVPR、ICAT、IEEE VR 为研究者提供了一个能充分交流的空间，并吸引了越来越多的研究人员共同参与合作。此外，学科之间的交流也吸引了心理学研究人员的共同参与。他们以从用户为中心出发，为基于手势交互研究和开发提出了宝贵意见[7]。纵观手势交互的发展历程，其研究重点也从早期简单的系统框架、低层特征提取[8]、手形模板匹配[8]等问题转变到关节式物体跟踪[9,10, 11]、跟踪性能评价[12]、操作型手势解析[14]等问题上。我国在基于手势识别的人机交互领域的研究近年来得到了长足的发展。研究机构集中在国内的研究所和高校的科研单位。目前国内手势交互的研究成果主要有：中国科学院软件研究所[15]的研究中，对二阶自回归过程动力学模型（Auto-Regressive Process, ARP）进行训练和学习，进而建立基于ARP 的预测模型，实现了人手运动的鲁棒性跟踪，在出现跟踪丢失的情况下在后续序列中可以自动恢复正确跟踪。中国科学院自动化研究所模式识别实验室提出一种基于区域的多连接体(手指)的三维运动跟踪算法[13]，用多约束融合的方法以及手指的运动特性，建立多刚体的三维运动描述，通过三类基本约束条件，把跟踪问题归结为一个约束误差优化问题。清华大学的崔锦实博士，提出一种基于回归－优化方法的关节式物体的姿态估计方法[16]。该方法把回归分析与全局优化搜索相结合，保证了估计的精度和连续性；针对现有滤波器在高维非线性多峰
1.1什么是人机交互（HCI）是指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学科。狭义地讲，人机交互技术主要是研究人与计算机之间的信息交换。人到计算机的信息交换是用手、脚、声音、姿势或身体的动作、视线甚至脑电波等像计算机传递信息，计算机到人的信息交换是用输出或显示设备向人们提供可理解的信息。 1.2人机交互的研究内容1.人机交互界面表示模型与设计方法 2.可用性分析与评估 3.多通道交互技术 4.认知与只能用户界面 5.群件 6.Web设计 7.移动界面设计 1.3人机交互的发展历史1.命令行界面交互阶段 2.图形用户界面交互阶段 * 3.自然和谐的人机交互阶段2.1人的感知：1.视觉 2.听觉 3.触觉 2.2影响认知的因素： 1）情感（积极的情感会使人的思想更有创造性、解决复杂问题的能力更强，而消极的情感使人的思考更加片面，还会影响其他方面的感知和认知能力） 2）人的个性差异 2.3对概念模型的认知：1.思维模型 2.信息处理模型 3.外部认知模型 3.1输入设备 1.文本输入设备（键盘、手写输入设备） 2.图像输入设备（二维扫描仪、数码摄像头） 3.三维信息输入设备（三维扫描仪、动作捕捉器） 4.指点输入设备（鼠标、 光笔、控件杆、触摸板、触 摸屏） 3.2输出设备：显示器、打 印机、语音交互设备 *3.3显示器的工作原理：显 示器是计算机的重要输出 设备，是人机对话的重要工 具。它的主要功能是接受主 机发出的信息，经过一系列 的变换，最后以光的形式将 文字和图形显示出来。 3.4显示器的类型阴极射 线管显示器、液晶显示器、 等离子显示器 阴极射线管显示器原理： 主要由阴极、电平控制器、 聚焦系统、加速系统、偏转 系统和阳极荧光粉涂层（前 四个组成电子枪）组成。CRT 显示终端的工作原理就是 将显像管内部的电子枪阴 极发出的电子束，经强度控 制、聚焦和加速后变成细小 的电子流，再经过偏转线圈 的作用向正确的目标偏离， 穿越荫罩的小孔或栅栏，轰 击到荧光屏上的荧光粉发 出光。 液晶显示器的原理： 以电流刺激液晶分子产生 点、线、面，并配合背部灯 管构成画面。液晶显示器依 驱动方式可分为静态驱动、 单纯矩阵驱动及主动矩阵 驱动三种。由于成像原理的 不同，LCD比CRT显示器具 有更好的图像清晰度、画面 稳定性和更低的功率消耗。 *4.1人机交互输入模式：请 求模式、采样模式、事件模 式 请求模式原理：在请求模式 下，输入设备的启动是在应 用程序中设置的。应用程序 执行过程中需要输入数据 时，暂停程序的执行，直到 从输入设备接收到请求的 输入数据后，才继续执行程 序。应用程序和输入设备交 替工作，如果要求进行数据 输入时，用户没有输入，则 整个程序被挂起。 采样模式原理：在采样模式 下，输入设备和应用程序独 立的工作。输入程序连续不 断地把信息输入进来，信息 的输入和应用程序中的输 入命令无关。应用数据在处 理其他数据的同时，输入设 备也在工作，心得输入数据 替换以前的输入数据。当应 用程序遇到取样命令时，读 取当前保存的输入设备数 据。这种模式对连续的信息 流输入比较方便，也可同时 处理多个输入设备的输入 信息。 事件模式原理：在事件模式 下，输入设备和程序并行工 作。输入设备把数据保存到 一个输入队列，也称为事件 队列，所有的输入数据都保 存起来，不会遗失。每次用 户对输入设备的一次操作 以及形成的数据叫做一个 事件当某台设备被置成事 件方式，应用程序和设备将 同时、各自独立地工作。从 设备输入的数据或事件都 存放在事件队列里，事件以 发生的时间排序。 4.2.基本交互技术：定位、 笔画、定值、选择、字符串 5.1图形用户界面的主要思 想：桌面隐喻、所见即所得、 直接操纵 5.2桌面隐喻：隐喻的表现
人机交互技术及其应用（科普） 信息技术的高速发展对人类生产、生活带来了广泛而深刻的影响。高科技成果为人们带来便捷、快乐的同时，也促进着人机交互技术的发展。作为信息技术的重要内容，人机交互技术比计算机硬件和软件技术的发展要滞后许多，已成为人类运用信息技术深入探索和认识客观世界的瓶颈。因此，人机交互技术已成为21世纪信息领域亟需解决的重大课题和当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项关键技术，例如，在美国21世纪信息技术计划中，将软件、人机交互、网络、高性能计算列为基础研究内容，美国国防关键技术计划也把人机交互列为软件技术发展的重要内容之一，在我国的“863”、“973”和自然科学基金等项目中，也将人机自然交互理论与方法作为信息技术中需要解决的关键科学问题。 一、人机交互的概念 人机交互（Human-Computer Interaction，HCI）是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面主要现象进行研究的科学，狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分。人们可以借助键盘、鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息，同时，计算机通过打印机、绘图仪、显示器、头盔式显示器、音箱等输出或显示设备给人提供信息。 人机交互与计算机科学、人机工程学、多媒体技术和虚拟现实技术、心理学、认知科学和社会学以及人类学等诸多学科领域有密切的联系，其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实技术与人机交互技术相互交叉和渗透。作为是信息技术的一个重要组成部分，人机交互将继续对信息技术的发展产生巨大的影响。 二、人机交互的研究内容
1.1什么是人机交互技术？答：所谓人机交互，是指关于设计、评价和实现供人们使用的交 互式计算机系统，并围绕相关的主要现象进行研究的学科。狭义地讲，人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分。 1.2简单介绍人机交互技术的研究内容？答：（1）人机交互界面表示模型与设计方法。（2） 可用性分析与评估（3）多通道交互技术。（4）认知与智能用户界面。（5）群体。（6）Web设计。（7）移动界面设计。 1.3简单介绍人机交互技术的发展历史？答：（1）命令行界面交互阶段（2）图形用户界面 交互阶段。（3）自然和谐的人机交互阶段 1.4列举几个生活中常见的人机交互技术应用的例子？答：只要对着屏幕在空中挥挥手，切 菜、打球这些游戏轻松搞定，还可以锻炼身体，如果再加上几个跳跃，就可以驾驶一艘快艇穿越激流险滩，享受冒险的乐趣……看似普通的玻璃窗，当你走近时，一幅幅山水画或奇幻的景观缓缓变换，延伸你的视野，连同客厅的一面墙变成大自然的一个角落； 如果不想看这些图像，可以两手做拉拢窗帘的动作，两幅窗帘会缓缓合上盖住这些景象，当你离开时，窗户玻璃还原本来的透明本色，一切都像没有发生过。手势识别和合成，手势遥控器。 2.1 人机交互过程中人们经常利用的感知有哪几种？每种感知有什么特点？ 答：（1）视觉感知：视觉感知可以分为两个阶段：受到外部刺激接收信息阶段和解释信息阶段。（2）听觉感知：听觉感知的信息仅次于视觉。听觉所涉及的问题和视觉一样，即接受刺激，把刺激信号转化为神经兴奋，并对信息进行加工，然后传递到大脑。（3）触觉感知：触觉的感知机理与视觉和听觉的最大不同在于它的非局部性，人们通过皮肤感知触觉的刺激人的全身布满了各种触觉感受器。 2.2 颜色模型有哪几种？试说明RGB、CMYK以及HSV颜色模型各适于在什么情况下应用？ 答：颜色模型有四种，分别是RGB、CMYK、HSV、CIE颜色模型。 RGB颜色模型通常用于彩色阴极射线管等彩色光栅图形显示设备中。 CMYK颜色模型常用于从白光中滤去某种颜色，又被称为减性原色系统。 HSV颜色模型是面向用户的。 2.3 人的认知过程分为哪几类？ 答：1. 感知和识别2. 注意 3. 记忆 4. 问题解决5. 语言处理 2.4 什么是概念模型和分布式认知模型？举例说明分布式认知在计算机应用系统设计过程 中的指导作用。 答：所谓概念模型，指的是一种用户能够理解的关于系统的描述，它使用一组集成的构思和概念，描述系统做什么、如何运作、外观如何等。 分布式认知是一种将认知主体和环境看作一体的认知理论，分布式认知活动是对内 部和外部表象的信息加工过程。 3.1 对虚拟现实交互设备进行分类归纳总结，并进行优缺点比较。 答：1.三维空间定位设备： （1）空间跟踪定位器 在虚拟现实应用中，空间跟踪定位器的主要性能指标包括定位精度、位置修改速率 和延时。在虚拟现实技术中广泛使用的是低频磁场式和超生式传感器。在作用范围 较大的情况下，低频磁场式传感器比超声波式传感器有较明显的优点，但在作用范 围内存在磁铁的物体时，低频磁场式传感器的精度明显降低。 （2）数据手套 数据手套可以捕捉手指和手腕的相对运动，可以提供各种手势信号；也可以配合一
人机交互技术的发展与现状 一.什么是人机交互技术？ 二.人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输入、 输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二. 人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由Interface(界面/接口)变成了Interaction(交互)。人机
1.引言 随着科技的发展，网络世界日益与现实世界重叠。而虚拟现实交互技术将现实彻底地、立体地虚拟化，人们将身在“太虚幻境”中，亲自感受物质生活外的虚拟时空。 交互设计发展史上的每一个重要里程碑, 都源自技术和人性的碰撞。从最初的纸带打孔, 发展到键盘输入、鼠标输入, 再到现在的触摸操作, 语音识别, 以及已经到来的3D手势、眼动识别。未来还会实现脑机接口, 意念控制等。每一次的技术革新及产品升级, 都会带来重大的人机交互方式变化。从其发展来看, 最核心的是要符合人体的自然动作, 让人们以最舒适的方式获取信息。 2.虚拟现实交互简介 虚拟现实交互技术是一门新兴的综合信息技术，融合了数字图像处理、多媒体技术、计算机图形学、传感器技术等多方面信息技术。它通过计算机图形学构成三维数字模型，产生逼真的虚拟环境，在视觉上给用户一种立体的虚拟环境。与通常的 CAD( 计算机辅助设计 ) 系统所产生的三维模型不同，它不是一个静态的世界，而是一个互动的环境。 虚拟现实交互技术主要有以下四个特征：第一，强烈的临场感。用户在模拟环境中，能够感到虚拟世界是真实存在的。第二，友好的交互性。交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度。例如，用户用手直接抓取环境中的物体时，手里会有握着东西的感觉，并可以感觉到物体的重量，视场中的物体也随着手的移动而移动。第三，多感知性。除了具有一般计算机的视觉感知外，还具备听觉感知、力觉感知、触觉感知、运动感知 , 甚至包括味觉感知、嗅觉感知等。第四，虚拟现实世界的自主性。也就是说虚拟环境中的物体会依据物理定律进行动作。 虚拟现实交互需要一定的技术基础。具体讲，虚拟现实交互技术就是使用以计算机技术为核心的现代高科技，生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生与亲临等同真实环境的感受和体验。那么，这种虚拟的真实世界是如何形成的呢？首先，需要生成虚拟实体，虚拟实体主要是针对用户的生理感觉而言；其次，用户通过人生理的自然技能同这个环境进行交互；最后，利用传感器完成人和虚拟环境的交互。 从系统上看，虚拟现实交互系统包括检测模块、反馈模块、传感器模块、控制模块以及建模模块等。在该系统中，主要采用了动态环境建模技术、实时三维图形生成技术、立体显示和传感器技术及系统集成技术。 动态环境建模技术。使用动态环境建模技术可以获取实际环境的三维数据，并利用获得的三维数据建立相应的虚拟环境模型。采用 CAD 技术或非接触式的视觉
-- 人机交互风格及其发展趋势 摘要人机交互的风格经历了命令界面、图形界面、多媒体界面等主要发展阶段，目前正向虚拟现实技术和多通道用户界面的方向发展。本文简要回顾人机交互技术的历史，并进而探讨什么是理想、自然的人机交互模式。 关键词人机交互交互风格多通道用户界面虚拟现实 Abstract The style of human computer interaction has gone through several stages including command user interf ace, graphical user interface, direct manipulation user interface, multimedia user interface, and is progressing toward multimodal user interface and virtual reality. This paper reviews the hi s tory of human computer interaction and discuss what i s the ideal and natural human computer interaction mode. Key Words Human computer interaction Interaction style Multimodal user interface Virtual reality 引言 人们对人机系统关系的认识问题，伴随着人机关系基本观点的变化由来已久。在计算机出现的不足半个世纪的时间里，人机交互技术经历了巨大的变化。以下从几个不同的角度来观察和总结人机交互技术发生的变化及发展趋势： (1)就用户界面的具体形式而言，过去经历了批处理、联机终端(命令接口)、(文本)菜单等多通道——多媒体用户界面和虚拟现实系统。 (2)就用户界面中信息载体类型而言，经历了以文本为主的字符用户界面(CUI)、以二维图形为主的图形用户界面(GUI)和多媒体用户界面，计算机与用户之间的通信带宽不断提高。 (3)就计算机输出信息的形式而言，经历了以符号为主的字符命令语言、以视觉感知为主的图形用户界面、兼顾听觉感知的多媒体用户界面和综合运用多种感观(包括触觉等)的虚拟现实系统。在符号阶段，用户面对的只有单一文本符号，虽然离不开视觉的参与，但视觉信息是非本质的，本质的东西只有符号和概念。在视觉阶段，借助计算机图形学技术使人机交互能够大量利用颜色、形状等视觉信息，发挥人的形象感知和形象思维的潜能，提高了信息传递的效率。早期的计算机系统只有单调的峰鸣声，虽然多媒体技术将声频形式和视频形式同时带入人机交互，但仍缺少听觉交互手段，即人处于被动收听状态，声音缺少位置和方向的变化，交互输入方面仍沿用图形用户界面所采用的键盘和鼠标器等交互设备。当前，在人机交互中结合进视觉的、听觉的以及更多的通道是必然趋势，特别是将听觉通道作为补充的或替换的信息通道已显示出重要性和优越性〔1〕。 (4)就人机界面中的信息维度而言，经历了一维信息(主要指文本流，如早期电传式终端)、二维信息(主要是二维图形技术，利用了色彩、形状、纹理等维度信息)、三维信息(主要是三维图形技术，但显示技术仍利用二维平面为主)和多维信息(多通道的多维信息)空间。 不论从何种角度看，人机交互发展的趋势体现了对人的因素的不断重视，使人机交互更接近于自然的形式，使用户能利用日常的自然技能，不须经过特别的努力和学习，认知负荷降低，工作效率提高。这种“以人为中心”的思想特别是自80年代以来，在人机交互技术的研究中得到明显的体现。本文通过简要回顾和分析人机交互技术的变化过程，进而展望未来发展的趋势。 1 命令语言用户界面 真正意义上的人机交互开始于联机终端的出现，此时计算机用户与计算机之间可借助一种双方都能理解的语言进行交互式对话。根据语言的特点可分为： a. 形式语言。这是一种人工语言，特点是简洁、严密、高效，如应用于数学、化学、音乐、舞蹈等各领域的特殊语言，计算机语言则不仅是*纵计算机的语言，而且是处理语言的语言； b. 自然语言。特点是具有多义性、微妙、丰富； c. 类自然语言。这是计算机语言的一种特例。 命令语言的典型形式是动词后面接一个名词宾语，即“动词+宾语”，二者都可带有限定词或量词。命令语言可以具有非常简单的形式，也可以有非常复杂的语法。
虚拟现实与人机交互领域的最新技术及设备研究进展综述 摘要：虚拟现实技术的应用前景十分广阔。它始于军事和航空航天领域的需求，但近年来，虚拟现实技术的应用已大步走进工业、建筑设计、教育培训、文化娱乐等方面。它正在改变着我们的生活。 关键词：虚拟现实，人机交互 1 引言 人机交互（HCI）是一门研究人类所使用的交互式计算系统的设计、实施、评估及相关主要现象的学科。狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换。虚拟现实（VR）技术是一种综合应用计算机图形学、人机接口技术、传感器技术以及人工智能等技术，制造逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知的高级的人机交互技术。过去的人机界面要求人去适应计算机，而使用虚拟现实技术后，人可以不必意识到自己在同计算机打交道，而可以像在日常环境中处理事情一样同计算机交流。 人机交互可以说是VR系统的核心。VR系统中人机交互的特点有：1）观察点（Viewpoint) 是用户做观察的起点。2）导航（Navigation) 是指用户改变观察点的能力。3）操作（Manipulation）是指用户对其周围对象起作用的能力。4）临境（Immersion) 是指用户身临其境的感觉，这在VR系统中越来越重要。VR系统的基本特征有：1）构想性(Imagination)。指用户沉浸在多维信息空间中，依靠自己的感知和认知能力全方位获取知识，发挥主观能动性，寻求解答，形成新的概念。2）沉浸感(Immersion)。指用户感到作为主角存在于模拟环境中的真实程度。3）交互性(Interaction)。指参与者对虚拟环境内物体的可操作程度和从环境中得到反馈的自然程度。 生成虚拟现实需要解决以下三个主要问题：1）以假乱真的存在技术。即怎样合成对观察者的感官器官来说与实际存在相一致的输入信息，也就是如何可以产生与现实环境一样的视觉，触觉，嗅觉等。2）相互作用。观察者怎样积极和能动地操作虚拟现实，以实现不同的视点景象和更高层次的感觉信息。实际上也就是怎么可以看得更像，听得更真等等。3）自律性现实。感觉者如何在不意识到自己动作、行为的条件下得到栩栩如生的现实感。在这里，观察者、传感器、计算机仿真系统与显示系统构成了一个相互作用的闭环流程。 2 虚拟现实与人机交互领域的最新技术 （1）支持情感交互(Affective-based HCI)的情感计算(Affective Computing)：它是通过各种传感器获取由人的情感所引起的表情及其生理变化信号，利用“情感模型”对这些信号进行识别，从而理解人的情感并做出适当的响应。其重点就在于创建一个能感知、识别和理解人类情感的能力，并能针对用户的情感做出智能、灵敏、友好反应的个人计算系统 （2）支持可穿戴交互(Wearable HCI)的穿戴计算(Wearable Computing)：可穿戴计算机是一类超微型、可穿戴、人机“最佳结合与协同”的移动信息系统。可穿戴计算机不只是将计算机微型化和穿戴在身上，它还实现了人机的紧密结合，使人脑得到“直接”和有效的扩充与延伸，增强了人的智能。这种交互方式由微型的、附在人体上的计算机系统来实现，该系统总是处在工作、待用和可存取状态，使人的感知能力得以增强，并主动感知穿戴者的状况、环境和需求，自主地做出适当响应，从而弱化了“人操作机器”，而强化了“机器辅助人”。 （3）支持人脑交互(Brain-Computer Interaction)的脑计算(Brain Computing)：最理想的人机交互形式是直接将计算机与用户思想和目的进行连接，无需再包括任何类型的物理动作或解释。对“人脑计算机界面(Brain-Computer Interface，BCI)”的初步研究可能是迈向这个方向的一步，它试图通过测量头皮或者大脑皮层的电信号来感知用户相关的大脑活动，从而获取命令或控制参数。人脑交互不是简单的“思想读取”或“偷听”大脑，而是通过监听大脑行为决定一个人的想法和目的，是一种新的大脑输出通道，
收稿日期：2008-07-22 基金项目：安徽省科技攻关资助项目（6） 作者简介：曹文钢（5），男，河北涞源人，副教授，硕士，主要研究方向为数字化设计与制造，计算机辅助设计，计算机图形学。虚拟现实（Virtual Reality 简称VR ）技术是20 世纪90年代最重要的科技成就之一，与传统的计 算机系统相比它具有多感知性、沉浸感、自治性、交互性4个显著的特征[1]。该技术可以对真实世界的行为活动进行仿真，并对用户的位置、姿态、语言等做出实时响应，借助一些交互设备可以使 2010年 工程图学学报2010第1期J OURNAL OF ENG INEERING GRAPHICS No.1应用虚拟现实技术的人机交互仿真系统开发 曹文钢1，王锐1，张红旗2，陈帝江2，彭五四1 （1.合肥工业大学机械与汽车工程学院，安徽合肥230009；2.华东电子工程研究所，安徽合肥230058） 摘要：针对现有虚拟仿真系统在人机交互、实时响应、数据采集等方面存在的不 足，综合运用多种虚拟现实软、硬件技术构建出一个可供人与虚拟操作对象进行实时人机交互的仿真系统。利用数据转换技术将设计对象导入该系统后，系统能通过实时采集人机交互过程中的相关操作数据，测量人机交互绩效，继而评价设计质量。实例应用证明了系统的可行性。 关键词：计算机应用；虚拟现实技术；人机交互仿真系统；软硬件集成 中图分类号：TP 391.9文献标识码：A 文章编号：1003-0158(2010)01-0145-05Development of Human Machine Inter action Simulation System Based on Vir tual R eality Technology CAO Wen-gang 1,WANG Rui 1,ZHANG Hong-qi 2,CHEN Di-jiang 2,PENG Wu-si 1 (1.School of Mechani cal and Automot ive Engineering,Hefei Univers i ty of Technology,Hefei Anhui 230009,China; 2.East China Research Institute of Electronic Engineering ,Hefei Anhui 230058,China ) Abstr act:Aiming at the deficiencies of some virtual simulation systems in aspects of interaction,real time response,data collecting etc.,a virtual simulation system which enables users to interact with virtual operation object is developed based on various hardware/software techniques.After importing design objects through data transition,the system can dynamically collect the data about the interactive operation for measuring interaction performance and evaluating design quality.Experimental results demonstrate that the system is feasible. Key wor ds:computer application;virtual reality technology;human-machine interaction simulation systems;hardware and software integration 0012141H 197-