人机交互--多通道人机交互

主要复习内容提要人机交互的基本概念、人机交互的设计方法人机交互的实现技术、人机交互设计的实例一、基本概念1、什么是人机交互？是指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要对象进行研究的学科。

2、人机交互与其他学科的关系人机交互是一门综合学科，它与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关。

其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术、虚拟现实技术与人机交互是相互交叉和渗透的。

（一）认知心理学与人机工程学1、人的感知视觉、听觉、触觉2、认知过程与交互设计原则（1）认知模式：经验认知、思维认知（2）常见认知过程：感官和识别、注意、记忆、问题解决、语言处理（3）影响认知的因素：情感、人的个性差异3、概念模型及对概念模型的认知概念模型指的是一种用户能够理解的关于系统的描述，它使用一组集成的构思和概念，描述系统做什么、如何运作、外观如何等。

1）设计模型——设计师设想的模型，描述系统如何运行。

2）系统印象——系统实际如何运行。

3）用户模型——用户如何理解系统的运行。

（1）思维模型（2）信息处理模型（3）外部认知模型（二）人机交互技术1、人机交互技术概述人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分。

设计模型设计师用户模型用户系统系统印象（图）概念模型2、图形用户界面的主要思想桌面隐喻、所见即所得、直接操纵3、设计图形用户界面的原则（1）界面要具有一致性（2）常用操作要有快捷方式（3）提供必要的错误处理功能（4）提供信息反馈（5）允许操作可逆（6）设计良好的联机帮助（7）合理划分并高效地使用显示屏幕4、多通道用户界面基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术，允许用户利用自身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。

1.从人体解剖学分析机器人的人机交互及控制系统�目标：人体解剖学（神经系统）构件→结合机器人技术构件→机器人控制系统架构构件→人机交互界面的系统架构（硬件领域）1.1.神经系统（nervous system）神经细胞（神经元）是神经系统的响应细胞，神经系统通过电化学信号来处理和传送信息。

运动神经细胞能接收从大脑和骨髓神经传来的信号，并控制肌肉的收缩。

i1.1.1.神经系统的分布神经系统分为中枢部和周围部。

中枢部即中枢神经系统（CNS,central nervous system），包括脑和脊髓，它们分别位于颅腔和椎管内。

周围部又称周围神经系统（PNS,peripheral nervous system），包括脑神经、脊神经和内脏神经，周围神经一端同脑或脊髓相连，另一端通过各种末梢装置与神奇其他各器官、系统相联系。

根据分布对象的不同，将周围神经系统分为躯体神经和内脏神经。

躯体神经分布于体表、骨骼肌、骨和关节；内脏神经分布于内脏、心血管、平滑肌和腺体。

躯体神经和内脏神经在大脑皮质统一管辖与协调下，完成神经系统的各种功能。

1.1.2.神经元的分类神经系统的基本组织是神经组织（nervous tissue），神经组织主要由神经元和神经胶质做成。

神经元（neuron）又称神经细胞（nerve cell），具有感受刺激和传导神经冲动的功能。

神经胶质（neuroglia）又称神经胶质细胞（neuroglial cell），简称胶质细胞（glia或glia cell），无传导神经冲动的功能，而对神经元起支持、保护、分隔和营养等作用。

神经元基于功能及神经兴奋传导冲动方向分类如下：感觉神经元（sensory neuron）：又称传入神经元（afferent neuron），感受机器内、外环境的各种影响，将相应信息自周围向中枢传递的神经元，包括单极（unipolar neuron）和双极神经元（bipolar neuron）。

1、什么叫人机交互？答：人机交互是指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研宄的学科。

2、多通道交互答：研宄视觉、听觉、触觉和力觉等多通道信息的融合理论和方法，使用户可以使用语音、手势、眼神、表情等自然的交互方式与计算机系统进行通信。

主要研宄多通道交互界面的表示模型、多通道界面的评估方法以及多通道的融合（是多通道用户界面研宄的重难点）。

3、什么叫移动计算（mobile computing） ?什么叫普适计算（ubiquitous computing） ?移动计算：指如何向分布在不同位置的移动用户（包括手提电脑、掌上电脑、移动电话、传呼机等）提供优质的信息服务（信息的存储，查询，计算等）。

设计出的数据库能够安全、快速、有效的向各种用户终端提供数据服务。

它的作用是将有用、准确、及时的信息提供给任何时间、任何地点的任何用户。

普适计算：无所不在的，随时随地可以进行计算的一种方式。

核心是小型、便宜、网络化的处理设备。

计算设备将不只依赖命令行、图形用户界面进行人机交互，而是“自然” 状态，计算设备的尺寸将缩小至毫米甚至是纳米级别。

3、人机发展史命令行界面交互阶段图形用户界面交互阶段自然和谐的人机交互阶段4、图形用户界面GUI 主要特点:桌面隐喻、WIMP{Window、Icon、Menu、Pointing Device）技术、所见即所得和直接操纵。

5、视敏度又称视力,评价人的视觉功能的主要指标，指人眼对细节感知的能力，通常用被辨别物体最小间距所对应的视角的倒数表示。

5、颜色三种属性:色度、强度、饱和度8、皮肤的三种感受器:温度感受器、伤害感受器、机械刺激感受器9、认知常见过程:感知和识别注意记忆问题解决语言处理6、键盘分类:编码键盘和非编码键盘布局：QWERTY键盘最大限度放慢敲键速度避免卡键DVORAK键盘大大减少了手指移动距离提高输入速度7、手写板类型:电阻式压力手写板、电磁式感应手写板、电容式触控手写板8、鼠标类型:串行接口被PS/2接口取代USB激光1963 年Douglas Englebart 发明鼠标9、显示器类型:阴极射线管显示器、液晶显示器、等离子显示器显示器主要指标：扫描方式、刷新频率、点距、分辨率、亮度和对比度、尺寸等。

移动终端人机交互技术发展趋势摘　要：㊀随着移动信息时代的到来，移动终端正从一个仅具备特定功能的终端工具升级为一个综合信息处理平台，这为移动终端提供了更加宽广的发展空间㊂移动终端的人机交互方式也从单一的字符命令形式到图形用户界面，再到智能化人机交互，历经了从人适应计算机到计算机不断适应人的发展过程㊂而在人工智能㊁大数据㊁云计算㊁ＶＲ／ＡＲ等新一代信息技术群的集中推动下，自然交互㊁移动增强现实㊁多模态融合㊁情感计算的研究与发展，必将使得移动终端的人机交互逐步走向更人性化㊁更智能化㊁更容易被用户接受的自然体验层面㊂关键词：㊀移动终端㊀自然人机交互㊀智能化一　移动革命时代与移动终端对于计算和互联网来说，今天已经是一个移动的世界㊂在Ｎｅｔｗｏｒｋｅｄ：ＴｈｅＮｅｗＳｏｃｉａｌＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ一书中，李㊃雷恩尼（ＬｅｅＲａｉｎｉｅ）和巴瑞㊃威曼（ＢａｒｒｙＷｅｌｌｍａｎ）将移动革命（ｍｏｂｉｌｅｒｅｖｏｌｕｔｉｏｎ）与互联网革命（ｉｎｔｅｒｎｅｔｒｅｖｏｌｕｔｉｏｎ）㊁社会网络革命（ｓｏｃｉａｌｎｅｔｗｏｒｋｒｅｖｏｌｕｔｉｏｎ）并列为新时期影响人类社会的三大革命，其中的移动革命指移动终端与无线网络的发展给人们的社会生活带来的巨大变化㊂移动终端，是指能提供数字化信息服务或者通过网络进行数据信息交互的消费类电子产品，是可以在移动中使用的计算机设备，包括智能手机㊁笔记本㊁平板电脑以及其他智能终端设备等㊂在４Ｇ和即将开启的５Ｇ时代，移动通信正朝着越来越宽带化的方向发展，而随着集成电路技术的飞速发展，现今的移动终端设备大多拥有了强大的计算能力，从原来的移动网络末梢迅速转变为互联网业务的关键入口，成为移动互联网时代主要的创新平台㊂在移动终端设备中，智能手机具有独立的操作系统和内存空间，除了具备基本的通话功能，还可以由用户自行安装各类型软件，如阅读㊁游戏㊁地图导航㊁购物等第三方服务商提供的程序，并通过移动通信网络接入互联网㊂另外，智能手机日益大屏化，为用户提供了足够的屏幕尺寸，为软件运行和内容服务提供了支持，手机上的应用，如新闻㊁交通㊁天气㊁商品购物㊁视听娱乐㊁支付等成为用户日常 必需品 ㊂有关统计数据显示，睡觉前每三个人中就会有两个将智能手机放在床头柜上，手机也是他们睁开眼之后查看的第一件物品，可见人们对智能手机的强烈依赖，智能手机成为人们对自身的一种新的扩展与延伸，移动终端应用俨然成为一种 贴身科技 ①，①Ｓ Ｃ 莫蒂：‘触动心灵：移动产品成功法则“，袁中菊译，电子工业出版社，２０１８㊂我们的生活正在被 移动化 ㊂中国互联网络信息中心第４１次‘中国互联网络发展状况统计报告“①表明，２０１７年我国手机网民规模高达７ ５３亿，使用手机上网的人群占比已提升至９７ ５％；手机不断挤占其他个人上网设备的使用，以手机为中心的智能设备，成为 万物互联 的基础㊂移动互联网服务场景在不断丰富㊁移动终端规模在加速增长㊁移动数据量也正在持续扩大，以手机为首的移动终端超越ＰＣ成为第一屏幕，移动终端的人机交互技术也进入快速发展阶段㊂二　人机交互技术发展人机交互（Ｈｕｍａｎ⁃ＣｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ，ＨＣＩ）②是一门综合学科，主要是研究人与计算机之间的信息交换，研究人类与计算机进行交互的技术㊂它与认知心理学㊁人机工程学㊁多媒体技术㊁虚拟现实技术等密切相关，涉及计算机科学㊁行为科学㊁工业设计和媒体研究等诸多学科㊂人机交互的研究内容十分广泛，涵盖建模㊁设计㊁评估等理论和方法㊂在人机交互方式上，研究人的视觉㊁听觉㊁触觉和力觉等多通道信息的融合，研究人机交互界面的表示模型与设计方法，旨在设计开发出友好的人机界面，使人机交互和人人交互一样自然与方便㊂人机交互技术作为计算机系统的一个重要组成部分，随着计算机的发展而发展，历经了从人适应计算机到计算机不断适应人的发展过程㊂此外，在当今ＰＣ互联网日趋饱和，移动互联网井喷式发展，移动终端已然成为第一屏幕的场景之下，面向移动应用的人机界面成为人机交互技术研究的一个重要内容㊂移动界面的设计方法㊁移动界面可用性与评估原则㊁移动界面导航技术以及移动界面的实现技术与开发工具，都是当前人机交互技术研究的热点之一㊂①②第４１次‘中国互联网络发展状况统计报告“，中国互联网络信息中心，ｈｔｔｐ：／／ｃｎｎｉｃ ｃｎ／ｇｙｗｍ／ｘｗｚｘ／ｒｄｘｗ／２０１８０１／ｔ２０１８０１３１＿７０１８８ ｈｔｍ㊂孟祥旭等：‘人机交互基础教程“，清华大学出版社，２０１６㊂三　移动终端人机界面人机界面是人与机器㊁环境之间沟通交流的媒介，界面设计是人机交互的重要设计对象㊂良好的界面设计便于用户操作和使用产品，从而提高用户使用产品的交互体验满意度㊂移动终端的人机界面设计遵循人机交互设计的基本规律，但由于其便携性㊁环境多变性㊁计算能力有限性以及网络带宽的限制等，又具有自己的特点㊂下面以手机界面的演化过程为例，分析移动终端人机交互的发展历程与发展趋势㊂1 字符形式的手机界面摩托罗拉是最早研发出手机的公司，也是最早进入中国市场的手机品牌㊂１９９３年摩托罗拉在中国市场推出了第一部 大哥大 Ｍｏｔｏｒｏｌａ３２００㊂当时，手机作为新生事物，技术研发还未成熟，受限于当时的技术水平，人们想要的只是一部能打电话的手机 有接收信号的天线㊁听筒㊁话筒㊁物理键盘以及单行显示的屏幕，能够实现通话和发短信功能㊂人机交互主要采用字符形式，虽具有占用资源相对较低㊁准确㊁高效的特点，但操作很不方便㊂由于市场上手机供小于需的关系，也使得手机成为稀缺的资源，人对手机的通信功能需要远远大于其他需求，因而对手机的大小㊁重量㊁美观㊁交互㊁体验等没有进一步的要求，手机生产厂商更多的是将目光放在相关功能和技术研发上，造成手机外观设计不美观，在交互上不流畅，仅能实现基本的人机交互行为，用户操作体验较差㊂2 图形用户界面的手机界面随着通信技术的发展，第二代移动通信技术实现了由模拟向数字化的转换，依托于第二代移动通信技术的２Ｇ手机的硬件新增了很多功能，屏幕尺寸增大，分辨率提高，手机功能的改进㊁性能的提高，也让手机的操作变得复杂，手机界面随之复杂起来，此时，图形界面相比字符界面更利于用户的操作和理解，成为手机界面的主流㊂这一阶段的手机界面更注重外形美观，人机交互上主要关注的是如何提供操作界面让用户能使用手机各项功能，此阶段的用户界面以满足功能实现为主要目的，按照手机的物理逻辑来组织界面，是一种功能型用户界面，用户在交互过程中更多的是适应手机，而用户体验未真正受到关注㊂随着通信技术的突破，２００８年３Ｇ网络正式开通，智能手机也得到进一步的发展，为适应３Ｇ网络而推出的３Ｇ手机将无线通信与互联网等多媒体通信结合㊂与２Ｇ相比，３Ｇ手机能高效地处理音乐㊁图像㊁视频流等多媒体形式，在手机上即可实现网页浏览㊁电话会议及网上购物等㊂３Ｇ手机界面随着功能的演进也发生了变化，为了增大屏幕的可适性，传统的物理数字键盘消失，取而代之的是触屏界面，通过手指或笔与屏幕的直接触控输入指令和信息，新的触屏交互方式极大地方便了用户快速地进行人机交互，一种新的人机交互方式就此产生㊂随着智能手机的发展和普及，人们对手机界面的需求不再局限于对界面美学形式的创新，以及覆盖所有功能节点的功能型用户界面，人机交互设计也从以物为设计对象，转变为研究用户行为逻辑㊁强调用户体验，构建行为型用户界面㊂２００７年苹果手机ｉＰｈｏｎｅ的问世就是一个跨时代的革命性产品㊂ｉＰｈｏｎｅ简洁明了的外观形式，视觉上完美又和谐，充分符合了当时人们对手机的审美标准㊂４英寸可多点触控的屏幕，分辨率可达６４０ˑ９６０ｐｘ，宽大的屏幕不仅方便用户进行操作，也利于用户上网冲浪和看视频等㊂图标设计上，采用了拟物化的设计风格，方便人们对图标的理解，在交互方式上也进行了创新，采用手势进行人机交互，画面与画面间的过渡采用动画进行转场，视觉感受流畅自然㊂此外，ｉＰｈｏｎｅ手机还加入了重力感应，使得界面不管是横还是竖都能够完美地适配自适应，操作起来也显得更加人性化，关注用户体验成为主要的手机界面设计理念，自此，以用户为中心的人机交互设计成为主流㊂3 多通道手机界面多通道交互（Ｍｕｌｔｉ⁃ＭｏｄａｌＩｎｔｅｒａｃｔｉｏｎ）是一种使用多种通道与计算机通信的人机交互方式，一般涵盖用户表达㊁执行动作或感知信息的各种感觉通道和动作通道，用户以并行的㊁非精准的方式与计算机进行交互，可使人们从传统的非自然的交互方式中解脱出来，进入自然和谐的人机交互时期㊂由于手机具备随身携带的特点，人们更迫切地需要通过多个交互渠道，如视觉㊁听觉㊁触觉等改善人机信息沟通的方式，进一步提高使用手机的流畅度㊂目前运用在手机上较为成熟的功能主要有：手势交互㊁语音交互和表情交互等㊂手势交互主要指通过人的手势来进行交互㊂手势一般包括人体各部位的运动，但通常指脸部和手的运动㊂通过手指直接在屏幕上点摁来设置手机主屏壁纸；抑或在手机屏幕上通过滑动来解锁手机等㊂手势所含的信息量非常丰富，运用手势能进行很多高效的交互，因为它不仅能够实现快速的通信，而且也能够迅速地传输大量的信息，目前手势交互广泛地运用在手机的人机交互上㊂语音交互技术是在用户语音输入后，手机对语音信息加以识别，获取语义以达到人机交互沟通的一个重要方法㊂如ｉＰｈｏｎｅ手机的Ｓｉｒｉ，只要按ｈｏｍｅ键两秒就可以和手机进行语音交流，手机可直接按用户要求进行操作，代替了过去必须通过手指与屏幕的接触来进行沟通的方式，提升了人机交互的流畅度㊂表情交互技术是通过识别人的面部表情进行交互的方式㊂如手机支付宝应用可通过对面部表情的识别进行付款，ｉＰｈｏｎｅＸ使用３Ｄ面部识别（ＦａｃｅＩＤ）传感器解锁手机㊂多通道交互技术成为近年来迅速发展的一种人机交互技术，目前，多通道用户界面综合采用语音㊁手势㊁视线等多个交互通道，便于用户以自然㊁并行㊁协作的方式进行人机对话，但目前各个通道的信息识别和处理大多还是分离的，只有通过将多个通道的㊁精确的和非精确的输入进行有效整合，获取用户的真实意图，以此提高人机交互的自然性，人机交互界面才能真正实现智能化㊂四　移动终端人机交互发展趋势1 自然人机交互自然人机交互，是指在人与计算机交互时，用户仅使用已有的认知习惯及熟悉的行为方式与计算机进行交互，是以一种非精确的自然行为与计算机进行交互的过程㊂比尔㊃盖茨于２００８年提出了 自然用户界面 （ＮａｔｕｒａｌＵｓｅｒＩｎｔｅｒｆａｃｅ，ＮＵＩ）的概念㊂现今移动终端的人机界面主要采用图形用户界面（ＧＵＩ），这种用户界面使用键盘或鼠标输入用户指令，用户需要先学习软件开发者已设置好的操作方法，在操作过程中依照预设的操作流程完成交互过程，这对于用户来说，具有一定的学习成本，是一种非自然的人机交互㊂而ＮＵＩ则允许人们使用最自然的交流方式，如通过自然语言㊁手势动作，视线等与机器互动，传统的键盘与鼠标输入将被更为自然的触摸式㊁视觉型以及语音控制界面所代替，人机交互呈现出更加自由的互动模式㊂移动终端因其便携性及移动性，使得用户可以用最简单方便的交互手段去操作，如用手去触摸，用视觉㊁听觉等多种感官进行交互和反馈，以此改进用户体验㊂移动终端的自然交互也成为一个必然的发展方向㊂自然人机交互的目标是摆脱鼠标和键盘的束缚，允许用户综合运用自身的各种感官和已有的生活经验进行操作，最大程度地降低用户的学习成本和负担㊂一方面要求系统能提供可支持语言㊁手势㊁动作㊁表情等多种感觉通道的输入方式，输出上能支持听觉㊁视觉㊁触觉甚至嗅觉等多感官界面表现方式㊂另一方面也要求计算机不再只是一个接收指令㊁执行指令的 笨 系统，而是一个具备学习能力和认知能力甚至是有情感的智能机器人㊂就未来发展趋势而言，自然交互界面将朝着多感官㊁多通道㊁多维度㊁智能化的交互模式方向发展㊂目前，最常见的自然交互技术包括多点触控技术㊁手势识别技术㊁表情识别技术㊁语音交互技术及眼动跟踪技术等㊂随着自然交互技术的进步，自然用户界面已逐步形成㊂然而，自然用户界面在使用的过程中也存在一些可用性问题㊂一是使用场景有限㊂当处在需要精确输入的场景时，自然交互存在明显的不足㊂二是缺乏功能可见性㊂由于操作的非精确性，细节把握能力差，手势交互时，用户往往只能记住几种较常用的手势交互动作；当交互动作层次较深时，用户则不易掌握㊂三是认知的差异性㊂在不同文化背景下往往会因手势所隐喻的交互内容不同而造成认知的偏差㊂这些可用性问题反过来会增加用户的学习成本，使自然交互变得 不自然 ㊂由此可见，自然交互技术应用于计算机与人的交互过程中，也未必是最自然的交互方式㊂从另一层含义上讲，自然交互必须注重用户体验，以用户为中心，综合研究用户心理㊁用户习惯㊁用户类型及使用场景等，设计出用户体验最佳的交互方式，使用户通过其习惯的方式最自然地与计算机交互，真正做到 隐形 的用户界面㊂最好的交互是自然的，最好的界面是没有界面㊂①一个理想的自然人机交互应当能让用户的注意力完全集中在所要进行的操作上而忘记人机界面本身的存在，自然的人机交互将从有形的界面向无形的界面发展㊂移动终端的人机交互必将逐步走向更人性化㊁更智能化㊁更容易被用户接受的自然体验层面㊂2 移动增强现实技术在虚拟现实（ＶｉｒｔｕａｌＲｅａｌｉｔｙ，ＶＲ）的基础上发展起来的增强现实（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ，ＡＲ）是近年来为用户所认可的高新技术㊂②与虚拟现实不同，增强现实更强调 虚实结合 ，它将现实世界的真实环境和计算机生成的虚拟环境实时地融合在一起，从而给用户在听觉㊁视觉㊁触觉等方面带来相对逼真的综合感受，实现人与环境的自然交融㊂随着移动终端设备的飞速发展，以高性能的智能手机㊁穿戴式设备（智能眼镜等）等为代表的产品为增强现实在移动端的现实应用提供了载体㊂如可将ＡＲ系统整合到一部手机上，摄像头负责采集图像，处理单元对其进行分析和重构，实现坐标系的对齐并进行虚拟场景的融合计算，处理后的图像就会显示在手机屏幕上，从而达到增强现实的效果㊂相对于依赖笨重头盔的ＶＲ，ＡＲ更加便捷灵活，可与智能手机完美融合，更适合目前智能手机的形态㊂用户不需要单独购买ＡＲ设①②ＧｏｌｄｅｎＫｒｉｓｈｎａ：‘无界面交互：潜移默化的ＵＸ设计方略“，杨名译，人民邮电出版社，２０１７㊂王剑：‘增强现实眼控交互技术的研究及应用“，西北工业大学硕士学位论文，２０１５㊂备，仅通过智能手机就能获得ＡＲ所带来的优质体验㊂苹果公司于２００９年９月首次在ｉＯＳ版本中实现对增强现实技术的支持㊂随后，高通等芯片厂商也加大了对移动增强现实技术的硬件支持㊂在ＷＷＤＣ２０１７大会上，苹果宣布在ｉＯＳ１１中配备了全新的增强现实组件ＡＲＫｉｔ，目前通过ｉＰｈｏｎｅ的ＡＲ功能仅用单个摄像头就可以测量距离，而且数据相当精确㊂谷歌的ＰｒｏｊｅｃｔＴａｎｇｏ也是一个针对智能手机的增强现实项目㊂通过手机摄像头㊁传感器和芯片，能实时对用户周围的环境进行３Ｄ建模，通过手机屏幕，将虚拟物品呈现在真实环境中㊂华硕智能手机ＺｅｎＦｏｎｅＡＲ就搭载了对Ｔａｎｇｏ进行了技术优化的高通骁龙８２１移动平台，拥有专门为增强现实而设计的三重镜头系统，包含了能够追踪用户动态的追踪镜头㊁测量自身周围环境的深度感应镜头，再加上捕捉现实环境的２３００万像素主摄像头，能够精准地记录㊁绘制三维空间信息，让虚拟和现实完美结合㊂ＡＲ向用户提供了全新的交互方式，实现更有沉浸感的交互体验㊂集成ＡＲ功能也将会促进手机硬件的进一步发展，如ＩＭＵ惯性测量单元等传感器将成为标配，双摄像头的作用不只有虚化，还能进行环境识别和深度感知㊂ＡＲ手机并不需要在硬件设计上有太大的改变，却能实现更好玩的ＡＲ体验㊂面向增强现实的人机交互具有虚实叠加性㊁三维性㊁交互实时性的特点，面向ＡＲ的人机交互方式也成为一个研究热点㊂ＡＲ／ＶＲ交互方式包括动作捕捉㊁触觉反馈㊁眼球追踪㊁肌电模拟等，其中将眼控交互技术的研究引入增强现实，用户只通过眼睛和界面产生交互，利用图像处理技术，使用能跟踪拍摄人眼睛的摄像机，通过摄入红外线光源，拍摄人的眼角膜和晶状体表面产生的普金野象变化，从而记录人在处理视觉信息时的眼动轨迹㊂①计算机通过眼动记录准确理解用户的真实意图，用户通过视线操作，来替代鼠标和键盘的输入，这种交互方式也尤其适合移动终端ＡＲ的人机交互，达到了增强①王剑：‘增强现实眼控交互技术的研究及应用“，西北工业大学硕士学位论文，２０１５㊂现实的最高境界，即 所见即所想，所想即所能 ㊂3 移动人工智能与多模态交互在大数据㊁移动互联网㊁云计算等新一代信息技术群的推动下，人工智能迎来了第三次发展浪潮，呈现出深度学习㊁跨界融合㊁人机协同㊁群智开放㊁自主操控等新特征，这将深刻改变人类的社会生活㊁改变世界㊂未来５ １０年，人工智能可能会像水和电一样成为我们生活的必需品㊂①在 万物互联 和人工智能快速发展的当今，人工智能和移动终端的结合，使得移动终端成为重要的创新平台，将为我们带来更加便捷和智能化的移动生活服务㊂人机交互界面的智能化，需要将多种感官信息进行融合，即多模态融合㊂如看到某张图片生成文字或看到文字生成图片和视频，智能体需完成在视觉和语义之间的模态转换，可见多模态人机交互实际上是人与人之间自然交互的模拟，它将人与人之间的交互方式移植到人与计算机的交互中，旨在促进自然便捷的人机交互，减少人机隔阂，营造和谐的人机环境㊂多模态用户界面是采用视线追踪㊁语音识别㊁手势输入等新技术，用户运用多个感觉通道以自然㊁并行和协作的方式进行人机交互的界面㊂系统通过融合多通道精确和非精确信息，快速捕捉用户的意图，这依赖于 多模态深度学习 技术，让智能体本身能够理解多模态信号，从算法本身就需要容纳听觉㊁视觉㊁传感信号进行统一思考，让机器进行多模态协同学习，真正地 聪明 起来㊂如阿里巴巴语音团队提出的多模态智能语音交互技术的解决方案中，通过唇读识别机器视角内人的嘴部动作以识别说话人，并判断说话人与机器的距离以及确定拾音角度，将计算机视觉技术融合到语音识别技术中，解决了嘈杂环境下的远讲降噪问题㊂目前人工智能在感知层有较大的突破，比较成熟的技术是对话式人工智能，人可以运用自然语言控制软件的运行，人和计算机能够直接对话，这是现阶段最现实的一种人工智能应用，包括苹果Ｓｉｒｉ㊁微软①刘庆峰：‘人工智能＋未来已来“，ｈｔｔｐ：／／ｗｗｗ ｓｏｈｕ ｃｏｍ／ａ／１１９８８０７６５＿４８１６４６㊂Ｃｏｒｔａｎａ㊁谷歌ＧｏｏｇｌｅＡｓｓｉｓｔａｎｔ㊁亚马逊Ａｌｅｘａ㊁三星Ｂｉｘｂｙ等在内的多款智能语音助手都在探索这种对话式的人工智能应用㊂智能语音交互作为人工智能发展的核心方向之一，在 万物互联 时代，极有可能成为下一代核心交互模式㊂基于人工智能技术的移动终端，如未来的智慧手机在某种意义上也是一个机器人，具有视觉㊁听觉㊁嗅觉㊁味觉等各种传感器，手机上的移动应用除了拥有感知智能外，还可以通过网络连接云端大脑，拥有认知智能㊂目前有很多利用人工智能技术的移动应用，如语音助手㊁人脸支付㊁名片识别㊁实时翻译等㊂①然而，人工智能在移动终端的应用仍存在计算能力不足的问题㊂人工智能的算法实现需要系统具有较强的计算能力，造成芯片成本过高㊁体积和重量较大，目前仅依靠移动端来实现人工智能应用有较大的难度，这使得人工智能在移动终端的表现力大大降低㊂当前大部分移动人工智能的解决方案是依靠云计算来实现的，但是在需要高度实时响应的应用场景中，移动终端的计算却必不可少，除此之外，安全性㊁隐私性也都是需要利用终端计算的优势，随着移动端ＡＩ芯片升级和算法的优化，人工智能有待将一部分计算处理功能从云端迁移到移动终端，这也是未来移动人工智能的一大趋势㊂4 情感计算被赋予了多种智能的计算机，目前仍然无法理解和适应人的情绪或心境，缺乏人类情绪识别功能，也无法表达情感㊂很难指望计算机拥有类似人一样的智慧，也很难期望人机交互能够真正和谐与自然㊂１９９７年ＭＩＴ媒体实验室Ｐｉｃａｒｄ教授提出了情感计算的概念，她指出， 情感计算是与情感相关，来源于情感或能够对情感施加影响的计算㊂情感计算包括情感识别㊁情感表示㊁情感建模㊁情感交互等四个方面 ㊂②情感计算就是要赋予计算机类似于人的观察㊁理解和生成各种情感的能力，最终①②刘升平：‘移动端人工智能最看好会话交互应用“，ｈｔｔｐ：／／ｇｅｅｋ ｃｓｄｎ ｎｅｔ／ｎｅｗｓ／ｄｅｔａｉｌ／９９４９７㊂ＲｏｓａｌｉｎｄＷ Ｐｉｃａｒｄ，ＡｆｆｅｃｔｉｖｅＣｏｍｐｕｔｉｎｇ，Ｃａｍｂｒｉｄｇｅ：ＴｈｅＭＩＴＰｒｅｓｓ，１９９７．使人机交互与人人交互一样自然㊂情感计算是一个高度综合化的研究领域㊂通过计算科学与心理科学㊁认知科学的结合，将情感计算用于人机交互过程，通过研究人与人交互和人与计算机交互时的情绪特点，设计出具有情感反馈的人机交互环境，使得人机交互不仅具有高的感知和认知智力，同时具备高的情绪智力，让计算机也具有高情商，从而有效地解决人机交互中的情境感知㊁情绪理解与情感表达问题，并做出合乎情理的应对㊂当前，情感计算仍处于起步阶段，研究热点及成果大多体现在情感识别层面㊂众所周知，人类的情感非常复杂㊂情感信息还受到环境㊁生理㊁心理㊁文化背景㊁语境㊁语义等因素的影响㊂情感特征的准确提取是情感识别中的难点之一㊂人类在面对面交流时，情感性的信息往往是从语音语调㊁面部表情㊁肢体动作等维度表达出来的，在人机交互过程中，情感特征识别也需要从多个维度来计算，如通过文本情感分析㊁面部表情识别㊁语音情感识别㊁姿态识别，甚至通过生理模式识别，如皮肤电反应㊁呼吸㊁心率㊁体温㊁脑电波等多模态的角度进行情感信息融合，结合当时所处情境的上下文信息，准确地识别并理解人的情感㊂基于情感计算的人机交互如图１所示㊂图１　基于情感计算的人机交互示意。

人机交互[单项选择题]1、在将人机界面的行为模型向结构模型转换时，只有在处理（）运算符时才会向模型中加入一个终止态。

A.〣B.[]C.[>D.>>参考答案：C[填空题]2简述人机交互的基本概念和主要研究内容有哪些？参考答案：人机交互（Human-Computer Interaction，HCI）是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的科学。

人机交互的主要研究内容包括：人机交互界面表示模型与设计方法（Model and Methodology）可用性分析与评估（Usability and Evaluation）多通道交互技术（Multi-Modal）认知与智能用户界面（Intelligent User Interface，IUI）群件（Groupware）Web设计（Web-Interaction）移动界面设计（Mobile and Ubicomp）[填空题]3简述人机交互技术经历了哪几个主要阶段？各阶段的主要特点是什么？参考答案：语言命令交互阶段：特点是用户以命令行的方式与计算机进行交互。

这个阶段是最早期交互阶段。

图形用户界面（GUI）交互阶段：主要特点是桌面隐喻、WIMP技术、直接操纵和“所见即所得”。

自然和谐的交互阶段：主要特点是使用基于语音、手写体、姿势、视线跟踪、表情等多种输入手段的多通道交互，其目的是使人能以声音、动作、表情等自然方式进行交互操作。

[填空题]4简述人机交互技术有哪些应用领域？参考答案：人机交互技术的应用领域几乎涵盖的当前人类社会的所有领域，主要领域包括制造业、教育科研、军事、日常生活、文化娱乐和体育等多个领域。

[填空题]5简述Norman认知模式的概念，说明认知模式的划分对人机交互系统设计的指导意义。

参考答案： N.orman把认知模式划分为经验认知模式和思维认知模式。

其中经验认知模式是指人在认知活动中能够有效、轻松地观察、操作和响应周围的事件，它要求人应该具备某些专门知识并达到一定的熟练程度。

人机交互发展综述常言说（西北大学信息科学与技术学院陕西西安710127）摘要:随计算机的改变、人类生活的改变和人类社会的改变，人机之间的任务划分和人机交互方式也在改变着，当前的人机交互已经不只是设计用户界面、鼠标、键盘等，而是越来越重视人的价值，本文结合计算机的发展历史对相应时期的人机交互方式进行回顾和总结，对目前的人机交互技术进行描述，并对未来的人机交互方式进行预测。

关键词:人机交互;三元世界;普适计算;以人为中心;交互式系统一、引言当前，计算机的形态越来越多样化：机柜里的大型主机，桌面上的个人电脑，膝盖上的笔记本电脑，手心里的智能手机，甚至嵌入到各种各样的材料和人工制品中，渗入到人们生活的方方面面，这些不同形态的计算机改变了并且继续改变着我们的生活，已经成为人类社会中不可或缺的产品。

过去的六十年间，计算机和人之间的关系发生了根本性的改变，施乐公司的Mark Weiser和John Seely Brown根据人和计算机之间的关系，首先将计算机的发展分为三个时期——主机时期、个人电脑时期和普适计算时期[1]，后经其他专家的完善，加上了移动计算时期[2]。

人机交互帮助人们创建一个更容易和计算机交互的界面，使用计算机的用户由以前的少数专家变化为包括没有文化的农民在内普适大众，完成的任务也由办公任务变为沟通和娱乐为主。

下边本文分阶段讨论伴随计算机的发展人机交互的发展，并对当前人机交互研究中出现的新问题进行讨论。

二、主机时期——批处理、命令行主机时期是伴随计算机的产生而产生的，它从上世纪四十年代中期一直持续到上世纪八十年代中期，这个阶段计算机无论何时都是一种稀有的资源，很多专家共同使用一个计算机来完成任务，任务性质主要是科学计算，这个时期可以根据分时系统的应用（六十年代）分为两个阶段，在分时系统广泛应用前，人和计算机的交互主要使用批处理脚本。

各领域专家将任务提前写成批处理文件，然后由专门的操作人员负责向计算机提交，以提高大型主机的利用率。