基于多通道交互技术的自然交互界面

人机交互：改善用户体验的界面设计和交互方式引言在当今数字化时代，人机交互（Human-Computer Interaction，简称HCI）成为了我们日常生活中无法忽视的一部分。

无论是使用智能手机、电脑还是其他智能设备，我们都需要与机器进行交互来完成各种任务。

因此，良好的界面设计和交互方式对提升用户体验至关重要。

本文将介绍人机交互的定义、重要性以及如何通过优化界面设计和交互方式改善用户体验。

什么是人机交互？人机交互是研究人与计算机之间的信息交流和互动的学科。

它关注人类和计算机之间如何有效地共享信息、完成任务以及实现信息的有意义传递。

随着技术的发展，人机交互逐渐涵盖了更多领域，如虚拟现实、增强现实和自然用户界面等。

人机交互涉及到使用者界面（User Interface，简称UI）和人机交流（User Experience，简称UX）两个层面。

UI是用户与计算机之间的界面，即用户直接操作和感知的界面。

它包括了布局、视觉设计、图标等方面。

而UX则关注用户在使用产品或系统时的整体感受和满意度。

重要性人机交互的重要性不言而喻。

良好的界面设计和交互方式可以提高用户的操作效率、降低学习成本，并且提升用户的满意度和忠诚度。

一个好的用户体验可以为企业带来竞争优势和品牌形象的提升。

界面设计和交互方式的改进1. 简化界面用户界面的简化是提高用户体验的重要一环。

繁杂的界面会给用户造成困扰和混乱，降低用户的使用效率。

因此，设计师应该尽量简化用户界面，减少冗余和复杂的功能。

通过将功能进行分类、整合和精简，使界面更加直观、简洁。

2. 易操作性界面的易操作性是提高用户体验的关键因素之一。

设计师应该关注用户习惯和心理，将常用的操作方式融入到界面设计中。

同时，提供清晰的指引和操作流程，降低用户的学习成本。

例如，通过可视化的指示和直观的按钮，帮助用户理解如何操作和完成任务。

3. 响应速度良好的响应速度是用户体验的重要指标之一。

用户希望在操作界面时能够得到即时的反馈，而不是等待漫长的加载或响应时间。

1100310120 潘飞达多通道用户界面为适应目前和未来的计算机系统要求，人机界面应能支持时变媒体，实现三维、非精确及隐含的人机交互，而多通道人机界面是达到这一目的的重要途径。

80年代后期以来，多通道用户界面成为人机交互技术研究的崭新领域，在国内外受到高度重视。

综合采用视线、语音、手势等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。

多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解，所要达到的目标可归纳为如下方面：1）交互的自然性：使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷。

2）交互的高效性：使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。

3）与传统的用户界面特别是广泛流行的WIMP/GUI兼容。

下面将对多通道用户的特点，基本技术，未来发展和交互手段进行分点论述：一、多通道用户界面的基本特点1)使用多个感觉和效应通道2)允许非精确的交互3)三维和直接操纵4)交互的双向性5)交互的隐含性二、多通道用户界面涉及的主要技术1)多媒体使用多种表示媒体，如文本、图形、图像和声音，使人机交互技术最终要向着更接近于人的自然方式发展，使计算机具有听觉和视觉，以更自然的方式与人交互。

多媒体技术引入了动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率，使人们可以得到更直观的信息，从而简化了用户的操作，扩展了应用范围。

2)虚拟现实又称虚拟环境，虚拟现实系统向用户提供沉浸和多感觉通道体验。

在虚拟现实中，人是主动参与者，复杂系统中可能有许多参与者共同在以计算机网络系统为基础的虚拟环境中协同工作。

虚拟现实系统具有三个重要特点：沉浸感、交互性、构想性。

3)眼动跟踪与视觉有关的人机交互自始至终都离不开视线的控制。

人机交互中的自然交互技术研究随着科技的发展，人机交互技术成为了现代社会中不可或缺的一部分。

人机交互技术旨在改善人与机器之间的互动方式，使得人们可以更加方便、高效、愉悦地使用各种不同的电子设备。

为了实现更为自然的人机交互方式，研究学者们不断探索和开拓新的自然交互技术。

自然交互技术指的是能够模拟人类自然交流方式的一种人机交互技术。

通常情况下，人机交互方式以手势识别、语音识别、头骨识别等为基础，通过从人体传感器中获取数据，对人类的动作、声音、姿态等进行分析，进而识别和指导人与计算机之间的互动过程。

与传统的键盘、鼠标交互方式相比，自然交互技术不仅更加方便快捷，同时也能够让人们更加愉悦地与计算机打交道。

在目前的自然交互技术研究中，手势识别技术是最为突出的一种。

手势识别技术能够利用计算机视觉技术进行实时的手势识别，从而实现对不同手势的理解和响应。

这项技术的应用十分广泛，例如在VR和AR领域中，可以通过手势识别技术实现人们与虚拟世界之间的交互。

此外，头骨识别技术也是目前研究的热点之一。

头骨识别技术使用肌电信号来识别人们的意图。

人的头骨里有一组小肌肉，他们可以被刺激来表达信号。

这种技术可以用于解锁手机、切换电视等方面，能够接受指令并执行相应的动作。

除了手势和头骨识别技术，语音识别技术也是进行自然交互研究非常重要的一种技术。

现阶段，随着语音处理技术的不断提升，语音识别的准确率也正在不断提高。

例如，在智能音箱等设备中，语音识别技术被广泛应用，使得人们可以通过说话控制音箱，从而得到相应的反馈。

在自然交互技术的研究中，也出现了一些难以克服的挑战，例如多人场景下的识别和互动，以及交互效率等问题。

为了克服这些问题，需要在技术的基础上进行深入研究和探索。

与此同时，还需要拓展应用场景，使得自然交互技术能够覆盖更多的应用领域。

总之，自然交互技术作为人机交互的重要分支之一，其研究和应用也得到了广泛的关注和推广。

在接下来的研究中，需要不断地进行技术创新和探索，以实现更为自然、高效、愉悦的人机交互方式。

移动终端人机交互技术发展趋势摘　要：㊀随着移动信息时代的到来，移动终端正从一个仅具备特定功能的终端工具升级为一个综合信息处理平台，这为移动终端提供了更加宽广的发展空间㊂移动终端的人机交互方式也从单一的字符命令形式到图形用户界面，再到智能化人机交互，历经了从人适应计算机到计算机不断适应人的发展过程㊂而在人工智能㊁大数据㊁云计算㊁ＶＲ／ＡＲ等新一代信息技术群的集中推动下，自然交互㊁移动增强现实㊁多模态融合㊁情感计算的研究与发展，必将使得移动终端的人机交互逐步走向更人性化㊁更智能化㊁更容易被用户接受的自然体验层面㊂关键词：㊀移动终端㊀自然人机交互㊀智能化一　移动革命时代与移动终端对于计算和互联网来说，今天已经是一个移动的世界㊂在Ｎｅｔｗｏｒｋｅｄ：ＴｈｅＮｅｗＳｏｃｉａｌＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ一书中，李㊃雷恩尼（ＬｅｅＲａｉｎｉｅ）和巴瑞㊃威曼（ＢａｒｒｙＷｅｌｌｍａｎ）将移动革命（ｍｏｂｉｌｅｒｅｖｏｌｕｔｉｏｎ）与互联网革命（ｉｎｔｅｒｎｅｔｒｅｖｏｌｕｔｉｏｎ）㊁社会网络革命（ｓｏｃｉａｌｎｅｔｗｏｒｋｒｅｖｏｌｕｔｉｏｎ）并列为新时期影响人类社会的三大革命，其中的移动革命指移动终端与无线网络的发展给人们的社会生活带来的巨大变化㊂移动终端，是指能提供数字化信息服务或者通过网络进行数据信息交互的消费类电子产品，是可以在移动中使用的计算机设备，包括智能手机㊁笔记本㊁平板电脑以及其他智能终端设备等㊂在４Ｇ和即将开启的５Ｇ时代，移动通信正朝着越来越宽带化的方向发展，而随着集成电路技术的飞速发展，现今的移动终端设备大多拥有了强大的计算能力，从原来的移动网络末梢迅速转变为互联网业务的关键入口，成为移动互联网时代主要的创新平台㊂在移动终端设备中，智能手机具有独立的操作系统和内存空间，除了具备基本的通话功能，还可以由用户自行安装各类型软件，如阅读㊁游戏㊁地图导航㊁购物等第三方服务商提供的程序，并通过移动通信网络接入互联网㊂另外，智能手机日益大屏化，为用户提供了足够的屏幕尺寸，为软件运行和内容服务提供了支持，手机上的应用，如新闻㊁交通㊁天气㊁商品购物㊁视听娱乐㊁支付等成为用户日常 必需品 ㊂有关统计数据显示，睡觉前每三个人中就会有两个将智能手机放在床头柜上，手机也是他们睁开眼之后查看的第一件物品，可见人们对智能手机的强烈依赖，智能手机成为人们对自身的一种新的扩展与延伸，移动终端应用俨然成为一种 贴身科技 ①，①Ｓ Ｃ 莫蒂：‘触动心灵：移动产品成功法则“，袁中菊译，电子工业出版社，２０１８㊂我们的生活正在被 移动化 ㊂中国互联网络信息中心第４１次‘中国互联网络发展状况统计报告“①表明，２０１７年我国手机网民规模高达７ ５３亿，使用手机上网的人群占比已提升至９７ ５％；手机不断挤占其他个人上网设备的使用，以手机为中心的智能设备，成为 万物互联 的基础㊂移动互联网服务场景在不断丰富㊁移动终端规模在加速增长㊁移动数据量也正在持续扩大，以手机为首的移动终端超越ＰＣ成为第一屏幕，移动终端的人机交互技术也进入快速发展阶段㊂二　人机交互技术发展人机交互（Ｈｕｍａｎ⁃ＣｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ，ＨＣＩ）②是一门综合学科，主要是研究人与计算机之间的信息交换，研究人类与计算机进行交互的技术㊂它与认知心理学㊁人机工程学㊁多媒体技术㊁虚拟现实技术等密切相关，涉及计算机科学㊁行为科学㊁工业设计和媒体研究等诸多学科㊂人机交互的研究内容十分广泛，涵盖建模㊁设计㊁评估等理论和方法㊂在人机交互方式上，研究人的视觉㊁听觉㊁触觉和力觉等多通道信息的融合，研究人机交互界面的表示模型与设计方法，旨在设计开发出友好的人机界面，使人机交互和人人交互一样自然与方便㊂人机交互技术作为计算机系统的一个重要组成部分，随着计算机的发展而发展，历经了从人适应计算机到计算机不断适应人的发展过程㊂此外，在当今ＰＣ互联网日趋饱和，移动互联网井喷式发展，移动终端已然成为第一屏幕的场景之下，面向移动应用的人机界面成为人机交互技术研究的一个重要内容㊂移动界面的设计方法㊁移动界面可用性与评估原则㊁移动界面导航技术以及移动界面的实现技术与开发工具，都是当前人机交互技术研究的热点之一㊂①②第４１次‘中国互联网络发展状况统计报告“，中国互联网络信息中心，ｈｔｔｐ：／／ｃｎｎｉｃ ｃｎ／ｇｙｗｍ／ｘｗｚｘ／ｒｄｘｗ／２０１８０１／ｔ２０１８０１３１＿７０１８８ ｈｔｍ㊂孟祥旭等：‘人机交互基础教程“，清华大学出版社，２０１６㊂三　移动终端人机界面人机界面是人与机器㊁环境之间沟通交流的媒介，界面设计是人机交互的重要设计对象㊂良好的界面设计便于用户操作和使用产品，从而提高用户使用产品的交互体验满意度㊂移动终端的人机界面设计遵循人机交互设计的基本规律，但由于其便携性㊁环境多变性㊁计算能力有限性以及网络带宽的限制等，又具有自己的特点㊂下面以手机界面的演化过程为例，分析移动终端人机交互的发展历程与发展趋势㊂1 字符形式的手机界面摩托罗拉是最早研发出手机的公司，也是最早进入中国市场的手机品牌㊂１９９３年摩托罗拉在中国市场推出了第一部 大哥大 Ｍｏｔｏｒｏｌａ３２００㊂当时，手机作为新生事物，技术研发还未成熟，受限于当时的技术水平，人们想要的只是一部能打电话的手机 有接收信号的天线㊁听筒㊁话筒㊁物理键盘以及单行显示的屏幕，能够实现通话和发短信功能㊂人机交互主要采用字符形式，虽具有占用资源相对较低㊁准确㊁高效的特点，但操作很不方便㊂由于市场上手机供小于需的关系，也使得手机成为稀缺的资源，人对手机的通信功能需要远远大于其他需求，因而对手机的大小㊁重量㊁美观㊁交互㊁体验等没有进一步的要求，手机生产厂商更多的是将目光放在相关功能和技术研发上，造成手机外观设计不美观，在交互上不流畅，仅能实现基本的人机交互行为，用户操作体验较差㊂2 图形用户界面的手机界面随着通信技术的发展，第二代移动通信技术实现了由模拟向数字化的转换，依托于第二代移动通信技术的２Ｇ手机的硬件新增了很多功能，屏幕尺寸增大，分辨率提高，手机功能的改进㊁性能的提高，也让手机的操作变得复杂，手机界面随之复杂起来，此时，图形界面相比字符界面更利于用户的操作和理解，成为手机界面的主流㊂这一阶段的手机界面更注重外形美观，人机交互上主要关注的是如何提供操作界面让用户能使用手机各项功能，此阶段的用户界面以满足功能实现为主要目的，按照手机的物理逻辑来组织界面，是一种功能型用户界面，用户在交互过程中更多的是适应手机，而用户体验未真正受到关注㊂随着通信技术的突破，２００８年３Ｇ网络正式开通，智能手机也得到进一步的发展，为适应３Ｇ网络而推出的３Ｇ手机将无线通信与互联网等多媒体通信结合㊂与２Ｇ相比，３Ｇ手机能高效地处理音乐㊁图像㊁视频流等多媒体形式，在手机上即可实现网页浏览㊁电话会议及网上购物等㊂３Ｇ手机界面随着功能的演进也发生了变化，为了增大屏幕的可适性，传统的物理数字键盘消失，取而代之的是触屏界面，通过手指或笔与屏幕的直接触控输入指令和信息，新的触屏交互方式极大地方便了用户快速地进行人机交互，一种新的人机交互方式就此产生㊂随着智能手机的发展和普及，人们对手机界面的需求不再局限于对界面美学形式的创新，以及覆盖所有功能节点的功能型用户界面，人机交互设计也从以物为设计对象，转变为研究用户行为逻辑㊁强调用户体验，构建行为型用户界面㊂２００７年苹果手机ｉＰｈｏｎｅ的问世就是一个跨时代的革命性产品㊂ｉＰｈｏｎｅ简洁明了的外观形式，视觉上完美又和谐，充分符合了当时人们对手机的审美标准㊂４英寸可多点触控的屏幕，分辨率可达６４０ˑ９６０ｐｘ，宽大的屏幕不仅方便用户进行操作，也利于用户上网冲浪和看视频等㊂图标设计上，采用了拟物化的设计风格，方便人们对图标的理解，在交互方式上也进行了创新，采用手势进行人机交互，画面与画面间的过渡采用动画进行转场，视觉感受流畅自然㊂此外，ｉＰｈｏｎｅ手机还加入了重力感应，使得界面不管是横还是竖都能够完美地适配自适应，操作起来也显得更加人性化，关注用户体验成为主要的手机界面设计理念，自此，以用户为中心的人机交互设计成为主流㊂3 多通道手机界面多通道交互（Ｍｕｌｔｉ⁃ＭｏｄａｌＩｎｔｅｒａｃｔｉｏｎ）是一种使用多种通道与计算机通信的人机交互方式，一般涵盖用户表达㊁执行动作或感知信息的各种感觉通道和动作通道，用户以并行的㊁非精准的方式与计算机进行交互，可使人们从传统的非自然的交互方式中解脱出来，进入自然和谐的人机交互时期㊂由于手机具备随身携带的特点，人们更迫切地需要通过多个交互渠道，如视觉㊁听觉㊁触觉等改善人机信息沟通的方式，进一步提高使用手机的流畅度㊂目前运用在手机上较为成熟的功能主要有：手势交互㊁语音交互和表情交互等㊂手势交互主要指通过人的手势来进行交互㊂手势一般包括人体各部位的运动，但通常指脸部和手的运动㊂通过手指直接在屏幕上点摁来设置手机主屏壁纸；抑或在手机屏幕上通过滑动来解锁手机等㊂手势所含的信息量非常丰富，运用手势能进行很多高效的交互，因为它不仅能够实现快速的通信，而且也能够迅速地传输大量的信息，目前手势交互广泛地运用在手机的人机交互上㊂语音交互技术是在用户语音输入后，手机对语音信息加以识别，获取语义以达到人机交互沟通的一个重要方法㊂如ｉＰｈｏｎｅ手机的Ｓｉｒｉ，只要按ｈｏｍｅ键两秒就可以和手机进行语音交流，手机可直接按用户要求进行操作，代替了过去必须通过手指与屏幕的接触来进行沟通的方式，提升了人机交互的流畅度㊂表情交互技术是通过识别人的面部表情进行交互的方式㊂如手机支付宝应用可通过对面部表情的识别进行付款，ｉＰｈｏｎｅＸ使用３Ｄ面部识别（ＦａｃｅＩＤ）传感器解锁手机㊂多通道交互技术成为近年来迅速发展的一种人机交互技术，目前，多通道用户界面综合采用语音㊁手势㊁视线等多个交互通道，便于用户以自然㊁并行㊁协作的方式进行人机对话，但目前各个通道的信息识别和处理大多还是分离的，只有通过将多个通道的㊁精确的和非精确的输入进行有效整合，获取用户的真实意图，以此提高人机交互的自然性，人机交互界面才能真正实现智能化㊂四　移动终端人机交互发展趋势1 自然人机交互自然人机交互，是指在人与计算机交互时，用户仅使用已有的认知习惯及熟悉的行为方式与计算机进行交互，是以一种非精确的自然行为与计算机进行交互的过程㊂比尔㊃盖茨于２００８年提出了 自然用户界面 （ＮａｔｕｒａｌＵｓｅｒＩｎｔｅｒｆａｃｅ，ＮＵＩ）的概念㊂现今移动终端的人机界面主要采用图形用户界面（ＧＵＩ），这种用户界面使用键盘或鼠标输入用户指令，用户需要先学习软件开发者已设置好的操作方法，在操作过程中依照预设的操作流程完成交互过程，这对于用户来说，具有一定的学习成本，是一种非自然的人机交互㊂而ＮＵＩ则允许人们使用最自然的交流方式，如通过自然语言㊁手势动作，视线等与机器互动，传统的键盘与鼠标输入将被更为自然的触摸式㊁视觉型以及语音控制界面所代替，人机交互呈现出更加自由的互动模式㊂移动终端因其便携性及移动性，使得用户可以用最简单方便的交互手段去操作，如用手去触摸，用视觉㊁听觉等多种感官进行交互和反馈，以此改进用户体验㊂移动终端的自然交互也成为一个必然的发展方向㊂自然人机交互的目标是摆脱鼠标和键盘的束缚，允许用户综合运用自身的各种感官和已有的生活经验进行操作，最大程度地降低用户的学习成本和负担㊂一方面要求系统能提供可支持语言㊁手势㊁动作㊁表情等多种感觉通道的输入方式，输出上能支持听觉㊁视觉㊁触觉甚至嗅觉等多感官界面表现方式㊂另一方面也要求计算机不再只是一个接收指令㊁执行指令的 笨 系统，而是一个具备学习能力和认知能力甚至是有情感的智能机器人㊂就未来发展趋势而言，自然交互界面将朝着多感官㊁多通道㊁多维度㊁智能化的交互模式方向发展㊂目前，最常见的自然交互技术包括多点触控技术㊁手势识别技术㊁表情识别技术㊁语音交互技术及眼动跟踪技术等㊂随着自然交互技术的进步，自然用户界面已逐步形成㊂然而，自然用户界面在使用的过程中也存在一些可用性问题㊂一是使用场景有限㊂当处在需要精确输入的场景时，自然交互存在明显的不足㊂二是缺乏功能可见性㊂由于操作的非精确性，细节把握能力差，手势交互时，用户往往只能记住几种较常用的手势交互动作；当交互动作层次较深时，用户则不易掌握㊂三是认知的差异性㊂在不同文化背景下往往会因手势所隐喻的交互内容不同而造成认知的偏差㊂这些可用性问题反过来会增加用户的学习成本，使自然交互变得 不自然 ㊂由此可见，自然交互技术应用于计算机与人的交互过程中，也未必是最自然的交互方式㊂从另一层含义上讲，自然交互必须注重用户体验，以用户为中心，综合研究用户心理㊁用户习惯㊁用户类型及使用场景等，设计出用户体验最佳的交互方式，使用户通过其习惯的方式最自然地与计算机交互，真正做到 隐形 的用户界面㊂最好的交互是自然的，最好的界面是没有界面㊂①一个理想的自然人机交互应当能让用户的注意力完全集中在所要进行的操作上而忘记人机界面本身的存在，自然的人机交互将从有形的界面向无形的界面发展㊂移动终端的人机交互必将逐步走向更人性化㊁更智能化㊁更容易被用户接受的自然体验层面㊂2 移动增强现实技术在虚拟现实（ＶｉｒｔｕａｌＲｅａｌｉｔｙ，ＶＲ）的基础上发展起来的增强现实（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ，ＡＲ）是近年来为用户所认可的高新技术㊂②与虚拟现实不同，增强现实更强调 虚实结合 ，它将现实世界的真实环境和计算机生成的虚拟环境实时地融合在一起，从而给用户在听觉㊁视觉㊁触觉等方面带来相对逼真的综合感受，实现人与环境的自然交融㊂随着移动终端设备的飞速发展，以高性能的智能手机㊁穿戴式设备（智能眼镜等）等为代表的产品为增强现实在移动端的现实应用提供了载体㊂如可将ＡＲ系统整合到一部手机上，摄像头负责采集图像，处理单元对其进行分析和重构，实现坐标系的对齐并进行虚拟场景的融合计算，处理后的图像就会显示在手机屏幕上，从而达到增强现实的效果㊂相对于依赖笨重头盔的ＶＲ，ＡＲ更加便捷灵活，可与智能手机完美融合，更适合目前智能手机的形态㊂用户不需要单独购买ＡＲ设①②ＧｏｌｄｅｎＫｒｉｓｈｎａ：‘无界面交互：潜移默化的ＵＸ设计方略“，杨名译，人民邮电出版社，２０１７㊂王剑：‘增强现实眼控交互技术的研究及应用“，西北工业大学硕士学位论文，２０１５㊂备，仅通过智能手机就能获得ＡＲ所带来的优质体验㊂苹果公司于２００９年９月首次在ｉＯＳ版本中实现对增强现实技术的支持㊂随后，高通等芯片厂商也加大了对移动增强现实技术的硬件支持㊂在ＷＷＤＣ２０１７大会上，苹果宣布在ｉＯＳ１１中配备了全新的增强现实组件ＡＲＫｉｔ，目前通过ｉＰｈｏｎｅ的ＡＲ功能仅用单个摄像头就可以测量距离，而且数据相当精确㊂谷歌的ＰｒｏｊｅｃｔＴａｎｇｏ也是一个针对智能手机的增强现实项目㊂通过手机摄像头㊁传感器和芯片，能实时对用户周围的环境进行３Ｄ建模，通过手机屏幕，将虚拟物品呈现在真实环境中㊂华硕智能手机ＺｅｎＦｏｎｅＡＲ就搭载了对Ｔａｎｇｏ进行了技术优化的高通骁龙８２１移动平台，拥有专门为增强现实而设计的三重镜头系统，包含了能够追踪用户动态的追踪镜头㊁测量自身周围环境的深度感应镜头，再加上捕捉现实环境的２３００万像素主摄像头，能够精准地记录㊁绘制三维空间信息，让虚拟和现实完美结合㊂ＡＲ向用户提供了全新的交互方式，实现更有沉浸感的交互体验㊂集成ＡＲ功能也将会促进手机硬件的进一步发展，如ＩＭＵ惯性测量单元等传感器将成为标配，双摄像头的作用不只有虚化，还能进行环境识别和深度感知㊂ＡＲ手机并不需要在硬件设计上有太大的改变，却能实现更好玩的ＡＲ体验㊂面向增强现实的人机交互具有虚实叠加性㊁三维性㊁交互实时性的特点，面向ＡＲ的人机交互方式也成为一个研究热点㊂ＡＲ／ＶＲ交互方式包括动作捕捉㊁触觉反馈㊁眼球追踪㊁肌电模拟等，其中将眼控交互技术的研究引入增强现实，用户只通过眼睛和界面产生交互，利用图像处理技术，使用能跟踪拍摄人眼睛的摄像机，通过摄入红外线光源，拍摄人的眼角膜和晶状体表面产生的普金野象变化，从而记录人在处理视觉信息时的眼动轨迹㊂①计算机通过眼动记录准确理解用户的真实意图，用户通过视线操作，来替代鼠标和键盘的输入，这种交互方式也尤其适合移动终端ＡＲ的人机交互，达到了增强①王剑：‘增强现实眼控交互技术的研究及应用“，西北工业大学硕士学位论文，２０１５㊂现实的最高境界，即 所见即所想，所想即所能 ㊂3 移动人工智能与多模态交互在大数据㊁移动互联网㊁云计算等新一代信息技术群的推动下，人工智能迎来了第三次发展浪潮，呈现出深度学习㊁跨界融合㊁人机协同㊁群智开放㊁自主操控等新特征，这将深刻改变人类的社会生活㊁改变世界㊂未来５ １０年，人工智能可能会像水和电一样成为我们生活的必需品㊂①在 万物互联 和人工智能快速发展的当今，人工智能和移动终端的结合，使得移动终端成为重要的创新平台，将为我们带来更加便捷和智能化的移动生活服务㊂人机交互界面的智能化，需要将多种感官信息进行融合，即多模态融合㊂如看到某张图片生成文字或看到文字生成图片和视频，智能体需完成在视觉和语义之间的模态转换，可见多模态人机交互实际上是人与人之间自然交互的模拟，它将人与人之间的交互方式移植到人与计算机的交互中，旨在促进自然便捷的人机交互，减少人机隔阂，营造和谐的人机环境㊂多模态用户界面是采用视线追踪㊁语音识别㊁手势输入等新技术，用户运用多个感觉通道以自然㊁并行和协作的方式进行人机交互的界面㊂系统通过融合多通道精确和非精确信息，快速捕捉用户的意图，这依赖于 多模态深度学习 技术，让智能体本身能够理解多模态信号，从算法本身就需要容纳听觉㊁视觉㊁传感信号进行统一思考，让机器进行多模态协同学习，真正地 聪明 起来㊂如阿里巴巴语音团队提出的多模态智能语音交互技术的解决方案中，通过唇读识别机器视角内人的嘴部动作以识别说话人，并判断说话人与机器的距离以及确定拾音角度，将计算机视觉技术融合到语音识别技术中，解决了嘈杂环境下的远讲降噪问题㊂目前人工智能在感知层有较大的突破，比较成熟的技术是对话式人工智能，人可以运用自然语言控制软件的运行，人和计算机能够直接对话，这是现阶段最现实的一种人工智能应用，包括苹果Ｓｉｒｉ㊁微软①刘庆峰：‘人工智能＋未来已来“，ｈｔｔｐ：／／ｗｗｗ ｓｏｈｕ ｃｏｍ／ａ／１１９８８０７６５＿４８１６４６㊂Ｃｏｒｔａｎａ㊁谷歌ＧｏｏｇｌｅＡｓｓｉｓｔａｎｔ㊁亚马逊Ａｌｅｘａ㊁三星Ｂｉｘｂｙ等在内的多款智能语音助手都在探索这种对话式的人工智能应用㊂智能语音交互作为人工智能发展的核心方向之一，在 万物互联 时代，极有可能成为下一代核心交互模式㊂基于人工智能技术的移动终端，如未来的智慧手机在某种意义上也是一个机器人，具有视觉㊁听觉㊁嗅觉㊁味觉等各种传感器，手机上的移动应用除了拥有感知智能外，还可以通过网络连接云端大脑，拥有认知智能㊂目前有很多利用人工智能技术的移动应用，如语音助手㊁人脸支付㊁名片识别㊁实时翻译等㊂①然而，人工智能在移动终端的应用仍存在计算能力不足的问题㊂人工智能的算法实现需要系统具有较强的计算能力，造成芯片成本过高㊁体积和重量较大，目前仅依靠移动端来实现人工智能应用有较大的难度，这使得人工智能在移动终端的表现力大大降低㊂当前大部分移动人工智能的解决方案是依靠云计算来实现的，但是在需要高度实时响应的应用场景中，移动终端的计算却必不可少，除此之外，安全性㊁隐私性也都是需要利用终端计算的优势，随着移动端ＡＩ芯片升级和算法的优化，人工智能有待将一部分计算处理功能从云端迁移到移动终端，这也是未来移动人工智能的一大趋势㊂4 情感计算被赋予了多种智能的计算机，目前仍然无法理解和适应人的情绪或心境，缺乏人类情绪识别功能，也无法表达情感㊂很难指望计算机拥有类似人一样的智慧，也很难期望人机交互能够真正和谐与自然㊂１９９７年ＭＩＴ媒体实验室Ｐｉｃａｒｄ教授提出了情感计算的概念，她指出， 情感计算是与情感相关，来源于情感或能够对情感施加影响的计算㊂情感计算包括情感识别㊁情感表示㊁情感建模㊁情感交互等四个方面 ㊂②情感计算就是要赋予计算机类似于人的观察㊁理解和生成各种情感的能力，最终①②刘升平：‘移动端人工智能最看好会话交互应用“，ｈｔｔｐ：／／ｇｅｅｋ ｃｓｄｎ ｎｅｔ／ｎｅｗｓ／ｄｅｔａｉｌ／９９４９７㊂ＲｏｓａｌｉｎｄＷ Ｐｉｃａｒｄ，ＡｆｆｅｃｔｉｖｅＣｏｍｐｕｔｉｎｇ，Ｃａｍｂｒｉｄｇｅ：ＴｈｅＭＩＴＰｒｅｓｓ，１９９７．使人机交互与人人交互一样自然㊂情感计算是一个高度综合化的研究领域㊂通过计算科学与心理科学㊁认知科学的结合，将情感计算用于人机交互过程，通过研究人与人交互和人与计算机交互时的情绪特点，设计出具有情感反馈的人机交互环境，使得人机交互不仅具有高的感知和认知智力，同时具备高的情绪智力，让计算机也具有高情商，从而有效地解决人机交互中的情境感知㊁情绪理解与情感表达问题，并做出合乎情理的应对㊂当前，情感计算仍处于起步阶段，研究热点及成果大多体现在情感识别层面㊂众所周知，人类的情感非常复杂㊂情感信息还受到环境㊁生理㊁心理㊁文化背景㊁语境㊁语义等因素的影响㊂情感特征的准确提取是情感识别中的难点之一㊂人类在面对面交流时，情感性的信息往往是从语音语调㊁面部表情㊁肢体动作等维度表达出来的，在人机交互过程中，情感特征识别也需要从多个维度来计算，如通过文本情感分析㊁面部表情识别㊁语音情感识别㊁姿态识别，甚至通过生理模式识别，如皮肤电反应㊁呼吸㊁心率㊁体温㊁脑电波等多模态的角度进行情感信息融合，结合当时所处情境的上下文信息，准确地识别并理解人的情感㊂基于情感计算的人机交互如图１所示㊂图１　基于情感计算的人机交互示意。

一、填空题（20分）1.人机交互技术主要是研究人与计算机之间的信息交换。

2.按照触摸屏的工作原理和传输信息的介质的不同，可以把触摸屏分为四种：电阻式、电容感应式、红外线式以及表面声波式。

3.数字墨水在数学上是通过三阶贝塞尔曲线来描述笔输入的笔迹，它的记录格式能使数字墨水文件很小，从而可以更有效地进行存储。

4.人机交互是指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学科。

5.有关研究表明，人类从周围世界获取的信息约有80%是通过视觉得到的。

6.RGB颜色模型通常用于彩色阴极射线管等彩色光栅图形显示设备中。

7.为了实现交互功能，必须有效地管理、控制多种输入设备进行工作。

目前，对输入过程的处理要常用的三种基本模式为：请求模式、采样模式及事件模式。

8.目前，手写板主要有三类：电阻式感应手写板、电磁式感应手写板和电容式触控手写板。

9.橡皮筋技术是拖动形式的图形交互技术，被拖动对象的形状和位置随着光标位置的不同而变化。

10.计算机语音识别过程与人的处理过程基本上是一致的。

一个完整的语音识别系统大致可分为语音特征提取、声学模型与模式匹配、语言模型与语义理解三部分。

11.命令行可以看作第一代人机界面。

在这种界面中，计算机的使用者被看成操作员，计算机对输入信息一般只做出被动的反应。

12.立体影像生成技术主要有两种：主动式立体模式和被动式立体模式。

二、单项选择题（10分）三、是非题（10分）四、名词解释（20分）1. 产生式规则产生式规则是一种形式化语言，这些规则可用于描述人机交互界面。

产生式规则的一般形式是：if condition then action，这些规则也可以表示为不同的形式，如condition→action；condition：action。

2. GOMS模型GOMS模型是关于用户在与系统交互时使用的知识和认知过程的模型。

G代表Goals（目标）、O代表Operations（操作）、M代表Methods（方法）、S代表Selection rules（选择规则）。

人机交互作业题一、名词解释二、+1、人机交互：是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的科学。

2、人机界面：作为计算机系统的重要组成部分，主要是指人类与计算机系统之间的通信方式，包括人-机双向信息交换的支持软件和硬件。

3、人机交互设计：指的是“设计支持人们日常工作与生活的交互产品”，具体地讲就是关于创建新的用户体验的问题，其目的是增强和扩充人们工作、通信及交互的方式。

4、人机系统：由人和机器组成，通过人机之间的相互作用以实现特定功能的系统。

它包括人、机、人机之间以及人机系统所处的环境。

5、认知心理学：研究人的高级心理过程，主要是认识过程，如注意、知觉、表象、记忆、思维和语言等，从心理学的观点研究人机交互的原理。

6、人机工程学：人机工程学是运用生理学、心理学和医学等有关知识，研究人、机器、环境相互间的合理关系，以保证人们安全、健康、舒适地工作，从而提高整个系统工效的新兴边缘科学。

7、多媒体技术：多媒体技术是指将正文、声音、图形、静止图像、动态图像等与计算集成在一起的技术。

& 虚拟现实技术：虚拟现实(Virtual Reality , VR)就是借助于计算机技术及硬件设备，建立高度真实感的虚拟环境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。

9、桌面隐喻：是指在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力。

图形具有一定的文化和语言独立性，可以提高搜索目标的效率。

图形用户界面中的图例可以代表对象、动作、属性或其他概念。

10、图形用户界面：图形用户界面又称为WIMP界面，由窗口(windows)、图标(icons)、菜单m)、指点设备(pointingdevice)四位一体，形成桌面(desktop)11、多通道用户界面：多通道人机界面主要解决科学计算可视化、虚拟现实对计算机系统提出的高效、三维和非精确的人机交互要求。

人机交互综述计算机软件和理论专业石玉珠摘要：人机交互是一门综合学科,它的发展需要计算机硬件,软件,网络,认知心理学,人类工效学等多学科共同努力。

所以在将来相当长的一段时间内，人机交互将呈现出多样化的特点，桌面和非桌面界面,可见和不可见界面将同时共存。

以WIMP 为代表的图形用户界面将继续使用和发展,而网络和计算将进入家庭和生活,人们可用多种简单的自然方式进行人机交互。

以不可见,可移动为特征的无所不在计算和以三维,沉浸为特征的虚拟现实环境,将是人机交互面临的重大挑战和研究目标。

关键词：人机交互/界面技术一、人机交互的定义和内涵人机交互是关于设计、评价和实现人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的科学。

狭义的讲，人机交互技术主要是研究人与计算机之间的信息交互，主要包括人到计算机和计算机到人的信息交换两部分。

对于前者，人们可以借助键盘、鼠标、数据手套、压力笔等装备，用手、脚、声音、姿势或者视线向计算机传递信息；对于后者，计算机通过打印机、绘图仪、显示器、头盔式显示器、音箱等输出或显示设备给人提供信息。

它涉及计算机科学、心理学、认知科学和社会科学以及人类学等诸多学科，是信息技术的重要组成部分。

人机界面做为计算机系统的重要组成部分，主要是指人类与计算机系统之间的通信方式，包括人-机双向信息交互的支持软件和硬件。

二、人机交互的发展历史及现状作为计算机系统的一个重要组成部分，人机交互一直随着计算机的发展而发展。

人机交互的发展过程，也是人适应计算机到计算机适应人的发展过程。

他经历了如下几个阶段：（一）语言命令交互阶段计算机语言经历了由最初的机器语言、汇编语言，直到高级语言的发展过程。

这个过程也可以看作是人机交互的早期发展过程。

早期的人机交互是通过命令语言进行的，人机之间通过语言的输入输出功能完成交互。

最初，人机交互的方式是采用手工操作输入机器语言命令控制计算机，这种形式很不符合人的习惯，既浪费时间，又容易出错。