第２５卷第４期增刊仪器仪表学报２００４年８月人机交互中基于眼动仪的输入技术研究
郭北苑方卫宁
（北京交通大学机械与电子控制工程学院北京１０００４４）
摘要讨论一种使用眼动仪实现人机交互中光标移动与定位的方法。通过对眼动仪输出视频的图像处理，得到注视点以及计算机显示器在视场中的位置坐标，并计算出注视点在显示器中的相对位置，由此实现了人机交互中光标的移动与定位。由于考虑了注视点与显示器的相对位置关系，该方法可以实现测试者头部任意活动状态下的交互输入。
关键词人机交互视觉跟踪图像处理眼动仪
ＩｎｐｕｔＴｅｃｈｎｉｑｕｅＢａｓｅｄｏｎＥｙｅｍａｒｋｉｎＨｕｍａｎ—ｃｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ
ＧｕｏＢｅｉｙｕａｎＦａｎｇＷｅｉｎｉｎｇ（ＣｏｌｌｅｇｅｏｆＭｅｃｈａｎｉｃａｌａｎｄＥｌｅｃｔｒｉｃＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇ，ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００４４，Ｃｈｉｎａ）
ＡｂｓｔｒａｃｔＡｍｅｔｈｏｄｏｎｃｕｒｓｏｒｍｏｖｅｍｅｎｔｓａｎｄｏｒｉｅｎｔａｔｉｏｎｓｕｓｉｎｇＥｙｅｍａｒｋｉｎｈｕｍａｎ—?ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｉｓｄｉｓ—．ｃｕｓｓｅｄ．ＢａｓｅｄｏｎｔｈｅｉｍａｇｅｐｒｏｃｅｓｓｏｆＥｙｅｍａｒｋ’Ｓｏｕｔｐｕｔｖｉｄｅｏ，ｔｈｅｐｏｓｉｔｉｏｎｓｏｆｇａｚｉｎｇｐｏｉｎｔｓａｎｄｃｏｍｐｕｔｅｒｍｏｎｉ—ｔｏｒｉｎｓｃｅｎｅｓａｒｅｆｏｕｎｄ，ａｎｄｔｈｅｃｏｏｒｄｉｎａｔｅｓｏｆｇａｚｉｎｇｐｏｉｎｔｓｒｅｌａｔｉｖｅｔＯｃｏｍｐｕｔｅｒｍｏｎｉｔｏｒａｒｅｃｏｍｐｕｔｅｄ．Ｃｕｒｓｏｒｍｏｖｅｍｅｎｔｓａｎｄｏｒｉｅｎｔａｔｉｏｎｓｉｎｈｕｍａｎ—ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｃａｎｂｅｆｏｒｍｅｄｕｓｉｎｇｔｈｅｓｅｖａｌｕｅｓ．Ｓｉｎｃｅｔｈｅｒｅｌａｔｉｖｅｐｏｓｉｔｉｏｎｓｏｆｇａｚｉｎｇｐｏｉｎｔｓａｎｄｃｏｍｐｕｔｅｒｍｏｎｉｔｏｒａｒｅｃｏｎｓｉｄｅｒｅｄ，ｔｈｉｓｍｅｔｈｏｄｃａｎｂｅｕｓｅｄｉｎｉｎｔｅｒａｃｔｉｏｎｉｎｐｕｔｕｎｄｅｒａｎｙｍｏｖｅｍｅｎｔｓｔａｔｅｏｆｓｕｂｊｅｃｔ’Ｓｈｅａｄ．
ＫｅｙｗｏｒｄｓＨｕｍａｎ—ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎＥｙｅｔｒａｃｋｉｎｇＩｍａｇｅｐｒｏｃｅｓｓＥｙｅｍａｒｋ
１引‘言
随着计算机在各领域的广泛应用，对人机界面的要求亦日益提高，新一代的人机界面更加强调以人为本的设计原则，综合应用视觉、听觉、触觉、嗅觉、味觉的多通道人机交互技术成为最新发展方向。在输入技术方面，基于视觉的人机交互技术虽不成熟，但由于其直接性、自然性与双向性受到人们的普遍重视，成为研究的热点口，。基于视觉的人机交互技术有多种技术路线，ＨｕｔｃｈｉｎｓｏｎＴ．Ｅ．、尹海荣等使用红外摄像机获取眼球的转动信息，从而实现视线跟踪∞‘３１；ＢａｒａｔｔｅｌｌｉＳ．使用Ｓｅｎｓ０１＇ｎｏｔｏｒｉｃＩｎｓｔｒｕｍｅｔｓ公司的Ｅｙｅｌｉｎｋ系统开发了一套结合视觉跟踪、自然语言、手势、头部运动的多通道交互系统ｎ］；ＭｉｙｏｓｈｉＴ．利用眼动仪实现了头部固定情况下的视觉输入口１。
＊铁道部科技发展计划（２０００Ｊ０４３）基金项目。
本文讨论一种使用眼动仪实现人机交互中光标移动与定位的方法。通过对眼动仪输出视频的图像处理，得到注视点以及计算机显示器在视场中的位置，由此计算出注视点相对于显示器的坐标，并使用该坐标值实现人机交互中光标的移动与定位。与现有的方法相比，本方法可在输入者头部任意活动的情况下实现对光标的控制。
２系统概述
２．１眼动仪原理
眼睛是人体的重要感觉器官，它是人体最主要的输入通道，眼睛的运动是人操作、控制及判断的重要代表。因此，了解人们如何利用视觉来获取信息就显得至关重要，通过测量人的眼注视点来实现人的视觉注意力分配测试，是探索人体如何从视觉获取信息提供一
万方数据
仪器仪表学报第２５卷
种重要的手段。眼动仪便是实现上述功能的实验设备。眼动仪由头盔以及控制单元、处理单元组成，通过检测并提取眼睛的位置信息来达到记录视觉运动过程的目的，其工作流程如图１所示。眼动仪头盔上设置有两个摄像机，一个为瞳孔摄像机，这是一部红外摄像机，它在红外光源的辅助下，得到眼睛的视频图像，该图像经数字化及瞳孔中心检测后与另一个普通摄像机得到的视场视频信号一起送入控制单元进行注视点的标定及视场匹配。匹配完毕的结果以视频方式输出，可以通过录像机记录到磁带上供日后分析之用，或直接通过处理单元进行实时的分析。
圃蜃
图１眼动仪工作缘理
２．２基于眼动仪的人机交互方案
基于眼动仪的人机交互方案有多种，一种可以使用眼动仪的处理单元直接输出的眼注视点的坐标数据进入输入的驱动，然而，该方案采用的注视点坐标为相对与视场图像的坐标，为了得到相对与显示器的坐标，要求固定头部不动Ｂ３，而且眼动仪处理单元输出数据的协议格式由生产厂家控制，并非人人都能取用，因此该方案具有一定的局限性。本文通过直接对经过标定的视场图像进行处理，并由此得到所需光标驱动信息，实现了一个新的眼动仪支持下的人机交互方案。方案的系统工作流程如图２所示。
图２基于眼动仪的人机交互方案
系统由三部分组成，分别为眼动仪、视频采集与数据处理子系统和光标驱动子系统。分别完成眼注视点标定及视场匹配、图像采集、图像处理、光标坐标计算以及光标驱动等功能。考虑到图像处理占用较多的系统资源，因此设计了利用ＴＣＰ／ＩＰ协议族中的ＵＤＰ协议进行坐标数据传输的坐标服务器／客户机方案，这样视频采集与数据处理子系统以及光标驱动子系统可根据硬件条件分别运行在两台物理机上，通过以太网实现相互间的通讯。当单机的硬件满足要求时，基于服务器／客户机体系结构的方案亦可使视频采集与数据处理子系统和光标驱动子系统方便地运行于同一部物理机Ｅ。
３光标位置的判定
通过采集卡采集进入计算机的图像需要进行两方面的图像处理工作，以分别对注视点及显示器进行定位，然后再计算出光标的位置。
３．１注视点的定位
经眼动仪标定后得到的视场图像Ｇ如图３所示。注视点使用一个７×７像素标志图形Ｔ如图４所示进行标定。因此，采用模板匹配算法对注视点进行定位。
图３眼动仪输出的视频图像
回
图４注视点标志图形
将模板Ｔ叠放在视场图像Ｇ上，在
ｆ１≤ｉ≤ｗ一７ｗ为视场图像宽度…
ｌ１≤ｊ≤Ｈ一７Ｈ为视场图像高度
范围内移动，通过下式：
７７
Ｅ（ｉ，ｊ）一∑∑ＩＧ，，（ｍ，ｎ）一Ｔ（ｍ，ｎ）１（２）
ｍ一１ｎ＝１
求得Ｔ与被Ｔ当前覆盖的Ｇ的子图Ｇｉ，的误差，Ｅ（ｉ，ｊ）最小值处即为匹配目标，
（ｉ＋３，ｊ＋３）（３）即为求得的注视点位置。
为了提高匹配的速度，可采用二次匹配算法，第一次匹配是粗略匹配，取模板的隔行隔列数据，即四分之一的模板数据，在视场图像上进行隔行隔列的扫描匹
显篁
是 万方数据
第４期增刊人机交互中基于眼动仪的输入技术研究５７
配，第二此匹配再在第一次误差最小点的领域内进行精确的匹配。同时，为了提高Ｔ与Ｇ。匹配的计算速度，取一个误差阈值Ｅ。，当计算过程中Ｅ。，，＞Ｅ。时，就停止该点的计算。
３．２显示器的定位
为了求得显示器的位置信息，可采用在显示器的四角边缘或软件窗口四角加上标志的方法，这样只要采用与注视点定位相同的方法就能获取所需的显示器位置。在原型系统的开发中，采用的是在软件窗口的四角使用红色（根据周围环境的颜色情况亦可选用三原色中的绿色或蓝色）色块的方法，该方法只需对采集到的图像的红色通道（或绿色、蓝色通道）进行简单的灰度值的比较就能得到显示器图形窗口的四个角的坐标。
３．３注视点相对位置判定
求得显示器四个角坐标以及注视点坐标后，就可以计算得到注视点相对位置坐标，该坐标值经与视场图像中显示器边长比较归一化处理后即可通过坐标服务器发送给客户机用于光标的驱动。值得注意的是注视点可能会落在显示器以外的区域，此时光标应停留在显示界面相应的边界上。
４系统实现
应用以上方法，我们基于日本ＮＡＣ公司的ＥＭＫ７型眼动仪开发了一套实现光标定位与移动的原型系统，系统由两台奔腾４型微机、ＭａｔｒｏｘＣｏｒｏｎａ／８／Ｅ图像采集卡以及自行开发的图像处理及数据处理、通讯以及光标驱动软件组成，在原型系统中，光标数据的更新速率可以达到５Ｈｚ，满足最低限度的实时性要求。
５结束语
本文讨论的基于眼动仪的人机交互技术，对使用眼动仪作为输入装置时头部任意活动情况下的光标定位与移动作了初步研究，提出的实现方案经原型系统验证切实可行。然而，该方法的研究还处于探索阶段，要开发实用的系统还要解决许多问题。这些问题归纳起来有以下几点：
（１）对注视点位置判定的时间要求，开发速度更快的图像处理与识别算法，达到更高的刷新率。
（２）由于视场摄像机导致的显示器图像的梯形失真、鼓形失真、透视以及鱼眼变形的校正问题。
（３）由于头部的大范围运动而导致的显示器没有完全落在视场图像中引发的显示器定位问题。
（４）由于视场图像大小限制所导致的光标控制精度问题。
参考文献
１方志刚．人机交互中的视线跟踪技术［Ｊ］．人类工效学，２０００，６（１）：４３～４５．
２ＨｕｔｃｈｉｎｓｏｎＴ．Ｅ．，ＷｈｉｔｅＫ．Ｐ．Ｊｒ．，ＭａｒｔｉｎＷ．Ｎ．，ｅｔａ１．．Ｈｕｍａｎ—ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｕｓｉｎｇｅｙｅ—ｇａｚｅｉｎｐｕｔＥＪ］．Ｓｙｓｔｅｍｓ，ＭａｎａｎｄＣｙｂｅｒｎｅｔｉｃｓ，１９８９，１９（６）：１５２７～１５３４．
３尹海荣，屠大维．基于红外电视法的眼睛盯视人机交互技术［Ｊ］．红外技术，２００２，２４（４）：１～３．
４ＢａｒａｔｔｅｌｌｉＳ．，ＳｉｃｈｅｌｓｃｈｍｉｄｔＬ．，ＲｉｃｋｈｅｉｔＧ．．Ｅｙｅ—ｍｏｖｅｍｅｎｔｓａｓａｎｉｎｐｕｔｉｎｈｕｍａｎｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ：ｅｘｐｌｏｉｔｉｎｇｎａｔｕｒａｌｂｅｈａｖｉｏｕｒ［Ａ］．ＩｎｄｕｓｔｒｉａｌＥｌｅｃｔｒｏｎｉｃｓＳｏｃｉｅｔｙ，１９９８．ＩＥＣＯＮ７９８．Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２４ｔｈＡｎ—ｎｕａｌＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＩＥＥＥ［Ｃ］，１９９８，４（８）：２０００～２００５．
５ＭｉｙｏｓｈｉＴ．，ＭｕｒａｔａＡ．．Ｉｎｐｕｔｄｅｖｉｃｅｕｓｉｎｇｅｙｅｔｒａｃｋｅｒｉｎｈｕｍａｎ—ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ［Ａ］．ＲｏｂｏｔａｎｄＨｕｍａｎＩｎｔｅｒａｃｔｉｖｅＣｏｍｍｕｎｉｃａｔｉｏｎＰｒｏｃｅｅｄｉｎｇｓ［Ｃ］，２００１，９：５８０～５８５．
万方数据
人机交互中基于眼动仪的输入技术研究
作者：郭北苑， 方卫宁
作者单位：北京交通大学机械与电子控制工程学院,北京,100044
刊名：
仪器仪表学报
英文刊名：CHINESE JOURNAL OF SCIENTIFIC INSTRUMENT
年，卷(期)：2004，25(z1)
被引用次数：3次
参考文献(5条)
1.方志刚人机交互中的视线跟踪技术[期刊论文]-人类工效学 2000(01)
2.Hutchinson T E.White K P Jr.Martin W N Human-computer interaction using eye-gaze input 1989
3.尹海荣.屠大维基于红外电视法的眼睛盯视人机交互技术[期刊论文]-红外技术 2002(04)
4.Barattelli S.Sichelsehmidt L.Rickheit G Eyemovements as an input in human computer
interaction:exploiting natural behaviour 1998
5.Miyoshi T.Murata A Input device using eye tracker in human-computer interaction 2001
相似文献(10条)
1.学位论文单彩峰用于人机交互的视觉手势识别2004
基于视觉的手势识别,是让计算机能够像人那样看见并理解人的手势;它在人机交互、虚拟现实、手语理解、远程控制等领域中有着广泛而重要的应用.以智能轮椅作为研究平台,该文对视觉手势识别在人机交互中的应用做了深入的研究,包括手的特征选取、手势跟踪、静态手势识别、动态手势理解等方面的内容.该文的主要工作和贡献有:①提出了一种改进的粒子滤波算法-结合均值漂移的粒子滤波MSEPF.通过在粒子滤波中加入均值漂移步骤,MSEPF实现了更为有效的采样策略,提高了粒子集中的有效粒子数,在一定程度上避免了传统粒子滤波的采样恶化和采样枯竭问题;同时,MSEPF不需要大量粒子来维持后验概率的多峰分布,节约了所需粒子数,提高了计算效率.②使用MSEPF实现了智能轮椅人机交互场景下的实时手势跟踪.得益于粒子漂移,MSEPF使用了简单但有效的弱动态模型.我们首先选用肤色对手建模,并且考虑到动态场景中光照变化会带来肤色改变,在跟踪过程中自适应更新肤色模型.为了克服背景中存在的肤色干扰,我们提出了融合肤色和运动信息的观测模型.MSEPF中的粒子漂移也是基于肤色和运动信息进行.③基于方向直方图思想,提出使用手轮廓方向直方图来识别静态手势.在借助手势跟踪算法定位图像中手的位置后,我们根据肤色分割出手的轮廓;然后计算手轮廓方向直方图,通过与事先训练好的模型匹配来识别手势.④通过在时序模板中引入时空轨迹,提出了时序模板轨迹概念,将从运动序列中跟踪得到的手势运动轨迹压缩到单幅图像中.我们设计了一种两层分类器,通过时序模板轨迹的形状和运动方向分析,实现对预先定义的七种动态手势的识别.实验表明,时序模板轨迹优于一般的时序模板,对动态手势具有更好的可分性;且实现简单,不需要复杂的训练.⑤在上述研究的基础上,设计并实现了智能轮椅基于视觉手势识别的外部控制接口,作为轮椅多模态感知接口的一个重要组成部分.该实时手势控制接口在实际中工作良好.
2.学位论文王超基于LPM特征与级联SVR的视线跟踪系统研究2008
多媒体人机交互技术是多媒体技术和人机交互技术的结合，其主要内容是信息表示的多样化和如何通过多种输入输出设备与计算机进行交互。它包括基于视线跟踪、语音识别、手势输入等各种新的交互技术。而视线跟踪与视线输入作为这个领域中新兴的技术，成为近年来人机交互领域中倍受关注的前沿方向。围绕着视线跟踪与视线输入这个主题，本文主要探讨了人眼视觉跟踪理论与基于视线输入的人机系统等相关问题。
首先，本文简要论述了人机交互技术和计算机视觉理论的发展历程，并扼要介绍视线跟踪技术的现有基本原理和方法，总结其研究现状和进展。同时介绍本文的研究背景和研究内容。
其次，不同于主动红外源照射下基于角膜反射—瞳孔中心(PCCR)的理论，提出了一种基于人眼“特征”的视线跟踪系统。具体来说是将眼睛的空间坐标与眼睛图像的LPM特征相结合作为视线判别的特征，通过级联支持向量回归的算法(级联SVR)预测视线方向与屏幕坐标的映射关系，实现了人在与计算机进行交互过程中头部自然运动情况下的视线跟踪。
用眼睛图像LPM特征来表示眼睛视线的信息，是对经典的基于红外线眼睛图像的瞳孔中心反射点向量方法的一种改进。传统的瞳孔中心反射点向量的算法，在计算瞳孔中心时通常需要边缘形状检测，然后确定中心位置，由于瞳孔的形状随着眼睛运动会产生变化，而且瞳孔的边缘经常会出现模糊现象影响瞳孔中心的检测结果，同时反射点过大也会使检测的反射点位置发生偏移，所以在计算瞳孔中心反射点向量时经常会出现误差，影响实验效果。利用LPM特征不仅能够表现瞳孔中心反射点向量所代表的方向信息，而且还能体现视线方向变化时眼睛的纹理变化。经过大量的实验表明，本文使用的跟踪方法与经典的跟踪算法相比有明显的改善，视线跟踪达到了很好的效果。
3.会议论文吕玉生.赵杰煜具有视觉跟踪的中英文语音动画系统2008
本文给出了一个具有视觉跟踪的中英文语音动画系统的实现过程.该文介绍了该系统的设计过程以及所需的技术,包括可视音素、三维人头模型的制作与显示、语音与动画的同步、动画的平滑自然的过渡、眼睛的跟踪与随机眨眼、与外部程序接口的设计等.该语音动画系统具有人脸表情真实自然等特点,在普通PC机上能够产生高质量的语音动画.
4.学位论文陈冬艳基于红外LED的实时视觉跟踪若干关键技术研究2007
视觉跟踪是虚拟现实、人机交互、视觉监控等领域内的关键技术，具有巨大的应用前景。由于存在遮挡、图像处理复杂等特点，视觉跟踪的实时性一直难以提高，实时性是目前视觉跟踪技术研究的重点。采用基于红外LED人工标志点可以最大程度减小背景变化对于特征识别的影响，且由于红外目标特征明显，易于识别，在实时视觉跟踪上有非常高的研究价值。本论文研究了基于红外LED标志点的实时视觉跟踪若干关键技术。
基于轮廓提取、区域分割、柱状图的三种思想，找到了三种适合该种方式的视觉跟踪的特征提取方法，并且对于这三种方法进行比较分析，综合考虑稳定性、耗时、精度等因素，确立基于轮廓提取的特征识别为最优。研究了基于卡尔曼滤波的运动预测在该类跟踪中的应用，分析了卡尔曼滤波对于提高视觉跟踪实时性的作用，并且从分析图像坐标系下和世界坐标系下两种方式卡尔曼滤波的特点，确定适合于基于红外LED视觉跟踪的方式为世界坐标系下的滤波方式。分析了如何将多相机的特征点信息合成红外LED标志点的世界坐标信息，利用极线约束和预测信息提取合成单个标志点的世界坐标，然后利用空间相互位置约束关系进行多标志的模型匹配。利用简单的设备搭建了实验平台，研发了原型软件系统，对于原型系统的高实时性和强鲁棒性进行了分析，验证了研究思路。
红外特征明显、背景变化的影响小，使得快速特征提取非常方便。卡尔曼运动滤波预测有效减小了特征提取的搜索区域，使得特征提取更为快速
，预测结果还可以用于在跟踪失败时代替测量数据，提高鲁棒性。在合成标志点的世界坐标，基于多种约束关系，增加了视觉跟踪系统的鲁棒性。所有上述特点都为基于红外的视觉跟踪实时性的提高提供了保障。
5.学位论文翟良松基于核函数的视觉跟踪算法研究及其应用2008
视觉跟踪是当前计算机视觉研究的热点之一，并且逐步在视频监控、人机交互，机器人，无人驾驶等领域得到广泛的应用。目前视觉跟踪算法层出不穷，同时也涌现了数个设计巧妙、理论完备、效果较好的目标跟踪算法。基于核函数的均值位移目标跟踪算法是其中最优秀的算法之一，但由于应用场合的复杂性，到目前为止，建立一个稳健的、鲁棒的、实时的目标跟踪系统仍然是一个相关困难的事情。
人工智能研究的基本思想之一是通过模仿人类的机理给机器赋以人的智能。本文正是在这个思想的指导下通过模仿人类及灵长类动物的视觉机制
，深入研究了目标建模和跟踪的过程，借鉴心理学、生理学领域的研究成果，提出了一种目标描述新思路，并且通过水平投影、垂直投影巧妙地融入目标空间信息，应用均值位移优化过程，实现一个全新的目标跟踪过程。具体研究内容分成如下几个部分：
1.回顾介绍基于核函数的均值位移跟踪算法原理与过程
2.详细介绍了基于关注度的目标建模方法
3.详细介绍了基于水平投影、垂直投影的均值位移优化过程
4.详细介绍了基于关注度和投影的均值位移跟踪算法，并分析了其主要优点。
基于以上的思路，本文主要在以下两个方面取得了一定突破和进展，获得了一定研究成果。
第一、改变以往建立精确目标模型的思路，通过突出目标的主要特征，压制背景和非主要特征，建立一个目标特征突出的目标模型，而且这个模型是基于目标和背景的区别的，不是具体的颜色或者纹理等特征，因此不会因为光照、形变等恶劣环境而丢失目标，具有很好的稳定性和鲁棒性。
第二、采用水平投影、垂直投影来综合目标的空间信息，有利于准确定位目标中心位置，实验证明了基于投影的算法比基于核函数的方法能够更加准确地定位出目标中心位置，取得良好效果。
6.学位论文杜凤仪增强现实在文物展示中的应用研究2009
增强现实是一项综合众多学科的高新技术，是计算机图形学、图像处理技术、人机交互技术、传感技术不断发展相结合的产物，具有广阔的应用前景。古迹的保护是增强现实应用的重要领域，增强现实技术的应用可以打破时间、空间的限制，提高文物的展出效果和展出效率，对保护文化遗产具有重大的意义。
本文初步探讨了增强现实在文物展示领域的应用。主要对以下三方面的内容进行了探讨：
其一，AR在文物展示中的跟踪方法。本文对基于标示物的视觉跟踪方法和无标示物的跟踪方法在文物展示中的应用分别进行了分析。
其二，AR文物展示中的交互方法。包括适合于文物展示的用户界面和基于手势识别技术的交互方法。用户界面采用基于桌面隐喻的图形用户界面(GUI)的理念，采用基于标示物的视觉跟踪方法，利用图形学的多种图形绘制与渲染技术来完成界面的设计；手势识别的跟踪部分将采用借助于标示物的视觉跟踪方法，采用了符合人手操作的方式进行对文物模型及各种虚拟信息交互。
其三，基于可用性原理的评估。给出评估的结果，用户界面在文物展示中的易用性较好、能实现虚拟信息的多种表达方式；手势交互部分体现了实物用户界面的基本思想，符合人对文物模型观摩的习惯，参观者对文物的感知得到了较好的体现。
本文对基于增强现实的博物馆文物展示方面的初步研究，为今后增强现实更深入、更广泛的运用到文化遗产的保护领域提供了初步的参考。
7.学位论文唐凤山基于子空间的视觉跟踪算法研究与应用2009
视觉跟踪是当前计算机视觉的研究热点之一，是视频监视、人机交互以及虚拟现实等领域的关键技术，具有巨大的应用前景。目前视觉跟踪算法层出不穷，在鲁棒性、准确性和快速性等方面各有优劣。由于光照、尺度变化以及运动目标转动、遮挡变形等引起的目标外观变化使算法的鲁棒性受到严重挑战，并成为当前视觉跟踪算法研究的一个重要方向。目标外观变化会导致跟踪漂移甚至丢失目标，要求视觉跟踪算法能迅速有效地学习到目标外观变化模式。基于区域的视觉跟踪算法是应用最广泛的算法之一，基于子空间的视觉跟踪算法即是属于基于区域视觉跟踪的一类，该类算法通过构建子空间来描述目标外观以实现跟踪。传统的基于子空间的算法需要在跟踪开始之前预先通过训练来得到子空间，并且跟踪的鲁棒性以及准确性也对训练所采用的图像提出了较高的要求。
本文对基于子空间的视觉跟踪算法进行了研究。文章对PCA子空间以及正交子空间基础上的增量学习法进行学习和研究之后，提出了综合子空间算法。该综合子空间既能快速学习到目标外观的变化模式，又能学习到目标的最优低维描述子空间，实验表明该算法在光照变化、目标转动等情况下仍能稳定地跟踪目标。采用自顶向下思路进行跟踪时，需要对目标状态进行动态估计。传统的卡尔曼滤波只在处理线性高斯问题时效果很好。为处理非线性非高斯问题，提出采用粒子滤波来处理，估计精度较高。人脸跟踪是视觉跟踪应用较多的一个方面，首先必须进行人脸检测。Adaboost算法是人脸检测领域的经典算法之一，基于扩大的Haar-like矩形特征的分类器性能较好。采用混合接口编程的方式用Visual Studio生成基于扩大Haar-like矩形特征的Adaboost人脸检测动态链接库，在Matlab中结合综合子空间算法进行实验，取得了很好的效果。
8.学位论文冯春来自然场景下的视觉目标跟踪问题研究2004
作为计算机视觉的研究领域难点之一，视觉目标跟踪在视频监视，虚拟现实，增强现实，人机交互，动画运动捕获，视频压缩，视频会议，智能交通，军事制导等方面都有广泛的应用前景，同时目标跟踪也是行为识别等高级机器视觉的基础。
本课题在国际人工智能及机器视觉界是一个研究热点问题，在各种关于机器视觉国际会议中都有数量可观的文章涌现，各种方法不断提出，但是由于现实世界光照条件，目标物建模等的复杂性，还没有一种较实用较通用的方法来实现对目标进行跟踪的方法。本文对该课题方向进行了初步的探讨同时对与其相关的问题进行了初步研究。
文中首先介绍了视觉跟踪问题的分类，并对各类视觉跟踪问题解决的基本步骤及存在的难点进行了阐述。对静态场景下的视觉目标跟踪问题，文中着重对背景建模和目标物阴影去除问题进行了研究。对背景建模问题，文中提出了根据帧差信息指导不同图像帧中的目标物区域位置定位，据此用不同帧目标物区域像素值合成“空”背景的方法。对阴影去除问题，文中提出了结合目标物区域亮度畸变和色调畸变信息对目标物区域像素进行分类的方法，其中还提出了一种基于上述信息对应直方图的自动阈值确定方法。对于动态场景下的视觉目标跟踪问题，文中结合人脸这一具体对象进行了研究，提出了一种基于颜色信息，结构信息等的特征量定义方法较好的实现了人脸跟踪，对于主动视觉目标跟踪问题，针对小车这一具体研究对象展开研究，文中研究了系统的具体构成及其中的控制方法。文中最后对基于计算机视觉的一个实际应用项目进行了研究，根据课题对象特点和实时性，可靠性等的要求，文中提出了一种基于线扫描和像素周期性统计的方法，并达到了较好的效果。
9.学位论文黄菁基于单目视觉的触摸屏技术研究2009
随着计算机性能的不断提升和各领域对计算机使用的不断深入，人机交互技术也越来越受到重视，传统的基于鼠标和键盘的人机交互方式也越来越显示出它的局限性。而触摸屏技术可以完全摆脱鼠标和键盘，为人们提供方便快捷的服务，但是目前的触摸屏技术都是以硬件为基础的，容易受到电子元件的性能所影响，并且应用成本较高。
计算机视觉跟踪技术已经能够保证对目标进行实时跟踪，为视觉人机交互技术奠定了坚实的基础。视觉人机交互接口允许操作者在不直接接触输入设备的情况下进行相应的输入控制。因此基于视觉的触摸屏技术的研究，具有广阔的应用前景，是未来新一代输入接口的发展方向。
本文主要研究在静态背景下，通过单只摄像头采集手指信息，获取触点信息，模拟硬件触摸屏，并完成单击、压按以及触摸移动三种交互动作。
本文采用两种方案对基于单目视觉的触摸屏技术进行了初步研究并提出了基于单目视觉的目标深度信息提取算法。一种是通过颜色标记指尖所在的位置，并利用改进CamShift算法进行跟踪，通过算法搜索框的变化规律提取手指的深度信息，判断触摸状态，并利用触摸信息和移动信息来完成三种动作的实现；另一种方法是通过对人手进行肤色分割，轮廓提取以及指尖识别等过程，并进行轮廓优化组成新轮廓，并根据轮廓包含区域所占的视频区域比例变化规律来获得深度信息，从而得到触点信息，并结合移动信息来完成三种动作。
最后分别利用三个应用程序来测试三种动作的完成情况，测试结果显示，实验结果基本上达到预期效果，但是同时也存在一些不足，如跟踪精度还不够高，深度信息提取准确度还有待加强等等。
10.会议论文王海滨.蔡平.阮秋琦虚拟现实系统中人机交互技术研究1999
虚拟现实系统要求计算机所创建的三维虚拟环境能使用户全射心感觉到参与和体验感，人机交互对于虚拟现实系统来说是非常重要的一个关键技术。该文基于ＰＣ机平台建立了一个以视觉技术作为交互方法的虚拟现实人机交互系统，实现了对人头部姿态的检测。
引证文献(3条)
1.黄莹.王志良.涂序彦.戚颖一种可适应自然头动的视线追踪系统的研制及应用[期刊论文]-电子学报 2009(4)
2.黄莹.王志良.戚颖基于视线追踪的人机交互仿真系统的研制与应用[期刊论文]-系统仿真学报 2008(24)
3.黄莹.王志良.戚颖基于双光源的实时视线追踪系统[期刊论文]-中国工程科学 2008(2)
本文链接：https://www.doczj.com/doc/1b17092925.html,/Periodical_yqyb2004z1024.aspx
授权使用：上海交通大学(shjtdxip)，授权号：1fb494bd-2213-4f69-b852-9e3000c701e7
下载时间：2010年11月16日
中南林业科技大学课程论文谈谈自己对人机交互系统的认识 注：对号：正确、完整、详细、合理 半对号：部分正确、不完整、不详细、基本合理 错号：错误、缺失、较差 抄袭一票否决
谈谈自己对人机交互的认识 人机交互界面作为一个独立的、重要的研究领域受到了世界各计算机厂家的关注。并成为90年代计算机行业的又一竞争领域。从计算机系统的发展过程来看，人机交互界面技术还引导了相关软硬件技术的发展，是新一代计算机系统取得成功的保证。80年代已来，计算机的软件和硬件技术取得了较大的发展，同时，计算机的使用者也从计算机专家迅速扩大到了广大未受过专门训练的普通用户，由此极大地提高了用户界面在系统设计和软件开发中的重要性，强烈地刺激了人机交互界面的进步。人－计算机的交互作用是通过用户界面来实现的。 我国在人机界面方面的设计与国际同类研究相比还存在较大差距。目前的研究仅仅着重于支持界面的软件和硬件，对界面本身还缺少深入的研究，用户界面的设计还没有成为软件设计中独立的一部分，也缺少新的人机界面设计技术。而另一方面，计算机科学的发展和计算机的普及应用却对人机界面的研究提出了越来越高的要求。 进入九十年代计算机软件开发已进入了以开发软件工具和建立软件开发环境为目标的时代。作为支持人机交互软件开发环境的用户界面管理系统UIMS正日益受到人们的关注和重视。今后UIMS将有可能进入各类实际软件开发环境，成为继DBMS之后的又一个重要的软件开发环境和工具。 根据当前发展情况，大概有一个现状和一个趋势能看得到，拿来和大家分享一下。HCI是偏向应用的，本质上还是多学科交叉的工程应用技术领域。从商业应用来看，HCI能做的方面有：软件、硬件、交互环境、互联网、生活应用、集成交互系统等。简单举例：软件，包括优良综合（功能）应用体验和用户界面硬件，包括脑波仪器、眼动仪、感应器（sensor）、移动通讯设备、信息终端、通用电子数码产品、等交互环境，如虚拟现实、三维模拟场景、民用交通工具驾驶环境、军用飞行器/车辆/设备操纵环境、等互联网，包括网站的设计和功能，用户体验的提升和评估，网络产品的用户体验，互联网与通讯网与人际网络的重合研究，等生活应用，包括智能住宅（Smart Home），以及一些家用装备的交互功能和体验设计集成交互系统，如车站港口机场的信息导航设计、功能和体验设计评估与监控，大型复杂操作环境的体系交互设计与评估等其实能做的特别多，当然成就与否在于我们有怎样的思路和做法，这还需要大量的实践来检验。 一个趋势就是，在未来的HCI领域，有可能会分化出这样几个主干方向：1.硬件设备，包括眼动仪、脑波仪、感应仪器、评测仪器、以及能够参与和辅助HCI研究与实践的装备 2.人文研究，毕竟HCI的终极目标是人类好的体验最大化，所有的分支和应用都离不开对用户的研究，所以研究使用者以及文化影响，甚至包括在三重网络（互联网、通讯网、人际关系网）逐渐重叠的趋势下一些新的演变和背后的本质等等 3.还一个就是设计方向，这主要集中在综合的用户体验设计，以及应用产品、服务的具体设计，还包括对设计的理论研究、与HCI其他因素的结合、框架体系、监测评估、流程方式、工具和方法等等。 在一个交互系统中，由于操作者的个人原因，经常会产生误操作，包括键入错误、数据输入错误等。同样，在用户编制的程序或设备连接时也可能会
智能移动机器人的现状和发展 姓名 学号 班级：
智能移动机器人的现状及其发展 摘要：本文扼要地介绍了智能移动机器人技术的发展现状，以及世界各国智能移动机器人的发展水平，然后介绍了智能移动机器人的分类，从几个典型的方面介绍了智能移动机器人在各行各业的广泛应用，讨论了智能移动机器人的发展趋势以及对未来技术的展望，最后提出了自己的建议和设想，分析我国在智能移动机器人方面发展并提出期望。 关键词：智能移动机器人；发展现状；应用；趋势 1引言 机器人是一种可编程和多功能的，用来搬运材料、零件、工具的操作机，或是为了执行不同的任务而具有可改变和可编程动作的专门系统。智能移动机器人则是一个在感知 - 思维 - 效应方面全面模拟人的机器系统，外形不一定像人。它是人工智能技术的综合试验场，可以全面地考察人工智能各个领域的技术，研究它们相互之间的关系。还可以在有害环境中代替人从事危险工作、上天下海、战场作业等方面大显身手。一部智能移动机器人应该具备三方面的能力：感知环境的能力、执行某种任务而对环境施加影响的能力和把感知与行动联系起来的能 力。智能移动机器人与工业机器人的根本区别在于，智能移动机器人具有感知功 能与识别、判断及规划功能[1] 。 随着智能移动机器人的应用领域的扩大，人们期望智能移动机器人在更多领 域为人类服务，代替人类完成更复杂的工作。然而,智能移动机器人所处的环境 往往是未知的、很难预测。智能移动机器人所要完成的工作任务也越来越复杂; 对智能移动机器人行为进行人工分析、设计也变得越来越困难。目前，国内外对 智能移动机器人的研究不断深入。 本文对智能移动机器人的现状和发展趋势进行了综述，分析了国内外的智能 移动机器人的发展，讨论了智能移动机器人在发展中存在的问题，最后提出了对 智能移动机器人发展的一些设想。 1
操作系统复习题1 一、判断题 1.分时系统中，时间片设置得越小，则平均响应时间越短。（） 2.多个进程可以对应于同一个程序，且一个进程也可能会执行多个程序。（） 3.一个进程的状态发生变化总会引起其他一些进程的状态发生变化。（） 4.在引入线程的OS中，线程是资源分配和调度的基本单位。（） 5.信号量的初值不能为负数。（） 6.最佳适应算法比首次适应算法具有更好的内存利用率。（） 7.为提高对换空间的利用率，一般对其使用离散的分配方式。（） 8.设备独立性是指系统具有使用不同设备的能力。（） 9.隐式链接结构可以提高文件存储空间的利用率，但不适合文件的随即存取。（） 10.访问控制矩阵比访问控制表更节约空间。（） 二、选择题 1.在设计分时操作系统时，首先要考虑的是（A）；在设计实时操作系统时，首先要考虑的是（B）；在设计批处理系统时，首先要考虑的是（C）。 A,B,C ：（1）灵活性和适应性；（2）交互性和响应时间；（3）周转时间和系统吞吐量；（4）实时性和可靠性。 2.对一个正在执行的进程：如果因时间片完而被暂停执行，此时它应从执行状态转变为（D）状态；如果由于终端用户的请求而暂停下来，则它的状态应转变为（E）状态；如果由于得不到所申请的资源而暂停时下来，则它的状态应转变为（F）状态。D,E,F:（1）；静止阻塞（2）；活动阻塞（3）；静止就绪（4）；活动就绪（5）执行。 3.我们如果为每一个作业只建立一个进程，则为了照顾短作业用户，应采用（G）；为照顾紧急作业用户，应采用（H）；为能实现人机交互，应采用（I）；而能使短作业、长作业和交互作业用户满意时，应采用（J）。 G,H,I,J：（1）；FCFS调度算法（2）；短作业优先调度算法；（3）时间片轮转算法；（4）多级反馈队列调度算法；（5）基于优先权的剥夺调度算法。 4.由固定分区发展为分页存储管理方式的主要推动力是（K）；由分页系统发展为分段系统，进而发展为段页式系统的主要动力分别是(L)和(M)。 K,L,M:（1）提高内存利用率；（2）提高系统吞吐量；（3）满足用户需要；（4）更好地满足多道程序进行的需要；（5）既满足用户需求，又提高内存利用率。 5.在存储管理中，不会产生内部碎片的存储管理方式是（N）；支持虚拟存储器，但不能以自然的方式提供存储器的共享和存取保护机制的存储管理方式是（O）。 N：(1)分页式存储管理；(2)分段式存储管理；(3)固定分区式存储管理；(4)段页式存储管理。 O：（1）段页式存储管理；（2）请求分区页式存储管理；（3）请求分段式存储管理；（4）可变分区存储管理；（5）固定分区存储管理；（6）单一连续分区式存储管理。 6.磁盘调度主要是为了优化（P），下列算法中能避免磁盘粘着的现象的是（Q）。P：（1）寻道时间；（2）旋转延迟时间；（3）传输时间。 Q：（1）SSTF;（2）FCFS;（3）SCAN;（4）CSCAN;（5）FSCAN。 7.文件系统中，目录管理最基本的功能是（R），位示图的主要功能是（S），FAT 表的主要功能是（T）。 R，S，T：（1）实现按名存取；（2）提高文件存储空间利用率；（3）管理文件存储器的空闲空间；（4）指出分配给文件的盘块（首个盘块除外）的地址；（5）管理文件存储器的空闲空间，并指出分配给文件的盘块（首个盘块除外）的地址。 8.文件系统采用多级目录结构，可以（U）和（V）。 U,V：（1）缩短访问文件存储器时间；（2）节省主存空间；（3）解决不同用户文件的命名冲突；（4）方便用户读写文件；（5）提高检索目录的速度。9.计算机系统中信息资源的安全包括（W）、（X）和（Y）三个方面，其中程序被删除属于（W）方面的威胁，数据被非法截取属于（X）方面的威胁，消息被更改属于（Y）方面的威胁。 W,X,Y：（1）保密性；（2）完整性；（3）可用性；（4）方便性。 三、填空题 1.操作系统最基本的特征是（1）和（2），最主要的任务是（3）。 2.引入进程的主要目的是（4），进程存在的唯一标志是（5）。 3.（6）是指通过破坏死锁产生的必要条件来防止死锁的发生。引起死锁的四个必要条件中，（7）是不应该被破坏的，但对某些特殊的资源（如打印机），该条可通过（8）来破坏；而其他能被破坏的三个必要条件分别是（9）、（10）和（11）。 4.虚拟存储器管理的基础是（12）原理，在请求分页管理方式中，页表中的状态位用来只是对应页（13）修改位用来只是对应页（14），引用位则是供（15）使用；而在请求分段系统还增加了增补位，它用来指示（16）。 5.设备驱动程序是（17）与（18）之间的通信程序如果系统中有3台相同的单显和2台相同的彩显则必须为它们配置（19）种设备驱动程序 6.廉价磁盘冗余阵列可组成一个大容量磁盘系统，它利用（20）技术来提高磁盘系统的存取进度，而利用（21）技术来增加磁盘系统的可靠性 7.包过滤防火墙工作在（22）层，采用代理服务技术的防火墙则工作在（23）层 8.UNIX文件系统对文件存储空间采用（23）分配方式，它通过（24）来管理空闲的文件存储空间。 四、问答题 1.假设某多道程序设计系统中有供用户使用的内存100k，打印机1台。系统采用可变分区管理内存：对打印机采用静态分配，并假设输入输出操作的时间忽略不计：采用最短剩余时间优先的进程调度算法，进程剩余执行时间相同时采用先来先服务算法；进程调度时机在执行进程结束时或有新进程到达时。现有一进程序列如下： 假设系统优先分配内存的低地址区域，且不需移动已在主存中的进程，请：（1）给出进度调度算法选中进程的次序，并说明理由。 （2）全部进程执行结束所用的时间是多少？ 2.请用信号量解决以下的过独木桥问题：同一方向的行人可连续过桥，当某一方向的行人必须等待：另一方向的行人必须等待：当某一方向无人过桥是，另一方向的行人可以过桥。 3.提高内存利用率的途径有哪些？ 4.何谓脱机输入/输出技术？ 5. 将目录文件当作一般数据文件来处理有什么优缺点？ 操作系统复习题1答案 一、判断题 1、错 2、对 3、错 4、对 5、对 6、错 7、错 8、错 9、对10、错 二、选择题 1、A ：(2)；B：(4)；C：（3）。 2、D：（4）；E:(3)；F:(2)。 3、G：（2）；H:（5）；I:（3）；J：（4）。 4、K：（1）；L：（3）；M：（5）。 5、N：（2）；O：（2）。 6、P：（1）寻道时间；Q：（5）。 7、R：（1）；S：（3）；T：（5）。 8、U：（3）；V：（5）。 9、W：（3）；X：（1）；Y：（2）。
人机交互技术的发展与现状 一.什么是人机交互技术？ 二.人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输入、 输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二. 人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由Interface(界面/接口)变成了Interaction(交互)。人机
人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。交互的信息也由精确的输入输出信息变成非精确的输入输出信息。 一、简单的人机交互界面 由于受到制造技术和成本等原因限制，早期的人机交互在设计上较少考虑人的因素，一味强调输入输出信息的精确性，因而使用不够自然和高效。 1.早期的手工作业。 当时交互的特点是由设计者本人(或本部门同事)来使用计算机，他们采用手工操作和依赖机器(二进制机器代码)的方法去适应现在看来是十分笨拙的计算机； 2.作业控制语言及交互命令语言。 这一阶段的特点是计算机的主要使用者—程序员可采用批处理作业语言或交互命令语言的方式和计算机打交道，虽然要记忆许多命令和熟练地敲键盘，但已可用较方便的手段来调试程序、了解计算机执行情况； 3.图形用户界面(GUI)。 GUI的主要特点是桌面隐喻、WIMP技术、直接操纵和“所见即所得(WYSIWYG)”。由于GUI简明易学、减少了敲键盘、实现了“事实上的标准化”。因而使不懂计算机的普通用户也可以熟练地使用，开拓了用户人群。它的出现使信息产业得到空前的发展； 4.网络用户界面。 以超文本标记语言HTML及超文本传输协议HTTP为主要基础的网络浏览器是网络用户界面的代表。由它形成的WWW网已经成为当今Internet的支柱。这类人机交互技术的特点是发展快，新的技术不断出现，如搜索引擎、网络加速、多媒体动画、聊天工具等； 二、自然的人机交互界面 随着网络的普及性发展和无线通讯技术的发展，人机交互领域面临着巨大的挑战和机遇，
传统的图形界面交互已经产生了本质的变化，人们的需求不再局限于界面的美学形式的创新，现在的用户更多的希望在使用多媒体终端时，有着更便捷、更符合他们的使用习惯，同时又有着比较美观的操作界面。利用人的多种感觉通道和动作通道(如语音、手写、姿势、视线、表情等输入)，以并行、非精确的方式与(可见或不可见的)计算机环境进行交互，使人们从传统的交互方式的束缚解脱出来，使人们进入自然和谐的人机交互时期。这一时期的主要研究内容包括：多通道交互、情感计算、自然语言理解、虚拟现实、智能用户界面等方面。 （1）多通道交互 多通道交互(Multi Modal Interaction,MMI)是近年来迅速发展的一种人机交互技术，它既适应了“以人为中心”的自然交互准则，也推动了互联网时代信息产业(包括移动计算、移动通信、网络服务器等)的快速发展。MMI是指“一种使用多种通道与计算机通信的人机交互方式。通道（modality）涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等”。采用这种方式的计算机用户界面称为“多通道用户界面”。目前，人类最长使用的多通道交互技术包括手写识别、笔式交互、语音识别、语音合成、数字墨水、视线跟踪技术、触觉通道的力反馈装置、生物特征识别技术和人脸表情识别技术等方面。 （2）情感计算 让计算机具有情感能力首先是由美国MIT大学Minsky教授（人工智能创始人之一）提出的。他在1985年的专著“The Society of Mind”中指出，问题不在于智能机器能否有任何情感，而在于机器实现智能时怎么能够没有情感。从此，赋予计算机情感能力并让计算机能够理解和表达情感的研究、探讨引起了计算机界许多人士的兴趣。这方面的工作首推美国MIT媒体实验室Picard教授领导研究小组的工作。情感计算一词也首先由Picard教授于1997年出版的专著“Affective Computing(情感计算)”中提出并给出了定义，即情感计算是关于情感、情感产生以及影响情感方面的计算。 MIT对情感计算进行全方位研究，正在开发研究情感机器人，最终有可能人机融合。其媒体实验室与HP公司合作进行情感计算的研究。IBM公司的“蓝眼计划”，可使计算机知道人想干什么，如当人的眼瞄向电视时，它竟知道人想打开电视机，它便发出指令打开电视机。此外该公司还研究了情感鼠标，可根据手部的血压及温度等传感器感知用户的情感。CMU 主要研究可穿戴计算机。日本在对感性信息处理的研究中，有众多研究单位参与，主要集中在研究所和高校。特别值得一提的是，日本欧姆龙公司研制生产的机器玩具曾风行一时，最
第1章 1.什么是人机交互？ 2.人机交互的发展趋势是什么？ 第2章 3.人机交互中，常用的感知有哪些？ 4.颜色通常用哪几种属性来表示？ 5.“在界面设计中，应该以实际中心为基准进行排版设计。”这句话对吗？为什么？ 6.“在明亮的背景下显示灰暗的文字，能够增强文字的可读性。”这句话对吗？ 7.RGB、CMYK和HSV的含义各是什么？作为颜色模型，它们各自在什么情况下使用？ 8.声音通常用哪几个属性来描述？ 9.触觉的感知机理与视觉和听觉的最大不同是什么？ 10.认知的两个模式是什么？二者各有什么特点？ 11.常见的认知过程有哪些？ 12.注意的两个基本特征是什么？ 13.“人们识别事物的能力要远胜于回忆事物的能力。”这句话对吗？ 14.影响人们认知的因素有哪些？ 15.什么是交互系统设计中的概念模型？ 16.什么是分布式认知？它与传统认知理论之间有什么关系？ 第3章 17.常用的文本输入设备、图像输入设备、三维信息输入设备、指点输入设备各有哪些？ 18.虚拟现实交互设备有哪些？各有什么特点？ 第4章 19.常用的人机交互输入模式有哪几种？各有什么特点？ 20.基本的交互技术有哪些？ 21.常用的、用于图形输入的辅助交互技术有哪些？ 22.什么是六自由度？ 23.什么是三维交互技术？传统的图形交互技术能否直接用于三维交互？为什么？ 24.目前主要使用哪些交互方式在三维空间中进行操作？ 25.什么是语音识别？ 26.在手写识别技术中，什么是脱机识别和联机识别？ 27.什么是数字墨水？ 第5章 28.图形用户界面包含了三个重要思想，它们是什么？ 29.WIMP表示什么？ 30.什么是桌面隐喻？“图形用户界面中，最常用的隐喻表现方法是使用静态图标。”这句 话对吗？“隐喻可以表达各种信息。”这句话对吗？为什么？ 31.直接操纵具有哪些特性？ 32.简要论述图形用户界面设计的一般原则。 33.用户体验由哪几个元素组成？ 34.“偶然型和生疏型用户要求系统运行效率高，能够灵活使用；熟练型和专家型用户要求 系统给出更多的支持和帮助。”这句话对吗？ 35.在界面设计中，用户交互分析主要包括哪些内容？ 36.在界面设计中，对用户的观察和分析，主要有哪些方法？ 37.简要描述任务分析主要包括哪些内容。为什么说任务分析是交互设计至关重要的环节？
人机交互上机考试内容 (考试时间：60分钟) 班级：软件工程学号： 20102625 姓名：周三 一、问答题（10分每题，共9题）： 1、什么是人机交互？ 答：所谓人机交互（Human-Computer Interaction，HCI），是指关于设计，评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学科 2、注意是指什么？有哪些特征？ 答：注意作为认知过程的一部分，通常是指选择性注意，即注意是有选择的加工某些刺激而忽视其他刺激的倾向。它是人的感觉（视觉，听觉，味觉等）和知觉（意识，思维等）同时对一定对象的选择指向和集中（对其他因素的排除）。 注意有两个基本特征：一是指向性，是指心理活动有选择的反映一些现象而离开其余对象；二是集中性，是指心理活动停留在被选择对象上的强度或紧张。 3、常用的文本输入设备有哪些？常用的图像输入设备有哪些？ 答：常用的文本输入设备有： 1.键盘 2 手写输入设备 常用的图像输入设备有： 1 二维扫描仪 2 数码摄像头 3
4、手写识别技术分为哪两种方式？每种方式的定义是什么？ 答：手写识别技术分为联机（又称在线）识别和脱机（又称离线）识别两种方式。 联机手写识别：联机手写识别过程通常分为四个阶段：预处理，特征抽取，特征匹配和判别分析。在联机手写文字的识别过程中，系统通过记录文字图像抬笔，落笔，笔记上各像素的空间位置，以及各笔段之间的时间关系等信息，对这些信息进行处理。在处理的过程中，系统以一定的规则提取信息特征，再由识别模块将信息特征与识别库德特征进行比较，加以识别。最后转化为计算机所使用的文字代码。而笔输入的识别特征库是基于许多人习惯的书写笔顺的统计特征建立的。 脱机手写识别：脱机手写识别比印刷体汉字识别，联机手写体识别都要困难。因为脱机手写体识别时，手写板不停的采样，可以得到书写的动态信息。这些信息包括笔画数，笔画顺序，每笔的走向及书写的快慢等，得到的原始的数据是笔画的点坐标序列。脱机手写识别得到的描述则是点阵图像，要得到笔段的点阵通常需要细化运算。细化会损失一些信息，并且不可能得到时间顺序信息。脱机识别中，笔画与笔画之间经常粘连，很难拆分，而且笔段经过与另一笔段交叉分成两段后，也难以分清是否应该连起来。 5、图形用户界面包含了几个重要的思想？分别的定义是什么？ 答：图形用户界面包含了三个重要思想：桌面隐喻（Desktop Metaphor），所见即所得（What You See Is What You Get ，WYSIWYG）以及直接操纵（Direct Manipulation）。分别定义如下:
一、人机交互概念 人机交互（Human-ComputerInteraction，HCI）主要是研究用户与系统之间的信息交换，它主要包括用户到系统和系统到用户的信息交换两部分。系统可以是各种各样的机器，也可以是智能电视机、智能手机以及计算机系统和软件。用户可以借助操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等各类穿戴设备，用手势、声音、姿势或身体的动作、眼睛甚至脑电波等向系统传递信息，同时，系统通过各类机器、显示器、音箱等输出或显示设备给人提供信息。 理想状态下，人机交互将不再需要依赖机器语言，在没有键盘、鼠标以及触摸屏等中间设备的情况下，实现随时随地实现人机的自由交流。从而实现人们的物质世界和虚拟网络的最终融合。 从本质上，人机交互技术是一个典型的模式识别问题，智能机器通过多种传感器，获取人的表情、姿态、手势、语音、语调、血压、心率等各种数据，结合当时的环境、语境、情境等上下文信息，识别和理解用户的情感。这包括传感器技术、计算机科学、认知科学、人机工程学、多媒体技术和虚拟现实技术、心理学、哲学以及人类学等诸多学科领域有密切的联系。 二、人机交互产业链 从人机交互过程来讲，可分为四步：通过传感器直接或间接与人接触获得感知信息；通过建立模型对感知信息进行分析与识别；对分析结果进行推理达到感性的理解；将理解结果通过合理的方式表达出来。也就完成了人机交互的全过程。 从功能实现看，人机交互作为一个闭环的模式识别系统，应该包括感知信号的获取、感知信息的分析与识别、感知信息的理解和信息表达等功能四个环节，当感知信息与标准信息存在差异时，将发出指令给予修正或反馈信息给予告警和提示。在这四个方面的环节中，感知信息的识别和感知信息的理解是核心技术的关键所在。 从技术实现过程看，信息获取和信息识别环节属于感知层的范畴，而感知信息的理解和信息表达属于应用层的内容。体感设备实现信息的获取，而嵌入芯片实现体感信号的模式识别，然后通过后台计算机或分布式计算平台建立数学模型、实现强大的运算系统，实现感知信息的理解（理解用户姿态或手势的真实目的），最后转入应用层，调用相关应用程序，满足用户的最终需求。
对人机交互的概念的理解_人机交互的基本概念 什么是人机交互人机交互、人机互动（英文：HumanComputer InteracTIon或HumanMachine InteracTIon，简称HCI或HMI），是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室。人机交互界面的设计要包含用户对系统的理解（即心智模型），那是为了系统的可用性或者用户友好性。 人机交互的概念：定义1：有关交互式计算机系统设计、评估、实现以及与之相关现象的学科［ACM］ 定义2：研究人、计算机以及他们之间相互作用方式的学科，学习人机交互的目的是使计算机技术更好地为人类服务［Alan Dix］ 定义3：有关可用性的学习和实践，是关于理解和构建用户乐于使用的软件和技术，并能在使用时发现产品有效性的学科［Carroll］ 主要内容：1、界面设计的方法和过程。即在给定任务和用户的前提下，设计出最优的界面，使其满足给定的限制，并对易学性和使用性效率等属性进行优化。 2、界面实现方法。如软件工具包和库函数，以及其他各种高效开发方法等 3、界面分析和评估技术。 4、开发新型界面和交互技术。 5、构建交互相关的描述模型和预测模型 1、框架是提供理解或定义的一种结构，他能够帮助人们结构化设计过程，认识设计过程中的主要问题，还有助于定义问题所涉及的领域 2、执行/评估活动周期EEC：活动的四个基本组成部分：目标（想做什么）、执行（实现目标必须进行的操作）、客观因素（执行活动时必须考虑的客观条件）、评估（用于衡量活动执行的结果语目标之间的差距） 七个阶段：建立目标、形成操作意向、明确动作序列、执行动作、感知系统状态、解释系统状态、对照目标评估系统状态
2019智能汽车人机交互现状及发展趋势研究报告
目录 一、研究背景和意义 (5) （一）人机交互与人机交互界面 (5) （二）人机交互发展趋于人性化、高效化 (5) 1、早期手工作业阶段 (6) 2、作业控制语言及交互命令语言阶段 (6) 3、图形用户界面(GUI)阶段 (6) 4、网络用户界面阶段 (6) 5、多通道人机交互阶段 (6) （三）人机交互已成为智能汽车的发展的核心问题 (7) 二、智能汽车人机交互设计现状 (7) （一）人机交互研究呈多学科融合特征 (7) （二）以用户为中心的设计理念和设计流程 (8) （三）智能化趋势对人机交互提出更高的要求 (9) （四）国内外典型的人机交互系统 (10) 1、宝马iDrive 系统 (11) 2、奔驰COMAND 系统 (11) 3、奥迪MMI 系统 (11) 4、安吉星系统 (12) 5、福特MyFordTouch 系统 (12) 6、沃尔沃SENSUS 系统 (13) 7、日产CARWINGS 系统 (13) 8、丰田G-book 系统 (14) 9、荣威inkanet 系统 (14) 10、比亚迪DiLink 智能网联系统 (15) 三、智能汽车人机交互发展趋势 (15) （一）交互内容和场景的扩展 (15) 1、智能汽车与环境充分交互 (16)
2、智能汽车的多场景化交互 (16) 3、车内及车外信息显示与分析 (17) 4、智能汽车人机共驾交互设计 (17) （二）交互方式的创新和新技术的应用 (18) 1、显控一体化交互 (18) 2、多通道协同交互 (19) 3、基于生物识别和感知技术的人机交互 (19) 4、基于智能化技术的情感交互 (20)
《人机交互软件工程方法》期末考试大作业申请 根据《人机交互软件工程方法》课程特点和教学基本要求，本课程希望学生能够较全面地学习有人机交互的基本理论和实用技术，掌握各种交互设备及其工作原理，人机交互技术，人机界面设计方法及其表示模型和实现方法。着重培养学生应用所学知识分析解决实际问题的动手能力、实践能力与创新能力。因此申请2018-2019（2）学期课程《人机交互软件工程方法》期末考试采取大作业项目设计的形式。 考试班级：16计科软件班 考试课程：人机交互软件工程方法 申请人：肖锋 2019.5.6
课程成绩说明 本课程最终成绩由平时成绩及期末大作业成绩组成，具体评分标准如下：1.平时成绩由实验成绩、平时作业及考勤成绩综合给出。其中： 实验成绩：需按照实验要求完成实验内容并提交实验报告，实验一共8次，每次5分，满分40分； 平时作业：根据平时作业提交及完成情况给出，满分20分。 考勤成绩：根据平时考勤记录给出，满分40分。 2.期末大作业成绩采取百分制，根据学生提交大作业的内容的完成情况进行评 分。 3.课程最终成绩采取百分制，60分及格，由平时成绩与大作业成绩加权计算得 出，平时成绩与大作业成绩各占总成绩的30%和70%。 课程大作业 大作业内容共四道题，要求见大作业试卷。 大作业要求：提交项目设计方案及程序代码，设计方案需条理清晰，格式齐整，程序代码需完整可运行。 提交时间及方式：提交设计方案电子档及程序源代码，第18周周四提交，由班干部收齐后统一提交。
学院数学与计算机科学出卷教师肖锋系主任签名 制卷份数专业计算机班级编号 江汉大学2018 ——2019 学年第2 学期 考试试卷 课程编号： 410802046 课程名称：《人机交互软件工程方法》试卷类型：项目设计考试形式：大作业考试时间：十八周周四提交一、考试说明 根据课程特点，考试采取大作业形式。为了考试学生的对课程基本理论、基本知识点的考察，要求学生完成项目设计的基本要求；同时，为了充分发挥学生的自我能动性、积极性、创造性，要求学生在满足基本要求的前提下，可以根据个人的能力充分发挥。 二、考核内容及评分标准 1.窗体程序界面设计 要求设计一个窗体程序界面，完成一个简单的计算器功能（实现加减乘除运算）。编程语言及编译环境任选（建议使用VS平台及C#），提交详细的项目设计文档及程序工程文件。 设计要求： 项目设计文档需调理清晰，格式齐整。完整地说明窗体设计的模型、窗体设计时考虑的人机交互原则，以及程序模块的具体设计关键代码的说明。 其中重点需要给出如下内容： ●画出任务设计的用例图及程序中各个界面视图的关联关系。 ●需利用GOMS划分设计程序的任务分解图，并利用LOTOS描述认为之 间的约束关系。 评分标准： ?程序界面正常运行：（5分）。 ?项目设计文档需调理清晰，格式齐整（5分）。 ?凸显方案的核心技术、步骤、以及人机交互界面的设计遵循的原则
现代人机交互技术最新情况 普适计算 1.IBM研发的BlueBoard （蓝板）技术,BlueBoard是一片薄薄的屏幕板，使用者只用其胸前挂着的看上去与普通员工卡没什么两样的小卡片，对准蓝板一下，就可以显示出其个人主页及定制好的其它内容。其后的一切操作和任务都只靠使用者的手指在蓝板上指指划划就全部搞定了，包括查阅资料、共享文件、与同事实时互传信息、发送指令、布置任务、协同工作等。 2. Informedia 数字图书馆系统，Informedia采用了多模态输入方式，用户 可以用语音提出查询请求。当用户要求从数据库中查找指定的电视新闻资料时，系统将根据用户的请求返回相应的视频片段。In formedia集成了语音、图像和自然语言理解技术，在目前的原型系统中，系统可以自动地分析视频数据，从中提取出摘要信息并编加索引。视频数据的分析过程结合了针对视频的镜头检测、 图像分析，以及字幕文本（Close Caption ）和伴音信息分析。与仅采用单一模态数据的分析方法相比，这种合成方式能够更好地提取视频的语义。 3. MIT的Galaxy系统,Galaxy系统向人们展示了系统如何与用户相协调， 从而提供对多种异构数据源的无缝访问。对于用户的请求，系统不仅仅是返回来 自各方面的答案，而且还尽可能地找出不同领域中的相关答案，并根据用户感兴趣的程度排序。随后，用户与系统进行更进一步的对话，最终获得尽可能准确的结果。这种带有联想性质的交互过程使得用户感觉不是在跟一个死板的计算机系 统打交道，而是与一个聪明的代理人交互。 可穿戴计算 从谷歌、苹果、RIM相继发布的智能眼镜系列产品，到Fitbit 、Jaw bone、耐克相继推出的智能腕带，可穿戴计算逐步成为了IT界的热词。iwatch，可以 给智能手机和其他小型电子产品充电的太阳能比基尼，随行键盘牛仔裤，可以使聋人和盲人发送短信的移动框架手套，能更新Facebook状态的社交牛仔裤，能在衣服上呈现任何图案的内置电流回路K服饰，可以打电话的移动手套，电子鼓机T恤，乐器节拍手套，能通过行走的热能给智能手机充电的充电鞋，对饮食和睡眠状态进行跟踪的智能腕带,,,可穿戴计算设备层出不穷，不断丰富着新一代IT产品市场。盛大、百度等企业也不甘落后，近期已相继出手，分别推出了geak智能手表和咕咚健康手环等产品。 多点触控 1. 微软:Surface电脑,5月，《华尔街日报》的“ D:AII Things Digital ”会议上，微软演示了一种Surface Computing（表面计算）技术，并由此组建了一个
浙江经济职业技术学院2005-2006学年第一学期 《管理信息系统》期末试卷 A 卷(答案) 使用班级（ ） 装 订 线 系别： 班级： 学号： 姓名：
4.企业系统规划法() 一种信息系统规划方法,该方法自上而下地识别系统目标、企业过程、数据，然后自下而上地设计系统，支持目标实现。 [30] 5.程序调试 在计算机上用各种可能的数据和操作条件反复地对程序进行试验，以期发现和排除分析、设计和编程三阶段中产生的各种类型的错误，得到可运行的程序。 [概括117之意] 二、填空题（每空1分，共计20分） 1.信息系统的处理方式一般分为_批处理_方式、实时处理方式和分布式处理方式三种。[5] 2.生命周期法一般要经过系统调查与规划、系统分析、系统设计、系统实施_、运行测试_和系统维护这样几个阶段。[14] 3.代码设计的基本原则是_唯一性_、合理性、_可扩充性_、_简单性_、适用性及规范性。 [75] 4.管理信息系统规划和分析中通常用_决策树_、判定表_和结构式语言来表示加工处理逻辑。[56] 5、数据字典条目可以分为数据流条目、文件条目、数据项条目和加工条目。 [43]
三、判断题（每题1分、共10分） 1.管理信息系统新老系统之间最常用的切换方式有直接式、并列式和阶段式。 （ 对 ） 2.任何单位的管理信息系统项目建设都是符合时代发展要求的，因此，进行系统的可行性研究是多此一举的。 （错 ） 3.生命周期法开发方法的优点是研制周期短,运行维护费用低。 （ 错 ） 4.信息系统模块划分时耦合要大，聚合要小。 （ 错 ） 5.将同一处理内容重复执行两次,然后进行对比的校验方法称为重复校验。( 对) 6.所有信息系统的输出设计都只需考虑表格输出和显示输出。（ 错 ） 7.管理信息系统是一个人机交互的系统，人在其中的作用和影响 是不可忽略的。（ 对 ） 8.按照软件工程的要求，程序调试中查错应该由自己做，纠错应该由别人做。(错) 9.包括静态校验在内的各种校验方法是系统可靠性设计的重要内容。 （ 对 ） 10.模块内部元素的联系程度通过耦合来度量。 （ 错 ） 四、单项选择题（每题1分，共20分） 1. 校验相互有关的相反数据项之间是否平衡，这种校验方法是（A ） Ａ，平衡校验法 Ｂ，双工校验法 Ｄ，汇总校验法 [90]
人机交互系统概述
随着国家信息化步伐的加快和高等教育的规模的扩大，社会对计算机专业的人才的需求不仅体现在数量的增加上，而且体现在质量要求的提高上，培养具有研究和实践能力的高层次的计算机专业人才已成为许多大学计算机专业教育的主要目标。这些，足以说明人机交互在我们的发展中开始占据一定的地位了，我们应该开始逐渐重视人机交互带给我们的影响。 以往对计算机软件的研究，较少关心人的因索问题。重点就在如何最有效地使用两种宝贵的资源——计算速度和存储空间。程序的效率是最高目标。现在，由于硬件价格急剧下降，越来越强的适用于图形的个人计算环境的出现，我们可以首要考虑如何使用户的使用效率最高，而不是着重于计算机的效率。许多功能相似的图形交互式系统已经走入市场。能否取得成功，取决于该系统使用起来是否方便。如何使系统在使用时变得方便已经成为设计中越来越要考虑的关键问题。用户与计算机接口的实际计算机科学。感性心理学认知心理学，且人的因素对一个成功的设计者来说，也是非常关键的。建立友好的人机交互界面的目的就是使系统对它的用户来说既易于理解又易于使用。 但是，什么是人机交互呢？ 所谓人机交互就是指关于设计、评价和实现供人们使用交互式计算机系统，并围绕相关的主要现象进行研究的学科。狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机刀刃的信息交换两部分。对于前者，人们可以借助键盘、
鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势、或身体的动作、视线甚至脑电波等向计算机传递信息；对于后者，计算机通过打印机、绘图仪、显示器、头盔式显示器、音箱等输出或显示设备向人们提供可理解的信息。人机交互是一门综合学科，它与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关。其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术、虚拟现实技术与人机交互是相互交叉渗透的。 人机交互的研究内容很广泛。涵盖了很多方面，如建模、设计、评估等理论和方法，以及在Web、移动计算、虚拟现实等方面的应用研究，主要包括了以下内容。 1.人机交互的界面表示模型与设计方法 友好的交互界面的开发离不开好的交互模型与设计方法。因此，研究人机交互界面的表示模型与设计方法是人机交互的重要研究内容之一。 2.可用性分析与评估 可用性人机交互关系到人机交互能否达到用户期待的目标，以及实现这一目标的效率和便捷性。对人机交互系统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和可用性的评估方法等。 3.多通道交互技术 多通道交互主要研究多通道交互界面的表示模型、多通道交互界
人机交互技术的发展与 现状精编W O R D版 IBM system office room 【A0816H-A0912AAAHH-GX8Q8-GNTHHJ8】
人机交互技术的发展与现状 一. 什么是人机交互技术 二. 人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输 入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。 也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二.人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。 1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由
1、人机交互：是指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的 主要现象进行研究的学科。 2、人机交互是一门综合学科。认知心理学与人机工程学是人机交互技术的理论基础，虚拟 现实技术与人机交互是相互交叉和渗透的。 3、人机交互的发展历史：命令行界面交互阶段；图形用户界面交互阶段；自然和谐的人机 交互阶段。 4、人的感知交互过程主要是通过视觉、听觉和触觉感知进行的。 5、人类从周围世界获得的信息约有80%是通过视觉得到的。 6、RGB颜色模型通常用于彩色阴极摄像管等彩色光栅图形显示设备中。 7、CMYK颜色模型对于认识某些印刷硬拷贝设备的颜色处理很有帮助。 8、常见的认知过程：感知和识别；注意；记忆；问题解决；语言处理。 9、影响认知的因素：情感；人的个性差异。 10、分布式认知理论是传统认知理论的发展，和传统的认知理论并不冲突。 11、分布式认知理论的特征：强调个体与外部表象的结合，重视人工制品的作用；强调认知的分布性；强调交互作用和信息共享；关注具体情境和情境脉络。 12、输入设备：键盘、手写输入、二维扫描仪、数码摄像头、三维扫描仪、动作捕捉、鼠标、触摸板、触摸屏、控制杆设备。 13、输出设备：显示器、打印机、语音交互设备。 14、三维扫描仪成为了实现三维信息数字化的一种极为有效的工具。动作捕捉设置则用于捕捉用户的肢体甚至是表情动作，生成运动模型。 15、人机交互输入模式?请求模式：在请求模型下，输入设备的启动是在应用程序中设置的；采样模式：输入设备和应用程序独立地工作；事件模式：输入设备和程序并行工作； 16、基本交互技术？定位：定位是确定平面或空间的一个点的坐标，是交互中最基本的输入设备技术之一；笔画：笔画输入用于输入一组顺序的坐标点；定值：定值输入用于设置物体旋转角度、缩放比例因子等；选择；选择是在某个选择集中选出一个元素，通过注视。指点或接触一个对象，使对象成为后续行为的焦点，是操作对象时不可缺少的一部分；字符串：键盘是目前输入字符串最常用的方式，现在用写字板输入字符也已经很流行。 17、WIMP用户界面仍是主要的人机交换基础。WIMP界面由窗口、图标、菜单、指点设备。 18、用户界面可以分为：命令行界面、图形界面、多通道用户界面。 19、在目前的计算机应用中，图形用户界面仍然是最常见的交互方式。 20、图形用户界面的主要思想：桌面隐喻；所见隐喻；直接隐喻。 21、隐喻可以分为三种：直接隐喻；工具隐喻；过程隐喻。 22、隐喻的主要缺点是需要占用屏幕空间，并且难以表达和支持比较抽象的信息。 23、图形用户界面设计的一般原则：界面要具有一致性；常用操作要有快捷方式；提供必要的错误处理功能；提供信息反馈；允许操作可逆；设计良好的联机帮助；合理划分并高效地使用显示屏幕。 24、用户体验的元素：品牌、使用性、功能性、内容。 25、影响用户体验的因素：现有技术上的限制，使得设计人员必须优先在相对固定的UI框架内进行设计；设计的创新，在用户的接受程度上也存在一定的风险；开发进度表，也会给这样一种具有艺术性的工作带来压力；设计人员很容易认为他们了解用户需要，丹实际情况常常不是这样。 26、用户的区别：偶然型用户；生疏型用户；熟练型用户；专家型用户。 27、用户的观察主要方法有：情境访谈；焦点小组；单独访谈。 28、一个好的人机交互界面设计一开始就要考虑可用性问题。