第1 章 绪论
*人机交互（Human-Computer Interaction，HCI）是关于设计、评价和实现供人们使用的交
互式计算机系统，且围绕这些方面的主要现象进行研究的科学
*人机交互研究的内容：
人机交互界面表示模型与设计方法
可用性分析与评估
多通道交互技术
认知与智能用户界面
群件
Web 设计
移动界面设计
*发展史
语言命令交互阶段
图形用户界面（GUI）交互阶段
自然和谐的人机交互阶段
第 2 章感知和认知基础
*人的感知
视觉
视觉是人与周围世界发生联系的最重要的感觉通道。外界80%的信息都是通过视觉得到的，
因此视觉显示是人机交互系统中用的最多的人机界面。
视觉感知可以分为两个阶段：受到外部刺激接收信息阶段和解释信息阶段。
视觉感知特点：一方面，眼睛和视觉系统的物理特性决定了人类无法看到某些事物；另一方
面，视觉系统进行解释处理信息时可对不完全信息发挥一定的想象力。进行人机交互设计需
要清楚这两个阶段及其影响，了解人类真正能够看到的信息。
听觉
听觉感知传递的信息仅次于视觉，可人们一般都低估了这些信息。人的听觉可以感知大量的
信息，但被视觉关注掩盖了许多。
听觉所涉及的问题和视觉一样，即接受刺激，把它的特性转化为神经兴奋，并对信息进行加
工，然后传递到大脑。
人类听觉系统对声音的解释可帮助设计人机交互界面中的语音界面。
触觉
Touch 或者 Haptic perception
触觉在交互中的作用是不可低估的，尤其对有能力缺陷的人，如盲人，是至关重要的
触觉的感知机理与视觉和听觉的最大不同在于它的非局部性
温度感受器-冷热
伤害感受器-疼痛
机械刺激感受器-压力
实验表明，人的手指的触觉敏感度是前臂的触觉敏感度的 10 倍。对人身体各部位触觉敏感
程度的了解有助于基于触觉的交互设备的设计
认知划分为两个模式：
经验认知
思维认知
认知过程：
感知和识别
注意
记忆
问题解决
语言处理
影响认知的因素：
情感
人的个性差异
*概念模型：指的是一种用户能够理解的系统描述，它使用一组集成的构思和概念，描述系
统做什么、如何运作、外观如何等。
设计概念模型的关键过程应包括如下两个阶段：
了解用户在执行日常任务时做什么；
选择交互方式，是主动式的提问方式，还是被动式的填表进行检索方式；并决定采用何种交
互形式。
*三个相互联系的概念模型
设计模型——设计师设想的模型，说明系统如何运作。
系统映像——系统实际上如何运作。
用户模型——用户如何理解系统的运作。
从人们不同的认知特点，讨论用户如何理解系
统概念模型，它们是：
思维模型
*信息处理模型
（步骤：输入或刺激，编码，比较，响应选择，响应执行，输出或响应）
外部认知模型
分布式认知法描述的是认知系统中发生了什么，它通常描述人员之间的交互，人们使用的物
品及工作环境。
分布式认知的主要目的是要从信息传播媒介的角度来描述交互。也就是说，它考虑的是信息
如何表示，信息在流经不同个人以及使用不同物体时是如何重新表示的。这类信息的转变也
称为“表示状态的转变”。
第 3 章交互设备
*内容：
文本输入设备
图像输入设备
三维信息输入设备
指点输入设备
*显示器
阴极射线管显示器、液晶显示器和等离子显示器
LCD 比CRT 显示器具有更好的图像清晰度，画面稳定性和更低的功率消耗，但液晶材质粘
滞性比较大，图像更新需要较长响应时间，因此不适合显示动态图象。
打印机
有针式、喷墨、激光打印机三类。
*语音交互设备
耳机，麦克风，声卡
虚拟现实交互设备：三维空间定位设备，三维显示设备
第 4 章交互技术
*输入模式：
请求模式(Request Mode)
采样模式（Sample Mode）
事件模式（Event Mode）
在请求模式下，输入设备的启动是在应用程序中设置的。应用程序执行过程中需要输入数据
时，暂停程序的执行，直到从输入设备接受到请求的输入数据后，才继续执行程序。
输入设备和应用程序独立地工作。输入设备连续不断地把信息输入进来，信息的输入和应用
程序中的输入命令无关。应用程序在处理其它数据的同时，输入设备也在工作，新的输入数
据替换以前的输入数据。当应用程序遇到取样命令时，读取当前保存的输入设备数据。
输入设备和程序并行工作。输入设备把数据保存到一个输入队列，也称为事件队列，所有的
输入数据都保存起来，不会遗失。应用程序随时可以检查这个事件队列，处理队列中的事件，
或删除队列中的事件。
基本交互技术：
定位
笔划
定值
选择
字符串输入
图形交互技术：
几何约束
引力场
拖动
橡皮筋技术
操作柄技术
三维交互技术
*语音识别：
语音识别（Speech Recognition）是计算机通过识别和理解过程把语音信号转变为相应的文本
文件或命令的技术，其所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机
理和听觉机理、人工智能等。
一个完整的语音识别系统大致可分为语音特征提取，声学模型与模式匹配，以及语言模型与
语义理解三部分。
语音特征提取
从语音信号中提取语音的特征，既可以获得语音的本质特征, 也起到数据压缩的作用。
输入的模拟语音信号首
先要进行预处理，包括预滤波、采样和量化、加窗、端点检测、预加
重等。
声学模型
声学模型对应于语音到音节概率的计算。在识别时将输入的语音特征同声学模型（模式）进
行匹配与比较，得到最佳的识别结果。
目前采用的最广泛的建模技术是隐马尔科夫模型 HMM 建模和上下文相关建模。
*联机手写文字的识别过程通常分为四个阶段：预处理、特征抽取、特征匹配和判别分析
第 5 章界面设计
*用户界面可分为：命令行界面，图形界面，多通道用户界面
*图形用户界面主要思想：桌面隐喻，所见即所得，直接操纵
*图形用户界面设计原则：
界面要具有一致性
常用操作要有快捷方式
提供必要的错误处理功能
提供信息反馈
允许操作可逆
设计良好的联机帮助
合理划分并高效地使用显示屏幕
*用户的含义
简单的说，用户是使用某种产品的人，其包含两层含义：1）用户是人类的一部分；2）用户
是产品的使用者。产品的设计只有以用户为中心，才能得到更多用户的青睐。
衡量一个以用户为中心的设计的好坏，关键点是强调产品的最终使用者与产品之间的交互质
量，它包括三方面特性：产品在特定使用环境下为特定用户用于特定用途时所具有的有效性
（Effectiveness）、效率（Efficiency）和用户主观满意度（Satisfaction）。延伸开来，还包括
对特定用户而言，产品的易学程度、对用户的吸引程度、用户在体验产品前后时的整体心理
感受等。
*用户体验（User Experience，UX）通常是指用户在使用产品或系统时的全面体验和满意度。
用户体验主要有下列四个元素组成：
品牌（Branding）
使用性（Usability）
功能性（Functionality）
内容（Content）
*用户分类：偶然型用户，生疏型用户，熟练型用户，专家型用户
*用户交互分析内容包括：产品策略分析，用户分析，用户交互特性分析
*设计流程：
用户的观察和分析（情境访谈，焦点小组，单独访谈），设计，实施
任务分析是交互设计至关重要的环节，在以用户为中心的设计中，关心的是如何从用户那里
理解和获取用户的思维模式，进行充分、直观的表达，并用于交互设计。
描述用户行为的工具有很多，目前经常提到的是通用标识语言UML（Unified Markup
Language）。
第 6 章人机交互界面表示模型与实现
人机交互的表示模型：行为模型，结构模型，模型转换，表现模型
行为模型
分析人员获取用户需求后，结合领域专家的意见和指导，获取系统中需要完成的任务，对任
务的主要因素进行详细地分析，如任务的层次、发生条件、完成的方法以及它们之间的关系
等等
目标操作方法和
选择行为模型是在交互系统中用来分析用户复杂性的建模技术，用于建立用
户行为模型。它采用“分而治之”的思想，将一个任务进行多层次的细化，通过目标 (Goal)、
操作(Operator)、方法 (Method) 以及选择规则 (Selection rule) 四个元素来描述用户行为。
目标
目标就是用户执行任务最终想要得到的结果。
操作
操作是任务分析到最底层时的行为，是用户为了完成任务所必须执行的基本动作。
方法
方法是描述如何完成目标的过程。一个方法本质上来说是一个内部算法，用来确定
子目标序列及完成目标所需要的操作。
选择规则
选择规则是用户要遵守的判定规则，以确定在特定环境下所使用的方法。当有多个
方法可供选择时，GOMS 中并不认为这是一个随机的选择，而是尽量预测可能会使用哪个
方法。
LOTOS（Language Of Temporal Ordering Specification）
时序关系说明语言是一种作为国际标准的形式描述语言，它提供了一种通用的形式
语义，可保证描述不存在二义性，便于分析和一致性测试理论的研究。
其基本思想是用一套形式化和严格的表示法来刻画系统外部可见行为之间的时序关
系，系统由一系列进程组成，两个以上的进程在执行同一个外部可见的行为时会发生交互，
进行数据交换、信息传递、协调同步等操作。
LOTOS 模型中定义的基本算符：
T1 ||| T2（交替Interleaving）：T1 和T2 两个任务相互独立执行，可按任意顺序执行，但
永远不会同步。
T1 [] T2（选择Choice）：需要在T1，T2 中选择一个执行，一旦选择某一个后，必须执
行它直到结束，在这中间另一个再无执行机会。任务如何来选择，并没有给出一定的形式化
描述。
T1 | [a1,...,an] | T2（同步Synchronization）：任务T1，T2 必须在动作（a1,……，an）
处保持同步。
T1 [> T2（禁止Deactivation）：一旦T2 任务被执行，T1 便无效（不活动）。
T1 >> T2（允许Enabling）：当T1 成功结束后才允许T2 执行。
UAN（User Action Notion）
用户行为标注是一种简单的符号语言，着眼于用户和界面两个交互实体的描述，主
要描述用户的行为序列以及在执行任务时所用的界面。
UAN 模型的标识符主要有两种：用户动作标识符和条件选择标识符。
CTT（Concurrent Task Tree Notation）
任务模型表示法是一种基于图形符号的，采用层次的树状结构来组织并表示任务模
型的方法。
任务种类和暂态关系的含义及其图形符号：
任务分析是一个以人们的行为为出发点的分析过程，它分析人们完成任务的方法：他们要
做的事、要起作用的事和想要知道的事。
任务种类：抽象任务（Abstract Task），用户任务（User Task），交互任务（I
nteraction Task），
系统任务（Application Task）。
暂态关系符号：
Choice：t1 [] t2 [] … [] tn
Concurrent（Independent Concurrency）：t1 ||| t2 ||| … ||| tn
带信息交换的Concurrent：t1 |[]| t2 |[]| …|[]| tn
Disabling：t1 [> t2
Enabling：t1 >> t2 >> …>> tn
带信息交换的Enabling：t1 []>> t2 []>> …[]>> tn
Independence：t1 |=| t2
结构模型
形式化语言的描述――产生式规则：一般来说，组成界面描述的产生式规则很多，规则定
义的顺序并不重要，只要与规则中的条件相匹配，就可以激活相应的动作。产生式规则系统
可以是事件引导的，也可以是状态引导的，或者两者都有。
状态转换网络
状态转换网络（STN）的基本思想是定义一个具有一定数量的状态的转换机，称之
为有限状态机（FSM），FSM 从外部世界中接收到事件，并能使FSM 从一个状态转换到另
一个状态。
两种最基本的状态转换网络：
状态转换网络（State Diagrams）
扩展状态转换网络（State Charts）
行为模型和结构模型的转换
一般来说行为模型主要对设计起指导作用，在此基础上，设计人员再进行结构模型
（如状态转换网络等）的创建，这个过程很大程度上取决于设计人员的经验和对行为模型的
理解。
整体框架
转换算法
实例应用
表现模型
表现模型(PM)描述了用户界面的表现形式，由层次性的交互对象组成。
逻辑组织结构，面板内部的事件分发及响应方式，面板间的关系
界面描述语言一般分为两类：命令式语言(Imperative Language)和陈述式语言(Declarative
Language)。命令式语言要求编程人员明确的指定如何执行任务，陈述性语言要求编程人员
只需指定任务要做什么，陈述性语言要比命令式的语言更为抽象。
陈述性语言：用户界面标记语言(UIML)，扩展界面标记语言(XIML)（XIML 由组件
(Components)、关系(Relations)和属性(Attributes)三部分构成。），XML 用户界面语言XUL
（XUL 提供了创建现代图形界面大多数元素的能力。能够满足特定设备的普遍需求，对开
发者来说，也已经足够强大，能够创建复杂的界面。）
窗口系统结构
窗口系统一般有三种结构：
在各个应用程序内部实现和管理多任务
在操作系统核心集中处理多任务管理
多任务的管理可由独立的管理程序进行管理，应用程序通过调用该管理程序提供的接口来实
现对多任务的管理和设备的独立性操作
交互事件处理：应用程序内部事件处理循环，事件注册方式
交互组件开发包：
一般的窗口系统，输入和显示是分离的，许多语言提供了用于开发交互系统的开发软件包，
交互系统开发软件包在支持窗口管理的基础上增加了另一种抽象，它把输入和输出的行
为结
合起来。
MVC 模式和基于Struts 的实现
MVC 把一个应用的输入、处理、输出流程按照模型 (model)、视图（View）和控制
（Controller）的方式进行分离，形成模型层、视图层、控制层三个层次。
UIMS(User Interface Management Systems)支持用户界面的表示、设计、实现、执行、评估和
维护，能够为用户提供一致的人机界面，以极其友好的方式与用户进行人机交互，并能使开
发者几乎随心所欲地使用此开发工具进行软件开发。
对话独立性
对话的独立性是人机交互研究领域的主要问题，主要是强调业务（应用程序的语义）
与提供给用户的界面的分离。
对话的独立性有许多优点：
可移植性、可重用性、
界面的多样性、定制界面
UIMS 的表示方法
主要包含人机界面的规格说明和它与人的因素、应用程序及其数据结构的联系等。
UIMS 逻辑结构模型中几个主要元素的表示方法，其中除了对话控制的表示方法比较
成熟、研究成果丰富外，其它层次的表示方法尚有待发展。如：
表现层的表示方法
对话控制的表示方法
应用层的表示方法
第 8 章移动界面设计
手机与 PDA 是目前最常见的主流移动设备。
连接方式：无线局域网，无线城域网，无线个域网，高速无线广域网，以及卫星通讯等。
交互方式
输入方式：
1. 键盘输入
2. 笔输入
3. 语音识别
输出方式：
移动设备的输出方式较为简单。主要是显示屏幕和声音输出。
存在诸多限制：
资源相对匮乏
移动设备种类繁多
连接方式复杂
创建移动应用时应当遵守的一些重要的设计原则
简单直观
个性化设计
易于检索
界面风格一致
避免不必要的文本输入
根据用户要求使服务个性化
最大限度的避免用户出错
文本信息应当本地化
移动界面要素设计：菜单，按钮，多选列表，文字显示，数据输入，图标与图像，
报警提示，多媒体展示，导航设计
移动浏览标准协议
1）WAP
2）WML 与WMLScript
3）XHTML Basic 与XHTML MP
移动设备操作系统
1. Palm OS
2. Windows Mobile 系列移动操作系统
3.嵌入式LINUX
4. Symbian OS/EPOC OS
5.其他
移动界面开发工具：模拟器软件
第 9 章可用性分析与评估
可用性定义
国际标准化组织（ISO 9241-11）给出的可用性是指特定的用户在特定环境下使用产品并达
到特定目标的效力、效率和满意的程度。
可用性并不仅仅与用户界面相关，而是蕴含更广泛的内涵，可以从五个方面去理解可用性，
这五个方面集中反映了用户对产品的需求，从它们的英文表达上被归纳为五个“E”
有效性（Effective） 效率（Efficient）
吸引力（Engaging） 容错能力（Error Tolerant）
易于学习（Easy to Learn）
在产
品开发过程中增强可用性可以带来很多好处，包括：
提高生产率；
增加销售和利润；
降低培训和产品支持的成本；
减少开发时间和开发成本；
减少维护成本；
增加用户的满意度。
可用性工程
所谓可用性工程就是改善系统可用性的迭代过程。其目的就是保证最终产品具有完善的
用户界面。一个可用性工程的生命周期大体上分为下面几个部分：
1.了解用户
2.竞争性分析
3.设定可用目标
4.用户参与的设计
5.迭代设计
6.产品发布后工作
支持可用性设计原则：可学习性，灵活性，鲁棒性
可学习性是指交互系统能否让新手学会如何使用系统，以及如何达到最佳交互效能。灵活性
体现了用户与系统交流信息方式的多样性。用户使用计算机的目的是达到某种目标。能不能
成功地达到目标和能不能对到达的目标进行评估就体现为交互的鲁棒性。
软件可用性评估应该遵循以下原则：
1）最具有权威性的可用性测试和评估不应该针对专业技术人员，而应该针对产品的用户。
对软件可用性的测试和评估，应主要由用户来完成。
2）软件的可用性测试和评估是一个过程，这个过程在产品开发的初期阶段就应该开始。
3）软件的可用性测试必须是在用户的实际工作任务和操作环境下进行。
4）要选择有广泛代表性的用户。
方法：用户模型法，启发式评估，认知性遍历，用户测试 ，问卷调查，放声思考法