1.引言
面孔是人类最显著的外部特征，面孔识别是人类社会生活中的一项重要功能，它能帮助我们在缺乏外部线索的情况下，对他人面孔的熟悉度、情绪状态、社会地位、性别、年龄和种族等方面有一个清晰的、正确的认识，从而更有助于人们进行正常的社会交往和适应周围的环境。人类这些非凡的面孔识别能力是如何出现的呢？一些研究者认为，由于面孔与人类密切的关联性，进化中自然选择的作用使得人类先天就具有了面孔识别的相关信息，另一些研究者则认为，生活中与面孔广泛的、长时间的接触才是真正的原因，它逐渐使人类成为了面孔识别的专家。
人类为什么对面孔有着这些独特的感知能力，人类是如何对面孔进行识别的？1986年，根据以往研究成果，提出了著名的面孔加工的多阶段识别模型。[1]他们认为，对面孔识别加工应分为两个阶段：第一阶段是对面孔的知觉结构编码，这个阶段会进行面孔特征和空间结构的分析，包括两种编码方式：一种是静态的图形编码，比如面孔照片的亮度、质地等；另一种是动态的结构编码，主要指的是对面孔空间结构的编码。第二阶段是一条支路把面孔结构表征与存储在面孔再认单元里的面孔表征进行比较，特征匹配时将激活相应的单元并且获得有关面孔的语意记忆，完成最终的面孔识别；而另一条支路根据面孔的特征进行性别和表情的加工。
1.1面孔识别的特殊性
随着科学的进步，使用PET、ERP和fMRI 等脑成像技术所进行的研究，为面孔识别的特异性提供了更为可靠的证据。传统上，面孔识别加工的特殊性主要通过与物体识别加工相比较而获得。Farah提出了三个标准以衡量面孔识别与物体
面孔识别的眼动研究
樊倩隋雪
摘要：采用眼动记录法探讨面孔识别的加工过程。在实验一中，通过记录被试识别面孔图片和非面孔图片时的即时加工过程，考查被试在知觉面孔与一般物体时的眼动差异。在实验二中，考察被试在知觉熟悉面孔与陌生面孔时的眼动差异与时间进程的差异。结果表明：(1)个体在加工面孔时倾向于首先在双眼间平移而后向嘴巴运动，完成面孔识别，而在识别物体图片时则没有固定的运动轨迹。(2)在知觉熟悉面孔时被试倾向于只注视眼睛，而在知觉陌生面孔图片时则与实验一的面孔图片眼动轨迹相似。
关键词：面孔识别眼动
作者简介：樊倩，就读于辽宁师范大学，主修基础心理学专业，从事面孔认知研究。
隋雪，辽宁师范大学。
34
识别差异。第一是脑定位标准：执行面孔识别与物体识别功能的脑结构与脑机制不同；第二是加工系统标准：两个系统独立运作而不依靠另外一个系统；第三是信息处理方式标准：两个系统按照不同的方式来处理信息。[2]
首先，从脑定位标准出发：对恒河猴细胞电活动与损毁研究表明，恒河猴选择性加工面孔的脑区位于下颞叶及颞上沟的边沿。这两个部分包括许多面孔神经元，它们对面孔有着强烈的反应而对非面孔物体则只有微弱的反应或不反应。使用电生理、脑成像以及对脑损伤病人进行神经心理学检查等手段，研究者已经找到人类选择性地对面孔刺激进行加工的脑区，即梭状回面孔区。面孔加工的功能一侧化也是面孔特殊性加工的重要证据。许多研究都证实了面孔加工的右半球优势，而物体加工则未表现出功能一侧化的倾向。
其次，从加工系统标准来看：许多研究发现存在面孔和一般物体识别两个独立功能的模块，其中最有力的证据来自脑损伤病人识别功能的双重分离。脑损伤病人所表现出的面孔失认是一种由于腹侧颞枕皮层损伤（通常双侧，少数为右侧）而形成的面孔加工紊乱。病人对物体识别是正常的，却无法识别面孔。而物体失认症的病人无法识别物体，对面孔的识别却是正常的。因而，许多人认为大脑中存在面孔和一般物体识别两个功能独立的系统。
最后，从信息处理方式标准入手：在物体识别中，整个物体外形常常被表征为各部件的外形，已有很多研究表明，面孔的表征很少是基于部分的，更多的是基于整体的。如Tanaka与Farah研究发现[3]，被试在对整个面孔和整所房子的识别的绩效并没有明显的差异，但对面孔的部件识别却显著差于对房子的部件的识别。正常人会出现面孔识别的倒置效应，即在面孔倒置时，对面孔的识别难度会增加的现象。一种观点认为，这是因为面孔倒置时破坏了面孔的整体结构，从而使面孔难以辨认。
1.2面孔的知觉方式
面孔识别研究中的另一个重要问题是：我们对面孔进行识别时，是如何加工的？是基于面孔的局部的成分特征，还是基于面孔的整体结构。至今，大部分研究结果支持的是面孔识别是基于面孔的整体结构。
在面孔认知研究中，目前主要存在三种理论，即特征说、结构说和整体说。特征说认为面孔加工过程主要对特征信息进行加工，特征信息是指面孔上相对独立的器官，如眼睛、鼻子、嘴巴等；而结构说则认为面孔加工过程除了特征信息加工之外，更主要是结构信息的加工，结构信息是指面孔上特征之间的空间关系及版面布局信息。面孔认知研究中一直存在着局部和整体加工方式之争。部分研究者认为，面孔主要以局部特征信息进行加工，整体面孔只不过是各特征的简单总和。
[4]而且这些特征信息在面孔加工过程中具有不同的相对重要性，从大到小依次为内轮廓、外轮廓、眼部、嘴巴和鼻子。很显然，特征说支持的是面孔的局部加工方式。在支持结构说的研究者当中，研究者通常把结构加工等同于整体加工。[5]然而，也有部分研究者认为在面孔加工过程中起关键作用的是特征之间的空间关系，而不是整体模板。[6]如有人考察了局部结构信息(两眼间的距离)在正向和倒置面孔中的作用，发现局部结构信息在面孔加工中起着关键作用，而无须进行整体加工。[7]那么，人们是如何识别面孔的呢？人们在知觉面孔图片与非面孔图片时的即时加工过程有何不同？面孔图片的熟悉与否是如何影响面孔识别的呢？这是本研究关心的问题。对于这些问题的探索，眼动记录法是一项很好的技术，它可以考察面孔识别的即时加工过程。[8]有研究发现，在各种认知任务中对眼睛注视的控制起着巨大的作用，注视的位置和注视的时间与所进行的认知加工任务具有一定的锁时性。[9]在面孔识别过程中，主体也是通过眼睛的运动来完成对不同图片识别所需信息的搜集，然后对这些信息进行加工进而完成识别，这个过程是伴随信息搜集逐步完成的，也叫即时加工过程。通过分析这一即时加工过程，
35
可以更好地了解面孔识别过程的实质。本研究通过记录被试面孔识别过程中的眼动数据，来探讨面孔识别的即时加工过程，识别面孔的眼动模式如何，以及对面孔不同部位信息的依赖程度如何。在实验一中，利用眼动记录法记录被试识别面孔图片和非面孔图片的即时加工过程，考查被试在知觉面孔与一般物体时的眼动差异，并假设加工面孔时的眼动轨迹有一定的规律性，并且时间进程不同。在实验二中，考察被试在知觉熟悉面孔与陌生面孔时的眼动差异与时间进程差异，假设在加工熟悉面孔与陌生面孔时，眼动模式发生根本性改变。
2.实验一：面孔图片与非面孔图片的眼动差异实验
2.1方法
2.1.1被试
随机选取辽宁师范大学20名研究生，男女各半，年龄在23～25岁之间，所有被试视力（或矫正视力）正常，且均为自愿参加。
2.1.2设计与材料
采用“识别—判断”实验范式考察面孔识别的即时加工过程。实验为单因素重复测量实验设计。自变量为图片类型，包括面孔图片和非面孔图片两个水平。因变量为反应时、正确率和各项眼动指标。
共选取20张图片作为正式实验材料，包括10幅西方人物面孔图片和10副物体图片，所有图片都经过数字化处理，图片为彩色，亮度和对比度一致，面孔图片均为肩部以上的正面图片。20副图片随机排列，用PowerPoint呈现。
2.1.3实验仪器及程序
本实验由一台PentiumⅣ2.8G计算机控制，刺激呈现在19英寸彩色显示器中央。屏幕分辨率为1024×768，刷新频率为100Hz。被试眼睛与屏幕中心的距离为60cm。用ASL504型眼动仪记录被试的眼动情况，数据采集频率为60Hz。眼睛在一个点停留16ms记录为一个凝视点（gaze point），眼睛在一个点停留100ms记录为一次注视（fixation），两次注视之间的眼动过程记录为眼跳（saccade）。用gazetraker3.12软件运行实验程序并同时记录被试的反应时、正确率和眼动数据。正式实验之前给予适当练习，让被试熟悉实验条件。
正式实验过程：（1）呈现指导语(首先开始第一个实验。屏幕上将呈现20张面孔图片和非面孔图片，当你看到面孔图片时请按“F”键，当你看到非面孔图片时请按“J”键，图片之间会穿插一些问题，请仔细看图片然后口头报告答案，实验过程中请保持头部不动。如果明白了，请按空格键开始)；（2）然后在屏幕中央呈现注视点，持续2s；（3）注视点消失，接着呈现一张图片；（4）被试对随机出现的面孔图片或非面孔图片进行识别；（5）被试识别后，按键作出反应，按键后，图片自动消失，一次试验结束。接着重复步骤，直到整个实验结束。
2.2结果与分析
2.2.1面孔识别的眼动轨迹
本实验中，被试识别面孔图片与非面孔图片的眼动轨迹有显著差异，在识别面孔图片时，被试倾向于首先在双眼间平移而后向嘴巴运动，完成面孔识别，而在识别物体图片时则没有固定的运动轨迹。这说明面孔识别需要特定信息，被试在搜集信息过程中，不是随机观看，而是有规律的。
2.2.2两类图片的反应时和正确率
单因素重复测量方差分析结果表明，图片类型对被试识别的反应时影响显著，但每种图片识别的正确率都在90%以上，两种类型图片之间差异不显著。
2.2.3面孔识别的眼动指标
对总注视时间、注视次数、注视点持续时间和瞳孔直径四个眼动指标进行统计，结果见表1，从表1以发现，两类图片的眼动数据存在一定差异，其中总注视时间、注视次数、瞳孔直径差异较大。
36
表1四个眼动指标结果（M±SD）
! " #$
# !
" ! $$
% # ! #
$# ! &
" $#!
#! &
% " !
以总注视时间为因变量，进行单因素重复测量方差分析发现，图片类型主效应显著，F（1，19）=23.351，p<0.001。以注视次数为因变量，进行单因素重复测量方差分析发现，图片类型主效应显著，F（1，19）=31.67，p<0.001。以瞳孔直径为因变量，进行单因素重复测量方差分析发现，图片类型主效应显著，F（1，19）=2.970，ps<0.05。被试识别面孔图片时，瞳孔直径逐渐增大。
在面孔识别过程中对面部部件的依赖程度，依据空间位置确定了两个兴趣区：兴趣区1为眼睛、兴趣区2为鼻子和嘴。
对被试在这两个兴趣区上的两个眼动指标进行统计，结果见表2。
表2不同兴趣区眼动指标结果（M±SD）
从表2可以发现，不同兴趣区的眼动指标存在较大差异。以注视时间为因变量，兴趣区主效应显著，F（1，19）=5.873，p<0.05；兴趣区1的注视时间显著多于兴趣区2。以注视次数为因变量，兴趣区主效应显著，F（1，19）=7.432，p<0.05。兴趣区1的注视次数显著多于兴趣区2。
3.实验二：熟悉面孔与陌生面孔图片的眼动差异实验
3.1方法
3.1.1被试
同实验一
3.1.2设计与材料
采用“识别—判断”实验范式考察面孔识别的即时加工过程。实验为两因素重复测量实验设计。自变量为图片类型,包括熟悉面孔和陌生面孔图片两个水平。因变量为反应时、正确率和眼动指标。
共选取24张图片作为正式实验材料，包括12幅名人面孔图片和12副普通人面孔图片，所有图片都经过数字化处理，图片为彩色，亮度和对比度一致，面孔图片均为肩部以上的正面图片。24副面孔图片排列，用PowerPoint呈现。
3.1.3实验仪器及程序
实验仪器同实验一
正式实验过程：（1）呈现指导语（下面开始第二个实验，屏幕上将呈现24张面孔图片，当你看到熟悉的面孔图片时按“F”键，按键的同时口头报告出他/她的名字，当你看到不熟悉的面孔图片时按“J”键，实验过程中请保持头部不动。如果明白了，请按空格键开始。）；（2）然后在屏幕中央呈现注视点，持续2s；（3）注视点消失，接着呈现一张面孔；（4）被试对随机出现的面孔图片进行识别；（5）被试识别后，按键作出反应，按键后，图片自动消失，一次试验结束。接着重复步骤，直到整个实验结束。
3.2结果与分析
3.2.1面孔识别的眼动轨迹
本实验中，被试对熟悉面孔图片与陌生面孔图片的眼动轨迹有显著差异，在识别熟悉面孔图片时，被试倾向于只注视眼睛，而在识别陌生面孔图片时则与实验一的面孔图片眼动轨迹相似，
37
首先在双眼间平移而后向嘴巴运动，完成面孔识别。这说明，被试在进行面孔识别时，对熟悉面孔需要的视觉线索相对陌生面孔来说要少。
3.2.2两类图片的反应时和正确率
单因素重复测量方差分析结果表明，图片类型对被试识别的反应时影响显著，识别熟悉面孔的反应时小于陌生面孔，识别两类图片的正确率都在90%以上，两种类型图片之间差异不显著。
3.2.3面孔识别的眼动指标
对总注视时间、注视次数、注视点持续时间和瞳孔直径四个眼动指标进行统计发现，两类图片的眼动数据存在一定差异，其中总注视时间、注视次数、瞳孔直径差异较大。
以总注视时间为因变量，进行单因素重复测量方差分析发现，图片类型主效应显著，F（1，19）=23.426，p<0.001。以注视次数为因变量，进行单因素重复测量方差分析发现，图片类型主效应显著，F（1，19）=31.76，p<0.001。以瞳孔直径为因变量，进行单因素重复测量方差分析发现，图片类型主效应显著，F（1，19）= 6.209，ps<0.05。被试识别面孔图片时，瞳孔直径逐渐增大。
对被试在这两个兴趣区上的两个眼动指标进行统计，结果见表3。
表3不同兴趣区眼动指标结果
从表3可以发现，不同熟悉度、不同兴趣区的眼动指标存在较大差异。以平均注视时间为因变量，进行两因素（熟悉度×兴趣区）重复测量方差分析发现，面孔熟悉度主效应显著，F（1，19）=27.435，p<0.001；兴趣区主效应显著，F （1，19）=6.436，p<0.05；两者交互作用不显
著。兴趣区1的注视时间显著多于兴趣区2。
以注视次数为因变量，进行两因素重复测量方差分析发现，面孔熟悉度主效应显著，F（1，19）=31.1240，p<0.001；兴趣区主效应显著，F （1，19）=7.432，p<0.05。两者交互作用不显著，兴趣区1的注视次数显著多于兴趣区2。
4.讨论
实验一发现个体在加工面孔与一般物体时的眼动差异，个体在加工面孔时倾向于首先在双眼间平移而后向嘴巴运动，完成面孔识别，而在识别物体图片时则没有固定的运动轨迹。这证明了我们的假设：加工面孔时的眼动轨迹有一定的规律性，并且时间进程不同。这种轨迹说明面孔识别需要不同部位信息，在对不同部位信息整合的基础上做出识别。不同的面孔不影响识别的眼动轨迹。我们认为尽管内部特征与外部特征在面孔识别中作用不同，但是面部识别以内部特征为主，依赖的信息也主要集中在眼睛和鼻子、嘴等部位。之所以在知觉面孔时有这样的眼动轨迹，我们可以这样理解：面孔识别主要以眼部信息为主，其他部位信息为辅，在时间短的快速判断过程中，嘴和鼻子部位信息对判断作用也较大，面孔识别是在整合眼部与嘴和鼻子部位信息的基础上完成的。这个过程通常先从提取眼部信息开始，然后转向鼻子和嘴，形成眼动轨迹。本实验还发现图片类型的主效应差异显著。被试对面孔图片的注视时间长、注视次数多和瞳孔直径大。证明了我们的假设：在反应时等指标上，不同类型图片间存在差异。
在实验二中，我们发现了个体在知觉熟悉面孔与陌生面孔时的眼动差异与时间进程的差异，在知觉熟悉面孔时被试倾向于只注视眼睛，而在知觉陌生面孔图片时则与实验一的面孔图片眼动轨迹相似，首先在双眼间平移而后向嘴巴运动，完成面孔识别。这说明，被试在进行面孔识别时，对熟悉面孔需要的视觉线索相对陌生面孔来说要少。这证明了我们的假设：在加工熟悉面孔与陌
38
生面孔时，眼动模式发生根本性改变。本实验还发现面孔识别对不同面部位置信息依赖程度不同，这支持了面孔识别以特征部件识别为主的观点。我们认为各部件信息都有利于面孔识别任务的完成，但研究结果说明识别熟悉面孔时依赖眼部信息就可以完成识别，也就是说不同部件信息的重要性不同,眼部信息是最重要的。这提示我们在完成与面孔识别有关的任务过程中要注意眼部信息的变化。我们的研究结果也得到了来自认知神经科学领域证据，国内学者张维、陈剑强的一项研究发现熟悉面孔识别主要激活了额颞区和梭状回等,陌生面孔识别主要激活了脑岛和梭状回，熟悉面孔与陌生面孔识别有其不同的区域；都有梭状回的视觉加工，但是激活的程度不同。
结合两个实验的结果，我们发现面孔识别的眼动过程是有规律的，眼动不是随意的，并且以部件信息为主，在整合部件信息的基础上做出识别，在面孔熟悉度高时，搜索信息则以眼部为主。
5.结论
（1）个体在加工面孔时倾向于首先在双眼间平移而后向嘴巴运动，完成面孔识别，而在识别物体图片时则没有固定的运动轨迹。
（2）个体在知觉熟悉面孔时倾向于只注视眼睛，而在知觉陌生面孔图片时则首先在双眼间平移而后向嘴巴运动，完成面孔识别。
参考文献：
[1]Gelder,B.,R ouw,R..Configural face processes in acquired and developmental prosopagnosia:evi-dence for two separate face system.Neuroreport, 2000,11:3145~3150.
[2]Farah,M.J.,Levinson K.L.&Klein,K.L..Face perception and within-category discrimination in prosopagnosia.Neuropsychologia,1995,33:661-674.
[3]Tanaka,J.W.,Farah,M.J..Parts and wholes in face recognition.Journal of Experimental Psychology, 1993,46:225-245.
[4]Leder,H.,Bruce,V..When inverted faces are recognized:The role of configural information in face recognition.,Journal of Experimental Psychology, 2000,53(2):513-536.
[5]Gelder,B.,R ouw,R..Paradoxical configuration effects for faces and objects in prosopagnosia.Neu-ropsychologia,2000,38:1271-1279.
[6]Leder,H.,Bruce,V..When inverted faces are recognized:The role of configural information in face recognition.,Journal of Experimental Psychology, 2000,53(2):513-536.
[7]Leder,H.,Candrian,G.,&Huber,O..Configural features in the context of upright and inverted Faces. Perception,2001,30(1):73-83.
[8]邓铸.眼动心理学的理论技术及应用研究[J].南京师大学报(社会科学版).2005,1(1):91-95.
[9]隋雪，任延涛.面部表情识别的即时加工过程[J].心理学报，2007，39(1):64-70.
The Eye Movement Research of
Facial Recognition
Fan Qian SuiXue
Abstract:This article is about an analysis of eye movement in facial recognition.In experiment1,we record the process of subjects in identifying the facial pictures and the non-facial pictures to examine the difference of eye movement.In experiment2,we ex-amined the difference of eye movement trace in pro-cessing familiar faces and unfamiliar faces.We can make consequences that when people process facial pictures they prefer to firstly search the eyes and then move to the mouth while when they process non-facial pictures their eye movement trace is unexpected.When people process familiar faces they prefer to take a look at the eyes while process unfamiliar faces their eye movement trace is as same as the experiment1.
Key words:facial recognition;eye movemen
39
文献综述 1 引言 在计算机视觉和模式识别领域，人脸识别技术（Face Recognition Technology，简称FRT）是极具挑战性的课题之一。近年来，随着相关技术的飞速发展和实际需求的日益增长，它已逐渐引起越来越多研究人员的关注。人脸识别在许多领域有实际的和潜在的应用，在诸如证件检验、银行系统、军队安全、安全检查等方面都有相当广阔的应用前景。人脸识别技术用于司法领域，作为辅助手段，进行身份验证，罪犯识别等;用于商业领域，如银行信用卡的身份识别、安全识别系统等等。正是由于人脸识别有着广阔的应用前景，它才越来越成为当前模式识别和人工智能领域的一个研究热点。 虽然人类能够毫不费力的识别出人脸及其表情，但是人脸的机器自动识别仍然是一个高难度的课题。它牵涉到模式识别、图像处理及生理、心理等方面的诸多知识。与指纹、视网膜、虹膜、基因、声音等其他人体生物特征识别系统相比，人脸识别系统更加友好、直接，使用者也没有心理障碍。并且通过人脸的表情/姿态分析，还能获得其他识别系统难以获得的一些信息。 自动人脸识别可以表述为：对给定场景的静态或视频序列图像，利用人脸数据库验证、比对或指认校验场景中存在的人像，同时可以利用其他的间接信息，比如人种、年龄、性别、面部表情、语音等，以减小搜索范围提高识别效率。自上世纪90年代以来，人脸识别研究得到了长足发展，国内外许多知名的理工大学及TT公司都成立了专门的人脸识别研究组，相关的研究综述见文献[1-3]。 本文对近年来自动人脸识别研究进行了综述，分别从人脸识别涉及的理论，人脸检测与定位相关算法及人脸识别核心算法等方面进行了分类整理，并对具有典型意义的方法进行了较为详尽的分析对比。此外，本文还分析介绍了当前人脸识别的优势与困难。 2 人脸识别相关理论 图像是人们出生以来体验最丰富最重要的部分，图像可以以各种各样的形式出现，我们只有意识到不同种类图像的区别，才能更好的理解图像。要建立一套完整的人脸识别系统(Face Recognetion System，简称FRS)，必然要综合运用以下几大学科领域的知识： 2.1 数字图像处理技术 数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机
1．人脸识别技术的应用 随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。 （2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。 （3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。 （4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。 （5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面： （1）模板匹配 主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样本是否人脸。这种方法比较简单，在早期的系统中采用得比较
《微表情识别读脸读心》2019期末考试题与答 案 一、单选题（题数：40，共40.0 分） 1安慰反应的形态意义哪一项描述是错误的?() A、视线转移,频繁眨眼,闭眼(视觉安慰);轻哼,吹口哨,吁气(听觉安慰) B、舔嘴唇,磨牙,咀嚼,吞咽,吸烟; (口部安慰) C、挠头皮,玩头发,搓脖子;摸脸、额头、鼻子、耳朵、嘴、下巴;捂住锁骨,拍胸口,按摩腹部; 松领带、领口,玩项链、耳环等;搓手,玩手指; 抖腿等(肌肤安慰) D、身体约束僵住 答案：D 2关于这场猜测锁匙位置的测试哪一项描述是错误的?() A、李博士将锁匙放在6墙-8行-8列却在卡片上写6墙-8行-9列是动用了反测试策略 B、这种反测试策略的核心就就是强化不真实遗忘真实
C、这种反测试策略属于意识转移类的精神反测试 D、李博士反测试没有获得成功 答案：D 3关于辨析情绪的意义哪一项描述是错误的?() A、排除了干扰因素才能锁定刺激与情绪反应的因果联系 B、行为痕迹特征不能与说谎直接划等号 C、科学识别应该是找到差异点 D、回应刺激时视线向左表示回忆,视线向右表示编造 答案：D 4关于松明猜测硬币藏匿手的测试哪一项描述是错误的?() A、王力宏上台即双手叉腰或抱胸是紧张的对抗反应 B、询问喜欢的颜色及血型的用意是找回答真实的基线反应 C、一般而言人们习惯于多用或首先使用顺手 D、使用顺手是不自信的表现 答案：D
5逃离反应的形态意义哪一项描述是错误的?() A、吓了一跳、后退、头、身体、脚转向一边 B、深吸气,脸色发白,全身发冷,腿发颤 C、视线转移,坐姿、站姿角度扭转 D、面孔、肢体靠近刺激源 答案：D 6关于表达者表达解析哪一项描述是正确的?() A、疏忽几个表情动作的观察不影响准确判断其真实内心 B、是准确认识表达者内心的基础和前提 C、只要盯着其眼动反应就能准确判断其真实内心 D、只要关注其情绪与事件性质是否一致就能准确判断其真实内心 答案：B 7微表情是指持续时间多长的表情?() A、1/2秒 B、不足1/5秒
面部表情识别实验 实验报告 小组成员： 面部表情识别实验 西南大学重庆 400715
摘要：情绪认知是一种复杂的过程，它包含观察、分析、判断、推理等，是借助于许多线索，特别是借助面部那些活动性更大的肌肉群的运动而实现的。所以，情绪认知的准确度受多种因素的影响。 当我们与他人相互交往的时候，不管是不是面对面。我们都正在不断的表达着情绪，同时又正在观察，解释着的对方做出的表情，在人际交往过程中，情绪的表达和认知是十分的迅速和及时，那么人是借助于哪些表情来认知他人的情绪的呢？情绪识别实际上并不是针对表情本身的，而是针对这它背后的意义。例如：皱眉可能是一种情绪的表现，我们见到这种面部表情就试图解释潜在于它背后的情绪。尖锐，短促，声音嘶哑可能是一种情绪表现，我们听到这种语言表情就试图解释潜在于它背后的情绪捶胸，顿足可能是一种情绪的表现，我们见到这种动作表情就是试图解释潜在于它背后的情绪。对于这个复杂的问题，心理学家曾经做过许多的研究。 面部表情认知的研究可分为两个步骤：第一步是面部表情刺激物的制作或选择，这可以用专门拍摄(录像)或图示来描画，也可以用完全装扮出的活生生的表情或自发的表情等。第二步时对表情进行识别评定。也可以用多种方法，如自由评定法，即让被试自由地对表情给出情绪词汇；或限制评定法，即向被试提供各种提供各种情绪词汇或情绪情境，要求被试只能根据所提供的情绪词汇或者情绪情境进行分类或者匹配等；或参照自由评定法，即向被试提供参考线索（如情境，人格特征等），让其说出所表达的情绪的词汇等。 关键词：情绪表情认知线索
1 前言 传统心理学把情绪列为心理现象的三大方面之一。情绪也是心理学理论体系中一个不可缺少的研究环节。情绪（emotion）是体验，又是反应；是冲动，又是行为；它是有机体的一种复合状态。情绪的表现有和缓的和激动的，细微的和强烈的，轻松的和紧张的等诸多形式，广泛地同其他心理过程相联系。自古以来，科学家们十分注意探讨情绪之奥妙，但与情绪的重要性不相适应的是，长期以来情绪研究一直是心理学尤其是实验心理学研究中的一个薄弱环节。造成这一现象的最主要原因是情绪所特有的复杂性以及由此衍生出来的情绪研究方法学上的困难。我国心理学家孟昭兰（1987）将理论认为面部表情是传递具体信息的外显行为面部表情是提供人们在感情上互相了解的鲜明标记。情绪过程既包括情绪体验，也包括情绪表现，而表情既是情绪的外部表现，也是情绪体验的发生机制；既是最敏锐的情绪发生器，也是最有效的情绪显示器。这就从机制上说明了以面部肌肉运动模式作为情绪标志的根据。 面部表情（facial expression_r）的发生是有其客观的物质基础的：表情按面部不同部位的肌肉运动而模式化，面部反应模式携带着心理学的意义，那就是或快乐、或悲伤等具体情绪。但是，对表情进行测量的原则在于：所要测量的是面孔各部位的肌肉运动本身，而不是面部所给予观察者的情绪信息。该实验将14名被试分为两组进行表情认知的实验，实验目的在于通过实验了解面部表情认知的基本
人脸识别技术综述 摘要：在阅读关于人脸检测识别技术方面文献后，本文主要讨论了人脸识别技术的基本介绍、研究历史,人脸检测和人脸识别的主要研究方法，人脸识别技术的应用前景，并且总结了人脸识别技术的优越性和当下研究存在的困难。 关键词：人脸识别;人脸检测；几何特征方法;模板匹配方法;神经网络方法;统计方法;模板匹配;基于外观方法; 随着社会的发展，信息化程度的不断提高，人们对身份鉴别的准确性和实用性提出了更高的要求，传统的身份识别方式已经不能满足这些要求。人脸识别技术(FRT)是当今模式识别和人工智能领域的一个重要研究方向.虽然人脸识别的研究已有很长的历史,各种人脸识别的技术也很多,但由于人脸属于复杂模式而且容易受表情、肤色和衣着的影响,目前还没有一种人脸识别技术是公认快速有效的[1]基于生物特征的身份认证技术是一项新兴的安全技术，也是本世纪最有发展潜力的技术之一[2]。 1. 人脸识别技术基本介绍 人脸识别技术是基于人的脸部特征，一个完整的人脸识别过程一般包括人脸检测和人脸识别两大部分，人脸检测是指计算机在包含有人脸的图像中检测出人脸，并给出人脸所在区域的位置和大小等信息的过程[3]，人脸识别就是将待识别的人脸与已知人脸进行比较，得
出相似程度的相关信息。 计算机人脸识别技术也就是利用计算机分析人脸图象, 进而从中出有效的识别信息, 用来“辨认”身份的一门技术.人脸自动识别系统包括三个主要技术环节[4]。首先是图像预处理，由于实际成像系统多少存在不完善的地方以及外界光照条件等因素的影响，在一定程度上增加了图像的噪声，使图像变得模糊、对比度低、区域灰度不平衡等。为了提高图像的质量，保证提取特征的有有效性，进而提高识别系统的识别率，在提取特征之前，有必要对图像进行预处理操作；人脸的检测和定位，即从输入图像中找出人脸及人脸所在的位置，并将人脸从背景中分割出来，对库中所有的人脸图像大小和各器官的位置归一化；最后是对归一化的人脸图像应用人脸识别技术进行特征提取与识别。 2. 人脸识别技术的研究历史 国内关于人脸自动识别的研究始于二十世纪80年代，由于人脸识别系统和视频解码的大量运用，人脸检测的研究才得到了新的发展利用运动、颜色和综合信息等更具有鲁棒性的方法被提出来变形模板，弹性曲线等在特征提取方面的许多进展使得人脸特征的定位变得更为准确。 人脸识别的研究大致可分为四个阶段。第一个阶段以Bertillon，Allen和Parke为代表，主要研究人脸识别所需要的面部特征；第二个阶段是人机交互识别阶段；第三个阶段是真正的机器自动识别阶段；第四个阶段是鲁棒的人脸识别技术的研究阶段。目前，国外多所
（2）动机与态度的研究 在相同情境下，记录被试的眼动信息，可以探测到被试对信息的选择取向，从而研究不同个体在相同情境下的动机与态度取向。 （5）消费心理学的研究 利用眼动研究可以精细地研究不同产品、产品包装、产品陈列方式等引起消费者的关注程度，以及广告设计策略等。 （9）病理心理学的研究 不难假设，面对同样的视觉图景，具有病理心理特征的观察者，与正常状态下的观察者相比，必然具有不同的眼动模式。所以，可以采用眼动技术进行病理心理学的研究和制订更为可靠的病理心理筛选的眼动标准。 CNET使用眼动追踪技术测验了32个网络使用者对于网站上广告的尺寸、位置和类型的反应，考察了他们的首次注视点、注视时间并让被试选出喜爱的广告，结果发现，人们喜欢摩天大楼图片广告胜过旗帜广告、大广告胜过小广告、生动的互动性的广告胜过静态的广告，因此说更大更生动的广告效果更好。不过SandraMarshall认为网络读者习惯于避开网上的旗帜广告，即使这些广告越来越大，越来越生动。（眼动技术在广告研究中的应用） 我们通过追踪眼动,可以评估人类的心理和行为,得到人类内心潜在意识的客观结果。从眼动追踪中我们能得到消费者对产品包装或产品货架摆放的第一注视点、注视点的分布、注视时间、注视的顺序等,从而可以对消费者行为进行深入的了解。（眼动理论在儿童食品包装图形中的运用） 因此，由实验中的注视时间、注视点次数和平均瞳孔面积数据可知，无时间限制条件下，在浏览观看课件的过程中，图像比表格更能吸引学生的注意，彩色大图像比黑白小图像更能吸引学生的注意，精简的文本在左上区域比右上区域更能吸引学生的注意。与此同时，在有时间限制的条件下，同位于右侧的黑白表格比彩色表格更能吸引学生的注意；而在有无时间限制的条件下，其他特征的表格之间都不存在明显差异。（基于眼动研究的多媒体课件组织与管理） 通过以上研究结果分析与讨论,本研究可以得到如下结论: (1) 3寸生活照比1寸标准照更能吸引人的注意; (2)照片在左上位置比右上位置更能吸引人的注意; (3)在时间压力的条件下,
人脸识别技术的应用背景及研究现状 1．人脸识别技术的应用 随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。 （2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。 （3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。 （4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。 （5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面：
图像处理与模式识别 ------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。 本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。 关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important means that we communicate and express the special training, People often difficult to conceal their facial , by the analyzing facial expression, we can obtain important information. Facial expression recognition is an important component that the implementation of human-computer interaction, and an important research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial
儿童阅读眼动研究统计分析 阅读眼动研究文献分布时间能在一定水准上呈现阅读眼动研究的发展 脉络。统计结果（表1）发现，我国“三大教育”领域阅读眼动研究文献在时间分布方面有以下特点：第一，数量少。在CNKI的“三大教育”学科领域，以“眼动”＋“阅读”为主题词检索，仅获得有效文献28篇，与相同领域主题词是“阅读”的28219条文献记录相比较，其总 量非常少。其中，检索结果，1986年前有效文献为0篇。1986年以来，年平均有效文献仅有1.1篇。文献篇目最多的年份是2009年，只有6篇。2011年次之，有5篇。第二，出现晚。“三大教育”领域阅读眼 动研究第一篇文献资料出现年份为1986年。而中文阅读眼动研究可以 追溯到1925年，国外对阅读的眼动研究则始于1879年2。第三，增长趋势明显。从表1可以看出2000年以前国内“三大教育”领域对阅读 眼动研究比较稀少，而2000至2009年十年间出现了19篇有效文献，2010至2011年，两年时间就出现了7篇有效文献。相对而言，近十年的文献数量呈上升的态势。“文献来源”既可以作为主要阵地，用来 展示阅读眼动研究的成果，便于同行对研究成果进行搜集，也可折射 阅读眼动研究是否进入“三大教育”前沿，成为一线教师熟悉的科研 方法。统计结果表明：在28篇阅读眼动研究有效文献中，公开发表的 论文有12篇，分别发表在11种公开期刊上，除《天津师范大学（社 会科学版）》上发表2篇外，其他期刊均只收录有1篇，这10个刊物 按刊出阅读眼动研究文献时间先后为《心理科学》、《教育教学论坛》、《教育科学研究》、《吉林教育科学（普教研究）》、《天津 市教科院学报》、《浙江师范大学学报（自然科学版）》、《心理发 展与教育》、《淮南师范学院学报》、《心理学探新》及《心理科学 通讯》。其中，进入学前教育、初等教育和中等教育类2000–2011年 版中文核心期刊的论文仅有1篇，刊于2001年07月的《教育科学研究》①。除去以上文献，另外16篇源于博士、硕士论文库及会议的文献，分别为博士论文3篇、硕士论文12篇以及会议文献1篇②。其中 来自华东师范大学博士论文3篇，硕士论文2篇。其他为辽宁师范大
心理科学进展 2005，13（4）：497~516 Advances in Psychological Science 面部表情识别与面孔身份识别的 独立加工与交互作用机制* 汪亚珉1，2 傅小兰1 （1中国科学院心理研究所，脑与认知国家重点实验室，北京 100101）（2中国科学院研究生院，北京 100039） 摘 要面孔识别功能模型认为，面部表情识别与面孔身份识别是两条独立的并行路径。以往诸多研究者都认可并遵循二者分离的原则。但近期研究表明，面部表情识别与面孔身份识别存在交互作用。首先总结和分析已有的面部表情识别的研究成果，评述神经心理学与认知神经科学研究中的论争，然后介绍人脸知觉的分布式神经机制以及相关的实验证据，最后提出面部表情识别与面孔身份识别的多级整合模型，并展望研究前景。 关键词面孔身份识别，面部表情识别，面孔识别功能模型，人脸知觉的分布式神经模型，多级整合模型。分类号 B842 面孔识别一直备受研究者关注。20世纪70年代，Ekman和Frisen系统地研究了人脸基本表情的文化普遍性，并从解剖学角度提出了6种基本的面部表情[1]。20世纪80年代，Bruce和Young系统地研究了人对面孔的识别及其影响因素，提出了经典的面孔识别功能模型[2]。自此，面孔识别成为认知科学研究领域中的热点问题之一。 人能轻易地从不同表情中识别出同一个人的面孔（即面孔身份识别，facial identity recognition），也能从不同人的面孔上识别出同一种表情（即面部表情识别，facial expression recognition），识别得如此精巧，以至众多研究者相信，识别面孔与识别表情 收稿日期：2005-04-24 * 本研究得到中国科技部973项目（2002CB312103）、国家自然科学基金重点项目（60433030）和面上项目 （30270466）、中国科学院心理研究所创新重点项目 （0302037）经费支持。 通讯作者：傅小兰，E-mail: fuxl@https://www.doczj.com/doc/de199663.html, 两者相互独立，互不干扰[2～7]。那么，这种分离识别究竟是如何实现的？面孔身份识别与面部表情识别究竟是彼此独立的还是相互作用的？这已成为认知科学（尤其是计算机视觉）面孔识别研究领域中亟待解决的一个重要问题。 在过去开展的大量研究中，对面孔身份识别问题的探讨相对比较深入，而对面部表情识别的研究则囿于经典功能模型，并未能取得实质性进展。近年来随着脑认知研究技术的发展，面部表情识别的研究也在不断深入，研究者对面部表情识别与面孔身份识别间的关系也提出了新的阐释。本文在综述已有研究的基础上，试图进一步探讨面部表情识别与面孔身份识别之间的独立加工与交互作用机制。首先，基于经典面孔识别功能模型，分析传统的面孔身份识别与面部表情识别的并行分离加工观点，以及行为学、神经心理学与认知神经科学的研究发现；其
1.1 微表情涵义·由来 1 【单选题】微表情是指持续时间多长的表情?()B ?A、1/2秒 ?B、不足1/5秒 ?C、5秒 ?D、以上都不对 2 【多选题】下面哪些描述符合微表情的特征?()ABCD ?A、时间不足1/5秒 ?B、受到有效刺激后的反应 ?C、不由自主地表现出来 ?D、表达内心的真实情感 3 【判断题】表情是表现在面部或姿态上的情感信息。()正确 1.2 保罗·埃克曼的贡献 1 【单选题】保罗·埃克曼研究的微表情主要在哪个领域?()C ?A、身体动作 ?B、副语言 ?C、面部表情 ?D、以上都不对 2 【多选题】保罗·埃克曼研究微表情的主要贡献有哪些?()ABCD ?A、完成面部表情编码 ?B、编撰并发布FACS—AU教程 ?C、研发微表情训练工具(Meet) ?D、人际欺骗研究 3
【判断题】独立发现并深入研究微表情的学者是保罗·埃克曼。()错误 1.3 国内·应用研究概况 1 【单选题】 国内探索微表情应用研究的实战机构不包括哪些？（）D ?A、公安机构 ?B、检察机构 ?C、安全机构 ?D、环保机构 2 【判断题】 受到lie to me 传播的影响国内业界开始关注并研究微表情。()正确 3 【判断题】 国内研究微表情的专业团队主要有中科院心理研究所傅小兰团队、中国人民政法大学姜振宇团队和上海政法学院范海鹰团队。（）正确 1.4 教学模式·教学环节 1 【单选题】微表情识别读脸读心课程宜采用哪种教学模式?()D ?A、理论讲授式 ?B、实操训练式 ?C、案例观摩式 ?D、A+B+C 2 【多选题】微表情识别读脸读心课程的教学模式包括哪些教学环节?()ABC
收稿日期：２０１５-０４-０３；修回日期：２０１５-０５-２６ 基金项目：国家自然科学基金资助项目（６１４６３０３４） 作者简介：何俊（１９６９-），男，江西东乡人，副教授，硕导，博士，主要研究方向为人机交互技术、模式识别等（ｂｏｘｈｅｊｕｎ＠ｔｏｍ．ｃｏｍ）；何忠文（１９８６-），男，江西九江人，硕士研究生，主要研究方向为人机交互技术、模式识别等；蔡建峰（１９９０-），男，河北人，硕士研究生，主要研究方向为人机交互；房灵芝（１９８８-），女，山东人，硕士研究生，主要研究方向为人机交互． 自发表情识别方法综述* 何 俊，何忠文，蔡建峰，房灵芝 （南昌大学信息工程学院，南昌３３００３１） 摘 要：介绍了目前自发表情识别研究的现状与发展水平，详细阐述了自发表情识别研究的内容和方法，以及自发表情识别研究的关键技术，旨在引起研究者对此新兴研究方向的关注与兴趣，从而积极参与对自发表情识别问题的研究，并推动与此相关问题的进展。关键词：表情识别；自发表情；特征提取 中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１００１-３６９５（２０１６）０１-００１２-０５ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１-３６９５．２０１６．０１．００３ Ｓｕｒｖｅｙｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ ＨｅＪｕｎ，ＨｅＺｈｏｎｇｗｅｎ，ＣａｉＪｉａｎｆｅｎｇ，ＦａｎｇＬｉｎｇｚｈｉ （Ｉｎｆｏｒｍａｔｉｏｎ＆ＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，ＮａｎｃｈａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｃｈａｎｇ３３００３１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｄｔｈｅａｃｔｕａｌｉｔｙａｎｄｔｈｅｄｅｖｅｌｏｐｉｎｇｌｅｖｅｌｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎａｔｔｈｅ ｐｒｅｓｅｎｔｔｉｍｅ，ａｎｄｐａｉｄｐａｒｔｉｃｕｌａｒａｔｔｅｎｔｉｏｎｔｏｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｙｏｎｔｈｅｒｅｓｅａｒｃｈｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｉｓｐａｐｅｒａｉｍｅｄｔｏａｒｏｕｓｅｒｅｓｅａｒｃｈｅｒｓ’ａｔｔｅｎｔｉｏｎａｎｄｉｎｔｅｒｅｓｔｓｉｎｔｏｔｈｉｓｎｅｗｆｉｅｌｄ，ｔｏｐａｒｔｉｃｉｐａｔｅｉｎｔｈｅｓｔｕｄｙｏｆｔｈｅｓｐｏｎｔａｎｅ-ｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｐｒｏｂｌｅｍｓａｃｔｉｖｅｌｙ，ａｎｄｔｏａｃｈｉｅｖｅｍｏｒｅｓｕｃｃｅｓｓｅｓｃｏｒｒｅｌａｔｅｄｔｏｔｈｉｓｐｒｏｂｌｅｍ．Ｋｅｙｗｏｒｄｓ：ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ；ｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ；ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ 表情识别被视为未来情感人机交互的重要技术［１］ ，吸引了国内众多高校和科研机构的参与和研究［２～６］。但目前国内 外研究中比较常用的表情数据库中的人脸表情大都固定为正面，任务仅限于识别Ｅｋｍａ提出的六种基本表情（愤怒、高兴、悲伤、惊讶、厌恶和恐惧）。这不仅与实际表情不相符，而且忽视了真实表情中特有的脸部肌肉形变与头部运动之间的时空相关性。谷歌申请的新一代表情识别专利，挤眉弄眼方可解锁手机；荷兰开发的诺达斯（Ｎｏｌｄｕｓ）面部表情分析系统是世界上第一个商业化开发的面部表情自动分析工具，用户使用该系统能够客观地评估个人的情绪变化，可以跟踪人的表情变化。但二者均要求测试者的头姿基本保持不动，实时连续头姿估计阻碍了其在手机等智能终端领域的应用。因此，面向实际应用的 非正面表情识别研究在国内外日益受到重视［７，８］ 。 近十几年来，开展自发表情识别研究的机构主要有美国的加利福尼亚大学、卡耐基梅隆大学机器人研究所、匹兹堡大学心理学系，伊利诺伊大学、沃森研究中心、贝克曼研究所、伦斯勒理工学院、麻省理工大学媒体实验室、丹佛大学、德克萨斯大学计算机视觉研究中心、新泽西技术学院、芬兰的奥卢大学计算机科学与工程系机器视觉组、荷兰的阿姆斯特丹大学信息学院、澳大利亚的昆士兰科技大学科学与工程学院、加拿大的麦吉尔大学、日本的庆应义塾大学、爱尔兰的爱尔兰国立大学计算机视觉和成像实验室，中国的清华大学和中国科学技术大学等已经有人做了大量工作。目前该领域比较重要的国际会议包括计算机视觉与模式识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ）、模式识别会议 （ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＩＣＰＲ）、人脸与姿态自动识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｍａｔｉｃＦａｃｅＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ，ＦＧＲ）。关于非正面表情识别的研究文章 逐年增多，但国内还只是刚开始涉足该领域的研究［９］ ，一些非 正面表情识别中的关键技术尚有待突破。但总的来说，对目前自发表情识别的研究和探索还处于初级阶段，对自发表情识别的研究还需要研究人员共同的努力。本文介绍了常用的自发表情数据库以及自发表情识别关键技术研究进展。 １ 自发表情数据库 １）ＵＳＴＣ-ＮＶＩＥ数据库 ＵＳＴＣ-ＮＶＩＥ（ｎａｔｕｒａｌｖｉｓｉｂｌｅａｎｄｉｎｆｒａｒｅｄｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓ） 数据库［１０］ 是由中国科学技术大学安徽省计算与通讯软件重点 实验室建立的一个大规模的视频诱发的集自发表情和人为表情的可见光和红外自发表情数据库。其中自发表情库由自发的表情序列和夸张帧组成，人为表情库仅由中性帧和夸张帧组成。该表情数据库包含年龄在１７～３１周岁的２１５名被试者的自发和人为的六种表情。 ２）ＶＡＭ数据库 ＶＡＭ数据库［１１］ 采用的是以参加电视访谈节目（ＴＶｔａｌｋ ｓｈｏｗ）的方式诱发的自发表情数据库，记录了节目中年龄在１６～６９周岁的６位男嘉宾和１４位女嘉宾总共２０位嘉宾的面部表情和语音信息。该数据集由８３４名评估者使用两种方式进行评估：ａ）采用Ｅｋｍａｎ的六种基本表情类别进行标注；ｂ） 第３３卷第１期２０１６年１月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３３Ｎｏ．１Ｊａｎ．２０１６
天津师范大学 本科毕业论文（设计）题目：中文阅读中信息提取时间的眼动研究 学院：教育学院 学生姓名：李佳桐 学号：04503029 专业：应用心理学 年级：2004级 完成日期：2008年5月10日 指导教师：闫国利
中文阅读中信息提取时间的眼动研究 摘要：本研究采用消失文本范式来研究中文阅读中需要多长时间提取足够信息进行正常阅读。研究共包括两个实验，实验二是在实验一的结果上进行进一步精确的研究。两个实验均采用单因素被试内实验设计。自变量为消失文本的延迟时间。因变量为句子的平均注视时间、平均眼跳距离、平均注视次数、总注视时间和阅读速度。结果发现：读者在中文阅读中一次注视最初的75ms即可获得足够的信息进行正常阅读。 关键词：消失文本双字词信息提取眼动中文阅读 Eye Movement Study on Information Acquisition Time in Chinese Reading Abstract : Disappearing text paradigm was used to investigate how early in a fixation reader were able to obtain sufficient information from the text to read. Two experiments were conducted in this study. Both the two experiments were a one factor within-subjects design. The independent variable was how long the fixated word was visible before it disappeared.The dependent variables were average fixation duration, average saccade length, average fixation count, total fixation duration and reading speed. The results were as follows: most of the information necessary for reading can be acquired within the initial 75ms during a fixation in Chinese reading. Key words: disappearing text; two-character words; information acquisition; eye movements; Chinese reading
表情识别技术综述 摘要：表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。 关键词：表情识别；特征提取；表情分类。 前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。 正文：一、面部表情识别的国内外研究情况 面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。 进入90年代，对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持。美国、日本、英国、德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。其中MIT的多媒体实验室的感知计算组、CMu、Ma州大学的计算机视觉实验室、Standford大学、日本城蹊大学、大阪大学、ArR研究所的贡献尤为突出。 国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。在1999年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。2003年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。国家“863”计划、“973”项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。 二、面部表情特征的提取方法 表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。 目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、独立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher线性判别法(Fisher’s Linear Discriminants，FLD)、局部特征分析(LoealFeatureAnalysis，LFA)、Fishe诞动法(Fisher^ctions)、隐马尔科夫模型法(HideMarkovModel，HMM)和聚类分析法。
人脸表情识别综述 一、人脸表情识别技术目前主要的应用领域包括人机交互、安全、机器人制造、医疗、通信和汽车领域等 二、1971年，心理学家Ekman与Friesen的研究最早提出人类有六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感，由愤怒（anger）、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成 人脸面部表情运动的描述方法---人脸运动编码系统FACS (Facial Action Coding System)，根据面部肌肉的类型和运动特征定义了基本形变单元AU（Action Unit），人脸面部的各种表情最终能分解对应到各个AU上来，分析表情特征信息，就是分析面部AU的变化情况 FACS有两个主要弱点：1.运动单元是纯粹的局部化的空间模板；2.没有时间描述信息，只是一个启发式信息 三、人脸表情识别的过程和方法 1、表情库的建立：目前，研究中比较常用的表情库主要有:美国CMU机器人研究所和心理学系共同建立的 Cohn-Kanade AU-Coded Facial Expression Image Database(简称CKACFEID)人脸表情数据库;日本ATR 建立的日本女性表情数据库(JAFFE)，它是研究亚洲人表情的重要测试库 2、表情识别: （1）图像获取:通过摄像头等图像捕捉工具获取静态图像或动态图像序列。 （2）图像预处理:图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。 →目的:改善图像质量，消除噪声，统一图像灰度值及尺寸，为后序特征提取和分类识别打好基础 主要工作→人脸表情识别子区域的分割以及表情图像的归一化处理(尺度归一和灰度归一) （3）特征提取:将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。 →特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等 1）采用几何特征进行特征提取主要是对人脸表情的显著特征,如眼睛、眉毛、嘴巴等的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行表情识别 优点：减少了输入数据量 缺点：丢失了一些重要的识别和分类信息，结果的精确性不高
不同面部表情的识别速度与识别准确性差异研究 一、引言速度—准确性权衡是关系到一切反应时实验信度的基本问题，下面我们将尝试通过一个简单的生活化的实验来展示任务速度和任务准确性之间普遍的权衡关系。在反应时实验中，当被试追求较快的速度时，必然要以牺牲准确性为代价。同样，当被试力求高的准确性时，也必然要以放慢速度为代价。在具体的实验中，被试究竟会如何权衡二者的关系，取决于很多因素。本实验主要探讨不同面部表情（痛苦、微笑、悲哀、快乐）识别速度与准确率是否存在显著差异。 实验假设：不同面部表情的识别速度与识别准确性存在差异 二、实验目的通过实验证明不同面部表情（痛苦、微笑、悲哀、快乐）的识别速度与识别准确性存在差异，本实验旨在研究不同面部表情的识别速度与识别准确性存在差异，通过自编的e-prime 实验程序对四十名被试进行施测。 三、实验仪器与材料 痛苦、微笑、悲哀、快乐的图片（均选自于标准的实验图片库）、电脑、e-prime 程序 四、实验设计 采用单因素完全随机化设计
自变量为不同面部表情、区分为（痛苦、微笑、悲哀、快乐）四种。每个小组只接受一种实验处理，只对一种表情做出反应。 因变量为反应时、准确率，分别是识别的准确率、以及被试对不同面部表情识别的反应时。 五、实验程序 （一）被试构成 采用简单随机抽样，在弘德楼随机选取了几个自习室，共选取了 40 个被试。男女各半，年龄为18-23 岁，随机分为四个小组。 （二）研究工具 在计算机上自编好e-prime 实验程序 （三）实验过程 （1）正式实验前被试要先进行几次类似练习，以熟悉按键反应。 （2）被试坐在电脑前，接受相同的指导语。其指导语为：“在接下 来的一段时间里你将继续进行此类题目的正式作答，请用心作答”。被试按键确认后即开始正式实验、期间不再中断休息。 （3）使用主试自编计算机视觉搜索程序，每帧呈现一副面部表情图 片，每幅图片呈现的间隔时间一致，随机播放图片。每种表情的图片都有10 张，每张呈现2 次，共呈现20 次，所有表情图片共呈现80 次。痛苦按 “1 ”键、微笑按“2”键、悲哀按“3”键、快乐按“4 ”键。 其中第1 小组只对痛苦做反应、2 小组只对微笑做反应、3 小组只对悲哀做反应、4 小组只对快乐做反应。每出现一幅图要求被试按对应的反应键，计算机自动记录反应时间和正确率。