第36卷第3期
计算机仿真2019年3月文章编号:1006-9348 (2019 )03-0453-05
基于E V M的心率检测在微表情识别中的应用
张树诚，王笑梅
(上海师范大学，上海200030)
摘要:随着谎言检测的深入探究，微表情识别研究得到了很大的关注，心率变化作为体现情绪变化的另一种形式，也可能对 微表情识别有一定的影响。研究目的是找寻心率变化和微表情的关系。利用欧拉视频放大算法，实现非接触式心率提取，并对目前已公开的微表情数据库CAS(MEK2数据进行分析。通过测录视频进行实验分析，提出的心率提取算法可得到 95%的准确率，对数据库数据进行心率检测的结果与表情数据进行对比，可以得到恐惧、愤怒、悲伤等情绪与心率变化存在一定关系。
关键词：欧拉视频放大算法;心率检测算法;微表情；自发微表情数据库
中图分类号:TP391.4 文献标识码：B
Application of Heart Rate Detection Based on EVM
in Micro-Expression Recognition
ZHANG Shu-cheng，WANG Xiao-mei
(Shanghai Normal University, Shanghai 200030, China)
A B S T R A C T：With the deep exploration of l i e s detection,micro - expression recognition research has been a great
concern.The changes of heart rate as a manifestation of emotional changes in another form may also have a certain impact on micro-expression recognition.The purpose of t h i s paper i s t o find the relationship between heartbeat and micro-expression.W e use Euler video amplification algorithm t o achieve non-contact heart r a t e extraction, and ana-lyze the data in micro-expression database CAS (M E) A2 which has been published currently.By recording videos
f o r experimental analysis, the r e s u l t of non-contact heart r a t e extraction can obtain 95% accuracy.And comparing
the heart r a t e results and the expression data in the database, we can get t hat there i s a certain relationship between the emotions which are fear, anger and sadness with the changes of heart rates.
K E Y W O R D S：E V M；Heart-rate detected ；Micro-expression ；C A S(M E)^2
l引言
微表情是个人试图隐藏真实情绪时出现的快速和简短 的表达n，2]。与正常表情相比,微表情的瞬时性使得即使受 过专业培训的专家，通过用肉眼来逐帧观察，也只能达到 47%的准确率[3]。E k m a n首先发现了微表情,他在审査一个 心理病人的视频时，发现一个隐藏在微笑中的短暂的悲伤表 情，以此掩饰自杀的企图。自此，微表情研究受到了越来越 多的关注,Ekm a n甚至声称微表情可能是研究谎言检测最有 突破的方向[2]。作为传统的谎言检测系统，广泛运用的是测 谎仪,它可以监测在受试者说谎时，心率和皮肤电位信号不 由自主的变化，但这种方法会使受试者受到接触性干扰。因此，自动和准确的微表情识别系统对解决谎言检测问题很有 帮助。
收稿日期:2017-10-30修回日期:2017-12-18
目前，微表情识别已有一定的成果，如有：Simgsoo Park 等人结合放大特征点运动矢量与主动外观模型（AAM)的特 征提取法[4]$31^111Krishna等人结合欧拉视频放大算法(EVM)与定向梯度的直方图（H O G)的特征提取法[5];B.M. S.BaharTalukder等人基于自发微表情数据库（SM1C)和 MMI面部表情数据库、结合欧拉视频放大算法（EVM)和局 部二值模式-三正交平面（LBP-TO P)的特征提取法[6];0h 等人基于中科院自发微表情数据库（CASME D )、结合欧拉 视频放大算法（EVM)和局部二值模式-三正交平面（LBP- T0P)的特征提取法⑴；Elham Zarezadeh等人基于自发微表 情数据库（SMIC)和CA SM E数据库、结合欧拉视频放大算法 (EVM)和特征面法的特征提取法等[8]。
然而，目前的研究现状都是基于运动放大技术的基础上 研究微表情识别,类比于测谎仪的功能，本文试图从心率的 角度研究为表情识别技术。为此，在将微表情和心率的检测
—453 —
微表情研究及其应用 微表情：是一种持续时间仅为0.04秒至0.2秒的非常快速的表情，表达了人试图压抑与隐藏的真正情感。 【关键词】微表情撒谎微表情识别微表情表达 【作者简介】吴奇，申寻兵，中国科学院心理研究所，脑与认知国家重点实验室，中国科学院研究生院；傅小兰，~~~ 【原文出处】《心理科学进展》 表情是人类表达自身情感信息的重要非言语性行为，可视为人类心理活动的晴雨计。人类对于面部表情的研究已经非常丰富，但关注的都是人得的普通表情。然而，人除了有普通表情，还存在着两种常常难以被人察觉的表情：一种是弱表情，其强度非常低；另一种是微表情，其持续时间非常短。由于微表情与撒谎的关系密切，微表情近来备受科学界和新闻界的关注。 Haggard和isaacs率先发现微表情，认为微表情与自我防御机制有关，表达了被压抑的情绪。他们的研究当时并未引起其他研究着的重视。因一个偶然的机会，ekmen和friesen也独立地发现了微表情。Haggard and isaacs found the micro expression, think of the expression and the self defense mechanisms, and express the repressed emotions. Their research was not cause other research the attention. For an accidental opportunity, ekmen and friesen also independently discovered the expression. 微表情研究的早期阶段, 研究者们都在关注构造有 效测量微表情识别能力的工具。The expression of the research early stage, the researchers are focusing on structural effective measuring the expression recognition ability of tools.2002 年, 微表情识别领域取得了重大进展, Ekman 研制出第一个微表情训练工具(Micro Expression Training Tool, METT)。In 2002, the Expression identification field has made a great progress, and Ekman developed the first a Expression Training tools (Micro Expression Training Tool, METT) 该工具包含前测(pretest)、训练(training)、练习(practice)、复习(review)与后测(posttest)5 个部
教科学院2010年度学生课外科技基金立项项目(本科生 序号项目名称负责人班级参与人指导教师 立项 等级 1 基于泄漏扩散模型的危化品港口装卸危险度分析与应急对策研究赵颖安工070 2 裘玲玲曹飞叶铭俞光琪孙莉 A 2 基于Eigenfaces和Java JINI的人脸识别系统袁其文教技0702 赵捷、倪家麒、孟安刘豫钧 A 3 半自动小型4轴无线数字控制飞行器设计与实现沈嘉棋机师0801 陈丹晓马苏婷李浩君 A 4 关于新型复合材料(复合管安全系数指标及建立初步安全生产管理 体系的研究报告 陈骁飞安工0702 魏雷涛项箫舟周俊杰黄漪曹志锡 A 5 基于流媒体技术的网络远程教学系统设计与开发余海犇教技0801 沈嘉琪,房邵敏王永固 A 6 基于移动终端的多功能系列学生机F-S软件设计林莎慧教技0701 许可王加腾沈嘉棋李浩君 A 7 基于Fourier变换的警用指纹图像的纹理比对算法研究王哲海计算机0901 白洪柳黄亚平 A 8 幼儿益智教育软件的设计与开发卢超晴教技0802 毛莹莹沈刚王干王永固 A
9 危险化学品运输中人因可靠性研究叶铭安工0702 俞光琪黄堃张凯徐航剑孙莉 A 10 中职学校实验教学评估体系研究与实践佘文锦电师0801 齐炜成,周武君,侯晓晨孙国良 A 11 中职学校“订单式”人才培养模式研究吴原骅机师0801 黄其豪杨梁王学斌徐佳 A 12 某散装危险化学品港口新区建设危险源辨识与规划研究杨新宇安工09 罗其辉叶锋阮泽星杨钢杰孙莉 A 13 大学生学业与职业规划模拟系统的设计与开发袁燕招教技0802 谢雨晨许航蒋委军王永固 A 14 基于Windows Mobile操作系统的“学习伴侣”助学软件设计与实现黄涛教技0701 倪奔奔沈忱李浩君 A 15 基于virtools的英语教育游戏软件设计与开发白洪柳教技0701 黄涛刘孝安罗宇翔黄亚平 A 16 毕业生就业管理系统张勇计算机0902 赵鹏、陈凯迪严萍 B 17 基于移动终端的多功能教师教学辅助软件MINI-T研发许可教技0701 林莎慧王加藤沈嘉棋李浩君 B 18 小区智能化信息管理软件的设计和开发陶黎栋计算机0902 吴晓亮、邹富强、王景欣刘豫均 B 19 移动式学习自律软件设计与实现倪奔奔教技0701 黄涛沈忱余海犇李浩君 B 20 3-6岁儿童智力训练软件的设计与开发刘孝安教技0702 倪家麒、洪矫侨、李丹涛黄亚平 B
《微表情识别读脸读心》2019期末考试题与答 案 一、单选题（题数：40，共40.0 分） 1安慰反应的形态意义哪一项描述是错误的?() A、视线转移,频繁眨眼,闭眼(视觉安慰);轻哼,吹口哨,吁气(听觉安慰) B、舔嘴唇,磨牙,咀嚼,吞咽,吸烟; (口部安慰) C、挠头皮,玩头发,搓脖子;摸脸、额头、鼻子、耳朵、嘴、下巴;捂住锁骨,拍胸口,按摩腹部; 松领带、领口,玩项链、耳环等;搓手,玩手指; 抖腿等(肌肤安慰) D、身体约束僵住 答案：D 2关于这场猜测锁匙位置的测试哪一项描述是错误的?() A、李博士将锁匙放在6墙-8行-8列却在卡片上写6墙-8行-9列是动用了反测试策略 B、这种反测试策略的核心就就是强化不真实遗忘真实
C、这种反测试策略属于意识转移类的精神反测试 D、李博士反测试没有获得成功 答案：D 3关于辨析情绪的意义哪一项描述是错误的?() A、排除了干扰因素才能锁定刺激与情绪反应的因果联系 B、行为痕迹特征不能与说谎直接划等号 C、科学识别应该是找到差异点 D、回应刺激时视线向左表示回忆,视线向右表示编造 答案：D 4关于松明猜测硬币藏匿手的测试哪一项描述是错误的?() A、王力宏上台即双手叉腰或抱胸是紧张的对抗反应 B、询问喜欢的颜色及血型的用意是找回答真实的基线反应 C、一般而言人们习惯于多用或首先使用顺手 D、使用顺手是不自信的表现 答案：D
5逃离反应的形态意义哪一项描述是错误的?() A、吓了一跳、后退、头、身体、脚转向一边 B、深吸气,脸色发白,全身发冷,腿发颤 C、视线转移,坐姿、站姿角度扭转 D、面孔、肢体靠近刺激源 答案：D 6关于表达者表达解析哪一项描述是正确的?() A、疏忽几个表情动作的观察不影响准确判断其真实内心 B、是准确认识表达者内心的基础和前提 C、只要盯着其眼动反应就能准确判断其真实内心 D、只要关注其情绪与事件性质是否一致就能准确判断其真实内心 答案：B 7微表情是指持续时间多长的表情?() A、1/2秒 B、不足1/5秒
微表情及肢体语言的奥秘 微表情介绍 微表情，是内心流露与掩饰，是心理学名词。“微表情”最短可持续1/25秒，虽然一个下意识的表情可能只持续一瞬间，但这是种烦人的特性，很容易暴露情绪。通过研究微表情可以判断一些更加准确的信息 人的脸部可以传达信息，是一种信息传输器，人们无意识的表情会无法控制的表现在面部，“微表情”一闪而过，通常甚至清醒的作表情的人和观察者都察觉不到。比起人们有意识做出的表情，“微表情”更能体现人们真实的感受和动机。 肢体语言介绍 肢体语言，是指由身体的各种动作代替语言本身来表情达意的一种特殊语言。通俗讲是指通过头、眼、颈、手、肘、臂、身、胯、腿、足等人体部位的协调活动向交流对象传达信息，借表情达意的一种沟通方式。不同的肢体语言在不同情况下所传达的不同心理意义。 前人研究状况 微表情这一概念最早由美国心理学家保罗·埃克曼在1969年提出。当时，一个名叫玛丽的重度抑郁症患者告诉主治医生，想要回家看看自己的剑兰和花猫。提出请求的时候，她显得神情愉悦而放松，
不时地眯起眼睛微笑，摆出一副撒娇的模样。令人震惊的是，玛丽在回家之后，尝试了3种方法自杀，结果未遂。 事后，埃克曼将当时的视频反复播放，用慢镜头仔细检视，突然在两帧图像之间看到了一个稍纵即逝的表情，那是一个生动又强烈的极度痛苦的表情，只持续了不到1/15秒。后来，埃克曼将其称为“微表情”。 1978年，埃克曼发布了面部动作编码系统。在这一系统中，人脸部的肌肉有43块，可以组合出1万多种表情，其中3000种具有情感意义。埃克曼根据人脸解剖学特点，将其划分成若干相互独立又相互联系的运动单元。分析这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情，就能得出面部表情的标准运动。2002年，这个系统进行了一次升级，对表情的捕捉准确率达到了90%。 研究内容 现阶段中学生研究本课题可以研究微表情在现实生活中的应用，一些微表情和肢体语言的含义及在生活中的发现与理解。 现实生活中的应用 在社会层面，目前针对微表情的研究已经应用到各个领域。在国家安全领域，有些训练有素的危险人物可能轻易就通过测谎仪的检测，但是专业人员可以通过微表情通过微表情，发现他们
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910285839.7 (22)申请日 2019.04.10 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 王中元 王光成 肖晶 何政 (74)专利代理机构 武汉科皓知识产权代理事务 所(特殊普通合伙) 42222 代理人 魏波 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于微表情识别的伪装人脸检测方法 (57)摘要 本发明针对伪装人脸识别的问题，公开了一 种基于微表情识别的伪装人脸检测方法，首先采 集不同情境和不同摄像环境下的伪装与真实人 脸的微表情视频序列，再通过基于卷积神经网络 (CNN)和长短记忆模块(LSTM)的微表情识别模型 对伪装和真实人脸的微表情序列进行特征提取， 并引入微表情熵和皮尔逊系数来分析二者微表 情特征空间的差异，接着采用K -means聚类方法 对不同情境下和不同视觉质量的伪装与真实人 脸的微表情特征空间进行聚类；最后构建伪装和 真实人脸的微表情特征差异分析模型并进行伪 装人脸检测。与现有人脸活体检测技术相比，本 发明能够有效识别高仿人脸面膜伪装和面部化 妆伪装。权利要求书2页 说明书4页 附图2页CN 110084152 A 2019.08.02 C N 110084152 A
1.一种基于微表情识别的伪装人脸检测方法，其特征在于，包括以下步骤： 步骤1：采集伪装和真实人脸在不同情境和不同摄像环境下产生的微表情视频序列，包括高兴、惊讶、悲伤、愤怒、厌恶和恐惧等六种基本微表情； 步骤2：利用一种基于CNN和LSTM的微表情识别网络来提取微表情特征，通过微表情熵和皮尔逊相关系数来量化真实人脸和伪装人脸微表情特征空间的差异； 步骤3：利用K -means聚类方法对不同情境和不同视觉质量的伪装和真实人脸的微表情特征空间进行聚类，分析不同情境和不同视觉质量对伪装与真实人脸微表情区别显著性的影响； 步骤4：构建伪装和真实人脸的微表情特征差异分析模型； 微表情由构成微表情的微动作组成，真实人脸的面部微动作丰富且细腻，伪装人脸的面部微动作呆板且稀疏以至于表达能力有限；当微动作稀疏到预定程度时，伪装人脸就只存在一种表情，此时不存在微表情； 步骤5：根据所述伪装和真实人脸的微表情特征差异分析模型进行伪装人脸检测。 2.根据权利要求1所述的基于微表情识别的伪装人脸检测方法，其特征在于：步骤1中，采用诱发式的方法来采集微表情视频序列。 3.根据权利要求1所述的基于微表情识别的伪装人脸检测方法，其特征在于，步骤2的具体实现包括以下子步骤： 步骤2.1：采用基于CNN和LSTM的微表情识别方法来提取伪装和真实人脸的微表情特征； 通过CNN提取将每个微表情帧编码成特征向量；将CNN提取的特征向量通过LSTM得到最终包括时空特性的微表情特征；所提取的特征为softmax层之前的长度为128的一维向量； 步骤2.2：通过微表情熵的数值大小来辨识真实和伪装人脸；微表情熵的计算方式如 下： 其中，p i 步骤2.1中提取的微表情特征值，n＝128表示提取的一维特征空间的长度；当微表情空间包含的面部微动作越复杂时微表情熵的值越大，反之微表情熵越小代表微表情空间的微动作越稀疏； 步骤2.3：通过皮尔逊相关系数预测伪装和真实人脸微表情特征空间的相关性；皮尔逊 相关系数的计算方式如下： 其中，X和Y分别代表两组微表情特征空间， 和分别表示两组向量X和Y的均值；ρ范围为-1到+1，0代表无相关性，负值为负相关，正值为正相关；当两组微表情特征空间都为真实或伪装人脸微表情特征空间时，ρ值越接近1；当两组微表情特征空间分别为真实和伪装人脸微表情特征空间时，ρ值越小。 4.根据权利要求1所述的基于微表情识别的伪装人脸检测方法，其特征在于，步骤3的具体实现包括以下子步骤： 权 利 要 求 书1/2页2CN 110084152 A
2019年微表情识别-读脸读心最新满分考试答案 一、单选题（题数：40，共 40.0 分） 1.愉悦的识别要点包括的表情形态和意义，以下错误的是？（）A A.瞪眼 B.咧嘴 C.嘴角上扬 D.超乎预期的满足和开心 2. 微表情是指持续时间多长的表情?() B A、1/2秒 B、不足1/5秒 C、5秒 D、以上都不对 3. 关于猜测选放的墙的测试哪一项描述是错误的?()B A、李博士回应天蝎座,b型血、警号3867问题时目光低视,摇头说我不知道是控制的对抗反应 B、在听到十八岁那年考上了海洋大学出现快速眨眼,点头是思考比对时的真实反应 C、在听到这成为了您神探之路的起点时出现连连点头是高度认同的下意识反应 D、人在接受有效刺激时也能完全控制自己的情绪反应 4. 冻结反应的形态意义哪一项描述是错误的?()D A、面部的惊讶 B、肢体的约束 C、呼吸的控制 D、肢体冰冷 5. 有意控制的动作的形态意义哪一项描述是错误的?()D A、可以出现在面部表情 B、可以出现在身体动作 C、可以出现在站姿或坐姿 D、可以控制出汗或面部颜色 6. 国内探索微表情应用研究的实战机构不包括哪些？（）D A、公安机构 B、检察机构
C、安全机构 D、环保机构 7. 反应性行为的形态意义哪一项描述是错误的?() D A、包括副语言行为 B、包括头部反应 C、是难以自主控制的生理反应 D、是可以自主控制的生理反应 8. 关于表达者表达解析哪一项描述是正确的?() B A、疏忽几个表情动作的观察不影响准确判断其真实内心 B、是准确认识表达者内心的基础和前提 C、只要盯着其眼动反应就能准确判断其真实内心 D、只要关注其情绪与事件性质是否一致就能准确判断其真实内心 9. 爱恨反应的形态意义哪一项描述是错误的?() D A、爱的时候会主动亲近对方 B、恨的时候会主动拉开距离 C、身体间的距离,可以体现出人和人之间的心理距离 D、人的内心的喜爱与厌恶是不能从表情动作中表达出来的 10. 保罗·埃克曼研究的微表情主要在哪个领域?() C A、身体动作 B、副语言 C、面部表情 D、以上都不对 11. 仰视反应的形态意义哪一项描述是错误的?() D A、头和肢体向上是正仰视反应 B、头和肢体向下是负仰视反应 C、有身份地位差异的握手是正或负仰视反应的体现 D、头和肢体远离刺激源 12. 关于松明猜测硬币藏匿手的测试哪一项描述是错误的?()D A、王力宏上台即双手叉腰或抱胸是紧张的对抗反应
如何利用微表情辨识真实情绪？ 一、微表情与人的沟通 人的沟通方式有两种，一种是言语的沟通，比如面对面的谈话，发信息等；另一种是非言语的沟通，主要通过人的表情、姿态、语气语调等进行。有人做过统计，在人与人的沟通 交流中，表情的作用占了55%。可见表情对于我们表达自身情感信息的对非言语性行为是 非常重要的，可视为人类心理活动的晴雨表。关于人类表情的研究可以追溯到进化论之父达 尔文，除了《物种起源》之外，他还写过一本书《人与动物的表情》。时至今日，我们对表 情的研究已经非常丰富，比如确定了人类的六大基本表情，高兴、厌恶、愤怒、恐惧、悲伤、惊讶。之所以称之为人类基本表情，是因为这几种表情具有跨种族的一致性，甚至在我们的近亲黑猩猩身上也能看到。而近些年来，关于表情最惊喜的发现莫过于心理学家们发现微表 情的存在。 人类的微表情
一个偶然的机会，美国心理学家艾克曼（Ekman）和弗里森（Friesen）（1969）受一位精神病学家的委托，对一段抑郁症患者撒谎以掩盖其自杀意图的录像进行检测。然而，艾克曼和弗里森起初并未从这段视频中发现该患者有任何异常表现：该患者显得很乐观，笑得很多，表面上没有表现出任何企图自杀的迹象。但当对该录像进行慢速播放并逐帧进行检查 时，他们发现在回答一声提出的关于未来计划的问题时，该患者出现了一个强烈的痛苦的表情。这个表情持续时间仅为1/12秒，二人称之为微表情。 微表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表 情。它与普通表情的区别在于，微表情持续时间很短，仅为1/25秒至1/5秒。因此，大多 数人往往难以觉察到它的存在。这种快速出现不易被察觉的面部表情被认为与自我防御机制 有关，表达了被压抑的情绪。微表情既可能包含普通表情的全部肌肉动作，也可能只包含普通表情肌肉动作的一部分，它是一种自发性的表情动作，表达了六大基本表情。 由于微表情能够表达被压抑掩藏的真实的情绪，因此往往被视为很好的谎言识别的有效 线索。不过微表情的产生与识别心理与神经机制尚不可知，而且微表情出现的频率比较低， 普通人对微表情的识别能力也不高，工欲善其事必先利其器，开发一套微表情识别系统，对开展研究微表情是非常必要的。 二、微表情识别系统 目前，国际上有几个科研团队正在开展对微表情的研究：美国的艾克曼（Paul Ekman）团队、松本（Matsumoto）团队和谢里夫（Shreve）团队，加拿大的波特（Porter）团队和李康团队，日本的Polikovsky团队，芬兰的赵国英团队，以及中国科学研究院心理所的傅 小兰团队。其中，Ekman团队是开展微表情研究的主要力量，不过他们的研究大多是保密 的，未公开发表。 而国际上目前主要用于微表情识别和研究的测验主要有：短暂表情识别测验（Brief Affect Recognition Test，BART）、日本人与高加索人短暂表情识别测验（Japaneseand Caucasian Brief Affect Recognition Test,JACBART）这两种测验是以往的用来考察人们微 表情识别能力的测验。2002年，艾克曼（Ekman）开发了微表情识别训练工具（Micro Expression Training Tool，METT）。研究结果指出，经过METT训练过的人的微表情识别 能力有明显提高。
1.1 微表情涵义·由来 1 【单选题】微表情是指持续时间多长的表情?()B ?A、1/2秒 ?B、不足1/5秒 ?C、5秒 ?D、以上都不对 2 【多选题】下面哪些描述符合微表情的特征?()ABCD ?A、时间不足1/5秒 ?B、受到有效刺激后的反应 ?C、不由自主地表现出来 ?D、表达心的真实情感 3 【判断题】表情是表现在面部或姿态上的情感信息。()正确 1.2 保罗·埃克曼的贡献 1 【单选题】保罗·埃克曼研究的微表情主要在哪个领域?()C ?A、身体动作 ?B、副语言 ?C、面部表情 ?D、以上都不对 2 【多选题】保罗·埃克曼研究微表情的主要贡献有哪些?()ABCD ?A、完成面部表情编码 ?B、编撰并发布FACS—AU教程 ?C、研发微表情训练工具(Meet) ?D、人际欺骗研究 3
【判断题】独立发现并深入研究微表情的学者是保罗·埃克曼。()错误 1.3 国·应用研究概况 1 【单选题】 国探索微表情应用研究的实战机构不包括哪些？（）D ?A、公安机构 ?B、检察机构 ?C、安全机构 ?D、环保机构 2 【判断题】 受到lie to me 传播的影响国业界开始关注并研究微表情。()正确 3 【判断题】 国研究微表情的专业团队主要有中科院心理研究所傅小兰团队、中国人民政法大学姜振宇团队和政法学院海鹰团队。（）正确 1.4 教学模式·教学环节 1 【单选题】微表情识别读脸读心课程宜采用哪种教学模式?()D ?A、理论讲授式 ?B、实操训练式 ?C、案例观摩式 ?D、A+B+C 2 【多选题】微表情识别读脸读心课程的教学模式包括哪些教学环节?()ABC
微表情及肢体语言得奥秘 微表情介绍 微表情,就是内心流露与掩饰,就是心理学名词。“微表情”最短可持续1/25秒,虽然一个下意识得表情可能只持续一瞬间,但这就是种烦人得特性,很容易暴露情绪。通过研究微表情可以判断一些更加准确得信息 人得脸部可以传达信息,就是一种信息传输器,人们无意识得表情会无法控制得表现在面部, “微表情”一闪而过,通常甚至清醒得作表情得人与观察者都察觉不到。比起人们有意识做出得表情,“微表情”更能体现人们真实得感受与动机。 肢体语言介绍 肢体语言,就是指由身体得各种动作代替语言本身来表情达意得一种特殊语言。通俗讲就是指通过头、眼、颈、手、肘、臂、身、胯、腿、足等人体部位得协调活动向交流对象传达信息,借表情达意得一种沟通方式。不同得肢体语言在不同情况下所传达得不同心理意义。前人研究状况 微表情这一概念最早由美国心理学家保罗·埃克曼在1969年提出。当时,一个名叫玛丽得重度抑郁症患者告诉主治医生,想要回家瞧瞧自己得剑兰与花猫。提出请求得时候,她显得神情愉悦而放松,不时地眯起眼睛微笑,摆出一副撒娇得模样。令人震惊得就是,玛丽在回家之后,尝试了3种方法自杀,结果未遂。
事后,埃克曼将当时得视频反复播放,用慢镜头仔细检视,突然在两帧图像之间瞧到了一个稍纵即逝得表情,那就是一个生动又强烈得极度痛苦得表情,只持续了不到1/15秒。后来,埃克曼将其称为“微表情”。 1978年,埃克曼发布了面部动作编码系统。在这一系统中,人脸部得肌肉有43块,可以组合出1万多种表情,其中3000种具有情感意义。埃克曼根据人脸解剖学特点,将其划分成若干相互独立又相互联系得运动单元。分析这些运动单元得运动特征及其所控制得主要区域以及与之相关得表情,就能得出面部表情得标准运动。2002年,这个系统进行了一次升级,对表情得捕捉准确率达到了90%。 研究内容 现阶段中学生研究本课题可以研究微表情在现实生活中得应用,一些微表情与肢体语言得含义及在生活中得发现与理解。 现实生活中得应用 在社会层面,目前针对微表情得研究已经应用到各个领域。在国家安全领域,有些训练有素得危险人物可能轻易就通过测谎仪得检测,但就是专业人员可以通过微表情通过微表情,发现她们内心得真实想法;在医学临床领域,精神分裂症患者可以从METT训练中受益,使得她们得微表情识别恢复到正常。 生活中得微表情及肢体语言 一、说谎与隐瞒
微表情应用在些方面[微表情研究及其应用] 心理科学进展 xx, Vol. 18, No. 9, 1359–1368 Advances in Psychological Science 微表情研究及其应用* 吴奇1,2 申寻兵1,2 傅小兰1 (1中国科学院心理研究所; 脑与认知国家重点实验室, 北京100101) (2中国科学院研究生院, 北京 100049) 摘要微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情, 表达了人试图压抑与隐藏的真正情感。本文系统梳理已公开发表的微表情实证研究报告, 对注重于测量微表情识别能力的早期研究、目前基于微表情训练工具(METT)的微表情识别应用研究以及刚刚萌芽的微表情表达研究进行总结分析, 明确指出以往研究中存在的问题, 建议未来研究应探讨METT 在不同文化中的有效性, 研究微表情表达的基本特点和主要影响因素, 并注重发展自动化的微表情识别工具。本文提出, 基于微表情的自动谎言识别系统将是微表情研究未来的应用方向之一。关键词微表情; 撒谎; 微表情识别; 微表情表达分类号 B842.6
1 引言 表情是人类表达自身情感信息的重要非言语 __, 可视为人类心 理活动的晴雨计。达尔文于1872年出版了著名的《人与动物的表情》(The Expression of Emotions in Man and Animals), 人类对面部表情的系统研究从此拉开了序幕。时至今日, 人类对于面部表情的研究已经非常丰富, 但关注的都是人的普通表情(Ekman & Rosenberg, xx) 。然而, 人除了有普通表情, 还存在着两种常常难以被人觉察的表情: 一种是弱表情(subtle expression), 其强度非常低; 另一种是微表情(microexpression), 其持续时间非常短(Ekman, xx) 。由于微表情与撒谎的关系密切(Ekman, xx, xx; Ekman & Sullivan, xx), 微表情近年来备受科学界(如Schubert, xx)和新闻界(如Henig, xx)的关注。 本文介绍微表情的性质, 系统梳理已公开发表的微表情实证研究报告, 从注重测量微表情识别能力的早期研究、目前基于METT 的微表情识别应用研究以及刚萌芽的微表情表达研究三个方面总结和分 析微表情的研究现状, 指出研究中存在的问题, 并对未来研究和应 用提出具体 : xx-03-31 * 中国科技部973项目(xxCB303101)和国家自然科学基金项目(90820305)支持。
图像处理与模式识别 ------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。 本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。 关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important means that we communicate and express the special training, People often difficult to conceal their facial , by the analyzing facial expression, we can obtain important information. Facial expression recognition is an important component that the implementation of human-computer interaction, and an important research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial
有关微表情研究缺陷的文献综述 摘要：本文通过对微表情以及微情绪识别，表达等方面研究成果的介绍，以此来了解微情绪研究现状，并对微表情研究中的不足以及研究方向及应用进行阐述。 关键词：微表情微表情识别微表情表达 一，微表情的相关概念 微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情, 表达了人试图压抑与隐藏的真正情感。微表情与普通表情有所不同, 它是一种非常快速的表情, 持续时间仅为1/25秒至1/5秒因此, 大多数人往往难以觉察到它的存在。 Haggard和Isaacs 在1966年率先发现微表情, 因一个偶然的机会, 在1969年Ekman和Friesen 也独立地发现了微表情。他俩对一段抑郁症患者撒谎以掩盖其自杀意图的录像进行检测。起初并未从这段视频中发现该患者有任何异常表现: 该患者显得很乐观, 笑得很多, 表面上没有表现出任何企图自杀的迹象。但当对该录像进行慢速播放并逐帧进行检查时, 他们发现: 在回答医生提出的关于未来计划的问题时, 该患者出现了一个强烈的痛苦的表情。在整段视频中, 这个表情只占据了两帧的画面, 持续时间仅为1/12秒。Ekman和Friesen称之为微表情。 二，微表情的相关研究 根据目前公开发表的资料, 微表情研究可总结为早期的微表情识别研究、微表情识别的应用研究、微表情表达的研究三部分。 微表情识别：Elman和Friesen 研制了短暂表情识别测验，Ekman和Sullivan 利用该测验研究了微表情识别能力和谎言识别准确性的关系, 结果表明, 被试在BART测验中的得分与他们在谎言识别测验中的成绩呈显著正相关。但是, 以快速呈现表情图片的方式来测量微表情识别能力的方法缺乏生态学效度。在这种测验中, “微表情”是孤立出现的; 但在现实中, 微表情的出现前后却伴随着其他表情。另外, 快速呈现表情图像还存在图像后效问题, 而这将延长被试对刺激的知觉加工时间。因此, Ekman 研制了一个新的微表情识别能力测验, 即“日本人与高加索人短暂表情识别测验” 微表情识别工具：2002年, 微表情识别领域取得了重大进展, Ekman研制出第一个微表情训练工具(Micro Expression Training Tool, METT)。该工具包含前测、训练、练习、复习与后测(posttest)5个部分。其前测程序测量未受训练情况下人的微表情识别能力。其训练、练习与复习三个部分构成METT的训练程序: 在训练部分, Ekman用视频方式讲授识别微表情的要点; 在练习部分, 被试练习使用在训练部分学习到的技巧对微表情进行识别; 在复习部分, 被试进一步巩固学习到的技巧。后测程序使用了与前测不同的数据集, 以测量被试接受训练后的微表情识别能力。前测成绩和后测成绩的差异, 反映了被试微表情识别能力的变化。 Russell, Elvina和Mary 率先在临床领域进行了与微表情识别有关的研究, 考察了METT 训练程序对精神分裂症患者情绪识别能力与微表情识别能力的影响。Russell, Green, Simpson 和Coltheart 对上述研究进一步扩展和深化, 利用眼动技术探讨了METT训练之所以能提高精神分裂症患者情绪识别能力的原因。 除了研究精神分裂症, 研究者还将微表情识别拓展到不同领域的研究。在谎言识别研究领域, 在探究谎言识别时哪些线索是可利用的有效线索这个问题时, 该研究结果提示, 判别情绪性谎言时, 弱表情可能是比微表情更有效的线索；在国家安全领域, 研究METT训练适用于不同职业人群的有效程度, 以及METT训练效果的迁移问题时。他们发现, 从事安全工作的专业人士和普通民众在微表情识别能力上没有差别, 在微表情识别能力上也不存在性别差异; 该研究首次探索了METT训练的迁移作用, 表明METT训练程序确实提高了人识别微表情的能力, 有助于推进微表情识别的实际应用。
微表情涵义·由来 1 【单选题】微表情是指持续时间多长的表情?()B A、1/2秒 B、不足1/5秒 C、5秒 D、以上都不对 2 【多选题】下面哪些描述符合微表情的特征?()ABCD A、时间不足1/5秒 B、受到有效刺激后的反应 C、不由自主地表现出来 D、表达内心的真实情感 3 【判断题】表情是表现在面部或姿态上的情感信息。()正确 保罗·埃克曼的贡献 1 【单选题】保罗·埃克曼研究的微表情主要在哪个领域?()C A、身体动作 B、副语言 C、面部表情 D、以上都不对 2 【多选题】保罗·埃克曼研究微表情的主要贡献有哪些?()ABCD A、完成面部表情编码 B、编撰并发布FACS—AU教程 C、研发微表情训练工具(Meet) D、人际欺骗研究 3
【判断题】独立发现并深入研究微表情的学者是保罗·埃克曼。()错误 国内·应用研究概况 1 【单选题】 国内探索微表情应用研究的实战机构不包括哪些？（）D A、公安机构 B、检察机构 C、安全机构 D、环保机构 2 【判断题】 受到lie to me 传播的影响国内业界开始关注并研究微表情。()正确 3 【判断题】 国内研究微表情的专业团队主要有中科院心理研究所傅小兰团队、中国人民政法大学姜振宇团队和上海政法学院范海鹰团队。（）正确 教学模式·教学环节 1 【单选题】微表情识别读脸读心课程宜采用哪种教学模式?()D A、理论讲授式 B、实操训练式 C、案例观摩式 D、A+B+C 2 【多选题】微表情识别读脸读心课程的教学模式包括哪些教学环节?()ABC
A、理论讲授 B、案例教学 C、实操训练 D、以上都不对 3 【判断题】微表情识别读脸读心是一本应用技术类课程。()正确 案例教学1：《非常了得·我是飞机调度员》 1 【多选题】影响误判事件为假的主要影响因素是什么?()BD A、所提问题不够有效 B、观察者先入为主的经验带入 C、扮演者说到飞机晚点时出现的羞愧 D、回应印象最深刻的一次调度有多麻烦时的回避 实操训练1：《真真假假·我曾喝过将军泡的茶》 1 【多选题】支持判断事件为假的表情动作有哪些?()ABCD A、讲述主题时眼睛向左瞟,而在讲述事件过程时眼睛有几次向右瞟。 B、讲述事件过程时出现左手揪裤子动作,讲完后有个明显的吞咽动作。 C、讲到坐着有3个人、我坐在边上时眼睛向右瞟,而在回应宿舍住在哪个 位置时眼睛向左瞟。 D、回应喝的茶是什么颜色的问题时说茶,绿色吧(不肯定) 微表情产生原理 1 【单选题】埃克曼认为在人类情绪产生及表达过程中起着重要作用的是?()B A、有用的联合性习惯原理 B、大脑中的自动评估系统群 C、对立原理 D、神经系统直接作用原理 2 【多选题】微表情产生的可能机制包括哪些环节?()ABCD
近年来，微表情越来越引起国内研究者的广泛关注和兴趣，尤其是在司法实践领域。 一、微表情的概念 人类测谎专家、微表情研究专家Ekman 早期认为“微表情（microexpression ）是指极大地压缩了正常表现时间的完整的情绪性表情，尽管它完整地表现于脸上，但持续的时间仅止于一瞬，快到让人难以察觉。”[1]随着不断深入研究，Ekman 等(Ekman, 2003,2009;Ekman &Sullivan,2006)发现,“微表情既可 能包含普通表情的全部肌肉动作,也可能只包含普通表情肌肉动作的一部分;它往往在人撒谎时出现,表达了人试图压抑与隐藏的真正情感;它是一种自发性的表情动作,表达了六大基本表情。”也有人认为“微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情，表达了人试图压抑与隐藏的真正情感”。[2] 以上观点认为，微表情是指表现在“面部”的非常快速、转瞬即逝的“肌肉运动（动作）”，具有完整性或局部性。笔者以为这仅是一种狭义的微表情（“面部微表情”或“面部微动作”），还存在一种广义的解释，即微表情是一种“情绪微表达”。完整理解微表情，首先需了解“表情”和“微”含义。 “表情”在汉语词典中的解释为：表达感情、情意；表现在面部或姿态上的思想情感等。英文词典中“表情（expression ）”的解释：表现、表示、表达；表情、脸色、态度、腔调、声调等。因此“表情”可能是通过面 部、身体姿态表达某些思想情感、感情和情意，并非单指“面部肌肉动作”，还包括肢体、声音等。 在表情的研究史中，“表情”一词较早出于1872年达尔文的名著《人类和动物的表情》(The Expression of Emotions in Man and Animals)，此处的“expression ”被译为“表情”，这就造成部分国内研究 者时常将其狭义地理解为“面部表情”，词义缩小，认识产生了误区。该书名也有被翻译为《人类和动物的情绪表达》以及《人类和动物的情感》等，从其主要描述的情绪下动物的声调、姿势、人的面部表情、肢体动作、语调等内容来看，实际阐述的是“情绪表达”或“情绪表达的方式或途径”。“expression ”在一些英文著作中，有时代指“面部表情”，有时也是其他表情动作，具体理解应结合语境、背景材料。 总之，面部动作不能完全反映情绪，情绪也不仅表现在“面部”，还包括肢体、声音、语言等；表情不等同于“面部表情”，后者只是表情动作中的一部分。 “微”在汉语词典中的解释为：小、细小；少；与某一物理量的单位连用时，表示该量的百万分之一等。“微（micro ）”在英文词典中的解释为：细小、细微、极小的等。可以看出中、英文的解释“微”都有表示“程度、量”的含义。 在面部表情动作中，“微”主要体现在两个方面：一是表情动作出现和消失的速度快、持续时间短。例如，普通的悲伤表情：眉头向上提起，视线向下，嘴角 微表情在侦查实践中的应用 邵 磊 （永寿县公安局，陕西 永寿 713400） 摘要：2013年新修订刑事诉讼法的颁布实施，为侦查工作提出了新的要求和挑战。微表情是一项新的侦查技术和方法，可用于侦查实践中的测谎、甄别供（陈）述真伪等，有利于防止侦查人员先入为主，改变以往办案中过分依赖经验、直觉、感觉等主观意识的局面。调查访问、询问和讯问中运用科学、系统的心理学理论和原理，可以有效提高工作效率，切实、充分保障人权，同时也对于从根本上预防和遏制刑讯逼供以及冤假错案的形成具有重大现实意义。 关键词：微表情；微动作；微语义；侦查技术中图分类号：D631.2 文献标志码：A 文章编号：2095－2031（2013）06－0033－06 收稿日期：2013－05－18 作者简介：邵磊（1985-），男，陕西永寿人，陕西省永寿县公安局助理工程师，从事微表情、犯罪心理、犯罪心理画像等研究。 2013年11月 江西警察学院学报Nov.2013第6期 总第170期 JOURNAL OF JIANGXI POLICE INSTITUTE No.6 Sum.170
基于人脸识别技术的微表情研究与心理解读摘要：本文旨在探讨运用现已广泛运用的人脸识别技术进行改进，实现个人心理解读的可行性，并进一步探讨是否能运用于实际中为我们的生活、工作提供便捷。本文中微表情研究是人脸识别技术与心理解读的交点，人脸识别技术有助于微表情的研究，而通过微表情的研究可以准确的解读出人们的真实情感。 关键字：人脸识别；微表情；心理；真实情感 正文：人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，它属于生物特征识别技术的范畴，是对生物体（一般特指人）本身的生物特征来区分生物体个体的一门新兴技术。人脸识别实际是包括构建人脸识别系统的一系列相关技术，这门技术的根本是数字图像处理和成熟的影像技术，人脸识别包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等等。 现今，人脸识别在个人使用、商业和政府应用中都具有巨大潜力。这项技术还在不断进步和发展中，其应用越来越普及。就目前的技术和产品水平，人脸识别系统已经完全能够以客户可接收的成本水平，顺利实施和应用。 简单说，狭义范围内的人脸识别技术就是要计算机先记录人脸的特征(无论是现场采集还是从照片采集)，然后在使用时(再次现场采集人脸图像，或提交照片)能自动准确地辨认出是否同一人。 它的原理和其他生物识别技术一样，人脸识别系统也是先产生人脸的特征模板并存储在数据库中。这些模板将被用于与提交来要求比对的模板进行一一匹配对比，通常，当某两个模板进行比对时，如果相似程度超过系统预先设定的阀值，系统就认为比对成功--这两个模板来自同一个人。 人脸识别技术原理也有不同的种类，包括基于人脸五官结构的识别，基于皮肤质地分析的识别，甚至基于人脸温度模式的识别。最新的技术采用了人脸三维图像建立模板--有从人脸二维图像自动生成三维图像建模的技术，也有真正以三维方式采集面部、头部图像建模的技术。 那么这样一门技术可不可以运用到心理学中去呢？ 我们都知道人在不同的心理状况下会呈现出不同的面部表情和肢体动作。譬如说一个人眉毛上扬、挤在一起，他极有可能是处在恐惧、担忧或忧虑中；鼻孔外翻，嘴唇紧抿，表示有无法控制的怒气；下巴扬起，嘴角下垂表自责；单眼微眯，单侧嘴角微挑，表不屑、轻蔑等等。而婴儿的表情与心理对照就显得更加的微妙了，面对这些暂时还不会说话的baby，我们很难搞清楚他们的真实意图。只能从他们的哭啼、面部表情着手研究。通过长时间的观察了解，我们知道牵嘴而笑，表示兴奋愉快；撅嘴、咧嘴，是小便的信号；红脸横眉，是大便的信号；眼神无光，提醒父母要警惕等等。 从上面所举的例子来看，借助经验，我们可以扑捉到大多数情况下人们的想法，可是并
第36卷第3期 计算机仿真2019年3月文章编号:1006-9348 (2019 )03-0453-05 基于E V M的心率检测在微表情识别中的应用 张树诚，王笑梅 (上海师范大学，上海200030) 摘要:随着谎言检测的深入探究，微表情识别研究得到了很大的关注，心率变化作为体现情绪变化的另一种形式，也可能对 微表情识别有一定的影响。研究目的是找寻心率变化和微表情的关系。利用欧拉视频放大算法，实现非接触式心率提取，并对目前已公开的微表情数据库CAS(MEK2数据进行分析。通过测录视频进行实验分析，提出的心率提取算法可得到 95%的准确率，对数据库数据进行心率检测的结果与表情数据进行对比，可以得到恐惧、愤怒、悲伤等情绪与心率变化存在一定关系。 关键词：欧拉视频放大算法;心率检测算法;微表情；自发微表情数据库 中图分类号:TP391.4 文献标识码：B Application of Heart Rate Detection Based on EVM in Micro-Expression Recognition ZHANG Shu-cheng，WANG Xiao-mei (Shanghai Normal University, Shanghai 200030, China) A B S T R A C T：With the deep exploration of l i e s detection,micro - expression recognition research has been a great concern.The changes of heart rate as a manifestation of emotional changes in another form may also have a certain impact on micro-expression recognition.The purpose of t h i s paper i s t o find the relationship between heartbeat and micro-expression.W e use Euler video amplification algorithm t o achieve non-contact heart r a t e extraction, and ana-lyze the data in micro-expression database CAS (M E) A2 which has been published currently.By recording videos f o r experimental analysis, the r e s u l t of non-contact heart r a t e extraction can obtain 95% accuracy.And comparing the heart r a t e results and the expression data in the database, we can get t hat there i s a certain relationship between the emotions which are fear, anger and sadness with the changes of heart rates. K E Y W O R D S：E V M；Heart-rate detected ；Micro-expression ；C A S(M E)^2 l引言 微表情是个人试图隐藏真实情绪时出现的快速和简短 的表达n，2]。与正常表情相比,微表情的瞬时性使得即使受 过专业培训的专家，通过用肉眼来逐帧观察，也只能达到 47%的准确率[3]。E k m a n首先发现了微表情,他在审査一个 心理病人的视频时，发现一个隐藏在微笑中的短暂的悲伤表 情，以此掩饰自杀的企图。自此，微表情研究受到了越来越 多的关注,Ekm a n甚至声称微表情可能是研究谎言检测最有 突破的方向[2]。作为传统的谎言检测系统，广泛运用的是测 谎仪,它可以监测在受试者说谎时，心率和皮肤电位信号不 由自主的变化，但这种方法会使受试者受到接触性干扰。因此，自动和准确的微表情识别系统对解决谎言检测问题很有 帮助。 收稿日期:2017-10-30修回日期:2017-12-18 目前，微表情识别已有一定的成果，如有：Simgsoo Park 等人结合放大特征点运动矢量与主动外观模型（AAM)的特 征提取法[4]$31^111Krishna等人结合欧拉视频放大算法(EVM)与定向梯度的直方图（H O G)的特征提取法[5];B.M. S.BaharTalukder等人基于自发微表情数据库（SM1C)和 MMI面部表情数据库、结合欧拉视频放大算法（EVM)和局 部二值模式-三正交平面（LBP-TO P)的特征提取法[6];0h 等人基于中科院自发微表情数据库（CASME D )、结合欧拉 视频放大算法（EVM)和局部二值模式-三正交平面（LBP- T0P)的特征提取法⑴；Elham Zarezadeh等人基于自发微表 情数据库（SMIC)和CA SM E数据库、结合欧拉视频放大算法 (EVM)和特征面法的特征提取法等[8]。 然而，目前的研究现状都是基于运动放大技术的基础上 研究微表情识别,类比于测谎仪的功能，本文试图从心率的 角度研究为表情识别技术。为此，在将微表情和心率的检测 —453 —