静态图像人脸表情识别算法研究

毕业设计(论文)

开 题 报 告

题 目 静态图像人脸表情识别算法研究

学 院 通信与信息工程学院

专业及班级 电子信息科学与技术

姓 名

学 号

指 导 教 师

日 期 2012年3月1日

2

西安科技大学毕业设计(论文)开题报告

题 目 静态图像人脸表情识别算法研究 选题类型 理论研究型

一、选题依据(简述国内外研究现状、生产需求状况, 说明选题目的、意义，列出主要参考文献)：

1.研究现状

面部情感的研究始于 19 世纪， 达尔文阐述了人的面部表情和动物的面部表情之间的联系和区别。 20世纪 70 年代， Darein首先揭示了表情在不同性别、不同种族的人群中的一致性。 1971 年美国心理学家Ekman 和 Friesen定义了 6 种基本情感类别： 惊奇、恐惧、 厌恶、 愤怒、 高兴、 悲伤。 并于 1978 年开发了面部动作编码系统 FACS

(Facial Action Coding Sys-tem) 来检测面部表情的细微变化。 系统将人脸划分为若干个运动单元 AU (Action Unit) 来描述面部动作，这些运动单元显示了人脸运动与表情的对应关系。 6种基本表情和 FACS 的提出具有里程碑的意义， 成为后来表情识别研究工作的基础。 而在计算机方面，1978 年 Suwa 和 Sugie 等人对表情识别做了一个最初的尝试， 他跟踪一段脸部视频动画， 得到每帧图片上20 个关键点的运动规律， 将此运动规律与预先建立的不同表情的关键点运动模型相比较。 直到 1981 年才有人用仿生学方法从肌肉角度的观点为面部表情建立模型。 同年 terzopoulous 和 waters 运用了简化了的 Ek-man-Friesen 模型， 用计算机产生人脸动画， 同时也做了人脸视频序列的表情分析。 1991 年 Mase 和 Pen-fland 利用 8 个方向上跟踪光流特征的变化来检测FACS 中的运动单元 。 由于 FACS 中没有时间描述信息， 1997 年 Essa 提出了基于视频的动态表情描述方法 FACS+， FACS+充分考虑了时间和空间变化特性，可用于动态建模和运动估计， 克服了 FACS 对动态表情特性描述的不足， 在进行表情分析时通过光流法来分析视频中的脸部数据。 2000 年我国的高文、金辉提出 FACS’（转换 FACS） 它把运动单元的运动转化为基于物理结构和肌肉模型的运动特征向量序列对眼部和嘴部分别进行表情编码， 相应的运动基于 FACS 规则，同时又克服了它的弱点。 鉴于表情识别领域绝大多数是基于二维图像的， 2005 年中国科技大学的研究者提出了一种基于三维数据的人脸表情识别方法，给出了基于三维特征的眼角和嘴角新的提取算法。 除了理论方法，

一些实用性技术也被开发出来， 荷兰一座高科技监狱使用表情识别软件监视着罪犯的情绪变化； 美国一名计算机专家将自己的脸部变为遥控器， 利用颜面表情远程控制了视频的快进和慢放； 我国东南大学也研制出表情识别系统， 它由多个摄像头和处理相关数据的计算机组成， 计算机中已存有六种基本表情的相关数据和图片， 对同一个人的不同表情识别率可高达 97．65％。

虽然国内外已经对表情自动分析与识别领域有了相当程度的研究, 但仍有许多难点。首先，该领域需要如计算机科学、社会心理、医学等多学科的合作, 这在科研组织上是比较困难的。其次, 从技术角度来看, 在人脸识别与人脸检测等领域存在的困难在表情识别与分析领域依然存在, 如不同的头部状态(倾斜、旋转等)、面部的光照变化、背景的复杂程度等。除此之外,表情的分析与识别有其自身特殊的难点。这包括: a.不同种族、不同年龄、不同性别的人群的同种表情存在一定程度的差异, 甚至人在不同的身体状态下( 如疾病、健康) 的表情也有所不同。另外, 人脸的化装与否也会为识别造成困难; b.自发性表情 3 和非自发表情是不同的。在实验室的受控条件下, 由实验指示者指示被测试人员做出的表情属于非自发的表情, 而人们在生活中的自然表情则为自发性表情。这两类表情在表情持续时间和人脸的对称性程度上都有所不同, 这为辅助测谎等方面的应用提供了契机, 同时由于很难收集到大量的自发性表情, 也为自动分析与识别造成了一定的困难。

2.目的和意义

面部表情的识别作为生物特征识别中的一种，是人机交互中不可缺少的一部分。人类的面部表情(比如高兴、厌恶、愤怒等)是表达人的情绪的主要方法，是人的内心世界的外在表现形式。表情属于肢体语言，它和自然语言一起传达信息，因此识别出表情将有助于更好地进行人机交互。表情识别也可以用在安全领域。在公共场所，比如机场、地铁站等处，通过安装的摄像头等监控设备来自动地分析人的表情和动作，通过这些分析更进一步地判断人的心理，从而大致判断出哪些人比较可疑从而及时地阻止某些犯罪活动。人脸识别技术的应用越来越广泛，有很广阔的市场应用前景。但是人脸识别的效果容易受到面部表情的影响，因此可以通过识别面部表情，将带表情的图像还原到没有表情的自然的图像，这样可以大大地提高人脸识别的准确率。表情识别是由人脸识别发展起来的，表情识别的发展必将进一步推动人脸识别的发展。

3.参考文献

[1] 柳华 静态图像中人脸表情和性别识别的研究.，济南大学，2010，5

[2] 王功孝 面部表情识别研究综述，重庆邮电大学计算机科学与技术学院

[3] 张一鸣 人脸表情识别，大连理工大学，2007，1

[4] 李文 人脸表情识别方法， 陕西师范大学，西安工业大学，2007，6

[5] 李菊霞 人脸表情识别方法及展望，山西农业大学 太原理工大学，2009

[6] 陈俊 人脸表情识别方法综述，中国集体经济&科技研发，2009，6

[7] 徐东海 人脸表情算法研究，华东理工大学，2010，4

[8] 刘玉彪 人脸表情识别研究，浙江工业大大学，2008，11

[9]Ioannou S V，RaouzAiou AT，et al． Emotion Recognition

Through Facial Expression Analysis Basedon a Neurofuzzy Network．Neural Networks，2005，18(4)：423-435．

[10] YING ZI-LU,FANG XIE-YAN. Combining LBP and adaboost forfacial expression

recognition[C] .Proceedings of the Ninth Inter-national Conference on Software. Beijing: IEEE,

2008

[11] Ma L,Khorasan i K. Facial expression recogn ition using constructivefeedforward neural

networks[J] .IEEE Transactions on System s,Manand Cybernetics,Part B, 2004, 34

4

5 二、主要研究(设计)内容、研究（设计）思路及工作方法或工作流程

1.主要研究内容

通过获取人脸图像，检测，提取面部特征和感情分类,对开心，惊奇，悲伤三个人脸静态图像表情进行识别。

2.研究思路

1) 获取图像，即拍照来获取开心，惊奇，悲伤三个表情的表情图像。

2) 读取图像并进行人脸图像检测与定位，本研究使用Adaboost算法进行检测。

3) 图像预处理，即对检测出的含有表情的图像进行几何尺寸和像素值进行规范化和去噪增强的处理，从而有效提高识别率。

4) 特征提取，特征提取的方法很多，本文采用Gabor小波变换提取表情特征，用Gabor滤波器保证了识别效率。

5) 表情分类，即特征分类。这实质上是一个模式分类问题，先定义一组类别，再设计相应的分类机制对表情进行识别，归入相应类别。本实验采用最近邻分类法（KNN）和JAFFE表情数据库。

3.方法

1) 查阅人脸表情识别的文献，对人脸表情识别相关概念、技术进行深入学习。

2) 按照研究思路对Adaboost算法，用Gabor小波变换提取表情特征以及最近邻分类法进行深入学习，研究，并熟悉JAFFE表情数据库。

3) 编写程序代码并进行matlab仿真和调试。

4) 对实验进行性能总结。

6 三、毕业设计(论文)工作进度安排

1. 查阅关于人脸表情识别的相关文献，了解其发展现状和应用领域。2周

2. 学习关于人脸表情识别的常用方法。收集人脸表情识别数据库，提交开题报告。2周

3. 学习人脸表情图像的预处理方法。2周

4. 学习人脸表情特征提取方法并编程实现。2周

5. 学习人脸表情特征分类方法并编程实现。2周

6. 学习人脸表情特征识别方法并编程实现。2周

7.程序调试，分析结果并撰写毕业论文初稿：2周

8.修改论文并完成打印，正式提交毕业论文：2周（共16周）

指导教师意见

指导教师签字:____________

年 月 日

院系

部毕业设计（论文）领导小组审核意见 难度 份量 综合训练程度 是否隶属科研项目

教学院长(主任)____________

（公 章）

年 月 日