表情识别技术综述

2132018年第 02 期

收稿日期:2018-01-12*基金项目:国家自然科学基金面上项目(61173184)。作者简介:杨晓龙(1991—),男,河南安阳人,硕士研究生,研究方向:人脸表情识别;闫河(1972—),男,陕西汉中人,博士,教授,硕士生导师,研究 方向:图像多尺度几何分析、目标跟踪、人工智能等。1 引言在日常生活中,人脸表情是人际交往中的一种方式,是一种非肢体、非语言交流方式。心理学家Mehrabian[1]指出:感情表达=7%的言语+38%的声音+55%的人脸表情。在日常生活与交流中,人们可以通过面部表情间接的表达自己的感情和想法,让对方感受到自己直观的态度。同时,人们也可以通过对方的面部表情,辨别出对方的情绪和真正的意图,可见,面部表情在日常人际交流中十分重要。随着科学技术的不断发展和人工智能的快速崛起,人机交互(Human-Computer Interaction,HCI)也成为了较多领域的研究热点,如何实现人与计算机有感情的交流也成为了当前的研究趋势。同时,众多科学家渴望人与计算机人性化、智能化的交流,计算机可以像人一样感知周边环境和世界的变化,这也是人机交互的终极目标。2 人脸表情识别理论框架基于计算机的人脸表情识别是指:首先在视频或图像中检测出人脸,然后对人脸的表情信息进行特征提取,最后通过训练分类器进行表情分类识别。如图1所示,人脸表情识别理论框架大致包括人脸检测、表情特征提取和表情识别三个部分。通常要进行人脸表情识别视频或图像中不仅包含人脸,还包含其他干扰物体和背景区域,因此,需要将人脸检测并分割出来。对于整个人脸表情识别过程中,人脸检测相当于对图像进行预处理,减少图像中干扰对表情识别的影响。人脸检测主要通过分析人脸所特有的特征,然后从待检测的图像中搜索、判定可能存在的人脸区域,进一步计算确认如果确实存在人脸,则定位、分割出图像中人脸所在的区域,最后计算得出人脸的坐标位置等信息,目前,人脸检测技术已经取得了快速的发展[2-5]。人脸检测后,然后对人脸表情信息进行特征提取。有效的表情特征提取能够提高识别的准确率,特征的提取方法有几何特征提取、纹理特征提取和深度学习内部对特征学习的方法。将测试集提取到表情特征作为输入,用来训练分类器,将提取到的人脸表情特征数据按照一定的评判规则划分到相应的类别,判断和归类人脸表情。根据不同表情特征提取方式,选取适当的分类器,最终训练得到分类准确、泛化能力强的分类器是该步骤的核心人脸表情识别综述*杨晓龙 闫河 张杨(重庆理工大学 计算机科学与工程学院,重庆 400054)摘要:人脸表情识别是机器视觉、模式识别和人工智能等众多领域的重点研究方向,目前已成为众多学者和专家的研究热点。本文介绍了人脸表情识别理论框架,概括性的介绍了人脸检测、表情特征提取和表情识别的常用方法,并介绍了相关改进方法和一些新的方法,同时分析了各方法的优缺点。最后,对人脸表情识别的发展和进一步改进指明了方向。关键词:人脸表情识别；人脸检测；表情特征提取；表情识别中图分类号:TP391文献标识码:A文章编号:1007-9416(2018)02-0213-02学术论坛DOI:10.19695/12-1369.2018.02.109

基于卷积神经网络的人脸表情识别技术研究

随着人工智能技术的发展，人脸识别技术也越来越成熟。其中，人脸表情识别技术作为一种新兴的人脸识别技术，受到越来越多的关注。

人脸表情识别技术的基础是面部表情识别，即通过对面部表情的分析来识别人的情绪状态。传统的面部表情识别方法主要基于面部特征点的跟踪以及人工特征提取，这种方法需要大量的人力和时间成本，且识别精度受到限制。

随着深度学习技术的发展，基于卷积神经网络（CNN）的人脸表情识别技术开始成熟。卷积神经网络的优势在于其能够自动提取特征，对于人脸表情识别这种具有高度复杂性的问题，卷积神经网络的应用很有前景。

卷积神经网络是一种基于多层感知器的人工神经网络，其结构类似于生物神经网络。CNN通过训练的方式来学习特征，首先在图像中提取出一些特征卷积核，再通过卷积、池化等操作，将图像的特征提取出来。最后，通过全连接层将特征映射到具体的标签上。

在人脸表情识别技术中，最基础的任务就是将人脸图像区分为7种基本的情绪：快乐、悲伤、惊讶、恐惧、愤怒、厌恶和中性。在卷积神经网络的应用中，人脸表情识别技术的实现主要分为以下几个步骤。

第一步是数据预处理。数据预处理是人脸表情识别技术中非常关键的一步，其目的是将原始的图像数据转换为神经网络可以处理的数据格式。在这一步中，主要需要进行的操作包括图像缩放、灰度化、归一化等。

第二步是数据增强。数据增强是为了增加数据样本量，减少过拟合现象。通过对原始数据进行旋转、翻转、加噪声等处理，可以得到更多的、更丰富的训练数据。 第三步是神经网络的搭建和训练。基于卷积神经网络的人脸表情识别技术的搭建非常重要，其结构和参数的设置直接影响识别精度。训练的过程是通过反向传播算法，不断调整神经网络的参数，以达到最佳的识别效果。

第四步是测试和优化。在完成神经网络的训练之后，需要进行测试和优化。通过对测试数据进行验证，可以得到模型的准确性和错误率等指标。如果发现模型存在问题，需要进行优化调整，以提升识别精度。

基于深度学习的面部表情识别技术研究

在我们的日常生活中，我们不仅与其他人进行交流，还与计算机、智能手机、平板电脑等交互。在这些交互中，情感表达是非常重要的。在人与计算机之间进行交互时，正常的面部表情看起来是重要的因素之一。表情的容易理解和快速处理是我们在人机界面中交流的理想方式。在本文中，我们将讨论如何通过深度学习建立面部表情识别系统。

面部表情识别

面部表情识别是指通过感知面部表情来了解人的情感状态。心理学家一般认为，人类世界上存在六种基本的面部表情：愤怒、厌恶、害怕、快乐、悲伤和惊讶。这些表情被认为是跨越文化和民族的共性，每个人都能快速地识别他人的这些表情。在基于深度学习的面部表情识别中，我们学习了如何使用卷积神经网络和循环神经网络进行自动化的面部表情识别。

深度学习的面部表情识别

在深度学习的领域中，卷积神经网络（CNN）和循环神经网络（RNN）是两种最常见的神经网络。在利用深度学习来构建面部表情识别系统中，我们通常使用CNN来处理和提取从面图像中表达的特征。CNN 是特别适合面部识别这样的计算机视觉任务。在图像分类方面，它甚至已经超越了人类的水平。

采用CNN进行面部表情识别的具体方法如下：

首先，通过CNN从面部图像中提取特征向量。这些特征向量描述每个面部表情，可以用作下一步的分类。

第二步是使用循环神经网络（RNN）对这些特征向量进行分类。RNN 顺序地处理信息，也就是说，在处理某个特征时，它可以获得之前处理的所有特征的信息。

此外，还可以采用变种网络如VGG net和ResNet。这些网络以更深的层次构建和训练而得，因此，它们需要更多时间和计算资源来训练，但是它们的性能也更好。

了解深度学习中的卷积和循环神经网络，可以从以下两方面开始：

一是学习深度学习中的卷积神经网络，要掌握卷积层和池化层的概念，从而能够逐步掌握深度学习中常用的卷积网络的构建方法。

二是学习循环神经网络，从而更好地理解如何处理和存储时间上相关的信息。可以从基本的RNN模型开始，逐步扩展到LSTM及其变体，加强对处理序列数据的理解。

动态表情识别是人工智能领域的一个重要研究方向，主要研究如何让机器理解和识别人类的表情动态。这项技术在许多领域都有广泛的应用，如社交网络、人机交互、医疗健康等。

动态表情识别技术的主要任务是识别和理解视频序列中的人脸表情。这涉及到两个主要的步骤：人脸检测和人脸表情识别。

人脸检测主要是通过计算机视觉技术，从图像或视频中定位并提取人脸部分。常用的方法有Haar级联、HOG特征结合SVM分类器等。

人脸表情识别则是通过分析和理解人脸的特征，识别出人脸的表情。常用的方法有基于规则的方法、基于统计的方法、基于机器学习的方法等。其中，基于机器学习的方法，特别是深度学习方法，由于其强大的特征学习和表达能力，近年来在表情识别领域取得了显著的成果。

动态表情识别的挑战主要在于表情的多样性和复杂性，以及面部表情的微妙变化。未来的研究方向可能包括提高表情识别的准确性和鲁棒性，以及开发更有效的特征提取和表情分类方法。