下载文档原格式
基于深度学习的人脸表情识别系统设计毕业设计基于深度学习的人脸表情识别系统设计一、引言及背景介绍随着科技的发展和应用的普及，人脸表情识别技术在众多领域展现出巨大的潜力。
人类表情是一种非常丰富和重要的非语言信息传递方式，对于情感分析、心理研究、用户体验等领域都具有重要意义。
本篇论文旨在设计基于深度学习的人脸表情识别系统，以应用于相关领域。
二、人脸表情识别技术概述人脸表情识别技术是一种在数字图像处理和模式识别领域中广泛应用的技术。
它主要通过将人脸图像转化为数字数据，然后利用计算机算法对表情进行识别和分类。
传统的方法主要依赖于人工特征提取和分类器的组合，但这些方法往往需要大量的人工参与和特征工程，且对于复杂表情的识别效果较差。
三、深度学习在人脸表情识别中的应用深度学习作为一种强大的机器学习技术，近年来在人脸表情识别领域呈现出广阔的发展前景。
其具有自动特征学习和模式识别能力，通过大规模数据集的训练，可以有效地提取表情的高级特征，从而提高识别准确率。
深度学习模型中常用的有卷积神经网络（ConvolutionalNeural Network，简称CNN）和循环神经网络（Recurrent Neural Network，简称RNN）。
四、深度学习人脸表情识别系统的设计与实现1. 数据集准备采集包含多种表情的人脸图像数据集，并对其进行标注和预处理工作，以便于后续的训练和测试。
2. 基于CNN的特征提取使用卷积神经网络对人脸图像进行特征提取，通过多层卷积和池化操作，提取出图像的高级特征表示。
3. 数据增强对数据集进行增强操作，如镜像翻转、旋转、缩放等，以扩充数据集规模，提高模型的泛化能力。
4. 特征融合和分类将提取到的高级特征进行融合，并通过全连接层实现表情分类和识别。
5. 模型训练与验证使用已标注的人脸图像数据集对模型进行训练，并通过验证集进行模型调优和超参数选择。
六、实验结果与讨论在实验中，我们使用了XXX数据集进行训练和测试，得到了较为准确的人脸表情识别结果。
基于深度学习的人脸识别与表情识别技术研究人脸识别与表情识别技术是目前计算机视觉领域的重要研究内容之一。
随着深度学习技术的发展，基于深度学习的人脸识别与表情识别技术也取得了显著的进展。
本文将重点探讨深度学习在人脸识别和表情识别方面的应用和研究现状。
一、深度学习在人脸识别方面的应用人脸识别是一种通过对人脸图像进行处理和分析，识别出其中的个体身份信息的技术。
深度学习在人脸识别方面的应用主要包括人脸检测、人脸特征提取和人脸识别三个方面。
1. 人脸检测人脸检测是人脸识别的第一步，其主要目标是在图像中准确地找到人脸的位置。
传统的人脸检测方法通常是基于图像特征和机器学习算法，但其准确率和鲁棒性都有一定的局限性。
而基于深度学习的人脸检测技术通过使用卷积神经网络（Convolutional Neural Network, CNN）进行特征学习和分类，能够显著提高人脸检测的准确率和鲁棒性。
2. 人脸特征提取人脸特征提取是指从检测到的人脸图像中提取出能够表征个体身份信息的特征向量。
在过去的几年中，基于深度学习的方法逐渐取代了传统的特征提取算法，如局部二值模式（Local Binary Pattern, LBP）和主成分分析（Principal Component Analysis, PCA）。
深度学习方法如卷积神经网络（CNN）和人脸识别网络（FaceNet）能够提取出更加鲁棒和具有判别性的人脸特征。
3. 人脸识别人脸识别是将得到的人脸特征向量与已知的人脸数据库进行比对，以实现个体身份的识别。
深度学习在人脸识别方面的最大贡献之一就是利用深度神经网络（Deep Neural Network, DNN）进行人脸识别。
例如，著名的深度学习模型Siamese网络通过将两张人脸图像通过卷积神经网络进行编码，然后通过判断两个编码向量之间的距离来判断是否为同一个人。
二、深度学习在表情识别方面的应用表情识别是一种通过对人脸图像中的表情信息进行分析和识别，推测出人物的情感状态的技术。
基于深度学习的表情识别与情感分析研究深度学习技术已经在人工智能领域中取得了巨大的突破，其中之一就是表情识别与情感分析。
本文将探讨基于深度学习的表情识别与情感分析研究的方法和应用。
一、引言随着社交网络、智能手机等信息技术的飞速发展，人们在数字平台上产生的海量数据给情感分析和表情识别提供了良好的数据基础。
而深度学习的出现，则使得这些数据可以被高效、准确地处理和分析。
二、深度学习在表情识别中的应用基于深度学习的表情识别方法主要包括以下几个步骤：1. 数据收集和预处理：首先，需要收集大量的表情数据集，并进行标注。
然后，对数据进行预处理，包括图像的裁剪、大小调整等。
2. 特征提取：深度学习模型通常使用卷积神经网络(CNN)来提取图像特征。
通过多层卷积和池化操作，可以自动学习并提取关键特征。
3. 训练模型：在特征提取之后，需要使用深度学习模型对数据进行训练。
常用的模型包括卷积神经网络、循环神经网络等。
通过大量的数据和适当的训练算法，模型可以学习到表情的表示和分类。
4. 表情识别：在模型训练完成后，可以用于表情识别。
给定一个图像，模型可以预测出对应的表情类别，如高兴、悲伤、愤怒等。
三、深度学习在情感分析中的应用情感分析是通过计算机自动识别和分析文本、语音等信息中的情感倾向。
深度学习在情感分析中的应用也基本遵循类似的流程。
1. 数据收集和预处理：同样需要收集大量的带有标注的情感文本数据，并进行预处理，如分词、去除停用词等。
2. 特征提取：深度学习模型可以通过文本建模来提取语义特征。
常用的模型包括循环神经网络(RNN)和长短期记忆网络(LSTM)等，这些模型可以捕捉到文本的上下文信息。
3. 训练模型：将预处理后的数据输入到深度学习模型中进行训练，以学习文本的情感表示和分类。
4. 情感分析：训练完成后的模型可以用于进行情感分析。
给定一段文本，模型可以判断其中的情感极性，如积极、消极等。
四、深度学习方法的优势和挑战深度学习在表情识别和情感分析中的应用具有以下优势：1. 自动特征学习：深度学习模型可以自动学习特征，而无需手动设计特征提取算法。
基于深度学习的人脸表情识别研究在深度学习技术的推动下，人脸表情识别成为近年来备受关注的研究领域。
本文通过综述相关文献和研究成果，旨在探讨基于深度学习的人脸表情识别技术的原理、方法和应用前景。
一、引言随着计算机视觉和人工智能的快速发展，人脸表情识别在社交媒体、人机交互、情感分析等领域具有广泛的应用前景。
传统的人脸表情识别方法主要依赖于手工设计的特征提取和监督学习算法，但其在复杂背景、光照变化等方面存在一定的局限性。
而基于深度学习的人脸表情识别技术凭借其自动特征学习和端到端的训练方式，已经取得了令人瞩目的成果。
二、基于深度学习的人脸表情识别原理基于深度学习的人脸表情识别主要依赖于卷积神经网络（Convolutional Neural Network, CNN）的应用。
CNN通过多层的卷积和池化操作，实现了对图像特征的自动提取。
通常，人脸表情识别任务可以分为两个阶段：人脸检测和表情分类。
在人脸检测阶段，CNN可以通过训练人脸检测模型，实现对输入图像中人脸区域的定位。
而在表情分类阶段，CNN根据训练数据学习到的特征，将人脸表情划分为多个离散的类别。
三、基于深度学习的人脸表情识别方法1. 数据集构建：一个好的数据集对于深度学习的人脸表情识别至关重要。
常用的数据集包括FER2013、CK+、RAF-DB等。
在构建数据集时，需要考虑到多样性、均衡性和标注准确性等因素。
2. 特征提取：深度学习的优势在于自动学习特征表示。
然而，对于人脸表情识别来说，不同人的特征表达可能存在差异性。
因此，研究者们提出了一些方法来增强模型的鲁棒性，例如使用数据增强技术、多尺度特征融合等。
3. 网络设计：网络的设计对于人脸表情识别的性能具有重要影响。
常用的网络结构包括LeNet-5、VGGNet、ResNet等。
其中，卷积层、池化层和全连接层是构建网络的基本组成部分。
4. 模型训练与调优：在训练模型时，常用的优化算法包括随机梯度下降（Stochastic Gradient Descent, SGD）和自适应矩估计算法（Adam）。
基于深度学习的人脸表情识别研究第一章：引言人类一直试图通过各种方式与计算机建立双向沟通，用自己的语言、手势或面部表情与计算机进行交流。
而人脸表情识别技术作为其中一种重要的技术方向，已经广泛应用于人机交互、心理学研究、社交网络等诸多领域。
本文将围绕基于深度学习的人脸表情识别技术进行研究。
第二章：相关研究人脸表情识别是计算机视觉领域的重要研究方向之一，前人对于该领域的研究已经取得了一定的成果。
在计算机视觉领域，人脸检测、关键点定位和表情识别是三个主要的问题。
早期关于表情识别的研究大多是基于传统机器学习方法，如支持向量机、K 邻近算法等。
但是这类算法存在诸多问题，难以对数据进行准确的建模，在面对大规模数据的时候性能也无法得到保证。
进入深度学习时代后，基于深度神经网络的方法成为了当前最为流行和先进的表情识别方法。
早期应用得较多的是基于卷积神经网络的方法，由于其对于图像数据的自适应学习能力，其表现较为优秀。
后来，也有许多学者尝试了基于循环神经网络、自编码器等模型进行表情识别的方法。
第三章：数据集简介一般来说，进行人脸表情识别需要一定的数据集作为支撑。
人脸表情识别领域应用最广泛且公开的数据集莫过于CK+和FER2013数据集。
CK+数据集由卡内基梅隆大学的Iain Matthews先生创建，该数据集中包含了593张人脸图片，分为六类，涵盖了常见的表情，包括“生气”、“厌恶”、“恐惧”、“高兴”、“悲伤”和“惊讶”等。
所有图片均由几位年龄在20多岁的股票摄影师模仿六种不同表情而拍摄。
FER2013数据集由Kaggle举办的一个竞赛中得到，该数据集由35,887张半手动标记的人脸图片组成，它们被分为7类表情，即“生气”、“厌恶”、“恐惧”、“高兴”、“悲伤”、“惊讶”和“中性”。
每张图片的大小为48*48。
第四章：基于深度学习的人脸表情识别方法本文选取卷积神经网络作为主要研究方向，对于CK+数据集进行了实验。
主要流程如下：1.数据准备：使用OpenCV对原始图片进行预处理，将每幅图片缩放至统一的96*96大小，并将其转换为灰度图像；2.模型搭建：本文采用牛津大学计算机视觉组提出的VGG网络结构，共包含19层。
《基于深度学习的人脸情绪识别的研究》篇一基于深度学习的人脸情绪识别研究一、引言随着人工智能技术的快速发展，人脸情绪识别已经成为当前研究的热点。
作为人类情感表达的主要方式，面部表情在社交交互中扮演着至关重要的角色。
基于深度学习的人脸情绪识别技术，通过分析人脸的细微变化，能够有效地识别出人的情绪状态，为智能交互、人机共融等领域提供了新的可能性。
本文将探讨基于深度学习的人脸情绪识别的研究现状、方法及挑战，旨在为该领域的研究者提供有益的参考。
二、人脸情绪识别的研究背景与意义人脸情绪识别是一种通过对人脸进行图像处理、分析情感特征的技术。
随着人们对人工智能和人机交互需求的增长，该技术具有广泛的应用前景。
在医疗、教育、安全监控等领域，通过分析人的情绪变化，可以有效提高人们的生活质量和心理健康水平。
此外，人脸情绪识别技术在人机交互中也有着广泛的应用前景，如智能家居、自动驾驶等。
因此，研究人脸情绪识别技术具有重要的理论意义和实际应用价值。
三、深度学习在人脸情绪识别中的应用深度学习作为一种强大的机器学习方法，在人脸情绪识别中发挥了重要作用。
其通过构建多层次的神经网络模型，可以自动学习并提取图像中的情感特征，从而有效提高识别准确率。
在深度学习中，卷积神经网络（CNN）被广泛应用于人脸表情识别。
它可以通过训练大量的人脸图像数据，自动提取出人脸的特征信息，如眼睛、嘴巴等部位的形状变化等，进而判断出人的情绪状态。
此外，循环神经网络（RNN）和长短时记忆网络（LSTM）等也被应用于动态表情序列的识别中。
四、人脸情绪识别的研究方法基于深度学习的人脸情绪识别主要包括以下几个步骤：数据收集与预处理、特征提取、模型训练与优化以及情绪分类与输出。
首先，需要收集大量的人脸表情数据集，并进行预处理，如图像归一化、去噪等。
然后，通过深度学习模型自动提取出人脸的特征信息，如眼睛、嘴巴等部位的形状变化、肌肉运动等。
接着，使用训练好的模型对提取出的特征进行分类和识别，得到最终的情绪分类结果。
开题报告范文基于深度学习的人脸表情识别与情感分析研究开题报告一、研究背景和意义随着计算机视觉和人工智能的发展，人脸表情识别和情感分析在各个领域的应用越来越广泛。
人脸表情识别和情感分析是指通过对人脸表情进行分析和判断，进而获取人的情感状态。
这项研究在情感计算、心理学、医疗健康、人机交互等领域有着重要的意义。
人脸表情具有丰富的信息，能够传递人的情感状态和内心感受。
通过深度学习技术，可以对人脸表情进行准确的识别和分类，进一步实现情感分析。
人工智能识别和分析人脸表情的能力，能够帮助社会各个领域更好地了解人的情感状态，为决策提供参考依据，改善人机交互体验，甚至在医疗健康领域推动情感治疗的发展等。
二、研究目标本研究旨在基于深度学习的方法，对人脸表情进行识别和情感分析。
结合计算机视觉和人工智能的技术，建立一个高精度的人脸表情识别模型，并探索通过情感分析深入理解人的情感状态。
具体研究目标包括：1. 构建一个准确的人脸表情识别模型。
通过深度学习算法，使用大规模的人脸表情数据集进行训练，提高模型的分类准确率。
2. 开发一个高效的人脸情感分析系统。
基于人脸表情识别模型，实现对人的情感状态进行实时分析和判断。
3. 探索人脸表情识别和情感分析在实际应用中的价值。
将研究成果应用于特定领域，例如人机交互、娱乐产业、医疗健康等，评估其效果和社会价值。
三、研究内容和方法1. 数据采集和预处理。
收集大规模的人脸表情数据，并进行数据清洗、标注和划分训练集和测试集。
2. 深度学习模型设计与训练。
选择合适的深度学习框架和网络结构，对人脸表情数据进行训练，优化模型的泛化能力和鲁棒性。
3. 情感分析算法研发。
基于训练好的人脸表情识别模型，将其应用于情感分析任务，并进行特征提取、情感分类和情感量化等工作。
4. 系统开发与优化。
将研究成果转化为实际应用系统，提升系统的实时性、准确性和用户友好性。
5. 应用评估和实验验证。
将研究成果应用于相关领域，进行实地测试和评估，验证模型和系统的性能和效果。
基于深度学习的人脸表情识别和情绪分析技术研究概述人类表情是人际交流中重要的非语言信息来源之一，能够传达出个体的情绪状态和内心感受。
在识别人脸表情和进行情绪分析方面，基于深度学习的技术成为了近年来的研究热点。
本文旨在对基于深度学习的人脸表情识别和情绪分析技术进行研究和探讨。
引言随着计算机视觉和人工智能的快速发展，基于深度学习的人脸表情识别和情绪分析技术已经取得了巨大的突破。
该技术的应用领域广泛，包括人机交互、智能监控、心理研究等。
深度学习通过构建多层神经网络模型，能够自动从原始数据中学习和提取特征，从而实现高效准确的人脸表情识别和情绪分析。
技术原理基于深度学习的人脸表情识别和情绪分析技术的核心是构建一个深度神经网络模型，通过学习和训练，使得这个模型能够从输入的人脸图像中自动提取有用的特征，并将其与特定的表情或情绪进行关联。
首先，需要收集大量的人脸图像数据，并标注其对应的表情或情绪类别。
这一步是训练深度神经网络的基础，越丰富多样的数据集能够极大地提高模型的准确性和泛化能力。
然后，利用收集到的标注数据训练深度神经网络模型。
常用的深度学习模型包括卷积神经网络（CNN）、循环神经网络（RNN）和长短时记忆网络（LSTM）等。
这些模型能够自动学习和提取高级特征，从而更好地描述人脸表情和情绪。
在训练完成后，需要对模型进行测试和验证。
将新的样本输入到已经训练好的深度神经网络中，通过对输出的结果进行分析和比对，可以评估模型对人脸表情和情绪的识别能力。
针对模型的性能进行调优和改进，可以提高识别的准确率和速度。
应用场景基于深度学习的人脸表情识别和情绪分析技术可以广泛应用于各个领域。
以下列举几个典型的应用场景：1. 人机交互：通过感知用户的表情和情绪，计算机可以更好地理解用户的需求并做出针对性的响应。
例如，在虚拟现实游戏中，计算机可以根据玩家的面部表情来调整游戏内容和难度。
2. 智能监控：基于深度学习的人脸表情识别和情绪分析技术可以应用于视频监控系统中，实时分析摄像头捕捉到的人脸图像，识别出犯罪嫌疑人或异常行为，并及时报警。
基于深度学习的人脸表情识别技术研究与实现人脸表情是人类交流的一种重要方式，能够传达丰富的信息和情感。
随着计算机智能化的发展，研究人员开始着手开发人脸表情识别技术，以便使计算机能够像人类一样理解和识别人脸表情。
近年来，基于深度学习的人脸表情识别技术在该领域取得了重大突破，为我们提供了一种快速、准确且可靠的解决方案。
深度学习是一种模仿人脑神经网络的计算模型，其以多层次的权重和偏置连接构成。
在人脸表情识别中，深度学习模型被广泛应用于特征提取和分类任务，如卷积神经网络（CNN）和循环神经网络（RNN）等。
首先，深度学习模型通过卷积神经网络从人脸图像中学习表情特征。
卷积神经网络是一种专门用于处理具有网格结构数据的人工神经网络，它利用卷积层、池化层和全连接层来实现图像特征的高效提取。
在人脸表情识别中，卷积神经网络通过多个卷积层和池化层进行逐层特征提取，从而将低级特征转换为高级特征。
此外，激活函数也被引入，以增加网络的非线性能力并提高分类性能。
其次，深度学习模型将从图像中提取的高级特征传递给循环神经网络，以实现时序建模与情感分类。
循环神经网络是一种适用于处理序列数据的人工神经网络，能够捕捉时间维度上的依赖关系。
在人脸表情识别中，将表情特征视为时间序列数据，循环神经网络通过不断迭代调整权重和偏置的学习过程，从而使模型具备了理解和预测表情变化的能力。
最后，深度学习模型通过训练大规模数据集来优化模型参数，以提高人脸表情识别的准确性和泛化能力。
基于深度学习的人脸表情识别技术通常需要大量的标记样本，以便模型能够从中学习到表情的特征。
然而，由于数据收集和标注的复杂性，研究人员常常采用迁移学习和数据增强等技术手段，以最大限度地利用有限的标记数据集。
在实际应用中，基于深度学习的人脸表情识别技术已经取得了广泛的应用。
例如，在人机交互、电影特效、心理研究等领域，深度学习模型能够准确地识别和分析人脸表情，并提供相关的反馈和建议。
此外，基于深度学习的人脸表情识别技术还被应用于人脸识别、情绪检测、心理疾病诊断等方向，为相关领域带来了重要的进展和创新。
《基于深度学习的人脸情绪识别的研究》篇一一、引言人脸情绪识别是人工智能领域中一个重要的研究方向，它主要涉及到对人类面部表情的分析与理解。
在日常生活和工作中，人脸情绪识别有着广泛的应用场景，如心理咨询、人机交互、安全监控等。
随着深度学习技术的发展，基于深度学习的人脸情绪识别已经成为当前研究的热点。
本文旨在探讨基于深度学习的人脸情绪识别的研究现状、方法及挑战，以期为相关研究提供参考。
二、人脸情绪识别的研究背景与意义人脸情绪识别是指通过分析人的面部表情来推断其情绪状态的过程。
随着人工智能技术的不断发展，人脸情绪识别在多个领域都发挥着重要作用。
在心理辅导领域，通过分析患者的面部表情，心理医生可以更准确地了解患者的情绪状态，从而提供更有效的心理治疗。
在人机交互领域，人脸情绪识别技术可以提高人机交互的智能性和友好性，提升用户体验。
在安全监控领域，人脸情绪识别技术可以用于监测人员的情绪状态，及时发现异常情况。
三、深度学习在人脸情绪识别中的应用深度学习是一种模拟人脑神经网络的工作方式，通过对大量数据进行学习和分析，从而自动提取数据的特征。
在人脸情绪识别中，深度学习主要通过卷积神经网络（CNN）等技术对人脸图像进行特征提取和情感分类。
目前，基于深度学习的人脸情绪识别已经取得了显著的成果。
例如，通过训练大量的面部表情数据，深度学习模型可以自动提取出与情绪相关的特征，如眉毛的抬起、眼睛的扩大等，从而实现对情绪的准确识别。
四、人脸情绪识别的研究方法1. 数据集：人脸情绪识别的研究首先需要大量的面部表情数据集。
目前，公开的面部表情数据集如AFEW、FER2013等为研究者提供了丰富的数据资源。
2. 特征提取：特征提取是人脸情绪识别的关键步骤。
传统的特征提取方法主要依赖于人工设计的特征，如LBP、HOG等。
而基于深度学习的特征提取方法则可以自动提取与情绪相关的特征。
3. 模型训练：在特征提取后，需要使用分类器对特征进行训练和分类。
第４２卷第２期２０１９年４月电子器件ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＥｌｅｃｔｒｏｎＤｅｖｉｃｅｓＶｏｌ ４２㊀Ｎｏ ２Ａｐｒ.２０１９收稿日期:２０１８－０３－０４㊀㊀修改日期:２０１８－０５－１５ＲｅｃｏｇｎｉｔｉｏｎｏｆＲｅｌｉａｂｌｅＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎＤａｔａＢａｓｅｄｏｎＤｅｅｐＬｅａｒｎｉｎｇＷＡＮＧＫｅꎬＺＨＯＵＸｉａｏｙａｎ∗ꎬＬＩＬｉｎｇｙａｎꎬＣＨＥＮＸｉｕｚｈｅｎ(ＪｉａｎｇｓｕＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭｅｔｅｏｒｏｌｏｇｉｃａｌＯｂｓｅｒｖａｔｉｏｎａｎｄＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇꎬＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙꎬＮａｎｊｉｎｇ２１００４４ꎬＣｈｉｎａ)Ａｂｓｔｒａｃｔ:Ａｔｐｒｅｓｅｎｔꎬｔｈｅｄｅｅｐｌｅａｒｎｉｎｇｆｉｅｌｄｈａｓｂｅｃｏｍｅｏｎｅｏｆｔｈｅｈｏｔｓｐｏｔｓｉｎｖａｒｉｏｕｓｆｉｅｌｄｓ.Ｔｈｅｔｒａｄｉｔｉｏｎａｌｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｉｓａｐｐｌｉｅｄｔｏｔｈｅｒｅａｌｅｎｖｉｒｏｎｍｅｎｔｏｒｔｈｅｃｏｍｐｏｕｎｄｅｘｐｒｅｓｓｉｏｎｄａｔａｂａｓｅｗｉｔｈｖｅｒｙｌｏｗａｃｃｕｒａｃｙ.ＴｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａＤｅｅｐＬｏｃａｌｉｔｙ￣ＲｅｌｅｖａｎｃｅＶＧＧＮｅｔ(ＤＬＲ￣ＶＧＧＮｅｔ)ꎬｆｉｒｓｔａｄｄｓａｎｅｗｓｕｐｅｒｖｉｓｉｏｎｌａｙｅｒｉｎｔｈｅＶＧＧＮｅｔｎｅｔｗｏｒｋꎬｎａｍｅｌｙｔｈｅｌｏｃａｌａｓｓｏｃｉａｔｉｏｎ(ＬＲｌｏｓｓ)ꎬｉｍｐｒｏｖｉｎｇｔｈｅａｂｉｌｉｔｙｏｆｉｄｅｎｔｉｆｙｄｅｅｐｆｅａｔｕｒｅꎬａｆｔｅｒｔｈｅｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｉｓｄｉｆｆｅｒｅｎｔｉｎｔｈｅｎｕｍｂｅｒｏｆｄａｔａｂａｓｅｉｎｔｈｅＤＬＲ￣ＶＧＧＮｅｔｎｅｔｗｏｒｋｂａｓｅｄｏｎｔｈｅｎｅｔｗｏｒｋｐａｒａｍｅｔｅｒｓａｎｄｔｒａｉｎｉｎｇｆｉｎｅｔｕｎｉｎｇａｎｄｔｅｓｔｉｎｇ.Ｆｉｎａｌｌｙꎬ７ｂａｓｉｃｅｘｐｒｅｓｓｉｏｎｓａｎｄ１１ｋｉｎｄｓｏｆｃｏｍｐｏｕｎｄｅｘｐｒｅｓｓｉｏｎｓｉｎＲＡＦ￣ＤＢｄａｔａｂａｓｅａｒｅｔｅｓｔｅｄａｓａｂｅｎｃｈｍａｒｋꎬａｎｄａｃｏｍｐａｒａｔｉｖｅｅｘｐｅｒｉｍｅｎｔｉｓｍａｄｅｉｎＳＦＥＷａｎｄＣＫ＋ｄａｔａｂａｓｅ.ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅＤＬＲ￣ＶＧＧＮｅｔｍｅｔｈｏｄｉｓｓｕｐｅｒｉｏｒｔｏｔｈｅｔｒａｄｉｔｉｏｎａｌｍａｎｕａｌｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄｉｎｒｅａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｅｎｖｉｒｏｎｍｅｎｔ.Ｋｅｙｗｏｒｄｓ:ｄｅｅｐｌｅａｒｎｉｎｇꎻｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋꎻｌｏｃａｌｉｔｙ￣ｒｅｌｅｖａｎｃｅꎻｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎＥＥＡＣＣ:７２１０Ｇ㊀㊀㊀㊀ｄｏｉ:１０.３９６９/ｊ.ｉｓｓｎ.１００５－９４９０.２０１９.０２.０４０基于深度学习的可靠表情数据识别王㊀珂ꎬ周晓彦∗ꎬ李凌燕ꎬ陈秀珍(南京信息工程大学江苏省气象探测与信息处理重点实验室ꎬ南京２１００４４)摘㊀要:当前深度学习已成为表情识别领域的重要研究方法ꎬ但此方法应用于真实环境或者复合表情数据库下时识别准确率非常低下ꎮ为此提出一种深度局部关联神经网络ＤＬＲ￣ＶＧＧＮｅｔ(ＤｅｅｐＬｏｃａｌｉｔｙ￣ＲｅｌｅｖａｎｃｅＶＧＧＮｅｔ)的可靠表情数据识别方法ꎬ首先在ＶＧＧＮｅｔ网络添加一个新的监督层ꎬ即局部关联损失(ＬＲｌｏｓｓ)ꎬ提高深层特征的判别能力ꎬ之后在不同的人脸表情数据库中基于这种ＤＬＲ￣ＶＧＧＮｅｔ网络进行训练并且进行网络参数微调和测试ꎮ最后ꎬＲＡＦ￣ＤＢ数据库中对７类基本表情和１１类复合表情做基准实验以及在ＳＦＥＷ和ＣＫ＋数据库中做对比实验ꎬ实验结果表明在真实环境基于ＤＬＲ￣ＶＧＧＮｅｔ的方法优于传统的手工特征提取方法ꎮ关键词:深度学习ꎻ卷积神经网络ꎻ局部关联ꎻ表情识别中图分类号:ＴＰ３９１㊀㊀㊀㊀文献标识码:Ａ㊀㊀㊀㊀文章编号:１００５－９４９０(２０１９)０２－０４７４－０５㊀㊀随着深度学习的潮流ꎬ人脸表情识别技术得到了迅速的发展ꎮ表情识别属于模式识别领域ꎬ对国防安全ꎬ儿童教育ꎬ心理学有着重要的应用价值ꎮ然而ꎬ在真实环境中受人脸表情的复杂性ꎬ光照等因素影响ꎬ使得在真实环境下人脸表情识别具有极大的挑战性[１]ꎮ传统的表情识别方法有局部二值模式ＬｏｃａｌＢｉ￣ｎａｒｙＰａｔｔｅｒｎ(ＬＢＰ)[２]㊁方向梯度直方图ＨｉｓｔｏｇｒａｍｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔ(ＨＯＧ)[３]㊁Ｇａｂｏｒ小波变换[４]ꎬ其中ＨＯＧ特征是目前公认的最具有泛化能力的特征之一ꎬ但对于多模态复合表情识别效果较差ꎮ最近ꎬ深度学习已经成为机器学习的研究热点ꎬ在２００６年由Ｈｉｎｔｏｎ[５]等人提出深度学习的概念ꎬ通过自上而下的方式逐层学习特征ꎬ最终获得特征的非线性表达ꎮ目前深度学习算法已经应用在计算机视觉ꎬ人脸识别ꎬ图像分类ꎬ目标检测等其他很多领域ꎬ都取得了显著的成果ꎮ但是在表情识别领域由于缺乏可靠的表情数据库ꎬ并不能够真正地运用到真实环境中ꎮ本文在一种可靠表情数据库(ＲＡＦ￣ＤＢ)的基础上ꎬ结合深度学习方法ꎬ提出一种新的深度局部关联(ＤＬＲ￣ＶＧＧＮｅｔ)方法ꎮ１㊀相关研究工作面部表情识别可分为３个主要部分[６]:人脸图像的获取㊁面部特征提取和面部表情分类ꎮ近年来ꎬ深度学习算法已应用于计算机视觉㊁人脸识别㊁图像分类㊁目标检测等诸多领域ꎬ效果都非常显著ꎮ到目前第２期王㊀珂ꎬ周晓彦等:基于深度学习的可靠表情数据识别㊀㊀为止ꎬ由于缺乏足够的训练样本ꎬ所以面部表情识别中使用了深度卷积神经网络来弥补该缺点ꎮ本文结合深度卷积神经网络和ｓｏｆｍａｘ并且提出ＤｅｅｐＬｏｃａｌｉｔｙＲｅｌｅｖａｎｃｅ(ＤＬＲ)的思想ꎬ其中深度卷积神经网络采用的是ＶＧＧＮｅｔ进行特征提取ꎬ最后使用ｓｏｆｔｍａｘ进行分类识别ꎬ示意图如图１所示ꎮ图１㊀基于深度学习可靠表情数据识别主要步骤示意图１.１㊀ＶＧＧＮｅｔ网络计算机视觉领域中ꎬ深度学习采用的典型网络是卷积神经网络ꎮ其中ＶＧＧＮｅｔ就是在卷积神经网络的基础上研发出来的深度卷积神经网络[７]ꎮＶＧＧＮｅｔ的结构非常简洁ꎬ整个网络都使用了同样大小的卷积核尺寸(３ˑ３)和最大池化尺寸(２ˑ２)ꎮＶＧＧＮｅｔ拥有５段卷积ꎬ每一段内有２到３个卷积层ꎬ同时每段尾部会连接一个最大池化层用来缩小图片尺寸ꎮ如图２所示ꎬ两个３ˑ３的卷积层串联相当于１个５ˑ５卷积层ꎬ即一个像素会跟周围５ˑ５的像素产生关联ꎬ而３个３ˑ３的卷积层串联相当于一个７ˑ７的卷积层ꎮ本文中就是使用３ˑ３的卷积核和２ˑ２的池化核ꎬ通过不断的加深网络结构来提升性能ꎮ图２㊀两个串联３ˑ３的卷积层功能类似于一个５ˑ５的卷积１.２㊀深度局部关联学习特征基本原理在现实世界中ꎬ面部表情在不同的场景㊁光照㊁分辨率和头部位置等方面表现出显著的内部差异ꎮ更重要的是ꎬ个体的差异也会导致同样的类别表情的产生巨大差异ꎬ例如ꎬ大笑和微笑ꎮ因此ꎬ提出了一个新的深度局部关联ＶＧＧＮｅｔ(ＤｅｅｐＬｏｃａｌｉｔｙ￣ＲｅｌｅｖａｎｃｅＶＧＧＮｅｔ)方法ꎬ以解决真实环境中的面部表情识别和多模态的问题ꎮ在ＤＬＲ￣ＶＧＧＮｅｔ算法中ꎬ如表１所示在ＶＧＧＮｅｔ原有网络的基础上添加一个新的监督层ꎬ即局部关联损失(ＬＲＬｏｓｓ)ꎬ提高深层特征ꎮ表１㊀基本体系结构中的配置参数类型层数１Ｃｏｎｖ２Ｒｅｌｕ３ＭＰｏｏｌ４Ｃｏｎｖ５Ｒｅｌｕ６ＭＰｏｏｌ７Ｃｏｎｖ８Ｒｅｌｕ９Ｃｏｎｖ１０Ｒｅｌｕ１１ＭＰｏｏｌ１２Ｃｏｎｖ１３Ｒｅｌｕ１４Ｃｏｎｖ１５Ｒｅｌｕ１６ＦＣ１７Ｒｅｌｕ１８ＦＣＫｅｒｎｅｌ３ ２３ ２３ ３ ２３ ３ ｏｕｔｐｕｔ６４ ９６ １２８ １２８ ２５６ ２５６ ２０００７Ｓｔｒｉｄｅ１１２１１２１１１１２１１１１１Ｐａｄ１００１００１０１００１０１００㊀㊀基本思想是先保存每个样本ｘｉ的位置并且使得局部相邻的每一个类都紧密相关ꎮ设其目标函数的表达式为:ｍｉｎＷðｉꎬｊＳｉꎬｊ ｘｉ－ｘｊ ２２(１)式中:Ｗ是网络参数ꎬＳ是相似矩阵ꎮ深度学习特征ｘɪＲｄ表示在ｓｏｆｔｍａｘ层产生预测分类的最后一个隐藏层深度卷积特征(ＤｅＣａｆ)[８]ꎮＳ的定义如下:Ｓ＝１ｘｉ是ｘｊ的ｋ个最近邻的一个ꎬ反之０其他{(２)式(２)有效地描述了类类之间局部的离散程度ꎬ其中ｘｉ将会更新到ＶＧＧＮｅｔ网络的迭代优化中ꎮ为了计算成对类类之间距离的总和ꎬ在迭代的过程中需要对整体进行训练ꎬ这是一种低效率的方法ꎮ为了解决这个问题ꎬ通过对每一个样本ｘｉ的ｋ最近邻进行近似ꎬ并定义了ｘｉ的局部关联损失函数如下:Ｌｌｒ＝１２ðｎｉ＝１ｘｉ－１ｋðｘɪＮｋ{ｘｉ}ｘ２２(３)Ｎｋ{ｘｉ}表示具有相同类别的样本ｘｉ的ｋ个最近邻的集合ꎬｉɪ(１ꎬｎ)ꎮＬｌｐ关于ｘｉ的梯度计算如下:∂Ｌｌｒ∂ｘｉ＝ｘｉ－１ｋðｘɪＮｋ{ｘｉ}ｘ(４)通过小批次处理方式来执行更新ꎮ如果ｋ＝ｎｃ－１(ｎｃ是ｘｉ所属ｃ类训练的样本数量)ꎬ那么最近提出的中心损失函数可以被看作为一种特殊的局部关联损失函数ꎮ然而中心函数只是把样本放到一个单一的中心ꎬ特别是当类的条件分布是多模态的时候ꎬ提出的局部关联损失函数相对比较灵活ꎮ采用联合监督机制方法㊁结合ｓｏｆｔｍａｘｌｏｓｓ在类类之间局部分散特征ꎬ定义其目标函数为:Ｌ＝Ｌｓ＋λＬｌｐꎬＬｓ表示ｓｏｆｔｍａｘｌｏｓｓꎬＬｌｐ表示局部关联ｌｏｓｓꎬ参数λ用来平衡两个损失５７４电㊀子㊀器㊀件第４２卷函数ꎮ深度局部关联特征学习算法过程如下:深度局部关联特征学习算法输入:训练数据{ｘｉ}ｎｉ＝１ꎬｎ是最小步长的的尺寸输出:网络层参数Ｗ㊀初始化:ｔ＝０㊀网络学习率μꎬ超参数λꎬ网络层参数Ｗꎬｓｏｆｔｍａｘｌｏｓｓ参数θꎬ相邻节点ｋꎮ㊀循环:㊀１:ｔ＝ｔ＋１㊀２:计算ｘｉ的ｋ最近邻中心位置:Ｃｔｉ＝１ｋðｎｊ＝１ｘｔｊＳｔｉｊ㊀３:更新ｓｏｆｔｍａｘｌｏｓｓ参数:θｔ＋１＝θｔ－μｔ∂Ｌｔｓ∂θｔ㊀４:更新反向传播误差:∂Ｌｔ∂ｘｔｉ＝∂Ｌｔｓ∂ｘｔｉ＋λ∂Ｌｔｌｐ∂ｘｔｉ㊀５:计算网络层参数:Ｗｔ＋１＝Ｗｔ－μｔ∂Ｌｔ∂Ｗｔ＝Ｗｔ－μｔðｎｉ＝１∂Ｌｔ∂ｘｔｉ∂ｘｔｉ∂Ｗｔ㊀直到收敛图５㊀人脸特征放大图像１.３㊀ＤＬＲ￣ＶＧＧＮｅｔ提取特征可视化ＲＡＦ￣ＤＢ的交叉数据库实验和ＡＵ分析表明ꎬ在现实世界中ꎬ真实世界的人脸表情要比在特定实验环境下由心理学家指导的更加复杂多样化ꎮ为了解决这种情绪的模糊性ꎬ因此提出了一种深度局部关联(ＤＬＲ￣ＶＧＧＮｅｔ)方法ꎬ并且改进成一种实用的反向传播算法ꎬ它创建了一个局部保留损失函数(ＬＰ￣ｌｏｓｓ)ꎬ目的是将局部相邻的点连接到一起与经典的ｓｏｆｔｍａｘ损失函数联合训练用来分类ꎬ局部关联损失来驱动不同类的本地集群使得每个类间更加紧凑并且增强学习这些深层的特征ꎮ此外ꎬ局部关联度的人脸特征通过使用ＤＬＲ￣ＶＧＧＮｅｔ算法共享相似的情感特征ꎬ从而可以平滑输出具有分歧情感的深层特征ꎮ一般地ꎬ卷积层的计算公式为:ｘｌｊ＝ｆðｉɪＭｊｘｌ－１ｉˑｋｌｉｊ＋ｂｌｊ()(５)式中:ｌ代表层数ꎬｋ代表卷积核ꎬＭｊ代表输入层的感受野ꎬｂ代表偏置ꎮ卷积操作示意图如图３所示ꎮ图４显示的是ＤＬＲ￣ＶＧＧＮｅｔ模型中学习到的二维特征ꎬ图５是图４人脸特征放大后的图像可视化ꎬ并且对不同的表情特征进行分类ꎮ图３㊀卷积操作示意图图４㊀ＤＬＲ￣ＶＧＧＮｅｔ学习的二维特征６７４第２期王㊀珂ꎬ周晓彦等:基于深度学习的可靠表情数据识别㊀㊀２㊀实验与分析本次实验主要分为两大部分ꎬ第１部分是用深度学习表情识别算法在ＲＡＦ￣ＤＢꎬＣＫ＋和ＳＦＥＷ２.０上做对比试验ꎮ第２部分是分析算法的优劣ꎬ并提出下步改进之处ꎮ其中ꎬＲＡＦ￣ＤＢ是真实环境下约３００００张人脸的７类表情数据库ꎬＣＫ＋数据库是１３７个人的不同人脸表情视频帧ꎬＳＦＥＷ２.０是静态人脸表情数据库ꎮ２.１㊀深度学习表情识别算法对比实验目前深度学习已经应用在大规模的视觉识别任务上ꎬ并且在大量的训练数据下性能表现非常出色ꎮ深度学习面目表情识别的框架[９－１１]都是基于预训练好的模型ꎬ这些针对人脸识别预训练好的模型ꎬ如ＶＧＧ网络[１２]ꎬＡｌｅｘＮｅｔ[１３]缺乏判别表情特征的能力ꎮ所以在本文中使用自己训练的ＤＬＲ￣ＶＧＧＮｅｔ网络进行一系列的对比实验ꎮ在所有对比实验中ꎬ遵循了相同的数据集划分标准ꎬ图像处理方法ꎬ图像分类方法ꎮ相关研究表明[１４]ꎬ训练好的深度卷积神经网络可以作为特征的提取的一种工具并且对泛化特征的分类也有着显著的效果ꎮ在此基础上ꎬ本次实验首先训练每个深度卷积神经网络进行基本表情识别任务ꎬ然后直接使用已经训练好的深度卷积神经网络模型来提取复合表情的深层特征ꎬ微调ＤＬＲ￣ＶＧＧＮｅｔ卷积层ꎬ学习率ꎬ迭代次数ꎬ步长ꎬ等一系列参数ꎬ当样本数量一定ꎬ不断加深网络层数或者增加迭代次数ꎬ这时会出现过拟合ꎬ无法准确分类ꎬ可以适当加深网络层数ꎬ微调每一层参数ꎬ直到收敛ꎮ被提取的２０００维深度特征经过深度卷积神经网络的全连接层并用ｓｏｆｔｍａｘ进行分类ꎮ训练样本的主要硬件配置如下:处理器ꎬ英特尔Ｘｅｏｎ(至强)Ｅ５－２６２０ｖ３＠２.４０ＧＨｚ六核(Ｘ２)ꎻ内存５６ＧＢꎻＧＰＵ卡ꎬＮｖｉｄｉａＧｅＦｏｒｃｅＧＴＸＴＩＴＡＮＸꎮ最优实验结果如表２所示ꎮ首先ꎬ深度神经网络(ＶＧＧꎬＡｌｅｘＮｅｔ)在ＲＡＦ表情数据库中效果不理想ꎬ不能够有效地进行表情识别ꎮ其次ꎬ用深度学习算法在ＲＡＦ数据库中表情识别的准确率都超过了传统算法ꎬ表明深度学习的算法在基本表情和复合表情的识别中具有一定的鲁棒性[１５]ꎮ最后ꎬ提出的ＤＬＲ￣ＶＧＧＮｅｔ算法取得了最好的效果ꎬ表明局部关联损失对深度卷积神经网络有着增强效果ꎮ准确率的度量标准都是采用混淆矩阵得出ꎬ最后求其平均值ꎮ其中ꎬ表３是ＤＬＲ￣ＶＧＧＮｅｔ在ＲＡＦ的７类基本表情数据库上的混淆矩阵ꎮ表２㊀不同的深度卷积神经网络在ＲＡＦ上的对比实验结果ｂａｓｉｃＡｎｇｅｒＤｉｓｇｕｓｔＦｅａｒＨａｐｐｉｎｅｓｓＳａｄｎｅｓｓＳｕｐｒｉｓｅｓＮｅｕｔｒａｌＡｖｅｒａｇｅｃｏｍｐｏｕｎｄＡｖｅｒａｇｅＶＧＧ６８.５２２７.５０３５.１３８５.３２６４.８５６６.３２５９.８８５８.２２３１.６３ＡｌｅｘＮｅｔ５８.６４２１.８７３９.１９８６.１６６０.８８６２.３１６０.１５５５.６０２８.２２ｓｏｆｔｍａｘＤＣＮＮ７０.９９５２.５０５０.００９２.９１７.８２７９.６４８３.０９７２.４２４０.１７ｃｅｎｔｅｒｌｏｓｓ６８.５２５３.１３５４.０５９３.０８７８.４５７９.６３８３.２４７２.８７３９.９７ＤＬＲ￣ＶＧＧＮｅｔ７９.９４５２.７６４８.７５９２.５１８０.０１７９.９８７９.０３７３.２８４４.５２ＶＧＧ６６.０５２５.００３７.８４７３.０８５１.４６５３.４９４７.２１５０.５９１６.２７ＡｌｅｘＮｅｔ４３.８３２７.５０３７.８４７５.７８３９.３３６１.７０４８.５３４７.７９１５.５６ＬＤＡＤＣＮＮ６６.０５４７.５０５１.３５８９.４５７４.２７７６.９０７７.５０６９.００２８.２３ｃｅｎｔｅｒｌｏｓｓ６４.８１４９.３８５４.０５９２.４１７４.９０７６.２９７７.２１６９.８６２７.３３ＤＬＲ￣ＶＧＧＮｅｔ７７.５１５５.４１５２.５０９０.２１７３.６４７４.０７７３.５３７０.９８３２.２９表３㊀ＤＬＲ￣ＶＧＧＮｅｔ在ＲＡＦ的７类基本表情数据库上的混淆矩阵㊀㊀为了对比本文训练好的模型ＤＬＲ￣ＶＧＧＮｅｔ在其他数据库上有着很好的泛化能力ꎬ本文用该模型直接在ＣＫ＋和ＳＦＥＷ２.０上提取固定长度的特征ꎮ实验对比结果如表４所示ꎬ本文的网络性能较好ꎬ不仅仅在ＲＡＦ数据库而且在其他数据库上表现依然出色ꎮ表４㊀ＤＬＲ￣ＶＧＧＮｅｔ和其他深度学习方法在ＣＫ＋和ＳＦＥＷ２.０实验对比结果ＡＵＤＮＦＰ＋ＳＡＥＳＦＥＷｂｅｓｔＤＬＲ￣ＶＧＧＮｅｔ[２５][２７][２０](没有微调)ＣＫ＋９３.７０９１.１１ ９５.７８ＳＦＥＷ２.０３０.１４５２.５５１.０５７７４电㊀子㊀器㊀件第４２卷２.２㊀算法优劣分析通过上述的实验对比分析表情识别的平均准确率有一定提高ꎬ并在整个网络训练和验证的过程中Ｌｏｓｓ值迅速下降收敛速度较快没有太大的震荡和过拟合现象ꎬ说明网络结构设计合理ꎬ整个网络的训练和验证过程的Ｌｏｓｓ曲线如图６所示ꎮ图６㊀训练过程Ｌｏｓｓ曲线虽然整个算法的准确率有所提高ꎬ但是深度神经网络卷积层数较多以及训练过程学习权值参数量巨大ꎬ训练过程非常耗时同时对硬件的需求较高ꎬ在后期的研究过程中继续优化算法ꎬ在卷积层和全连接层之后分别加入修正线性单元(ＲｅＬＵ)和批规范化(ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ)并使用较小的卷积核ꎬ减少迭代参数量ꎬ加快训练网络的收敛速度ꎬ从而提升网络性能和鲁棒性ꎬ并提高表情的识别率ꎮ３㊀结论深度学习已经成为机器学习领域新的研究热点ꎬ本文首先用传统的(ＬＢＰꎬＨＯＧꎬＧａｂｏｒ)特征提取方法在不同的数据库上进行人脸表情特征提取ꎬ同时也在一些深度卷积神经网络上做对比实验ꎬ针对在真实环境下的表情数据库进行理论分析ꎬ在深度卷积神经网络的基础上提出一种改进的局部关联损失层(ＤＬＲ)ꎬ并且在ＲＡＦ￣ＤＢ数据库以及现有公开的数据库(ＣＫ＋)上做了大量的对比试验ꎬ最后用混淆矩阵求出准确率ꎬ从上述的实验结果中可以看出ꎬ所提出的ＤＬＰ￣ＶＧＧＮｅｔ算法对真实世界的人脸表情识别有很好的表现ꎬ准确率超过了现有的一些表情识别算法ꎬ证明了此方法的可行性和优越性ꎮ参考文献:[１]㊀ＴｉａｎＹＩꎬＫａｎａｄｅＴꎬＣｏｈｎＪＦ.ＲｅｃｏｇｎｉｚｉｎｇＡｃｔｉｏｎＵｎｉｔｓｆｏｒＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎＡｎａｌｙｓｉｓ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅꎬ２００１ꎬ２３(２):９７－１１５.[２]ＧｈｉｔａＯꎬＷｈｅｌａｎＰＦꎬＩｌｅａＤＥ.Ｍｕｌｔｉ￣ＲｅｓｏｌｕｔｉｏｎＴｅｘｔｕｒｅＣｌａｓｓｉｆｉ￣ｃａｔｉｏｎＢａｓｅｄｏｎＬｏｃａｌＩｍａｇｅＯｒｉｅｎｔａｔｉｏｎ[Ｃ]//ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎ￣ｆｅｒｅｎｃｅｏｎＩｍａｇｅＡｎａｌｙｓｉｓａｎｄＲｅｃｏｇｎｉｔｉｏｎ.Ｓｐｒｉｎｇｅｒ￣Ｖｅｒｌａｇꎬ２００８:６８８－６９６.[３]ＤａｌａｌＮꎬＴｒｉｇｇｓＢ.ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓｆｏｒＨｕｍａｎＤｅｔｅｃｔｉｏｎ.ＩｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ[Ｊ].２００５.ＣＶＰＲ２００５.ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎꎬＶｏｌｕｍｅ１ꎬＩＥＥＥꎬ２００５:８８６－８９３.[４]ＬｉｕＣꎬＷｅｃｈｓｌｅｒＨ.ＧａｂｏｒＦｅａｔｕｒｅＢａｓｅｄＣｌａｓｓｆｉｃａｔｉｏｎＵｓｉｎｇｔｈｅＥｎ￣ｈａｎｃｅｄＦｉｓｈｅｒｌｉｎｅａｒＤｉｓｃｒｉｍｉｎａｎｔＭｏｄｅｌｆｏｒＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇꎬ２００２ꎬ１１(４):４６７－４７６. [５]ＺｈｕＫꎬＶｉｎｚａｎｔＴＢꎬＮｅａｌｅＮＲꎬｅｔａｌ.ＲｅｍｏｖｉｎｇＳｔｒｕｃｔｕｒａｌＤｉｓｏｒｄｅｒｆｒｏｍＯｒｉｅｎｔｅ￣ｄＴｉＯ２ＮａｎｏｔｕｂｅＡｒｒａｙｓ:ＲｅｄｕｃｉｎｇｔｈｅＤｉ￣ｍｅｎｓｉｏｎａｌｉｔｙｏｆＴｒａｎｓｐｏｒｔａｎｄＲｅｃｏｍｂｉｎａｔｉｏｎｉｎＤｙｅ￣ＳｅｎｓｉｔｉｚｅｄＳｏｌａｒＣｅｌｌｓ[Ｊ].ＮａｎｏＬｅｔｔｅｒｓꎬ２００７ꎬ７(１２):３７３９.[６]ＦａｓｅｌＢꎬＬｕｅｔｔｉｎＪ.ＡｕｔｏｍａｔｉｃＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎＡｎａｌｙｓｉｓ:ＡＳｕｒｖｅｙ[Ｊ].ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎꎬ３６(１):２５９－２７５ꎬ２００３.[７]Ｂｅｎｉｔｅｚ￣ＱｕｉｒｏｚＣＦꎬＳｒｉｎｉｖａｓａｎＲꎬＭａｒｔｉｎｅｚＡＭ.Ｅｍｏｔｉｏｎｅｔ:ＡｎＡｃｃｕｒａｔｅꎬＲｅａｌ￣ＴｉｍｅＡｌｇｏｒｉｔｈｍｆｏｒｔｈｅＡｕｔｏｍａｔｉｃＡｎｎｏｔａｔｉｏｎｏｆａＭｉｌｌｉｏｎＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎｓｉｎｔｈｅＷｉｌｄ[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉ￣ｔｉｏｎ(ＣＶＰＲ１６)ꎬＬａｓＶｅｇａｓꎬＮＶꎬＵＳＡꎬ２０１６:３０２－３１７.[８]ＤｏｎａｈｕｅＪꎬＪｉａＹꎬＶｉｎｙａｌｓＯꎬｅｔａｌ.Ｄｅｃａｆ:ＡＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＡｃｔｉｖａｔｉｏｎＦｅａｔｕｒｅｆｏｒＧｅｎｅｒｉｃＶｉｓｕａｌＲｅｃｏｇｎｉｔｉｏｎ[Ｃ]//ＩＣＭＬꎬ２０１４:６４７－６５５.[９]ＬｅｖｉＧꎬＨａｓｓｎｅｒＴ.ＥｍｏｔｉｏｎＲｅｃｏｇｎｉｔｉｏｎｉｎｔｈｅＷｉｌｄｖｉａＣｏｎｖｏｌｕ￣ｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓａｎｄＭａｐｐｅｄＢｉｎａｒｙＰａｔｔｅｒｎｓ[Ｃ]//Ｐｒｏ￣ｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１５ＡＣＭｏｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉ￣ｍｏｄａｌＩｎｔｅｒａｃｔｉｏｎｐａｇｅｓꎬＡＣＭꎬ２０１５:５０３－５１０.[１０]ＮｇＨＷꎬＮｇｕｙｅｎＶＤꎬＶｏｎｉｋａｋｉｓＶꎬｅｔａｌ.ＤｅｅｐＬｅａｒｎｉｎｇｆｏｒＥｍｏ￣ｔｉｏｎＲｅｃｏｇｎｉｔｉｏｎｏｎＳｍａｌｌＤａｔａｓｅｔｓＵｓｉｎｇＴｒａｎｓｆｅｒＬｅａｒｎｉｎｇ[Ｃ]//Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１５ＡＣＭｏｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌ￣ｔｉｍｏｄａｌＩｎｔｅｒａｃｔｉｏｎꎬＡＣＭꎬ２０１５:４４３－４４９.[１１]ＰｅｎｇＸꎬＸｉａＺꎬＬｉＬꎬＥＴＡＬ.ＴｏｗａｒｄｓＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎＲｅｃｏｇｎｉｔｉｏｎｉｎＴｈｅｗｉｌｄ:ＡＮｅｗＤａｔａｂａｓｅａｎｄＤｅｅｐＲｅｃｏｇｎｉｔｉｏｎＳｙｓｔｅｍ[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＷｏｒｋｓｈｏｐｓꎬ２０１６:９３－９９.[１２]ＳｉｍｏｎｙａｎＫꎬＺｉｓｓｅｒｍａｎＡ.ＶｅｒｙＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓｆｏｒＬａｒｇｅ￣ＳｃａｌｅＩｍａｇｅＲｅｃｏｇｎｉｔｉｏｎ[Ｊ].ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ:１４０９.１５５６ꎬ２０１４.[１３]ＫｒｉｚｈｅｖｓｋｙＡꎬＳｕｔｓｋｅｖｅｒＩꎬＨｉｎｔｏｎＧＥ.ＩｍａｇｅｎｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ[Ｃ]//ＡｄｖａｎｃｅｓＩｎｎｅｕｒａｌＩｎｆｏｒ￣ｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓꎬ２０１２:１０９７－１１０５.[１４]ＸｉａｏＪꎬＥｈｉｎｇｅｒＫＡꎬＨａｙｓＪꎬｅｔａｌ.ＳＵＮＤａｔａｂａｓｅ:ＥｘｐｌｏｒｉｎｇａＬａｒｇｅＣｏｌｌｅｃｔｉｏｎｏｆＳｃｅｎｅＣａｔｅｇｏｒｉｅｓ[Ｊ].ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎꎬ２０１６ꎬ１１９(１):３－２２.[１５]陈博洋.基于缓变场景的复杂神经网络非均匀性校正[Ｊ].传感技术学报ꎬ２０１６ꎬ２９(８):１２１７－１２２１.王㊀珂(１９９３－)男ꎬ汉族ꎬ江苏南京ꎬ在读硕士ꎬ主要研究方向为计算机视觉ꎬ表情识别ꎬ４５９５０６８１０＠ｑｑ.ｃｏｍꎻ周晓彦(１９８０－)女ꎬ汉族ꎬ江苏南京ꎬ博士ꎬ副教授ꎬ硕士生导师ꎬ主要研究方向为模式识别ꎬ机器学习等ꎮ８７４。
