基于信息增量特征选择的微表情识别方法

基于增量学习和 ASM 的人脸表情分析与识别梁雪梅【摘要】Active shape model (ASM)is a parameterisation-based statistical model,which is mainly used in image feature points extrac-tion and image segmentation.An improved new method is proposed which uses ASMto locate the facial features based on analysing the insuf-ficiency of traditional method.By using incremental learning PCA,this method is able to effectively resolve the factors of model matching fail-ure and the effect of the image to be tested,etc.,and to update the texture model on training set at the same time.Moreover,the improved method is used for face expression analysis and recognition,and at last the SVMis used to set up the expression classifier.Experimental re-sults show that the improved method can effectively improve the locating accuracy of facial feature points and also improve the expression rec-ognition rate meanwhile.%主动形状模型 ASM（Active shape model）是一种基于参数化的统计模型，主要用在图像特征点提取和图像分割中。

基于LBP-TOP特征的微表情识别卢官明;杨成;杨文娟;闫静杰;李海波【期刊名称】《南京邮电大学学报（自然科学版）》【年(卷),期】2017(037)006【摘要】微表情是一个人试图隐藏内心真实情感却又不由自主流露出的不易被察觉的面部表情.与一般面部表情相比,微表情最显著的特点是持续时间短、强度弱,往往难以有效识别.文中提出了一种基于LBP-TOP(Local Binary Pattern from Three Orthogonal Planes)特征和支持向量机(Support Vector Machine,SVM)分类器的微表情识别方法.首先,采用LBP-TOP算子来提取微表情特征;然后,提出一种基于ReliefF与局部线性嵌入(Locally Linear Embedding,LLE)流形学习算法相结合的特征选择算法,对提取的LBP-TOP特征向量进行降维;最后,使用径向基函数(Radial Basis Function,RBF)核的SVM分类器进行分类,将测试样本图像序列的微表情分为5类:高兴、厌恶、压抑、惊讶、其他.在CASME Ⅱ微表情数据库上采用“留一人交叉验证”(Leave-One-Subject-Out Cross Validation,LOSO-CV)的方式进行了实验,可得到58.98％的分类准确率.实验结果表明了该算法的有效性.【总页数】7页(P1-7)【作者】卢官明;杨成;杨文娟;闫静杰;李海波【作者单位】南京邮电大学通信与信息工程学院,江苏南京210003;南京邮电大学通信与信息工程学院,江苏南京210003;南京邮电大学通信与信息工程学院,江苏南京210003;南京邮电大学通信与信息工程学院,江苏南京210003;南京邮电大学通信与信息工程学院,江苏南京210003;瑞典皇家理工学院,瑞典斯德哥尔摩SE-100 44【正文语种】中文【中图分类】TN919.81【相关文献】1.基于信息增量特征选择的微表情识别方法 [J], 张延良;卢冰2.基于Fisher特征选择的微表情识别 [J], 张延良;卢冰;蒋涵笑;洪晓鹏;赵国英;张伟涛3.基于改进特征融合的微表情识别方法 [J], 钱泽锋;钱梦莹4.基于改进特征融合的微表情识别方法 [J], 钱泽锋;钱梦莹5.基于光流与LBP-TOP特征结合的微表情识别 [J], 张轩阁;田彦涛;郭艳君;王美茜因版权原因，仅展示原文概要，查看原文内容请购买。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010091871.4(22)申请日 2020.02.13(66)本国优先权数据202010057527.3 2020.01.17 CN(71)申请人 道和安邦（天津）安防科技有限公司地址 300300 天津市东丽区平盈路12号空港国际总部基地A8号楼401室(72)发明人 王峰　相虎生　牛锦　宋剑桥　贾海蓉　马军辉　师泽州　相宸卓　王飞　(74)专利代理机构 北京兆君联合知识产权代理事务所(普通合伙) 11333代理人 郑学成(51)Int.Cl.G06K 9/00(2006.01)G06N 3/04(2006.01) (54)发明名称一种基于深度学习的微表情识别方法(57)摘要本发明公开了一种基于深度学习的微表情识别方法，其包括如下步骤：1：对含有表情动作的视频数据裁剪、视频分帧，提取；2：对提取的表情序列进行人脸对齐，人脸裁剪，进行归一化等预处理；3：将得到的数据集进行数据增强操作；4：搭建神经网络模型：5：将所有人脸表情数据按比例分成训练集和测试集；6：使用测试集对模型进行测试，输出识别准确率，识别时间，误差等信息，当识别率达到要求，选择当前模型。

采用本发明的一种基于深度学习的微表情识别方法，具有简单而高效,成本低廉、精度高等优点。

权利要求书1页 说明书5页 附图2页CN 111353390 A 2020.06.30C N 111353390A1.一种基于深度学习的微表情识别方法，其特征在于，包括以下几个步骤：步骤1：对含有表情动作的视频数据裁剪，裁剪后的视频要求统一时长为3秒，将裁剪好的视频分帧，提取表情开始到结束的表情图片序列；步骤2：对提取的表情序列进行人脸对齐，人脸裁剪，以及归一化，均衡化，白化等预处理；步骤3：将得到的数据集进行数据增强的操作，扩充数据集的大小；步骤4：搭建神经网络模型；步骤5：将所有人脸表情数据分成训练集和测试集，使用训练集经过网络进行模型训练；步骤6：使用测试集对模型进行测试，输出识别准确率，识别时间，误差等信息，当识别率达到要求，选择当前模型。

基于深度学习的微表情识别算法研究与应用近年来，人工智能领域的发展如火如荼，深度学习作为其中的一颗明星，吸引了广大研究者的关注。

微表情识别作为情绪识别的重要组成部分，具有广泛的应用前景。

本文旨在通过对基于深度学习的微表情识别算法的研究与应用进行探讨，深入探究其原理、方法和发展趋势。

首先，让我们明确什么是微表情。

微表情是人类在表达情绪时短暂出现的面部表情，通常持续时间很短，仅为1/25到1/5秒。

由于微表情的短暂和微弱，大多数人很难察觉和理解，但是它们包含了丰富的情绪信息，有助于识别一个人的真实内心感受。

传统的微表情识别方法主要依赖于人工对视频中的微表情进行观察和分析。

这种方法费时费力，并且容易受到主观因素的干扰。

因此，研究者们开始探索基于深度学习的微表情识别算法。

基于深度学习的微表情识别算法主要包括以下几个步骤：特征提取、特征选择、分类器训练和分类器应用。

首先，特征提取是微表情识别的关键。

常用的特征提取方法包括传统的手工设计特征和基于深度学习的特征提取方法。

传统的手工设计特征包括LBP、HOG等，但是这些特征往往只能提取局部信息，对微表情的整体特征捕捉不足。

相比之下，基于深度学习的特征提取方法能够通过多层次、多尺度的网络结构提取更丰富的特征信息，从而更好地捕捉微表情的细微变化。

其次，特征选择是为了筛选出对微表情识别最具区分能力的特征。

常用的特征选择方法包括主成分分析（PCA）、线性判别分析（LDA）等。

这些方法能够通过数学模型计算特征的权重，从而减少特征的维度，提高识别效果。

第三，分类器训练是为了建立一个能够将特征与情绪类别进行映射的模型。

在基于深度学习的微表情识别算法中，常用的分类器包括支持向量机（SVM）、卷积神经网络（CNN）等。

这些分类器能够通过大量的训练数据学习到特征与情绪之间的映射关系，从而实现微表情的自动识别。

最后，分类器应用是将训练好的分类器应用于新的微表情识别任务中。

用户可以通过将视频输入模型，模型将自动识别和分类视频中的微表情，从而帮助用户更好地了解他人的情绪状态。

专利名称：微表情识别方法、装置、计算机设备及存储介质专利类型：发明专利
发明人：朱文和
申请号：CN201810939223.2
申请日：20180817
公开号：CN110197107A
公开日：
20190903
专利内容由知识产权出版社提供
摘要：本发明公开了一种微表情识别方法、装置、计算机设备及存储介质，首先，判断获取的当前待识别图像中是否存在被测者人脸图像；若当前待识别图像中存在所述被测者人脸图像，则基于微表情识别模型对当前待识别图像进行微表情识别，输出当前待识别图像的情绪识别结果；若当前待识别图像中不存在被测者人脸图像，则更新动态阈值；根据更新后的动态阈值获取下一幅待识别图像，将下一幅待识别图像作为当前待识别图像，返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤。

可以在保证处理精度的同时减少服务端的计算量，提高了整体的处理效率。

申请人：平安科技(深圳)有限公司
地址：518000 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼
国籍：CN
代理机构：深圳众鼎专利商标代理事务所(普通合伙)
代理人：周燕君
更多信息请下载全文后查看。

基于机器学习的微表情识别方法研究随着科技的不断进步，人工智能（AI）在各行各业都得到了广泛的应用，其中机器学习技术在生物识别领域也备受关注。

微表情识别是一种生物识别技术，通过观察人脸在短时间内微小的表情变化，可以推断出一个人的情绪状态。

本文将探讨基于机器学习的微表情识别方法研究。

一、微表情的定义和分类微表情指的是人的表情变化在1/25秒至1/2秒之间的微小变化，它是由个人的情感和个性习惯导致的。

我们可以将微表情分为七种不同的类别：快乐、悲伤、愤怒、惊恐、厌恶、嫌恶和焦虑。

二、传统微表情识别方法的限制传统的微表情识别方法是通过人工的方式来观察和识别微表情。

这种方法在识别准确度上存在很大的局限性，因为不同人的识别标准和技能会有所不同，且这种方法需要大量的人力资源。

三、基于机器学习的微表情识别方法介绍机器学习是一种用于让计算机通过数据进行学习的方法。

基于机器学习的微表情识别方法是指通过构建合适的特征提取器和分类器，让计算机通过数据进行学习，从而自动地识别微表情。

这种方法可以消除人工识别的局限性，而且有更高的识别准确度和更快的识别速度。

基于机器学习的微表情识别方法通常分为以下几个步骤：1. 数据采集。

数据采集是识别微表情的第一步。

研究者需要采集到含有微表情的人脸图像或视频数据。

在采集数据的时候，需要考虑光线强度、拍摄角度、距离以及背景等方面的因素。

2. 特征提取。

在进行特征提取时，需要选取合适的特征来表示微表情。

目前常用的特征包括颜色、形状、纹理和动态轮廓等。

3. 特征选择。

在进行特征选择时，需要筛选出对微表情识别具有重要贡献的特征。

常用的特征选择方法包括卡方检验、互信息和皮尔森相关系数等。

4. 分类器构建。

最后一步是构建分类器，使用特征向量和标签的训练数据来训练分类器。

常用的分类器包括支持向量机、决策树和神经网络等。

四、基于机器学习的微表情识别方法的优势1. 提高了识别准确度。

相比传统的人工识别方式，基于机器学习的微表情识别方法具有更高的识别准确度。

基于特征设计的表情识别方法摘要：表情识别是计算机视觉领域的重要研究方向之一。

本文介绍了一种基于特征设计的表情识别方法，该方法利用人脸图像的特征进行表情分类。

具体而言，我们首先通过面部检测和关键点定位获取人脸图像，然后提取图像的特征，最后使用机器学习算法进行表情分类。

实验结果表明，基于特征设计的表情识别方法能够有效地识别人脸图像中的表情，具有较高的准确率和鲁棒性。

1. 引言表情是人类交流中重要的非语言信息之一，可以传达情感和意图。

因此，表情识别在人机交互、情感计算等领域具有广泛的应用前景。

然而，由于人脸图像中的表情变化较为微妙和复杂，表情识别一直是一个具有挑战性的问题。

2. 方法概述基于特征设计的表情识别方法主要包括以下几个步骤：面部检测、关键点定位、特征提取和表情分类。

下面将详细介绍每个步骤的内容。

2.1 面部检测面部检测是表情识别的第一步，其目的是从图像中定位人脸区域。

常用的面部检测方法包括基于特征的方法和基于深度学习的方法。

在本方法中，我们采用了基于深度学习的面部检测器，该检测器能够准确地定位人脸区域。

2.2 关键点定位关键点定位是表情识别的关键步骤，其目的是在人脸图像中定位关键点，如眼睛、眉毛、嘴巴等部位。

关键点定位可以通过回归或分类的方法实现。

在本方法中，我们采用了基于回归的关键点定位方法，该方法能够准确地定位人脸的关键点。

2.3 特征提取特征提取是表情识别的核心步骤，其目的是将人脸图像转化为能够表示表情信息的特征向量。

常用的特征提取方法包括局部二值模式（LBP）、梯度直方图（HOG）等。

在本方法中，我们采用了LBP 特征和HOG特征的组合作为人脸图像的特征。

2.4 表情分类表情分类是表情识别的最后一步，其目的是将特征向量分类为不同的表情类别。

常用的分类方法包括支持向量机（SVM）、k最近邻（KNN）等。

在本方法中，我们采用了多层感知机（MLP）作为分类器，该分类器能够有效地分类人脸图像的表情。

专利名称：一种微表情识别算法
专利类型：发明专利
发明人：阳兵,程静,张博,杨云祥,郭晓雷,郭静,谷晓鹏申请号：CN201910456423.7
申请日：20190529
公开号：CN110287801A
公开日：
20190927
专利内容由知识产权出版社提供
摘要：本发明提出了一种微表情识别算法，包括：获取微表情序列，由微表情序列计算得到光流序列，并由光流序列计算得到光应变序列；微表情序列、光流序列和光应变序列分别经卷积神经网络处理得到第一特征向量、第二特征向量和第三特征向量；将第一特征向量、第二特征向量以及第三特征向量连接后输入循环神经网络，并经过全连接层处理后得到微表情的分类权重向量；基于分类权重向量对微表情进行识别。

根据本发明的微表情识别算法，将光流序列和光应变序列作为补充信息加入到识别算法中，并分别采用三条卷积神经网络对微表情序列、光流序列和光应变序列进行处理。

而且在算法中融合了三种注意力机制，有效提高了微表情识别算法的精确性和可靠性。

申请人：中国电子科技集团公司电子科学研究院
地址：100041 北京市石景山区双园路11号
国籍：CN
代理机构：工业和信息化部电子专利中心
代理人：田卫平
更多信息请下载全文后查看。

60种微表情识别方法
微表情识别方法是指识别用户在网络上的微表情，这是一个复杂的任务，需要同时考虑计算机视觉，自然语言处理和机器学习技术。

下面介绍六种常见的微表情识别方法：
（1）基于文本的特征识别。

这种方法通过识别表情符号等文本性特征，来判断用户情绪，比如表情符号“:)”可表示“开心”等情绪。

（2）基于视觉的特征识别。

这种方法可以识别表情图片中的特征，例如颜色，嘴型等，以此来识别微表情。

（3）基于机器学习的语义分析。

这种方法利用文本分析技术，可以从用户发布的文本中提取出语义特征，从而对表情进行分析。

（4）基于深度学习的图像识别。

深度学习技术可以有效地识别图像中的表情等特征，可以对用户的微表情进行准确的识别。

（5）社交媒体情绪分析。

利用社交媒体情绪分析技术，可以更准确地识别用户的情绪，包括微表情。

（6）联合学习技术。

联合学习技术是一种有效的学习技术，可以利用多模态特征，如文本，图像和音频，结合起来，用于对用户的微表情进行准确的识别。

以上是常见的六种微表情识别方法，它们的共同点是利用各种各样的技术，从用户发布的内容中提取特征，从而识别用户的微表情。

基于特征设计的表情识别方法摘要：表情识别是计算机视觉领域的一个重要研究方向，它可以帮助计算机理解和模拟人类的情感状态。

本文介绍了一种基于特征设计的表情识别方法，通过提取图像的关键特征，使用机器学习算法进行分类和识别。

该方法在准确率和实时性方面取得了良好的效果，具有较高的应用价值。

1. 引言表情是人类情感传达的重要方式之一，而计算机对表情的识别和理解一直是一个具有挑战性的任务。

随着计算机视觉和机器学习技术的不断发展，基于特征设计的表情识别方法逐渐成为研究热点。

本文将介绍一种基于特征设计的表情识别方法，该方法通过提取图像的关键特征，实现对表情的准确识别。

2. 特征提取在表情识别中，特征提取是至关重要的一步。

传统的方法通常采用手工设计的特征，如颜色直方图、纹理特征等。

这些特征可以反映图像的统计信息和结构特征，但对于表情的识别效果有限。

近年来，基于深度学习的特征提取方法取得了显著的进展。

通过使用卷积神经网络（CNN）等深度学习模型，可以自动学习图像的高级特征，提高表情识别的准确率。

3. 特征选择在特征提取之后，需要对提取到的特征进行选择和降维。

特征选择的目标是从所有的特征中选择出最具有区分性的特征，以提高分类器的性能。

常用的特征选择方法有相关系数、信息增益等。

特征降维的目标是减少特征的维度，提高分类器的效率和泛化能力。

常用的特征降维方法有主成分分析（PCA）、线性判别分析（LDA）等。

4. 分类器设计特征选择和降维之后，需要设计一个分类器来对表情进行识别。

常用的分类器有支持向量机（SVM）、k最近邻（KNN）、决策树等。

这些分类器可以根据提取到的特征对表情进行分类，判定其所属的情感状态。

此外，还可以使用深度学习模型如卷积神经网络（CNN）来进行表情识别，这种方法在大规模数据集上取得了较好的效果。

5. 实验与结果为了验证基于特征设计的表情识别方法的有效性，我们在公开数据集上进行了实验。

实验结果表明，该方法在识别准确率和实时性方面都取得了良好的效果。

基于特征设计的表情识别方法引言：表情识别是计算机视觉领域的一个重要研究方向，目标是通过分析人脸图像中的表情特征，准确识别出人脸所表达的情感状态。

近年来，随着深度学习技术的发展，基于深度学习的表情识别方法取得了显著的进展。

然而，基于特征设计的表情识别方法仍然具有一定的优势，本文将重点介绍基于特征设计的表情识别方法及其应用。

一、特征设计的概念与意义特征设计是指通过对原始数据进行预处理和特征提取，将数据转化为可用于模型训练和分类的特征向量。

在表情识别任务中，特征设计起着至关重要的作用。

通过合理选择和设计特征，可以提高表情识别的准确率和鲁棒性。

二、基于特征设计的表情识别方法1. 图像预处理在进行特征设计之前，首先需要对人脸图像进行预处理，包括人脸检测、关键点定位和图像对齐等步骤。

这些预处理步骤可以提高后续特征提取的准确性和稳定性。

2. 特征提取特征提取是基于特征设计的表情识别方法的核心步骤。

常用的特征提取方法包括局部二值模式（LBP）、方向梯度直方图（HOG）和局部特征描述子（例如SIFT、SURF）等。

这些特征可以从人脸图像中提取出与表情相关的纹理、形状和结构等信息。

3. 特征选择在提取到大量的特征之后，需要进行特征选择，选择出对表情识别最具有判别性的特征子集。

特征选择可以通过统计方法、信息论方法和优化算法等进行。

选择出的特征子集不仅可以提高表情识别的准确率，还可以减少计算复杂度。

4. 分类器设计特征选择之后，需要设计合适的分类器对不同的表情进行分类。

常用的分类器包括支持向量机（SVM）、最近邻分类器（KNN）和决策树等。

这些分类器可以根据特征向量的维度和数量进行训练，得到表情分类模型。

三、基于特征设计的表情识别应用基于特征设计的表情识别方法在多个领域都有广泛的应用。

例如，在人机交互中，可以通过识别用户的表情来判断用户的情感状态，从而提供更加智能化的服务。

在医疗领域，可以通过识别病人的表情来评估其疼痛程度，为医生提供辅助诊断信息。