基于合成的通用头部网格模型的表情合成

基于多特征融合卷积神经网络的人脸表情识别作者：王建霞陈慧萍李佳泽张晓明来源：《河北科技大学学报》2019年第06期摘要：针对卷积神经网络特征提取不够充分且识别率低等问题，提出了一种多特征融合卷积神经网络的人脸表情识别方法。

首先，为了增加网络的宽度和深度，在网络中引入Inception结构来提取特征的多样性;然后，将提取到的高层次特征与低层次特征进行融合，利用池化层的特征，将融合后的特征送入全连接层，对其特征进行融合处理来增加网络的非线性表达，使网络学习到的特征更加丰富;最后，输出层经过Softmax分类器对表情进行分类，在公开数据集FER2013和CK+上进行实验，并且对实验结果进行分析。

实验结果表明：改进后的网络结构在FER2013和CK+数据集的面部表情上，识别率分别提高了0.06%和2.25%。

所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。

关键词：计算机图像处理;面部表情识别;卷积神经网络;特征融合;特征提取;表情分类中图分类号：TP319 ; 文献标志码：A ; doi：10.7535/hbkd.2019yx06012Abstract：Aiming at the problem of insufficient feature extraction and low recognition rate of convolutional neural network， a novel facial expression recognition method based on multi-feature fusion convolutional neural network is proposed. First， to increase the width and depth of the network， Inception architecture is introduced into the network to extract the diversity of features; Then， the extracted high-level features are fused with the low-level features， and the pooled features are used to send the fused features into the full connection layer， then the fused features are processed to increase the non-linear expression of the network and enrich the features learned by the network. Finally， the output layer classifies the expressions by Softmax classifier， conductes experiments on FER2013 and CK+， and analyzes the experimental results. Experimental results show that the improved network structure improves the recognition rate of facial expressions inFER2013 and CK+ data sets by 0.06% and 2.25%， respectively. The proposed method is valuable for setting up convolution neural network and parameter configuration in facial expression recognition.Keywords：computer image processing; facial expression recognition; convolutional neural network; feature fusion; feature extraction; expression classification人脸面部表情在人们的日常交流中起到了举足轻重的作用，人们可以通过情绪的表达来传递一些信息。

基于深度学习的人脸表情生成与动态表情合成研究摘要：深度学习技术的快速发展在多个领域取得了显著的成果，其中包括人脸表情生成与动态表情合成。

本研究旨在通过深度学习方法，生成逼真的人脸表情，并将其合成到动态图像中，以增强图像的表现力。

通过研究神经网络模型和训练算法，本研究展示了在人脸表情生成与动态表情合成领域的潜在应用。

1. 引言人脸表情是人类之间交流的重要方式之一，也是充满情感的表达方式。

传统的静态人脸图像无法完全捕捉到人脸表情的丰富多样性，而通过深度学习的方法，我们可以实现逼真动态的人脸表情生成与合成。

这在游戏、电影等娱乐产业中具有重要应用价值。

2. 相关工作在过去的几年中，许多研究已经展示了基于深度学习的人脸表情生成与动态表情合成的方法。

其中的关键技术包括生成对抗网络（GANs）和条件生成对抗网络（cGANs）。

GANs 通过两个神经网络的博弈来生成真实的人脸图像。

cGANs则能够根据给定的条件生成特定的表情图像。

同时，还有一些基于时序数据的方法，例如循环生成对抗网络（CycleGANs），可以生成连续的人脸表情动画。

3. 方法与实验本研究采用了一种基于cGANs的方法，用于生成逼真的人脸表情图像。

首先，我们训练了一个生成器网络，该网络使用给定的条件输入（例如，快乐、生气等）生成对应的人脸表情。

然后，我们使用一个鉴别器网络来评估生成的图像与真实图像之间的差异。

通过反复训练这两个网络，我们能够逐步提高生成器的表情合成能力。

在实验过程中，我们使用了包括人类面部表情数据库（Facial Expression Recognition Database）和LFW数据集等在内的大量数据进行训练和测试。

通过与传统的方法进行比较，我们实验证明了基于深度学习的方法在生成人脸表情方面具有更好的性能和效果。

4. 结果与讨论实验结果表明，基于深度学习的人脸表情生成与动态表情合成方法能够生成高质量的人脸表情图像，并将其合成到动态场景中。

一种改进的基于正交图像的虚拟人脸合成方法1阳萌吴晓斌汤彦朱玉凡汪国平2（北京大学计算机系北京100871）摘要：从一组实拍的人脸图像中合成出具有真实感的虚拟人脸是人脸造型和表情动画中一项重要的工作。

给定人脸的正面和侧面正交图像，以及预定义的一般化人脸网格模型，通常采用的合成方法是从图像中抽取出反映人脸形状的特征点，然后将这些特征点以及一般化人脸模型代入统一的约束方程中求解，得到适配后的脸型。

目前已提出的形变约束方程普遍存在局限性，本文提出了新的约束方程，并介绍了一种改进后的算法，针对人脸的不同区域采用不同的约束方程分别进行适配，最后使用简化的多角度纹理映射使其更具有视觉真实感。

经实验验证，本算法实现简单、快速，合成效果逼真。

关键词：三维重建；虚拟人脸合成；约束方程；基于图像建模中图法分类号：TP391IMPROVED REALISTIC 3D FACE SYNTHESISBASED ON ORTHOGONAL PHOTOSStewart M. Yang, Xiaobin Wu, Yan Tang, Yufan Zhu, Guoping Wang (Department of Computer Science and Technology, Peking University, Beijing 100871)Abstract: The construction of realistic 3D face model based on a set of photographs is an important, yet challenging task in 3D face model and animation. Provided with frontal and profile facial images, and a predefined generic 3D face model, the prevailing construction method first extracts the feature points from those photos, then uses a constrained equation to deform the generic model in order to fit particular facial geometry, finally performs multi-direction texture mapping to get a realistic personal face. Since most existing constrained equations have their limitations, in this paper we introduce two new constrained equations, and propose a modified deformation method which applies specific equations on different face areas. The simplified multi-direction mapping is used to get a realistic face.1本文获国家自然科学基金(60173062)、北京市自然科学基金（4012008）和教育部高校骨干教师基金资助2联系作者，Email: stewart@ wgp@Several examples are implemented and verified this method simply and efficient, with promising result.Keywords: 3D reconstruction, 3D face synthesis, constrained equations, image-based modeling1引言三维人脸造型和动画作为计算机图形学的一个分支，最近受到了人们越来越多的关注。

基于CNN集成的面部表情识别作者：陆嘉慧张树美赵俊莉来源：《青岛大学学报（工程技术版）》2020年第02期摘要：针对面部表情识别在许多领域的重要应用，本文提出了一种基于卷积神经网络（convolutional neural network，CNN）集成的面部表情识别（facial expression recognition，FER）方法。

采用3種网络结构不同的卷积神经网络进行训练，利用这些深层模型，使用基于验证准确性的多数投票、简单平均和加权平均的集合方法，在CK+数据集和FER2013数据集上分别测试单一网络模型和集合网络模型。

测试结果表明，单一模型的最佳识别率分别为98.99%和66.45%，集合网络的最佳识别率分别达到99.33%和67.98%，说明使用集合方法的模型比单一模型表现更佳，其中加权平均的集合方法优于简单平均和多数投票，说明本文所提出的方法能够满足面部表情识别的要求。

该研究具有一定的实际应用价值。

关键词：表情识别; 卷积神经网络; 网络集合; 表情数据集中图分类号： TP391.413文献标识码： A面部表情是表达内心世界最自然的方式，它在社会交往中起着至关重要的作用。

20世纪70年代初期，D. Ekman等人[1]提出所有文化中都存在6种普遍的情感表达，即惊讶、悲伤、愤怒、厌恶、快乐和恐惧。

近年来，面部表情识别的调查引起了广泛关注[23]，A.Krizhevsky 等人[4]认为基于深度学习的新方法可以改善面部表情分类任务，尤其是ImageNet Challenge的最新改进以来，使CNN代表了相关的突破。

CNN将特征提取和分类结合在一起，通过输入原始数据得到最终的分类标签，不需要任何辅助过程。

拥有数千万参数的CNN可以处理大量的训练样本，自动从网络中学习特征，不需要手工提取。

目前，这些端到端方法通过使用深度学习分类器的集合进行改进，整体由一组CNN组成，它聚合每个分类器的部分结果，以在测试时间内产生统一的响应。

人脸表情估计与表情合成如果把人们之间交流时传递的信息进行分割的话，人们所说的话语传递的信息占了7%，说话时的语调占了38%，而说话人的表情占到了55%。

从表情和神色的变化中，可以感知到一个人的情绪、感受、甚至秉性和气质。

人脸表情是人类进行相互交流的基础，通过人脸表情所能传达的信息大大超过通过语音或动作所能传达的信息。

如果把人们之间交流时传递的信息进行分割的话，人们所说的话语传递的信息占了7%，说话时的语调占了38%，而说话人的表情占到了55%。

人的脸上分布着五十多块面部肌肉，这些肌肉的不同运动方式会导致不同脸部表情，从这些表情和神色的变化中，可以感知到一个人的情绪、感受，甚至秉性和气质。

一般来说，表情可以分为中性无表情和六种基本表情: 高兴、忧伤、惊讶、愤怒、鄙视和恐惧，其他表情可以看做是这些表情的组合。

表情估计人脸表情是影响人脸识别系统性能的一个重要因素，一般的人脸识别系统数据库中存储的是中性无表情的人脸图像，如果以带有各种表情的人脸图像去进行识别查询就往往得不到所期望的结果。

解决这个问题的可能方法有: 在库中保存每一个人的所有可能的表情，但这对于变化无穷的人脸表情来说是不实际的; 采用对表情不敏感的识别算法，但这样往往只能对低强度的表情变化有效，而且对表情的不敏感很可能就会导致对其他影响因素敏感; 对输入图像进行表情补偿，这是解决表情对人脸识别系统的影响最有效的方法，可采用如图1所示的结构。

图1 人脸识别流程对于输入的人脸图像，首先采用表情估计模块估计图像中人的表情，如果此人是不带有表情的就直接可以交给人脸识别系统进行识别了。

而如果此人是带有表情的，则再输入到表情合成模块，表情合成模块会根据此人的表情导入相应的模型对其进行处理，然后合成得出此人的不带表情人脸图像，再交给人脸识别系统进行识别。

在人脸表情估计方面，采用的是人脸图像的Gabor特征，通过一系列的滤波器对图像进行处理，可以得出图中人脸在不同方向上不同大小的特征，由于Gabor函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，因此用Gabor特征来体现人脸不同表情的不同变化是非常有效的。

基于三角形网格划分头骨技术的人像识别算法在当今互联网飞速发展的大背景下，不法分子利用高科技犯罪的行为，对人们的人身安全构成的威胁越来越大，如何准确鉴定一个人的身份，保证信息的安全性，已成为了社会的关键性问题。

主要通过翻阅查询关于人脸识别技术的不同文献，适当的提出一些假设，根据头骨一定的结构、形状、比例，形成每个人特定的“头骨规则”再进行判断。

首先，我们利用自动生成三角形网格技术，将头骨分成大大小小不规则的三角形网格，进行三角化。

其次，通过一定的学习理论，将三角形网格进行简化，达到一种便于观察、计算的关系型状态。

最后，对最终简化的三角形网格建立坐标系，通过确定三角形相似度，判断在合理误差范围内，两张照片上是否为同一个人。

标签：三角形网络；相似理论；头骨划分；关系型状态1基本背景随着互联网应用技术的快速发展以及人类虚拟活动空间和物理活动空间的不断扩展，人们对于信息保密性和安全性的要求也越来越高。

现如今社会，许多商业机构都涉及身份识别，而因为科技的发展，不法分子盗取行为也在变得“高科技”，各方面相关交易行为存在较之以往的高忧患，如何准确鉴定一个人的身份、保护信息保密安全，已成为一个重要的社会问题。

传统的身份证等证件越来越难以满足社会安全性日益增长的需求，所以目前最为安全便捷的方案就是生物特征识别技术。

这项技术不仅便捷快速，更使身份识别更保密、可靠、安全。

在生物识别技术兴起的阶段，互联网技术人脸识别已发展成一项重要的生物特征识别技术。

1.1人脸识别较之于其他身份识别的优点（1）人脸具有非常丰富的识别信息。

（2）对人脸特征的图像采集便捷。

（3）非肢体接触式采集，不易遭到反感。

（4）操作方式可以隐蔽，尤其适用于安全监控。

（5）人到一定年龄时，头骨发育基本成熟而已经定型。

1.2人脸识别的研究意义（1）多门学科的发展与人脸识别技术的崛起关系密切。

（2）识别技术可应用于多方面市场，比如安全监控，证件验证等方面。

2人脸识别基本假设（1）假设一个人在年龄增长的过程中没有进行磨骨等对面部骨骼进行改变的手术。