基于本征空间的多姿态人脸识别方法

基于计算机视觉的人体姿态识别算法研究摘要：人体姿态识别是计算机视觉领域中的重要研究方向之一。

随着深度学习和图像处理技术的不断发展，基于计算机视觉的人体姿态识别算法在姿态估计和动作识别等方面取得了显著的进展。

本文将针对基于计算机视觉的人体姿态识别算法进行综述和研究，包括姿态估计的基本原理、常用的数据集和评估指标、深度学习方法在人体姿态识别中的应用以及未来的发展趋势。

1. 简介人体姿态识别是指通过图像或视频中的人体姿势信息，从而实现对人体动作、状态和意图的理解和识别。

这在计算机视觉领域中有着广泛的应用，如人机交互、动作捕捉、运动分析等。

2. 基本原理姿态估计的基本原理是通过图像处理和分析技术，从人体图像中提取关键点或关节点，并根据这些关节点的空间位置关系推断出人体的姿态。

传统的方法主要包括基于模型的方法和基于特征的方法。

基于模型的方法使用人体解剖学或机械模型作为参考，来建立人体姿态的数学模型；基于特征的方法则通过提取人体图像中的特征点进行姿态估计。

3. 常用数据集和评估指标在人体姿态识别算法的研究中，常用的数据集包括MPII和COCO数据集，它们包含了大量不同姿态和动作的人体图像。

评估指标通常包括关节点定位误差、平均准确率和F1得分等，用于评估算法的精度和效果。

4. 深度学习方法在人体姿态识别中的应用深度学习方法在人体姿态识别中取得了巨大的突破。

Convolutional Pose Machines (CPM) 和Hourglass Network是目前常用的深度学习模型，它们通过端到端的训练，可以直接从图像中预测出人体的关节点位置。

此外，一些进一步的改进方法采用了注意力机制、多尺度信息和堆叠网络结构等技术，提高了姿态估计的准确性和鲁棒性。

5. 未来发展趋势随着深度学习和计算机硬件的进一步发展，基于计算机视觉的人体姿态识别算法将迎来更多的创新和应用。

未来的研究方向包括对遮挡和复杂环境的适应性改进、多人姿态估计、动作识别与预测、实时性和低功耗等问题的解决。

基于大量人脸数据库的人脸识别的新方法Mahmud S. Alkoffash, Shihadeh Alqrainy, Hasan Muaidi, Mohammed Wedyan阿普杜拉王子。

摘要这篇文章展示了一个算法使得matlab程序能够以来一个给予的数据库和脸部识别技术构建和处理一张图片，这帮助解决了一些公安人员的调查难题和一些类似的操作，随着数据库的发展这些图像得以被构建和实现。

据发现这样的图像处理操作解决了一些需要快速调查的事务的难题比如公安人员的工作。

这种方法依赖于已有的人脸数据库和人脸识别，人脸识别则是采用抓取脸部的数据并于已有数据进行比较，然后找到最接近的一个作为结果。

这个操作需要时间，虽然它并不实时操作但是需要的时间是很短的。

这种方法延伸出一种方法能够更快搜索出一些未知的人或脸，这样所有的部门就能投入更多的兴趣在自己的事务中搜索未知的人。

关键字：图像处理；matlab；数据库；人脸识别；搜索介绍数据库图像处理系统适用于在一些紧急事件中快速构建图像，比如犯罪案件，公安人员对杀人犯，盗窃犯和其他一些犯人的调查。

它可以与图像检索系统和其他的图像处理程序并行。

这个系统能够进行所谓的图像检索操作来比较存储在数据库中的图像和被给予的数据所描绘出的图像，以此使得一些问题得以解决。

另一方面，非语言类检索引用通过图像属性访问数据的系统。

一些图像属性能够依赖图形处理技术被提取出来。

这个系统能够通过取得资源里的数据来启动，这样的数据库描绘了图像然后任何在数据库中的项目都能通过matlab构筑的代码来转换成类似于数据库中给出的图像，从而系统能够搜索一张通过存储大量数据的数据库构筑的相似的图像。

在这之后系统能够得出它的结果使得未知的图像成为已知，之后还需要一个测试阶段来确保最终图像的正确性。

许多研究者通过不同的方法论来探究分析这样的系统，比如Jodouin S. et al。

2003 年展示了一个全自动方法，它基于多谱线图像和地形数据库样本的区域探测和描绘。

人脸识别中的姿态估计算法研究人脸识别技术是近年来得到广泛应用的一种人工智能技术，它基于人脸图像特征，通过图像处理和模式识别等算法，实现了对人脸身份信息的自动识别。

在人脸识别技术中，姿态估计算法是一种重要的图像处理技术，它能够对人脸图像进行姿态和角度的估计，从而提高了人脸识别系统的准确度。

一、姿态估计算法简介姿态估计算法是一种通过对人脸图像进行特征提取和分析，实现对人脸姿态和角度的估计的图像处理技术。

姿态估计算法的核心是通过对人脸图像中的特征点进行分析，推断出人脸的姿态和角度。

一般来说，姿态估计算法可以分为基于特征点的方法和基于模型的方法两种。

基于特征点的方法是通过对人脸图像中的关键特征点进行检测和分析，从而确定人脸的姿态和角度。

基于特征点的方法需要先对人脸进行关键点检测，通常是根据眼睛、鼻子、嘴巴等特定区域进行检测，然后通过特征匹配算法计算出人脸的姿态和角度。

基于模型的方法是通过构建人脸模型，在模型中设定人脸各部位的关键点，然后通过对模型进行拟合，推断出人脸的姿态和角度。

基于模型的方法需要先建立一个足够准确的人脸模型，然后通过对图像中的特征点进行匹配，计算出人脸的姿态和角度。

二、姿态估计算法的应用领域姿态估计算法在人脸识别技术中应用广泛，它可以提高识别准确率，并且可以满足不同领域的需求。

下面介绍几个姿态估计算法的应用领域：1. 人脸识别人脸识别技术是姿态估计算法的主要应用领域之一。

姿态估计算法可以帮助人脸识别系统更准确地识别出人脸，并且可以在不同角度的情况下进行识别。

2. 安防监控安防监控是姿态估计算法的典型应用领域。

姿态估计算法可以在不同角度和距离的情况下识别人脸，从而更好地实现安防监控。

3. 人机交互姿态估计算法在人机交互领域有着广泛的应用。

它可以帮助机器更准确地理解人类行为和动作，从而更好地实现人机交互。

4. 游戏开发姿态估计算法在游戏开发中也有着广泛的应用。

它可以帮助游戏开发者更好地实现人物动作和姿态的自然衔接，提高游戏的玩法和体验。

基于计算机视觉技术的人体姿态识别算法研究近年来，随着计算机视觉技术的不断发展和实践应用，人体姿态识别算法成为了热门的研究领域之一。

基于计算机视觉技术的人体姿态识别算法是一种通过计算机模拟和分析人体运动过程的技术，可以实现对人体姿态的自动化识别和跟踪。

一、算法原理基于计算机视觉的人体姿态识别算法主要依靠数字图像处理和计算机视觉技术，通过对人体姿态的关键特征点进行提取和跟踪，最终实现对人体姿态的识别和分析。

具体来说，该算法主要包括以下几个步骤：1.图像采集：通过摄像机等设备对人体进行拍摄，并将所得数字图像输入到计算机系统中。

2.图像预处理：对输入的数字图像进行预处理，包括图像去噪、灰度化、边缘检测、轮廓提取等操作，以提取人体姿态相关的特征。

3.特征点提取：根据人体姿态的特征，自动提取关键特征点，如人体的手、脚、肘等部位，以便后续的姿态跟踪和分析。

4.姿态跟踪：通过跟踪关键特征点，计算出人体在不同时间段内的姿态和运动轨迹，以实现对人体姿态的准确跟踪和分析。

5.姿态分类和识别：将跟踪计算出的人体姿态进行分类和识别，以便进一步应用，如运动训练、医疗康复、游戏娱乐等。

二、算法应用基于计算机视觉技术的人体姿态识别算法可以广泛应用于各个领域，如运动训练、医疗康复、智能家居、游戏娱乐等。

1.运动训练：基于该算法的人体姿态识别系统可以对运动员进行体能训练和动作指导，通过对人体姿态的实时跟踪和分析，实现对运动员的动作纠正和体能提升。

2.医疗康复：基于该算法的系统可以对患者进行康复治疗，通过对患者的身体状态进行实时监测和分析，以实现对患者康复过程的控制和指导。

3.智能家居：基于该算法的系统可以实现对家居设施的智能控制，如自动开关灯、调节温度等，通过对人体姿态的分析和识别实现人机交互，提高生活的智能化水平。

4.游戏娱乐：基于该算法的系统可以实现人机互动游戏，如体感游戏、虚拟现实等，通过对人体姿态的识别和跟踪，实现游戏效果的增强和互动性的提升。

多姿态人脸图像处理方法论文摘要：该文通过在传统的积分投影法的基础上，采用小波分解的人脸标准发和基于肤色模型的人脸标准法对人脸图像进行研究，最终提出了归一化技术，在进行了灰度处理、尺寸处理以及单视图生成多姿态图像中，有效的形成了对多姿态人脸图像的处理方式，提高了人脸识别技术。

日常生活中，人脸是人类视觉最为普遍的模式，它主要反应了一种视觉信息，能够将人与人之间的交流通过具体的表情来表现出来。

这也是区分人与人之间特别的重要保证。

随着科学技术在不断的提高，人脸识别技术被越来越多的使用。

它主要是利用计算机对人脸图像进行分析，从中提取有效的识别信息，然后辨认具体的身份。

该文在研究了人脸识别技术后，最终形成了多姿态人脸图像的处理方法。

1 人脸识别技术通常在人脸识别技术中，其主要应用在：（1）能够直接的应用在信用卡、驾驶证、护照以及身份证等证明自己身份的验证系统中，然后进行自动个人身份的识别使用，在出现了相关的信息丢失后，就可以采用人脸识别技术，将证件持有人的人脸图像压缩成编码存储在证件中，这样就可以进行自动身份验证，大大提高了安全的系数；（2）人脸识别技术还可以应用在公安部门的工作中，可以加强对罪犯的辨识，在具体的使用中，在发生刑事案件后，警方可根据目击者的描述绘制出嫌疑犯的面部特征图，加快破案速度。

（3）访问控制方面的应用。

对于控制系统来说，在采用了人脸识别技术后，可以自动的进行身份验证，提高了控制管理的有效性。

（4）基于内容的图像检索领域中的具体应用。

采用人脸识别技术，在检索的过程中，在基于内容的图像检索中，可以大大的提高数据搜寻的自动化成都，提高了使用的效率。

2 人脸图像的标准化处理2.1 传统的人脸标准化处理当前，对人脸的识别技术，主要利用的是积分投影法来实现人脸的标准化。

该技术的使用可以将人的头发与人脸进行分离，对眼睛、嘴部以及其他的位置可以进行初步的定位。

在水平积分投影和垂直积分投影中描述了图像垂直方向和水平方向上的灰度变化，最终实现了人脸的标准化处理。

深度学习在面部表情识别领域的突破：多尺度时空特征融合技术在人工智能领域，面部表情识别一直是一个充满挑战的研究课题。

随着深度学习技术的发展，这项技术在捕捉人类复杂情感表达方面取得了显著进展。

本文将探讨一种新颖的面部表情识别网络——基于多尺度时空特征融合的级联注意力网络，它通过精确捕捉面部动态变化，显著提升了识别的准确性和效率。

级联注意力网络的创新设计传统的面部表情识别方法往往依赖于手工特征提取，这些方法在处理光照不均或面部部分遮挡的情况下表现不佳。

为了克服这些限制，研究人员提出了一种基于注意力机制和金字塔特征的新型网络结构。

这种结构通过融合局部空间特征、多尺度立体空间上下文特征以及时间特征，实现了对面部表情变化的精确捕捉。

多尺度时空特征的融合在面部表情识别中，捕捉眼睛、鼻子和嘴巴等动态变化区域的细微变化至关重要。

新型网络通过构建多尺度金字塔结构，有效地提取了这些关键区域的特征。

此外，通过级联注意力模块，网络能够进一步强化对这些特征的关注度，从而提高了识别的准确性。

实验验证与性能提升在CK+、Oulu-CASIA和RAF-DB等多个公共数据集上的实验表明，新型网络在不同环境条件下均展现出卓越的性能。

与传统方法相比，该网络在自然环境下的表现尤为突出，这证明了其在实际应用中的潜力。

总结本文提出的基于多尺度时空特征融合的级联注意力网络，为面部表情识别领域带来了新的突破。

通过深入分析和实验验证，该网络在处理复杂情感表达方面展现出了巨大的优势。

随着技术的不断进步，我们有理由相信，这种基于深度学习的方法将在未来的人工智能应用中发挥更加重要的作用。

参考另一篇面部表情识别技术的新篇章：深度学习与注意力机制的结合在人类交流中，面部表情扮演着传递情感和情绪的关键角色。

随着计算机视觉技术的发展，自动面部表情识别技术逐渐成为研究的热点。

本文将介绍一种结合深度学习和注意力机制的面部表情识别方法，该方法通过融合多尺度时空特征，显著提高了识别的准确性和鲁棒性。

一种基于空域和频域多特征融合的人脸活体检测算法人脸活体检测是指通过分析人脸图像中的生物特征来判断该人脸是否为真实的，以区分活体人脸和照片、视频等伪造的人脸。

为了提高人脸活体检测的准确性和鲁棒性，提出了一种基于空域和频域多特征融合的人脸活体检测算法。

首先，在空域中，通过分析人脸图像的纹理和形状特征，识别人脸的真实性。

常见的空域特征包括LBP（Local Binary Pattern）和HOG （Histogram of Oriented Gradients）等。

LBP能够有效地描述图像的纹理信息，通过统计局部像素点与其邻域像素点的灰度差异来描述纹理特征。

HOG则能够有效地描述图像中物体的形状特征，通过统计局部图像块中梯度方向的分布来描述形状特征。

其次，在频域中，通过分析人脸图像的频谱特征，识别人脸的真实性。

由于伪造的人脸图像通常缺乏细节和高频信息，因此通过分析频谱特征可以有效地判断图像是否为伪造。

常见的频域特征包括FFT（Fast Fourier Transform）和图像的高通滤波器等。

FFT能够将图像从空域转换到频域，通过分析频谱中不同频率的成分来判断图像的真实性。

高通滤波器可以滤除图像中的低频信息，突出图像中的细节和高频特征。

最后，通过将空域和频域的多个特征进行融合，得到最终的人脸活体检测结果。

融合可以采用简单的加权平均方法，也可以采用更复杂的特征融合算法，如AdaBoost、SVM等。

通过融合多个特征，可以有效地提高活体检测的准确性和鲁棒性。

在实际应用中，该算法可以通过摄像头捕获人脸图像，并进行实时的活体检测。

通过分析人脸图像的空域和频域特征，可以得到较高的活体检测准确率。

同时，该算法可以应对不同的攻击手段，如照片攻击、视频攻击等，具有较好的鲁棒性。

综上所述，基于空域和频域多特征融合的人脸活体检测算法可以提高活体检测的准确性和鲁棒性，具有较好的应用前景。

未来可以通过进一步优化算法，提高检测的效率，并结合深度学习等前沿技术，为人脸活体检测领域带来更大的突破。

《基于线性子空间的人脸识别技术研究》篇一一、引言人脸识别技术是计算机视觉领域的重要研究方向，其应用广泛，包括安全监控、身份认证、人机交互等。

随着人工智能技术的不断发展，人脸识别技术在各个领域的应用越来越广泛。

然而，由于人脸特征的复杂性和多样性，如何准确、快速地进行人脸识别仍然是一个具有挑战性的问题。

基于线性子空间的人脸识别技术是解决这一问题的一种有效方法。

本文将探讨基于线性子空间的人脸识别技术的研究现状、原理及方法，以及其应用和未来发展。

二、线性子空间人脸识别技术原理及方法线性子空间人脸识别技术是基于人脸图像在某个线性子空间中的表示进行识别的。

其主要思想是通过将人脸图像投影到低维的线性子空间中，以实现降维和特征提取。

常用的线性子空间包括主成分分析（PCA）子空间、线性判别分析（LDA）子空间等。

在PCA子空间中，通过将人脸图像投影到由主成分构成的低维空间中，可以有效地去除图像中的噪声和冗余信息，同时保留人脸的主要特征。

在LDA子空间中，通过将人脸图像投影到由类间散布矩阵和类内散布矩阵构成的低维空间中，可以实现类间可分性和类内紧凑性的优化。

除了PCA和LDA，还有许多其他基于线性子空间的人脸识别方法，如独立成分分析（ICA）、局部保持投影（LPP）等。

这些方法各有优缺点，适用于不同的应用场景。

三、基于线性子空间的人脸识别技术应用基于线性子空间的人脸识别技术在各个领域有着广泛的应用。

在安全监控领域，可以通过该技术实现对进出区域的人员进行身份识别和监控；在身份认证领域，可以通过该技术实现对用户身份的快速验证；在人机交互领域，可以通过该技术实现更加自然的交互方式。

此外，基于线性子空间的人脸识别技术还可以与其他技术相结合，如深度学习、三维重建等，以提高识别的准确性和鲁棒性。

例如，可以利用深度学习算法对人脸图像进行预处理和特征提取，再利用线性子空间方法进行进一步的降维和分类；或者利用三维重建技术恢复人脸的三维结构信息，再利用线性子空间方法进行更加精确的匹配和识别。

基于本征空间的多姿态人脸识别方法李全彬;黄昶【摘要】多姿态人脸识别是目前人脸识别中的难点,已有方法的识别率普遍不是很高.利用PCA对不同姿态的人脸分别建立特征子空间,将待识别人脸图像向相应的特征子空间投影的方法,可以提高多姿态人脸的识别率.实验结果表明,该方法对样本多姿态的人脸图像识别率可以达到97%.【期刊名称】《现代电子技术》【年(卷),期】2009(032)001【总页数】3页(P181-183)【关键词】多姿态;人脸识别;PCA;欧氏距离【作者】李全彬;黄昶【作者单位】徐州师范大学,物电学院,江苏,徐州,221116;华东师范大学,信息学院,上海,200062【正文语种】中文【中图分类】TP3910 引言人类利用生物特征识别的历史可追溯到古代埃及人通过测量人体各部位的尺寸来进行身份鉴别,现代生物识别技术始于上世纪70年代中期,目前已经成为发达国家普遍重视并大力发展的关键技术和产业。

在生物认证方面,人脸识别具有特定的优势。

相比其他生物认证技术,如指纹识别,有一部分人是没有指纹的,或者指纹无法录入,仅靠指纹识别就会出现障碍；如虹膜识别,有些眼睛有障碍的人也是无法使用的；还有声音识别,对于发音有障碍或者无法说话的人群来说,这是毫无意义的。

正是基于人脸的人人具备这一先天优势,近年来,作为生物特征认证的重要分支——人脸及器官的检测、定位和识别技术开始受到广泛重视[1]。

多姿态人脸识别是目前人脸识别中的难点,识别率普遍不是很高。

国内外许多学者已对多姿态人脸识别进行了深入研究,提出了许多姿态判定[2-8]和识别算法[9-12]。

在多姿态人脸数据库构建[13]的基础上,利用PCA对不同姿态的人脸分别建立特征空间,待识别人脸图像向相应的特征空间投影,进而利用欧氏距离进行分类识别,获得了较高的多姿态人脸图像识别率。

1 基于本征空间的多姿态人脸识别方法Sirovich 和 Kirby首先使用PCA方法对人脸图像进行降维处理并实现了人脸图像的重建[14,15],随后,1991年,Turk 和 Pentland首先利用PCA方法实现了人脸识别(称为本征脸方法)[16]。

*国家自然科学基金项目(No.51407112)㊁山东省优秀中青年科学家科研奖励基金项目(No.BS2014DX009)资助收稿日期:2014-10-20;修回日期:2015-01-07作者简介 邹国锋(通讯作者),男,1984年生,博士,讲师,主要研究方向为人脸识别㊁生物特征识别㊁智能监控.E-mail:zgf841122@.傅桂霞,女,1985年生,博士,讲师,主要研究方向为智能监控㊁智能机器人.李海涛,男,1984年生,博士,讲师,主要研究方向为智能仪器仪表.高明亮,男,1984年生,博士,讲师,主要研究方向为运动目标检测与跟踪.王科俊,男,1962年生,教授,博士生导师,主要研究方向为模式识别㊁视频监控㊁神经网络㊁生物信息学等.多姿态人脸识别综述*邹国锋1 傅桂霞1 李海涛1 高明亮1 王科俊21(山东理工大学电气与电子工程学院 淄博255049)2(哈尔滨工程大学自动化学院 哈尔滨150001)摘 要 多姿态人脸识别已成为人脸识别研究的重要方向之一.简要回顾人脸识别研究进展,针对近年来国内外出现的多姿态人脸识别技术和方法进行简单介绍和系统分类,分析各种方法的优缺点,并做出简要评价.阐明多姿态人脸识别技术所面临的挑战,展望未来多姿态人脸识别研究的发展方向.关键词 多姿态人脸识别,二维单视图,二维多视图,三维多姿态人脸识别中图法分类号 TP 391.41DOI 10.16451/ki.issn1003-6059.201507005A Survey of Multi-pose Face RecognitionZOU Guo-Feng 1,FU Gui-Xia 1,LI Hai-Tao 1,GAO Ming-Liang 1,WANG Ke-Jun 21(College of Electrical and Electronic Engineering ,Shandong University of Technology ,Zibo 255049)2(College of Automation ,Harbin Engineering University ,Harbin 150001)ABSTRACTMulti-pose face recognition has became one of important research directions of face recognition.Inthis paper,the research progress of face recognition is briefly reviewed.Multi-pose face recognition techniques and methods at home and abroad in recent years are introduced briefly and categorized systematically.The advantages and disadvantages of each method are analyzed,and a brief evaluation ismade.The challenges of multi-pose face recognition technology are elucidated,and the development di-rection of the future research on multi-pose face recognition is discussed.Key Words Multi-pose Face Recognition,Two Dimensional Single View,Two Dimensional Multi-view,3D Multi-pose Face Recognition第28卷 第7期模式识别与人工智能Vol.28 No.72015年7月PR &AI Jul. 20151 引言人脸识别研究最早可追溯到1888年Galton[1]发表于Nature上的论文,他利用一组数字代表不同的侧面人脸特征,并从心理学的角度分析人类自身的人脸识别能力.1910年,Galton[2]提出利用人脸面部的关键点及关键点之间的距离构成表示人脸的特征向量,并利用该向量进行身份识别,这是基于几何特征人脸识别方法的雏形,但并不是真正的自动人脸识别(Automatic Face Recognition,AFR).最早的自动人脸识别研究起源于20世纪60年代,代表性成果是1965年Chan等[3]在Panoramic Research Incorporated上发表的技术报告.国内人脸识别研究起步较晚,1979年‘自动化学报“发表一篇 人工智能国外研究情况综述 [4],这是能检索的国内期刊第一次出现 人脸识别 的概念.1992年,洪子泉等[5]发表于‘自动化学报“的 用于图象识别的图象代数特征抽取 及郑坚平等[6]发表于‘计算机工程“的 标准正面人脸图像识别 ,是国内人脸识别研究领域检索到最早的学术论文.在过去的几十年中,人脸识别技术越来越多受到国内外研究者的关注[7-8].尤其是20世纪90年代以来,人脸识别技术的研究和应用都取得巨大进步,涌现出一大批从事人脸识别研究的高校和科研院所,且每年都有大量的学术论文发表.与此同时,人脸识别技术逐渐走向产品化,不断有商业性人脸识别系统进入市场.但受到人脸识别方法的限制,大部分人脸识别产品只能在用户配合的情况下使用,这大大限制人脸识别技术的应用范围和发展步伐.目前,非配合㊁非受控环境下的人脸识别逐渐引起研究者的关注,但受限于采集环境,获取的人脸图像经常存在多种姿态变化㊁光照变化㊁表情变化㊁遮挡干扰等,针对这些干扰因素,研究者也开展大量相关的研究.由于姿态变化给人脸识别研究带来巨大的挑战及其本身具有的重要意义,近年来,多姿态人脸识别逐渐成为人脸识别研究领域的一个重要方向.在多姿态人脸识别的研究中,国内外学者取得众多的研究成果.基于这些研究成果,本文系统总结多姿态人脸识别研究的进展状况,并将当前已有的多姿态人脸识别方法概括为3类:1)基于二维单视图的多姿态人脸识别;2)基于二维多视图的多姿态人脸识别;3)基于三维人脸的多姿态人脸识别.同时,鉴于当前国内还没有与多姿态人脸识别研究相关的综述性论文,本文系统分析已有的相关方法,并展望未来多姿态人脸识别的发展方向,希望有助于国内从事多姿态人脸识别研究的人员快速了解本领域的研究状况和最新进展.2 基于二维单视图的多姿态人脸识别自20世纪60年代自动人脸识别技术提出以后,到20世纪90年代末三维人脸识别技术成为人脸识别研究的热点,这30年间人脸识别方法的研究主要基于二维人脸图像.随着计算性能不断提高,二维人脸识别方法的研究得到飞速发展.与此同时,基于二维图像的多姿态人脸识别研究也涌现出众多的新思路和新成果.本文根据多姿态人脸识别中使用的标准人脸或训练人脸是否为单幅图像,将基于二维图像的多姿态人脸识别分为基于二维单视图的多姿态人脸识别和基于二维多视图的多姿态人脸识别.单视图(单样本)人脸识别,是指每人仅存储一幅人脸图像作为标准样本或训练样本,以此识别姿态㊁光照变化的人脸图像[9-10].而基于二维单视图的多姿态人脸识别是一种特殊单样本人脸识别问题.根据单视图人脸利用方式不同,基于单视图的多姿态人脸识别分为基于单视图生成虚拟多视图的多姿态人脸识别和基于单视图姿态校正的多姿态人脸识别.2.1 基于单视图生成虚拟多视图的多姿态人脸识别因为基于二维单视图的多姿态人脸识别训练样本较少,无法充分获取人脸特征信息用于识别,所以研究者提出通过样本扩增将单视图人脸识别转化为多视图人脸识别的思路.按照样本扩增方法不同,本文将已有方法归类为直接针对二维人脸进行变换的样本扩增和通过三维人脸模型变换的样本扩增. 2.1.1 直接针对二维人脸变换的样本扩增2003年,朱长仁等[11]提出基于二元高次多项式函数的最小二乘拟合方法,利用单视图人脸通过变形生成多姿态人脸,并利用原有单视图人脸和生成的虚拟多姿态人脸构成训练样本库,最终通过融合决策进行多姿态人脸识别.此方法避免对人脸多个视角进行拍摄构造多视图训练集的困难,相比单视图人脸直接作为训练样本的经典人脸识别算法,识别正确率也有较大提高.张生亮[12]利用镜像变换和尺度变换产生虚拟样本作为训练样本集,采用2DPCA和2DLDA抽取人脸特征用于识别,获得较高识别率,但算法要求测试样本与训练样本具有较416模式识别与人工智能28卷好的一致性,否则识别效果下降.2013年,张尤赛等[13]采用局部加权平均算法,使用人脸正面单视图生成多姿态人脸图像(如图1所示),构成多姿态人脸样本库,然后采用PCA 提取人脸特征用于识别,算法能在只拥有少量正面训练样本甚至单样本的情况下识别多姿态的人脸,在实际应用中具有良好的适应性.但算法产生虚拟样本的过程耗时较多,如果需要产生较多数量的多姿态人脸,则对算法的实时性有较大影响.(a)原图(b)虚拟样本(a)Original image (b)Virtual Samples图1基于2D 单视图产生的部分虚拟样本Fig.1 Part of the virtual samples based on 2D single view2.1.2通过三维人脸模型变换的样本扩增2004年,武芒等[14]提出基于正投影视图的多姿态人脸识别算法,采用正投影视图生成特定的三维人脸模型,并对三维模型进行任意角度的投影,产生多姿态二维人脸,最后将正投影视图和产生的二维人脸都作为训练样本用于识别,较好地改善多姿态人脸识别的效果.2005年,Jiang 等[15]提出基于三维重建人脸图像的多姿态人脸识别,该方法基于一幅正面㊁中性表情㊁正常光照二维人脸重构出一幅三维标准人脸模型,然后分别将姿态㊁光照㊁表情等干扰因素加入该标准模型,形成多样的复杂训练样本,并采用PCA㊁LDA 完成特征提取.基于CMU-PIE 人脸库的识别实验验证方法的可行性,但该方法需要原始二维人脸图像为正面㊁中性表情㊁正常光照,否则无法获得较好的三维人脸模型.胡峰松等[16]基于HMM 提出单样本可变光照㊁姿态人脸识别算法,该算法利用单张正面人脸与Candide3模型建立特定人脸三维模型,然后对三维人脸模型进行各种角度的旋转,得到姿态不同的人脸,将产生的多姿态人脸同原始人脸都作为训练数据,为每人建立独特人脸的HMM 用于识别.该算法能较好适应姿态不同条件下的人脸识别,但在三维模型构建时对自动配准的精度要求较高,而HMM 是一个较复杂的模型,需要设置较多的参数,对于如何有效地将HMM 与人脸识别相结合缺乏相应的理论依据.2.2 基于单视图姿态校正的多姿态人脸识别因单样本人脸识别受样本数量不足的限制,故针对样本扩增的研究较多,而针对姿态变化二维单样本人脸进行姿态校正的难度较大,研究成果相对较少.根据校正是否针对某种特定姿态,校正方法分为不针对特定姿态变化的校正和针对某种特定姿态变化的校正.2.2.1 不针对特定姿态变化的校正2004年,杜成等[17]基于线性物体类理论提出从单张旋转人脸合成正面人脸用于识别的方法,识别率有较大提高,但该方法适用于图像具有相同光照㊁自然表情的情况,对于旋转角度过大导致无法准确定位特征点的情况效果不佳.孙志远等[18]提出基于独立成分分析(Independent Component Analysis,ICA)的正面人脸合成方法,首先利用ICA 和PCA 提取不同姿态人脸的特征子空间,然后利用通过训练得到的姿态转换矩阵合成其相对应的正面人脸,并在此基础上使用小波对人脸图像进行预处理,根据姿态转换矩阵得到的正面人脸特征系数直接进行分类对比,识别率得到提高.但当姿态人脸旋转角度较大时,正面人脸合成的效果并不明显.2.2.2针对某种特定姿态变化的校正2009年,Lin 等[19]提出快速半三维垂直姿态校正方法,该方法通过单幅二维人脸图像计算垂直姿态变化角度,利用该角度将垂直旋转的人脸校正到接近正面的人脸,对校正后的人脸采用Gabor 变换进行特征提取.该方法运算复杂度较低,实时性较好,但由于校正方法对于面部特征的要求较高,当人脸有较多特征被遮挡或不可见时,校正效果较差,识别效果相应变差.与人脸垂直姿态校正不同,2013年,王科俊等[20]提出人脸的平面旋转校正方法 融合Adaboost 和分块积分投影的眼睛快速精确定位方法,并利用定位的双眼坐标实现平面旋转人脸的校正(如图2所示),校正效果较好,大为改善人脸识别的性能.但该方法只能实现双眼可见的平面倾斜人脸图像的校正,存在一定的局限性.上述基于二维单视图的部分多姿态人脸识别方法的实验结果对比如表1所示.图2文献[20]中人脸平面旋转校正效果Fig.2Correction results of face plane rotation in reference [20]5167期 邹国锋等:多姿态人脸识别综述表1 基于二维单视图的多姿态人脸识别方法实验结果对比Table1 Comparison of experimental results of multi-pose face recognition methods based on2D single view 方法人脸库样本数量识别率/%生成虚拟样本二元高次多项式拟合[11]镜像与尺度变换[12]局部加权平均[13]正投影视图[14]基于HMM模型[16]ORLFERET子库ORL自建库ORL30幅训练,50幅测试1400幅训练,1000幅测试200幅训练,200幅测试100幅训练,180幅测试100幅训练,270幅测试88.0074.4062.9089.0098.90姿态校正基于ICA的正脸合成[18]半三维垂直姿态校正[19]FERET子库自建库600幅训练,170幅测试20幅标准,88幅测试86.1591.003 基于二维多视图的多姿态人脸识别二维多视图的多姿态人脸识别不再受限于人脸数量,因此,基于多视图的多姿态人脸识别涌现出较多研究成果.针对多视图人脸处理方式不同,本文将这些方法分为3类:1)基于姿态变化多视图校正出正面人脸的多姿态人脸识别;2)基于姿态变化多视图产生虚拟样本的多姿态人脸识别;3)针对姿态变化多视图的新特征提取方法.3.1 基于姿态变化多视图校正出正面人脸的多姿态人脸识别基于姿态校正的多姿态人脸识别是经典的二维人脸处理方法,主要方法如下.1)基于点分布模型的人脸姿态校正.Gonzalez-Jimenez等[21]采用多幅稀疏人脸网格图构建点分布模型,并确定相应的姿态参数,利用这些姿态参数控制头部表观形状变化.然后通过将人脸网络图的姿态参数设置为正面人脸的典型值或将某个网络的参数调整为另外一个网络的姿态参数,实现人脸姿态校正.在获得姿态校正网络后,利用人脸的对称性,通过薄板样条为基础的变形合成虚拟人脸视图.最后采用Gabor变换进行特征提取,实现人脸识别, CMU-PIE人脸库的实验结果验证方法的有效性.2)基于线性回归的人脸姿态校正.线性回归是一种常用的统计学方法,通过寻找自变量和因变量之间的关系进行线性建模,基于线性回归的人脸识别是通过大量的侧脸与对应的正脸进行训练,得到侧脸与正脸间的关系,进而由侧脸估计出正脸.假设正脸集合为x P0=(x P01,x P02, ,x P0N),对应的侧脸集合为x P k=(x P k1,x P k2, ,x P k N),N为训练集中正脸的个数,x P k i是正脸x P0i对应的侧脸图像.线性回归即假设侧脸和正脸之间存在线性映射:x P0=Ax P k,其中A为线性变换矩阵.对于任意侧脸,都可估计出对应的正脸.Chai等[22]提出一种基于局部线性回归(Local Linear Regression,LLR)的人脸姿态校正,将人脸图像划分为若干子区域,然后求取非正面姿态样本子区域向正面姿态样本子区域的映射关系,利用训练得到的映射关系实现测试人脸姿态校正.这种基于局部区域的校正能有效补偿姿态变化的影响,但当偏转角度较大时效果不佳,特别是当只有一只眼睛可见时识别率极低.2011年,谭晓衡等[23]在局部线性回归算法的基础上,通过引入一个局部常量因子,对不同水平旋转角度的侧脸进行姿态估计得到其正脸,改进后的算法对人脸识别率有较大改善,这表明采用局部常量化和线性化分析,能较好弥补侧脸到正脸变换的非线性信息丢失.3)基于子区域映射的人脸姿态校正.陈华杰等[24]提出基于子区域关联映射的多姿态人脸识别,该算法将人脸分割为若干子区域,将姿态变化对图像的影响分解为关联子区域的形状映射与纹理映射.基于二维耦合成分分析构造非正面人脸和正面人脸关联子区域间的映射关系,利用该映射关系实现非正面姿态向正面姿态人脸的校正.关联子区域映射能有效补偿姿态变化带来的影响,对姿态变化敏感度较低,但映射关系求取耗时较多,有待进一步改善.2013年,Ho等[25]基于Markov随机域和信念传播算法利用给定的非正面人脸重构虚拟正面人脸,首先将人脸图像划分为许多重叠的网格,将所有的局部网格与数据库中标准正面人脸的网格进行对齐处理,然后取其中最优的网格作为合成正面人脸的子区域.该方法避免人为选取面部标记点和对姿态角的估计,实验结果证明该方法的有效性. 4)基于主动外观模型的姿态校正.主动外观模型的匹配过程是将待测图像和模型之间的差最小化的过程,主要通过改变模型参数实现,表达式如下:∑x∈S[0A0(x)+∑m i=1λi A i(x)-I(W(x;P]))2,其中,S0是平均形状,A0(x)是平均纹理,A(x)是在平均形状上的纹理向量,λi是纹理参数,W(x;P)为616模式识别与人工智能28卷形状向量中像素点,由P控制,I(W(x;P))是该像素点的纹理向量.将主动外观模型应用于人脸姿态校正,是在对图像进行匹配之后,只保留图像在平均正面形状S0上的投影,经处理后的图像可有效消除姿态影响,改善识别效果.Sarfraz等[26]提出基于统计外观模型的姿态人脸识别方法,该方法首先提取多姿态人脸图像的扩展尺度不变特征变换(Scale Invariant Feature Transform,SIFT)特征,基于该特征和非正面视角人脸利用多元回归方法合成正面人脸用于识别,该方法对于左右摇摆角度超过45ʎ的人脸图像识别效果明显变差,而且无法处理俯仰变化的情况. Guillemaut等[27]利用改进的活动外观模型进行人脸姿态校正,该方法需事先定位特征点,但对大角度旋转图像效果不好.赵恒等[28]提出基于主动表观模型(Active Appearance Model,AAM)的图像对齐和局部匹配人脸识别算法,能增强人脸识别算法对姿态表情变化的鲁棒性.通过AAM快速准确地定位人脸特征点,将人脸旋转到标准正面人脸模型.然后,采用基于信息熵的Gabor jet加权方法用于人脸识别.使用AAM校正后的人脸图像,联合熵加权Gabor 方法和加阈值Borda改善姿态对人脸识别的影响.5)基于主动形状模型的姿态校正.Ding等[29]提出完全自动的姿态归一化算法,基于多视图的随机森林嵌入主动形状模型,提出寻找二维人脸特征点与三维人脸模型之间姿态独立对应关系的方法,将二维人脸图像中的像素映射到三维模型中,经旋转获得正面视角人脸.该方法对左右旋转50ʎ以内的人脸图像处理效果较好,无法处理其他姿态的人脸旋转.de Marsico等[30]将人脸姿态和光照变化的质量评估指标用于指导人脸姿态和光照归一化,姿态校正中采用堆叠整齐的主动形状模型(Stacked Trimmed Active Shape Model,STASM).同时经过人脸图像的质量评估,丢弃质量较差的图像,这在一定程度上提高人脸识别系统识别效果.6)基于三维人脸模型的姿态校正.An等[31]设计一种基于纹理映射的增强型多姿态人脸识别方法,首先基于三维椭球体模型对姿态变化的二维图像进行三维人头重建,并建立三维人头人脸区域和二维人脸图像之间的纹理映射关系,然后对三维人头模型进行姿态估计并进行相应的校正,再按照已知的映射关系将校正后的三维人头向二维平面投影,获得正面二维人脸图像用于识别.但对于左右摇摆角度过大的姿态变化,该方法在映射过程中有效信息丢失严重,导致图像严重失真,识别效果变差.7)其他姿态校正方法.2010年,龚卫国等[32]提出一种基于正弦变换的人脸姿态校正与识别方法,首先采用多幅正面人脸图像训练分类器,测试过程将具有姿态变化的人脸通过正弦变换校正出正面人脸,然后采用训练的分类器进行分类识别.该方法的测试人脸姿态角的估计无一定的理论依据,只能人为设定旋转角度的大小,效率较低.张疆勤等[33]对人脸进行因子分析,分离出人脸姿态因子,得到合成的正面虚拟人脸,然后利用稀疏表示方法在虚拟正面人脸上进行分类识别.该方法较好地解决人脸的姿态变化问题,同时对人脸的遮挡问题也具有较好的鲁棒性.3.2 基于姿态变化多视图产生虚拟样本的多姿态人脸识别基于多视图的样本扩增方法能使样本中包含更多的多姿态人脸信息,按样本扩增过程中是否借助三维人脸模型,将基于多视图产生虚拟样本的多姿态人脸识别分为基于二维姿态变化人脸产生虚拟样本的多姿态人脸识别和通过三维人脸模型变化产生虚拟样本的多姿态人脸识别.3.2.1 基于二维姿态变化人脸产生虚拟样本的多姿态人脸识别2012年,李全彬等[34]提出基于水平镜像和决策融合的多姿态人脸识别方法,该方法采用水平镜像变换产生更多的训练样本(如图3所示),按照姿态范围,将所有训练样本分为7个子集,然后利用Gabor和2DPCA进行特征提取,生成7个特征子空间.测试过程提取输入图像及其水平镜像图像的特征,并分别向7个特征子空间投影,根据投影距离,采用决策融合方法获得最终识别结果.该方法运算简单,识别系统的训练效率和识别效率都有一定提高.但对于非对称人脸的情况,水平镜像处理通常引入干扰信息,影响识别效果.图3 水平镜像产生的虚拟样本Fig.3 Virtual samples produced by horizontal mirror3.2.2 通过三维人脸模型变化产生虚拟样本的多姿态人脸识别2003年,Lee等[35]提出基于三维形变模型的姿态不变人脸识别,通过边缘模型㊁颜色区域模型和线框模型共同描述人脸的形状和特征信息.为使模型7167期邹国锋等:多姿态人脸识别综述与任意姿态的人脸图像匹配,通过旋转㊁平移和尺度变换,将三维模型投影到不同的二维视角,生成多个人脸图像模板.人脸形状变化可通过模型的形变参数计算得出.对于未知人脸,通过与已知人脸进行模型匹配和系统合成估计出其姿态,而合成的图像则包含人脸的三维形状和纹理特征.但颜色区域模型易受光照影响,鲁棒性不佳,且算法运算复杂度较高,实时性较差.杨军等[36]提出多姿态分层人脸识别方法,如图4所示,首先确定三维人脸模型的几个大视角,然后将人脸库中的三维人脸向这些视角进行投影变换,获得这些三维人脸的二维投影人脸,然后根据视角不同将这些二维人脸进行归类,形成姿态空间.在姿态空间中,对二维人脸进行PCA降维,获取姿态特征脸.识别过程中对测试二维人脸进行姿态估计和模糊角度判定,然后根据估计出的姿态,在与其相对应姿态空间中搜索候选个体,将候选个体对应的三维人脸向判断得到的模糊角度附近进行二维投影,获得二维虚拟图像,最后对比测试人脸图像与虚拟图像,得出识别结果.Tang等[37]利用二维人脸重构三维虚拟人脸,将三维人脸旋转形成三维人脸库后进行二维投影,构建二维多姿态人脸库,将多姿态人脸识别问题转化为某一角度下两幅照片的比对.这种采用二维人脸重构三维虚拟人脸进行识别的思路在一定程度上改善姿态变化对人脸识别的影响,但三维人脸重建运算较复杂,计算量较大.图4 分层人脸识别的流程图Fig.4 Flow chart of layered face recognition 2012年,袁理等[38]通过控制三维人脸模型的偏移角和俯仰角生成大量的虚拟二维人脸,然后将图像用于训练改进的两因子模型,并进行多姿态人脸识别.该方法能缓解人脸特征对姿态变化较为敏感的问题,对姿态变化具有一定的鲁棒性.上述基于二维多视图的部分多姿态人脸识别方法的实验结果对比如表2所示.表2 基于二维多视图的部分多姿态人脸识别方法实验结果对比Table2 Comparison of experimental results of some multi-pose face recognition methods based on2D multi-view方法人脸库样本数量识别率/%姿态校正传统LLR[22]改进的LLR[23]子区域关联映射[24]随机森林AAM[29]正弦变换校正[32]因子分析校正[33]CMU-PIECMU-PIEPICSFERET子库FERET子库XJTU476幅训练,408幅测试476幅训练,408幅测试44幅训练,24幅测试200幅训练,1200幅测试120幅训练,160幅测试9500幅训练,2100幅测试79.2083.9383.3383.8071.2588.00产生虚拟样本水平镜像[34]姿态分层方法[36]两因子模型法[38]ORL BJUTFERET子库240幅训练,280幅测试120幅训练,570幅测试100幅训练,600幅测试90.8090.0092.503.3 针对姿态变化多视图的新特征提取方法除了基于多视图的姿态校正和样本扩增方法外,更多的研究者直接针对多幅具有姿态变化的人脸图像提出新的特征提取方法.3.3.1 基于传统子空间方法的多姿态人脸识别子空间分析方法是一种经典的人脸识别方法,在多姿态人脸识别中同样发挥重要作用.1999年,陈熙霖等[39]提出针对多姿态人脸的多候选类加权识别方法,采用经典PCA进行特征提取,并结合图像质量评价结果,达到较好的识别效果,但识别效果受到人脸质量评估指标计算合理性的影响较大. 2002年,Lu等[40]将多姿态人脸作为分布于高维非线性空间的点,提出采用基于核的判别分析方法进行特征提取,有效抽取多姿态人脸的非线性特征,避免小样本问题.实验表明在多姿态人脸识别中,非线性特征提取比线性特征提取具有更大优势.2008年,Liu等[41]给出一种多视角人脸数据库构建方法,并基于采集的多视角人脸图像提出多数表决ICA识别算法,取得较满意的识别效果.但实验结果是基于自建人脸库,未给出其他多姿态人脸图像数据库的816模式识别与人工智能28卷。