基于姿态校正与虚拟样本的多姿态人脸识别
- 格式：pdf
- 大小：284.21 KB
- 文档页数：4
下载文档原格式
合集下载
人脸识别中的姿态问题研究
-I-
哈尔滨工业大学工学博士学位论文
果更加精确。 (3) 提出了一种基于局部线性回归(LLR)的姿态校正方法。通过将姿态校正
形式化为从非正面人脸估计其虚拟正面视图的预测问题，本文提出了一种基于 线性回归的正面视图预测方法，该方法可以在仅标定输入非正面人脸双眼中心 位置的条件下，通过线性回归算法预测出其虚拟正面视图。考虑到非正面人脸 视图与正面人脸视图之间的映射对于不同人而言实际上并不相同，我们进一步 改进上述算法，提出了一种基于分块模式的姿态校正方法，即所谓的局部线性 回归(LLR)姿态校正方法。该方法基于 3D 人脸结构的先验知识，将人脸区域分 成若干小的面片，在小的面片上进行上述线性回归操作以获得更为精确的预测 结果。实验结果表明，无论从视图校正的视觉效果，还是从人脸识别的精度来 看，此方法都具有很好的性能。
(4) 提出了一种基于 3D 稀疏变形模型(3D SDM)的 3D 人脸重建及姿态校正 方法。本方法利用人脸类的 3D 形状先验知识，根据单幅任意姿态下的人脸图像， 重构其特定的 3D 形状信息。在 3D 人脸重构的基础上，通过图形绘制的方法得 到正面姿态下的人脸视图，用于解决人脸识别中的姿态问题。该方法假设人脸 的 3D 形状分布为高斯分布，将所有人脸的 3D 形状分布空间用主成分分析(PCA) 模型表示。按照预先定义的 2D 人脸图像上的关键特征点，从稠密的 PCA 模型 中得到稀疏的版本，即稀疏变形模型。基于此，在输入图像 2D 特征点的驱动下， 恢复得到该特定人的 3D 形状，进而重构其 3D 人脸，实现姿态校正及任意姿态 下的虚拟视图生成。实验表明：通过 3D 人脸重建得到的虚拟视图结果，从视觉 上来看更加接近于真实人脸图像。同时，以 Gabor PCA+LDA 方法作为识别策 略，在 CMU PIE 数据库中 45 度以内的图像上测试，将姿态校正后的视图作为 输入，平均识别率达到了 97.5%左右，极大的改善了识别系统对于人脸姿态图 像的适应能力。
哈尔滨工业大学工学博士学位论文
果更加精确。 (3) 提出了一种基于局部线性回归(LLR)的姿态校正方法。通过将姿态校正
形式化为从非正面人脸估计其虚拟正面视图的预测问题，本文提出了一种基于 线性回归的正面视图预测方法，该方法可以在仅标定输入非正面人脸双眼中心 位置的条件下，通过线性回归算法预测出其虚拟正面视图。考虑到非正面人脸 视图与正面人脸视图之间的映射对于不同人而言实际上并不相同，我们进一步 改进上述算法，提出了一种基于分块模式的姿态校正方法，即所谓的局部线性 回归(LLR)姿态校正方法。该方法基于 3D 人脸结构的先验知识，将人脸区域分 成若干小的面片，在小的面片上进行上述线性回归操作以获得更为精确的预测 结果。实验结果表明，无论从视图校正的视觉效果，还是从人脸识别的精度来 看，此方法都具有很好的性能。
(4) 提出了一种基于 3D 稀疏变形模型(3D SDM)的 3D 人脸重建及姿态校正 方法。本方法利用人脸类的 3D 形状先验知识，根据单幅任意姿态下的人脸图像， 重构其特定的 3D 形状信息。在 3D 人脸重构的基础上，通过图形绘制的方法得 到正面姿态下的人脸视图，用于解决人脸识别中的姿态问题。该方法假设人脸 的 3D 形状分布为高斯分布，将所有人脸的 3D 形状分布空间用主成分分析(PCA) 模型表示。按照预先定义的 2D 人脸图像上的关键特征点，从稠密的 PCA 模型 中得到稀疏的版本，即稀疏变形模型。基于此，在输入图像 2D 特征点的驱动下， 恢复得到该特定人的 3D 形状，进而重构其 3D 人脸，实现姿态校正及任意姿态 下的虚拟视图生成。实验表明：通过 3D 人脸重建得到的虚拟视图结果，从视觉 上来看更加接近于真实人脸图像。同时，以 Gabor PCA+LDA 方法作为识别策 略，在 CMU PIE 数据库中 45 度以内的图像上测试，将姿态校正后的视图作为 输入，平均识别率达到了 97.5%左右，极大的改善了识别系统对于人脸姿态图 像的适应能力。
人脸识别技术的实现步骤及问题解决
人脸识别技术的实现步骤及问题解决人脸识别技术作为一种基于数字图像处理和模式识别的生物特征识别技术，已经在各行各业得到广泛应用。
从安全防控到智能终端，人脸识别技术正在改变人们的生活方式。
本文将分析人脸识别技术的实现步骤和问题解决方法。
人脸识别技术的实现步骤可以概括为以下几个方面：1. 数据采集与预处理：采集人脸图像是人脸识别的首要步骤。
通常，采集设备可以是摄像头或红外照相机。
采集到的图像需要经过预处理操作，如灰度化、直方图均衡化、噪声消除等，以提高后续的特征提取和匹配的准确度。
2. 特征提取与表达：特征提取是人脸识别技术的核心环节。
通过提取人脸图像的特征信息，把人脸图像转化成计算机能够理解的数字特征向量。
常用的特征提取方法包括主成分分析（PCA）、线性判别分析（LDA）、局部二值模式（LBP）等。
这些方法可以有效地从人脸图像中提取出具有代表性的特征，以实现对人脸的识别。
3. 特征匹配与分类：特征匹配是判定两个特征向量是否相似的过程。
常用的特征匹配方法有欧氏距离、马氏距离、余弦相似度等。
在得到特征向量之后，将其与数据库中的已知特征向量进行比对，找到最相似的特征向量。
基于已知类别的特征向量，可以使用分类算法，如支持向量机（SVM）、神经网络、决策树等方法，对识别结果进行分类。
4. 识别与应用：在特征匹配和分类之后，需要根据识别结果进行进一步的应用。
这可以是简单的认证和授权，也可以是复杂的人脸检测、表情识别、年龄和性别识别等高级应用。
在实现人脸识别技术的过程中，可能会遇到一些问题，需要采取相应的解决方法：1. 光照变化问题：光线的变化会导致人脸图像的亮度、对比度等发生变化，从而影响特征提取和匹配的准确性。
为了解决这个问题，可以采用环境光源补偿、多角度和多光源信息融合等方法。
2. 视角变化问题：人脸图像的视角变化会导致人脸的形状和纹理特征发生改变，从而影响识别的准确性。
为了解决这个问题，可以采用三维人脸重建、姿态校正、多视角合并等方法。
基于改进ORB特征的多姿态人脸识别
基于改进ORB特征的多姿态人脸识别周凯汀;郑力新【期刊名称】《计算机辅助设计与图形学学报》【年(卷),期】2015(000)002【摘要】为了克服通过全局特征以及每位个体单个模板样本进行多姿态人脸识别的不足，提出基于改进的ORB局部特征以及每位个体多个模板样本的多姿态人脸识别方法。
首先改进ORB算子的采样模式提高算子对人脸视角变化的鲁棒性，并采用每位个体的多个训练样本建立模板库，然后提取并匹配测试样本与模板样本的改进 ORB 特征。
在特征提取阶段，为避免关键点数目变化的干扰，对全部样本提取一致数目的关键点；在特征匹配阶段，采用基于模型和基于方向的双重策略剔除误匹配点对，使用匹配点对数目与平均距离评价测试样本与每个模板样本的吻合程度。
对 CAS-PEAL-R1和 XJTU数据库的实验结果表明，改进的 ORB特征具有更好的识别性能；与采用多个训练样本构建个体单个模板样本的方法相比，在训练样本数目相同的条件下，该方法能较好地避免姿态的干扰，具有更好的识别效果。
与SIFT算子相比， ORB算子在特征提取与特征匹配2个阶段都具有明显的速度优势。
%To overcome the weakness of multi-pose face recognition by global feature or by single template sam-ple for each subject, a novel multi-pose face recognition method based on improved oriented FAST and rotated BRIEF (ORB) local feature and multiple template samples for each subject is proposed in this paper. The sam-pling pattern of ORB operator is first improved to enhance the robustness of the operator to the variation of viewpoint towards face, and template database is built with multipletraining samples of each subject, the im-proved ORB features of the test sample are next extracted and matched with those of template samples. At the stage of feature extraction, consistent number of keypoints are extracted for all samples to avoid the disturbance of the variation of the number of keypoints. At the stage of feature matching, double strategies based on the model and orientation of matching-point pairs are adopted to eliminate outliers. The consistent degree of test sample and each template sample is evaluated by the number and average distance of the inliers. Experimental results on the CAS-PEAL-R1 and XJTU databases show that, the improved ORB operator has better recognition performance;compared with the methods of constructing single template sample from multiple training samples for each sub-ject, the proposed method could better avoid the disturbance of pose variation, and obtain better recognition re-sults under the condition of using the same number of training samples. Compared with scale invariant feature transform (SIFT) operator, the ORB operator has obvious advantages in speed at both stages of feature extraction and feature matching.【总页数】9页(P287-295)【作者】周凯汀;郑力新【作者单位】华侨大学信息科学与工程学院厦门 361021;华侨大学工学院泉州362021【正文语种】中文【中图分类】TP391【相关文献】1.基于改进的局部卷积网络的多姿态人脸识别 [J], 莫建文;匡勇建;张顺岚2.基于FSIF改进均值漂移LDA的多姿态变化人脸识别 [J], 张浩;吕真;连卫民;王硕3.小样本条件下基于随机森林和Haar特征的多姿态人脸识别 [J], 周致富;吴怀宇;张志芬;陈洋4.基于多姿态人脸识别方法的改进 [J], 周洪成;严筱永5.基于改进的卷积神经网络多姿态人脸识别研究 [J], HAN Dong;WANG Xuejun 因版权原因，仅展示原文概要，查看原文内容请购买。
基于加权均值人脸的多姿态人脸识别
基于加权均值人脸的多姿态人脸识别
邹国锋;傅桂霞;申晋;高明亮;王科俊
【期刊名称】《计算机应用研究》
【年(卷),期】2018(035)010
【摘要】针对姿态变化人脸识别的困难,提出一种基于加权均值人脸的识别思路.根据人脸姿态左右摇摆角度变化,定义每幅姿态变化人脸的权值计算方法,提出加权均值人脸的构建策略;基于姿态变化人脸的俯仰角度,将姿态变化人脸划分为俯视、平视和仰视三个层次,并在每个层次中构建加权均值人脸,形成加权均值人脸矩阵;最后,采用改进的局部保持投影算法对加权均值人脸矩阵进行深层特征提取,实现多姿态人脸识别.实验结果表明,所提方法能有效提取姿态变化人脸的关键信息,使识别效果得到较大改善.
【总页数】5页(P3164-3168)
【作者】邹国锋;傅桂霞;申晋;高明亮;王科俊
【作者单位】山东理工大学电气与电子工程学院,山东淄博255049;山东理工大学电气与电子工程学院,山东淄博255049;山东理工大学电气与电子工程学院,山东淄博255049;山东理工大学电气与电子工程学院,山东淄博255049;哈尔滨工程大学自动化学院,哈尔滨150001
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.基于FSIF改进均值漂移LDA的多姿态变化人脸识别 [J], 张浩;吕真;连卫民;王硕
2.基于三维人脸建模的多姿态人脸识别 [J], 胡异丁;朱斌;甘俊英
3.局部加权平均虚拟样本的多姿态人脸识别算法 [J], 张尤赛;杨姝
4.基于双路CNN的多姿态人脸识别方法 [J], 赵澜涛;林家骏
5.基于深度学习的轻量级和多姿态人脸识别方法 [J], 龚锐; 丁胜; 章超华; 苏浩因版权原因，仅展示原文概要，查看原文内容请购买。
基于深度学习的人体姿态识别算法设计与实现
基于深度学习的人体姿态识别算法设计与实现人体姿态识别是计算机视觉领域的一个重要研究方向，它的目的是识别出人体在空间中的姿态，包括头部、手臂、腿部等的位置和角度。
姿态识别技术已经被广泛应用在虚拟现实、人机交互、运动分析等领域。
本文主要介绍一种基于深度学习的人体姿态识别算法的设计与实现。
一、算法概述基于深度学习的人体姿态识别算法主要分为两个阶段：训练和测试。
在训练阶段，我们需要从数据集中学习出姿态的特征表示。
这可以通过卷积神经网络（Convolutional Neural Network，CNN）来实现。
在测试阶段，我们根据已经训练好的模型，对输入的人体图像进行姿态识别。
二、数据集的选择和预处理数据集是深度学习算法训练的重要组成部分。
对于人体姿态识别算法，我们需要选择一个包含人体图像和姿态标注的数据集。
常用的数据集包括MPII Human Pose Dataset、COCO Dataset等。
在数据集选择完毕后，我们需要对数据进行预处理，包括图像大小调整、数据增强等。
同时，为了防止过拟合，我们需要在训练集中随机删除一部分关键点，以模拟真实场景中的噪声。
三、姿态特征表示的学习卷积神经网络是深度学习算法中常用的基础模型之一。
CNN通过多层卷积和池化操作来从图像中学习出特征表示。
对于人体姿态识别算法，我们可以使用CNN来从人体图像中学习出关键点的特征表示。
我们可以将图像中的关键点看作一个多维向量，使用CNN对其进行处理，并输出一个维度相同的向量。
对于每个关键点，我们都可以学习出一个特征向量表示，从而实现姿态特征的表示学习。
四、姿态识别模型的设计在姿态识别模型的设计中，我们可以使用CNN对关键点的特征向量进行分类。
在训练集中，我们将标注的姿态信息转换成数字标签，用于对特征向量进行分类。
在测试阶段，我们可以根据模型输出的标签，推断出测试样本的姿势信息。
在模型设计中，我们可以使用多个卷积层和池化层，以提取出更加复杂的特征表示。
多姿态人脸识别关键技术
决 璇
＇
蠡 ｌｆ结
图 １： 人 脸 姿 态 估 计 基 本 流程 图
图 ２： ＩＩＯＧ算 法 实现 步骤
图 ３： 基 于 ｌ１０Ｇ和 ＷＣＣＮ 的 人 脸 －Ｌ￣，ｊｇ，Ｊ流 程 图
【关 键 词 】 多姿 态 人 脸 识 别 Ｉ｛Ｏ（：方法 ｗｅ（’Ｎ 方 法
的 人 脸 像 难 以 的 问题 ｛；；＿鍪 八Ｈ ５１１Ｊ
侄 人 脸 叭）川 、 川 中 常 常 ， 也 址 八岭 别 的
难 Ｌ。 本 逆也 ｌ！要 ｔｔ计 人脸 识 ｊｊｌＪ技 术 Ｊ、训 ｝Ｊｊ ｆ。
｝１的 人 脸 彩姿 态 问 题 ，通 过 人脸 瓷 念 似 汁 ， 以
１．２ 基 于特 征 的 方 法
包 基 于 ¨ 部特 和 挂 十 全 特 征 的 识 别 力 法 ．基 于特 的 捌 埘 化 置 ｆ¨绝 对 位置 实 现 人脸 姿 态 ，这 种 ｈ法 的 准 确 性 很 久程 度 ，
Ｉ所 选 取 的 特 址 合理 仃 天
１．３ 基 于 分 类 的 方 法
如 １所 ， 人Ｈ令姿 态 ｆ【】ｉ汁 流 ｌ 分 为 圳绑； １汁 个部 分 。 ｌ：｜Ｊｌ】约 过 ｌ ｉ， 划 洲缘
本 片 进 行 ｊ 裁 和 灰度 化 处川 ． Ｊｉ·提 取 像 特 征 作 为 训练 特 征 数 据 健 ， 他川 分 类 器 史现 Ｊｌ＿
常 的 人 愉 态 横 板 仃 件 模 扳 目１椭 网
脸 姿 态 特 征 ， 然 求川 分 类 器实 人脸 姿 态 估
一
●
１
●
●
一 …
ｊ 一 ～
图 ５： 人睑 特 征 分 类 ；住确 性 对 比 分析
征提 取 ｌ
＇
蠡 ｌｆ结
图 １： 人 脸 姿 态 估 计 基 本 流程 图
图 ２： ＩＩＯＧ算 法 实现 步骤
图 ３： 基 于 ｌ１０Ｇ和 ＷＣＣＮ 的 人 脸 －Ｌ￣，ｊｇ，Ｊ流 程 图
【关 键 词 】 多姿 态 人 脸 识 别 Ｉ｛Ｏ（：方法 ｗｅ（’Ｎ 方 法
的 人 脸 像 难 以 的 问题 ｛；；＿鍪 八Ｈ ５１１Ｊ
侄 人 脸 叭）川 、 川 中 常 常 ， 也 址 八岭 别 的
难 Ｌ。 本 逆也 ｌ！要 ｔｔ计 人脸 识 ｊｊｌＪ技 术 Ｊ、训 ｝Ｊｊ ｆ。
｝１的 人 脸 彩姿 态 问 题 ，通 过 人脸 瓷 念 似 汁 ， 以
１．２ 基 于特 征 的 方 法
包 基 于 ¨ 部特 和 挂 十 全 特 征 的 识 别 力 法 ．基 于特 的 捌 埘 化 置 ｆ¨绝 对 位置 实 现 人脸 姿 态 ，这 种 ｈ法 的 准 确 性 很 久程 度 ，
Ｉ所 选 取 的 特 址 合理 仃 天
１．３ 基 于 分 类 的 方 法
如 １所 ， 人Ｈ令姿 态 ｆ【】ｉ汁 流 ｌ 分 为 圳绑； １汁 个部 分 。 ｌ：｜Ｊｌ】约 过 ｌ ｉ， 划 洲缘
本 片 进 行 ｊ 裁 和 灰度 化 处川 ． Ｊｉ·提 取 像 特 征 作 为 训练 特 征 数 据 健 ， 他川 分 类 器 史现 Ｊｌ＿
常 的 人 愉 态 横 板 仃 件 模 扳 目１椭 网
脸 姿 态 特 征 ， 然 求川 分 类 器实 人脸 姿 态 估
一
●
１
●
●
一 …
ｊ 一 ～
图 ５： 人睑 特 征 分 类 ；住确 性 对 比 分析
征提 取 ｌ
基于Gabor小波特征的多姿态人脸图像识别
6*%
上离散化。频域的离散化通过 对 其 在 4 个 对 数 空 间 频 率 （ 尺 …， …， 度） " "5" ， %， # *%6 和 7 个 方 向 # "5" ， %， $ *%6 上 取 样 来 实现 89:：
! &%#
!
#， $
&! $ %
!$ &
! ;2( ’$
%# & &# <
’ 为频域内核函数的空间因子， ’# 决定窗口的形状和频谱
转和尺度变化形成一个自相似的函数族， 即 123-/ 小波滤波器
’ 控 制 高 斯 窗 的 宽 度 以 及 核 函 数 !! 的小波长度和方 组 。 参 数! ’
向， 参数 " 决定高斯窗的宽度与波长的比值， 即包络函数下的振 荡数目。
9
两步降维法
由 于 每 幅 图 像 的 123-/ 特 征 表 示 的 维 数 很 高 （ 文中为
作者简介： 徐杰， 博士研究生， 主要研究方向为模式识别、 图像处理与图像检索等。施鹏飞， 博士生导师， 研究领域为图象分析与理 IAAA 高级会员， 解、 模式识别、 智能技术与系统。
计算机工程与应用
!""#$!%
%F
&’() * ! " ! （ ! ）
!
!
!
"
#
" （ ! " *! ） !!
! !
()*+, 小波变换定义为 &;’： ! "） （ （ ， ： ! "） # $ < " "=$ " " "） ） ） （ $ "（ $ % $< （ # &"） $ ## （
上离散化。频域的离散化通过 对 其 在 4 个 对 数 空 间 频 率 （ 尺 …， …， 度） " "5" ， %， # *%6 和 7 个 方 向 # "5" ， %， $ *%6 上 取 样 来 实现 89:：
! &%#
!
#， $
&! $ %
!$ &
! ;2( ’$
%# & &# <
’ 为频域内核函数的空间因子， ’# 决定窗口的形状和频谱
转和尺度变化形成一个自相似的函数族， 即 123-/ 小波滤波器
’ 控 制 高 斯 窗 的 宽 度 以 及 核 函 数 !! 的小波长度和方 组 。 参 数! ’
向， 参数 " 决定高斯窗的宽度与波长的比值， 即包络函数下的振 荡数目。
9
两步降维法
由 于 每 幅 图 像 的 123-/ 特 征 表 示 的 维 数 很 高 （ 文中为
作者简介： 徐杰， 博士研究生， 主要研究方向为模式识别、 图像处理与图像检索等。施鹏飞， 博士生导师， 研究领域为图象分析与理 IAAA 高级会员， 解、 模式识别、 智能技术与系统。
计算机工程与应用
!""#$!%
%F
&’() * ! " ! （ ! ）
!
!
!
"
#
" （ ! " *! ） !!
! !
()*+, 小波变换定义为 &;’： ! "） （ （ ， ： ! "） # $ < " "=$ " " "） ） ） （ $ "（ $ % $< （ # &"） $ ## （
基于三维模型的多姿态人脸识别
基于三维模型的多姿态人脸识别杨军;刘直芳;张秀琼;高志升;袁红照【期刊名称】《光电工程》【年(卷),期】2009(36)1【摘要】提出了一种利用三维人脸模型匹配二维人脸图像的分层人脸识别方法和基于模糊数学的人脸姿态角度估计算法.对多姿态二维图像进行姿态空间划分,利用主成分分析方法(PCA)形成多姿态特征脸.识别过程首先估计测试图像姿态和模糊姿态角,在估计的姿态空间内采用基于PCA的方法进行第一层识别得到候选个体,然后利用候选个体的三维模型结合模糊姿态角产生虚拟图像,利用相关进行第二层识别.实验结果表明,该方法对姿态的变化有较好的鲁棒性.【总页数】6页(P140-145)【作者】杨军;刘直芳;张秀琼;高志升;袁红照【作者单位】四川大学计算机学院图形图像研究所,成都610064;四川大学视觉合成图形图像技术国防重点实验室,成都610064;四川师范大学计算机科学学院,成都610066;四川大学计算机学院图形图像研究所,成都610064;四川大学视觉合成图形图像技术国防重点实验室,成都610064;四川大学计算机学院图形图像研究所,成都610064;四川大学计算机学院图形图像研究所,成都610064;四川大学计算机学院图形图像研究所,成都610064【正文语种】中文【中图分类】TP391.41【相关文献】1.基于三维模型的多姿态人脸识别 [J], 刘志镜;李夏忠;武芒2.基于稀疏编码和机器学习的多姿态人脸识别算法 [J], 赵玉兰;苑全德;孟祥萍3.基于改进的卷积神经网络多姿态人脸识别研究 [J], HAN Dong;WANG Xuejun4.基于双路CNN的多姿态人脸识别方法 [J], 赵澜涛;林家骏5.基于深度学习的轻量级和多姿态人脸识别方法 [J], 龚锐; 丁胜; 章超华; 苏浩因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第２８卷第８期 计算机仿真 ２０１１年８月 文章编号：１００６—９３４８（２０１１）０８—０２６４—０４
基于姿态校正与虚拟样本的多姿态人脸识别
翟高粤 （苏州经贸职业技术学院，江苏苏州２１５００９） 摘要：研究人脸识别问题，提高多姿态识别精度。针对训练样本不足，当测试人脸图像姿态变化较大时，就会降低一致性，使 得识别精度急剧下滑（低于６０％），甚至出现无法识别的情况。为解决因训练样本不足导致识别精度低下的问题，根据正弦 变换的改进型姿态校正人脸识别策略，在保留人脸图像的纹理信息的情况下，将多姿态样本校正为正面人脸图像，利用二次 多项式变换方法增加虚拟训练样本，解决了实际情况中只能获取一个正面或侧面训练样本的问题，于是采用子空间的特征 提取方法进行仿真，在保证时间消耗的情况下，识别率相比传统模型提高了１９个百分点，达到７７％，表明改进方法能对多 姿态人脸进行有效识别，并提高了识别精度。 关键词：多姿态人脸识别；虚拟样本；子空间方法 中图分类号：ＴＰ３１７．４ 文献标识码：Ｂ
Ｐｏｓｅ—ｖａｒｉｅｄ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆａｃｉａｌ Ｐｏｓｅ Ｃｏｒｒｅｃｔｉｏｎ ａｎｄ Ｖｉｒｔｕａｌ Ｓａｍｐｌｅｓ
ｚＨＡＩ Ｇａｏ—．ｙｕｅ （Ｓｕｚｈｏｕ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｒａｄｅ＆Ｃｏｍｍｅｒｃｅ，Ｓｕｚｈｏｕ Ｊｉａｎｇｓｕ ２１５００９，Ｃｈｉｎａ） ＡＢＳＴＲＡＣＴ：Ｉｍｐｒｏｖｉｎｇ ｔｈｅ ｍｕｌｔｉ—ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｃｃｕｒａｃｙ ｉｎ ｔｈｅ ｓｔｕｄｙ ｏｆ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｗｉｌｌ ｄｅｃｌｉｎｅ ｓｈａｒｐｌｙ ｗｈｅｎ ｔｈｅｒｅ ａｒｅ ｌａｒｇｅ ｖａｒｉａｔｉｏｎ ｏｆ ｆａｃｅ ｐｏｓｅ，ｅｓｐｅｃｉａｌｌｙ ｗｈｅｎ ｔｈｅ ｔｒａｉｎｉｎｇ ｓａｍｐｌｅｓ ａｒｅ ｓｍａｌｌ， ｔｈｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍａｙ ｂｅ ｉｍｐｏｓｓｉｂｌｅ．Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｌａｃｋ ｏｆ ｔｒａｉｎｉｎｇ ｓａｍｐｌｅｓ，ｆｉｒｓｔｌｙ ｔｈｉｓ ｐａｐｅｒ ｔｒａｎｓ— ｆｏｒｍｓ ｔｈｅ ｐｏｓｅ—ｖａｒｉｅｄ ｆａｃｅ ｉｍａｇｅｓ ｔｏ ｆｒｏｎｔａｌ ｆａｃｅ ｉｍａｇｅｓ ａｎｄ ｔｈｅ ｔｅｘｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｆａｃｅｓ ｉｓ ｋｅｐｔ ｂａｓｅｄ ｏｎ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ（ＳＴ）．Ｓｅｃｏｎｄｌｙ，ｐｏｌｙｎｏｍｉａｌ ｔｒａｎｓｆｏｒｍ ｉｓ ｕｓｅｄ ｔｏ ｇｅｎｅｒａｔｅ ｖｉｒｔｕａｌ ｓａｍｐｌｅｓ ｗｈｅｎ ｏｎｌｙ ｈａｖｉｎｇ ｓｉｎｇｌｅ ｔｒａｉｎｉｎｇ ｓａｍｐｌｅ．Ｆｉｎａｌｌｙ，ｃｏｍｂｉｎｉｎｇ ｔｈｅ ｓｕｂｓｐａｃｅ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｍｅｔｈｏｄｓ ｗｉｔｈ ｐｏｓｅ—ｖａｒｉｅｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｓｔｒａｔｅｇｙ，ｔｈｅ ｓｉｍｕｌａｔｉｏｎ ｉｓ ｃｏｎｄｕｃｔｅｄ’ａｎｄ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅｓ ｈａｖｅ ｉｎｃｒｅａｓｅｄ ｂｙ １９ ｐｅｒｃｅｎｔａｇｅ ｐｏｉｎｔｓ． ＫＥＹＷＯＲＤＳ：Ｐｏｓｅ—ｖａｒｉｅｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ；Ｖｉｒｔｕａｌ ｓａｍｐｌｅｓ；Ｓｕｂｓｐａｃｅ ｍｅｔｈｏｄ
１ 引言 人脸识别技术是利用计算机对人脸图像进行分析，以特 定方法从图像中提取出能有效表示该图像的特征，通过机器 学习对图像进行身份辨别，是当前模式识别以及图像处理领 域的研究热点…。按姿态对人脸识别进行划分，可以分为前 视角人脸识别和多姿态人脸识别，其中前视角人脸识别的研 究已经比较深入，发展了较多的方法，如基于人脸几何特征 匹配方法、基于灰度匹配的ＰＣＡ（特征脸）方法 、基于连接 性模型方法等，并取得了较好的结果；但这些方法对人脸姿 态的变化都较为敏感，当将其推广到多姿态人脸识别时识别 正确率会急剧下降。较为传统的多姿态人脸识别方法是基 收稿１３期：２０１０—１１—１６修回日期：２０１０—１２一Ｏ１ ．－－－——２６４－－－—— 于多视图的多姿态人脸识别，但其需对每个人脸进行多视角 拍摄的前提条件限制了其实用性 Ｊ。Ｄａｎｉｅｌ 提出的通过 定位人脸的关键轮廓点，而调整人脸参数来改变人脸姿态的 点分布模型，在姿态相近的样本中得到较好效果，但在较大 差别的样本中并不具备优势；三维人脸模型是目前解决多姿 态最为有效的方法，但是由于三维图像的获取较为复杂、耗 时，而且三维数据计算复杂度远高于二维数据，计算量较大、 耗时多，因此其实际应用价值过低。 在实际的人脸识别应用中，往往只能得到少量的甚至仅 有一副正面训练样本，而检测到的测试样本可能会带有各角 度的姿态，如果姿态变化过大，待测样本与训练样本之间的 一致性降低，就会导致识别率极其低下。针对因训练样本少 导致姿态差异大的问题，拟通过对待识别样本进行前视角校 正和基于少量训练样本增加多姿态虚拟样本两个方向降低 训练样本与待识别样本之间的姿态差异，从而提高识别精 度。最后的仿真实验显示，该方法在保证了识别时间短的情 况下，大幅度的提高了小样本多姿态人脸识别精度。 ２人脸识别原理 计算机人脸识别本质是以数据形式表示图像表征图像 信息，再以计算机分析、提取其中的有效识别信息，进而判定 图像中人脸的身份。人脸识别系统通常是由三个部分组成： 数据采集系统、人脸检测系统以及人脸识别子系统 。数据 采集系统主要工作是采集人脸的图像以供人脸检测系统与 人脸识别子系统使用，包含人脸的图像可以直接从数字格式 的图片文件得到，或者从数码相机得到，也可以通过扫描仪 扫描照片得到；人脸检测系统则是根据人脸识别系统的需要 检测仅包含人脸的区域，去除图像信息中的其他干扰信息， 并提供人脸的位置、大小、偏转角度等图像信息提交给人脸 识别子系统；人脸识别子系统则对所有图像信息进行分析训 练，并对待识别图像进行分类判定。总的来讲人脸识别系统 可分为图像获取、预处理、识别三个部分，传统的人脸识别系 统的组成如图１所示。 ●～……●＿●●●●●●●●●●…●●＿●●…●●＿● 测试 图１传统的人脸识别系统 传统的人脸识别系统中，通过对大量不同姿态的人脸图 像进行训练，总是可以匹配某一姿态下的待识别样本。但在 实际人脸识别系统中，通常只能得到少量的正面训练样本， 而待识别的样本存在不同角度的姿态。人脸识别系统的识 别精度取决于受测试样本与训练样本的一致性，当两者一致 性比较高时，则其识别精度也会相应较高。所以当训练样本 较少并为正面图像时，无法保证每一待测样本总是能在训练 样本中找到相似样本，两样本姿态变化过大，一致性较低，识 别率也会急剧下降。为在较少训练样本情况下，增加训练样 本与测试样本的一致性，本文对待测试样本采取了姿态校正 的识别策略，基于二维图像的正弦变换（Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ，ＳＴ） 姿态校正，在保留人脸图像的纹理信息的情况下，将多姿态 待测样本校正为正面人脸图像，使得测试样本与训练样本同 为正面人脸图像，保持较高的一致性，从而提高识别精度。 在实际识别中，有可能面临只有单个训练样本的情况， 此时传统的识别系统将无法进行识别。它主要表现在以下 几个方面：①人脸姿态的变化会使得人脸的成像出现差异， 同一个人在不同姿态下的人脸图像之间差异随着姿态变化 的增加迅速增加，使得利用某单一的姿态人脸图像对其它姿 态的人脸图像进行识别成为一个极其困难的问题；②在现实 世界中，人脸是三维物体，但是训练及测试样本对象却是经 过三维Ｎ－维的投影，而投影过程将导致许多特征信息的丢 失，并且有可能改变人脸本身的状态；③人脸是一个非刚性 目标，人脸面部具有弹性，可随着表情、姿态的变化而改变， 也为识别增加了难度。为解决单个训练样本的问题，本文对 传统的人脸识别框架进行改进，提出新的基于单样本的人脸 识别框架。该方法通过高次多项式拟合从单个的训练样本 中虚拟出多个其它姿态图像，组成新的训练样本集，从而增 加了训练姿态种类。 本文在传统的人脸识别系统上通过对训练样本的虚拟 以及测试样本的姿态校正有效解决了现实识别中训练样本 偏少以及训练样本与测试样本之间一致性差的缺陷，有效提 高了多姿态人脸识别精度。改进的多姿态人脸识别框架如 图２。
…………”滴．磷 苯………“’ 图２改进的人脸识别系统
３ 多姿态人脸识别模型构建 ３．１人脸图形预处理 作为多姿态人脸识别系统的输入人脸图像一般都需经 过预处理过程，首先从全图中检测出人脸区域，对其进行裁 剪，去除背景等其它干扰信息。随后还需进行图像归一化 处理。 １）几何校正 最初获取的人脸样本图像中的人脸可能会有不同程度 的平面内倾斜，拍摄距离的不同，也会导致人脸图像的大小 出现差异，因此需要进行几何校正。尽管同一个体的样本会 因为表情的变化而不同，但人两眼之间的距离基本相同，可 基于双眼的位置和距离作为图像几何归一化的依据。首先 对眼睛进行定位，然后以二维仿射变换，旋转人脸图像使两 眼之间的连线呈水平状，同时调整图像大小，使相同个体的 所有人脸图像以眼睛为准“对齐”。 ２）灰度调整 为减少不同光照对人脸图像灰度分布的影响，需要对人 脸样本图像进行灰度调整。比较常用的有直方图均衡化方 法进行光度归一化。
・－－——２６５－－－—— ３．２ ＳＴ的测试样本姿态校正 从人脸识别的实效性和可操作性两个角度出发，本文测 试样本姿态校正基于二维图像的正弦变换进行，其特点是可 以实现快速的姿态校正 Ｊ。假设给定的待识别样本ｓ为一 张侧面人脸图像，即此图像呈现一边被压缩，另一边被放大 的效果。而正面人脸图像则是两边对称的效果。所以，以人 脸图像的中心垂线为界，左边列坐标取负，右边图像列坐标 取正，这样再根据列坐标的正负不同施行不同的尺度变换， 就可以实现压缩一边的同时扩展另一边。使侧面人脸得到 一定角度的姿态校正，从而变换为正面人脸。原始列坐标都 是整数，在变化后不再是整数，此时可以进行插值运算，可求 得图像上对应像素点的灰度值。 设原始图像ｓ，大小为ｍ Ｘ Ｉｔ，，平面上的网格点为｛（ ，）， ）Ｉ ＝１，２…，ｍ；＿ｙ＝１，２…，ｎ｝，经过正弦变换后，网格点的 Ｙ值由以下的式子可以给出： Ｙ ＝（１＋ｓｉｇｎ（），一ｎ／２） ｓｉｎ（ ））（Ｙ—ｎ／２）＋ｎ／２ （１） ｓｉｇｎ（）为符号函数， 为一个角度值。（１）式的变换式为： ， ｒｙ＋ｓｉｎ （ｙ—ｎ／２）Ｙ≥ｎ／２ ，¨ Ｉｙ—ｓｉｎ （ｙ—ｎ／２）ｙ＜ｎ／２ 由（２）式可得，当根据网格点Ｙ在图像左右两个区间的 位置，施行不同的尺度变换，得到不同的缩放效果。由｛（ ， ）Ｉ ＝１，２…，ｍ；Ｙ＝１，２…，ｎ｝组成图像新的网格点。假 定新图像ｓ 在网格点（ ，）， ）处的灰度值为源图像ｓ在（ ， Ｙ）点的灰度值，即： ．ｓ （ ， ）＝Ｓ（ ，ｙ） （３） 由ｓ 作插值就得出图像在网格点｛（ ，ｙ ）Ｉｘ＝１，２…， ｍ；ｙ＝１，２…，ｎ｝的值，即为姿态校正后的虚拟图像。 ３．３虚拟训练样本获取 差异并不显著，可以预先获取系列不同姿态人脸图像样本， 进行器官分布统计，随后即可基于各姿态器官分布统计模型 对单视图人脸图像进行转换，并生成相应多个姿态的人脸图 像。人脸各个器官在姿态变化时的改变可以通过高次多项 式函数来拟合而成，对于二维人脸图像，人脸器官可以通过 控制点坐标（ ，ｙ）表示。多项式拟合结果与拟合次数呈正相 关，但考虑到拟合次数的增加同样会导致计算所需的控制点 数也增加，而使得计算量急剧增加，本文折中采用二元二次 多项式拟合。 假设在姿态１中的控制点集合为咖 ＝｛（ ，，Ｙ ），（ ， Ｙ ）…．，（ ，ｙ ）｝，需要变形的姿态２的相应控制点集合为 ：＝｛（ ，Ｙ ），（ ：，Ｙ ：）…．，（ ，ｙ ）｝，各有ｍ个控制 点，并且一一对应。二元二次多项式为： ∥）＝ 《 ％ （４） Ｌ （