基于二维图像的三维人脸建模

人脸识别技术的原理与应用人脸识别技术是一种基于特定算法将人脸图像进行检测、特征提取、匹配的过程，以从中识别出人脸信息的技术。

其应用范围十分广泛，如安防、金融、教育、医疗等领域。

本文将介绍人脸识别技术的原理和应用。

一、人脸识别技术的原理人脸识别技术的原理是基于计算机视觉技术实现的。

首先，通过摄像机拍摄到的人脸图像经过各种处理，通过面部识别算法提取出人脸的各种特征，如眼睛、鼻子、嘴巴、面部轮廓等特征。

这些特征被称为“人脸特征点”或“人脸特征向量”，它们是用数字表示的一组特征数据。

其次，通过对这些特征进行保存并进行计算，得到一个所谓的“人脸模板”，这就是用来表示一个人脸的数字化特征，也是进行比对时用来作为参照的数据。

当有新的人脸出现时，系统将提取该脸部的特征并与系统中已保存的人脸模板进行比对，系统会计算两个人脸特征数据之间的相似度，从而进行人脸识别。

为了提高人脸识别的准确率，特征提取和人脸比对是非常重要的环节。

当前，人脸识别技术主要涉及2D人脸识别和3D人脸识别两种方式。

其中，2D人脸识别是通过二维平面图像进行人脸识别，适用于静态场景；3D人脸识别借助3D建模技术，将人脸建立成三维识别模型，适用于动态场景。

二、人脸识别技术的应用1. 安防领域人脸识别技术在安防领域的应用较为广泛，可以用来进行出入检测和身份识别等方面。

例如，在公共场合如机场、车站、商场、公园等对人的出入进行监控以及对犯罪犯罪分子的追踪和抓捕等方面。

2. 金融领域人脸识别技术在金融领域中广泛应用，以增强金融机构的安全性和客户体验。

如，人脸识别技术可以用于ATM机上的实名认证、银行网站的账户登录等方面，这些应用可以极大地减轻人力负担，提高工作效率。

3. 教育领域人脸识别技术在教育领域中也逐渐被广泛应用。

例如，人脸识别技术可以用于学籍管理系统中的学生签到、考试监控等方面。

此外，也可以用于课堂表情识别、心理测量等领域，能够大大提高学生学习的效果和体验。

人脸三维建模python算法人脸三维建模是一个复杂的过程，涉及从二维图像中恢复或构建三维形状。

在Python中，你可以使用各种库和算法来实现这一目标。

以下是一些常用的方法和技术：基于立体视觉的方法：使用多个相机从不同角度捕捉人脸图像。

通过三角测量来重建三维点云。

基于形状从阴影恢复（Shape from Shading, SFS）：利用图像中的阴影信息来推断三维形状。

需要一个已知的照明模型或假设一个照明条件。

基于结构光的方法：投射特定的光模式到人脸上，并观察其变形。

通过分析变形模式来恢复三维形状。

基于深度学习的方法：使用卷积神经网络（CNN）来学习从二维图像到三维形状的映射。

需要大量标注好的二维-三维对应数据集进行训练。

三维可变形模型（3D Morphable Models, 3DMM）：使用一个统计模型来表示人脸形状和纹理的变化。

通过拟合算法将3DMM模型匹配到二维图像上。

基于点云的方法：采集设备直接获取三维点云数据（例如激光雷达、结构光相机等）。

点云数据可以通过配准、重建等技术得到完整的三维模型。

在Python中实现人脸三维建模，你可能会用到以下库：OpenCV：用于图像处理，包括面部检测、特征点提取等。

NumPy：用于数值计算，包括矩阵运算、线性代数等。

PyTorch 或TensorFlow：用于实现深度学习模型。

scikit-learn：用于机器学习算法，如回归、分类等。

trimesh 或PyMesh：用于处理三维网格数据。

matplotlib 或plotly：用于可视化结果。

这里是一个基于3DMM的简单流程：收集数据：收集带有二维图像和对应三维形状的数据集。

预处理：使用OpenCV进行面部检测和对齐，提取特征点。

3DMM拟合：通过优化算法（如梯度下降）来拟合3DMM 模型到二维图像上的特征点。

纹理映射：如果可用，将二维图像的纹理映射到三维形状上。

后处理：对得到的三维模型进行平滑、修复等操作。

智能家居中人脸识别技术研究一、引言随着科技的快速发展，智能家居已成为现代家庭生活中的重要组成部分。

而人脸识别技术作为智能家居的重要组成部分之一，其在智能家居中的应用也日益广泛。

本文旨在探讨智能家居中人脸识别技术的研究现状及发展趋势。

二、智能家居中人脸识别技术的基本原理人脸识别技术是指通过对人脸图像进行分析、提取人脸特征并进行比对，从而实现对人脸进行自动识别的技术。

在智能家居中，人脸识别技术主要应用于以下几个方面：（一）门禁系统：通过人脸识别技术，可以实现智能门禁系统的自动开关门，从而提高家居安全性。

（二）智能家居控制：通过人脸识别技术，可以实现智能家居控制的自动化，如自动开启空调、电视等设备。

（三）智能安防监控：通过人脸识别技术，可以实现智能安防监控，如发现陌生人员进入家庭，及时发送警报信息给家庭成员。

三、智能家居中人脸识别技术的研究现状目前，智能家居中的人脸识别技术已经得到了广泛的应用，研究人员也在不断的探索和改进该技术。

以下是智能家居中人脸识别技术的研究现状：（一）基于深度学习的人脸识别技术深度学习是一种基于神经网络的机器学习方法，已经被广泛应用于人脸识别技术中。

深度学习的模型可以通过对大量的人脸图像进行训练，从而得到更加准确的人脸识别结果。

（二）基于三维建模的人脸识别技术三维建模技术可以将人脸从二维图像转换为三维模型，并提取更多的人脸特征，从而提高人脸识别的准确度。

（三）基于多模态信息融合的人脸识别技术多模态信息融合指的是将不同的人脸特征信息进行融合，从而提高人脸识别的准确度。

比如将人脸图像信息和声音信息进行融合，可以更加准确地进行人脸识别。

四、智能家居中人脸识别技术的发展趋势随着人工智能技术的快速发展，智能家居中的人脸识别技术也将呈现出以下几个发展趋势：（一）更加准确的人脸识别技术未来的人脸识别技术将会更加准确，能够更好地识别不同角度、不同表情、不同年龄段的人脸。

（二）更加智能化的家居控制未来的智能家居将会更加智能化，能够根据不同的人脸识别结果自动调整家居控制模式，提供更加个性化的智能家居服务。

人脸识别技术中的3D建模与匹配技术第一章介绍人脸识别技术是一种基于生物特征的身份认证技术，近年来得到了广泛应用。

其中，3D建模与匹配技术作为人脸识别的重要组成部分，具有较高的专业性和准确性。

本章将介绍人脸识别技术的发展背景以及3D建模与匹配技术在其中的地位和作用。

第二章人脸识别技术发展背景从传统的2D人脸识别技术到现在的3D人脸识别技术，人脸识别技术经历了长足的发展。

早期的2D人脸识别技术主要基于图像处理和模式识别方法，受到光照变化、肤色、表情等因素的影响较大。

为了克服这些限制，人们开始将3D建模与匹配技术引入到人脸识别中。

第三章 3D建模技术3D建模技术是人脸识别中的核心技术之一。

通过对人脸进行三维形态的建模，可以获得更多的几何信息，从而提高人脸识别的准确性。

常用的3D建模技术包括基于结构光、立体匹配、双目立体视觉等。

这些技术可以通过获取人脸的深度信息，实现对人脸的准确建模。

第四章 3D建模技术的应用3D建模技术在人脸识别中有着广泛的应用。

首先，它可以用于人脸三维重建，将人脸的二维图像转化为立体的三维模型。

其次，它可以用于增强人脸识别的鲁棒性，通过获取更多的几何信息，提高人脸识别算法对光照变化、角度变化等的适应性。

最后，它还可以用于人脸表情分析和情绪识别，通过对人脸的三维形态变化进行分析，实现对表情和情绪的判断。

第五章 3D匹配技术3D匹配技术是人脸识别中的另一个关键技术。

通过将人脸的三维模型与数据库中的三维模型进行匹配，可以实现对人脸的准确识别。

3D匹配技术主要包括特征描述和匹配算法。

特征描述是将人脸的三维形态进行数学描述，常用的方法包括仿射不变特征（SIFT）、变分贝叶斯、深度学习等。

匹配算法是通过比较两个特征描述之间的相似性，确定人脸的身份。

第六章 3D匹配技术的应用3D匹配技术在人脸识别中起着至关重要的作用。

首先，它可以用于人脸的一对多识别，即将输入的人脸与数据库中的多个人脸进行匹配，找到最相似的人脸。

3D人脸识别技术及应用
田强;张权;朱桐;田青;夏卫军;戚鹿宁
【期刊名称】《警察技术》
【年(卷),期】2014(000)005
【摘要】介绍了人脸识别技术的主要方法、3D人脸识别技术和基于2D图像的3D人脸识别技术,重点阐述了基于二维图像的三维人脸识别技术概念和建模技术,并对人脸识别技术的未来发展方向做了简要描述.
【总页数】4页(P19-22)
【作者】田强;张权;朱桐;田青;夏卫军;戚鹿宁
【作者单位】公安部第一研究所;证件防伪公安部重点实验室;公安部警卫局信息技术中心;公安部警卫局信息技术中心;公安部第一研究所;证件防伪公安部重点实验室;公安部警卫局信息技术中心;公安部警卫局信息技术中心
【正文语种】中文
【相关文献】
1.面向监控视频的人脸识别技术及应用
2.简述人脸识别技术及应用
3.探索四维人脸识别技术及应用场景
4.面向监控视频的人脸识别技术及应用
5.计算机人脸识别技术及应用研究
因版权原因，仅展示原文概要，查看原文内容请购买。

计算机研究与发展ISSN 100021239ΠCN 1121777ΠTPJournal of Computer Research and Development 46(6):100921018,2009　收稿日期:2008-06-25;修回日期:2008-11-25　通讯作者:孙艳丰(yf sun @ )　基金项目:国家自然科学基金项目(60533030,60825203);北京市自然科学基金项目(4061001);国家科技支撑计划基金项目(2007BA H13B01)BJUT 23D 三维人脸数据库及其处理技术尹宝才　孙艳丰　王成章　盖　赟(北京工业大学计算机学院多媒体与智能软件技术北京市重点实验室　北京　100124)(yinbc @ )BJ UT 23D Large Scale 3D F ace Database and Information ProcessingYin Baocai ,Sun Yanfeng ,Wang Chengzhang ,and Ge Yun(B ei j ing M unici pal Key L aboratory of M ultimedia and I ntelli gent S of tw are Technolog y College of Com p uter S cience and Technology ,B ei j ing Universit y of Technolog y ,B ei j ing 100124)Abstract 3D face recognition has become one of t he most active research topics in face recognition due to it s robust ness in t he variation on po se and illumination.3D database is t he basis of t his work.Design and ruction of t he face database mainly include acquisition of prototypical 3D face data ,p reprocessing and standardizing of t he data and t he st ruct ure design.Currently ,BJ U T 23D database is t he largest Chinese 3D face database in t he world.It contains 1200Chinese 3D face images and p rovides bot h t he text ure and shape information of human faces.This data resource plays an important role in 3D face recognition and face model.In t his paper ,t he data description ,data collection schema and t he po st 2p rocessing met hods are provided to help using t he data and f ut ure extension.A 3D face data dense correspondence met hod is int roduced.Dense correspondence means t hat t he key facials point s are caref ully labeled and aligned among different faces ,which can be used for a broad range of face analysis tasks.As an applicatio n ,a pose estimation and face recognition algorit hm acro ss different po ses is p ropo sed.Eexp remental result s show t hat t he propo sed algorit hm has a good performance.K ey w ords 3D face database ;face recognition ;3D face model ;morp hable model ;mesh resampling摘　要　BJ U T 23D 是目前国际上最大的中国人的三维人脸数据库,其中包括经过预处理的1200名中国人的三维人脸数据,这一数据资源对于三维人脸识别与建模方面的研究有重要意义.首先介绍了BJ U T 23D 数据库的数据获取条件、数据形式,并针对数据库建立过程中数据预处理技术进行了讨论.最后作为数据库的直接应用,进行了多姿态人脸识别和人脸姿态估计算法的研究.实验结果证实,该算法具有良好的性能.关键词　三维人脸数据库;人脸识别;三维人脸模型;形变模型;网格重采样中图法分类号　TP391 经过40多年的发展,尤其是近10年的研究,人脸识别的理论和算法均取得了长足的进步,但这些理论和算法主要针对输入是二维人脸图像而开展的.理论和实验研究已经证实,二维图像中人脸姿态或成像时光照条件的变化对算法的识别性能有很大影响.而更实用的人脸识别算法应该是在摄像环境不可控、用户不配合的情况下使用.所以目前算法的缺陷大大限制了人脸识别技术在实际中的广泛应用.如何解决不同姿态、不同光照条件下的人脸识别问题是二维人脸识别研究的瓶颈,也是当前的研究热点.与二维人脸图像数据相比,三维人脸数据中包含人脸的空间信息,这是人脸本身固有的特征信息,对姿态、光照条件的变化具有鲁棒性.因此,近年来利用三维人脸数据进行人脸识别的途径已经引起人们的广泛关注,也出现了一些识别算法[1].与二维图像不同,三维人脸数据有多种不同的形式,如人脸的深度数据、曲面点的三维坐标及其点之间的连接关系、面部轮廓线数据等.针对不同形式人脸数据的识别算法也需要相同形式的数据资源.人脸数据库对人脸识别算法的研究与开发、模型训练、算法性能比较测试是不可缺少的数据资源,尤其在基于统计学习算法占主导地位的人脸识别领域,模型训练所采用的人脸库的规模、覆盖的人脸数据的变化很大程度上影响算法精度和鲁棒性;不同算法性能测试所用到的数据库的规模和属性同样决定了评测的合理性和测试结果的有效性.所以,随着三维人脸识别研究的不断深入,建立各种数据形式的三维人脸数据库,为同行提供模型训练数据资源、算法研究与比较的数据平台,具有重要的意义.经过长期的研究积累,我们研究小组采用Cyberware3030R G BΠPS激光扫描仪获取三维人脸原始数据,通过对齐算法构建了可进行线性计算的三维人脸数据库BJ U T23D[2],该库包含1200个中性表情的中国人的三维人脸样本数据,其中部分数据有多个样本.扫描后的数据是由点的纹理信息、三维坐标信息及其点之间的连接关系构成.该数据库目前可以为诸如人脸跟踪、识别、动画等研究人员提供很好的数据资源.本文先对三维人脸数据的采集环境、条件、数据形式进行了介绍,然后研究了数据库建立过程中的数据获取、数据处理、数据对齐等相关技术.这些技术为数据库的使用及其相关的研究工作会提供一些有益的帮助.1　相关的三维人脸数据库综述目前已经有一些包含三维信息的三维人脸数据库,按着数据库的构造方法可以将它们分为基于多视角几何信息的方法、基于结构光的方法和基于三维扫描仪的方法.CMU的FIA数据库是基于多视角几何信息的三维数据库[3],其中数据是用6个摄像机从3个不同角度获取20s的视频信息,然后用计算机视觉的方法恢复三维信息得到的人脸数据.由于没有对视频人脸进行标定,这类方法是用复杂的人脸跟踪算法重构人脸的形状信息,所以其效果受人脸跟踪效果的影响较大.3D2RAM是基于结构光的方法建立的三维人脸数据库[4],它用一个照相机和放映机获取人的3D坐标信息,建立一个含129人的3D人脸数据库.该库样本的坐标信息精度高,但对于面部的眼睛或阴影部分无法获取其3D信息,导致面部曲面形状不完全.由于三维扫描仪能够获取人脸部较精确的形状和纹理信息,因此成为建立三维人脸数据库非常好的工具.在GavabDB数据库中[5],使用Minolta V I2700数字转换器获取61个有表情变化的从不同视角扫描的人脸数据.由于有些视角具有不可见部分,为获取完整的三维人脸表面信息还需要进行适当的后处理.Cyberware扫描仪通过一次扫描可以获取人不同视角的完整数据,因此获取的数据准确性好,大大简化了后处理工作,用该设备建立的U SF三维人脸数据库[6]有200人的三维人脸数据,由于每个样本的形状和纹理信息维数很高,因此对于人脸数据处理与分析方面的研究,这样规模的数据还远远满足不了需要.2007年, Huang的研究小组利用Cyberware扫描仪建立了一个含有475人的三维人脸数据库[7],样本主要有中性和微笑两种表情,年龄分布在19～25岁之间,这一数据库可以缓解现有数据库规模小的缺陷,也为人脸识别、跟踪、对齐、动画等相关研究工作提供重要基础.2　BJUT23D数据库介绍BJ U T23D的三维人脸数据通过Cyberware 3030R G BΠPS激光扫描仪获取.扫描时,一条红色激光线从扫描仪里面发射出来,照射到头部Π脸部,经过激光线的反射,被仪器接收和计算.扫描时要求被扫描者端坐在旋转平台的一个高度适中的椅子上,并直视前方,以保证头部在扫描仪的中部.扫描期间需保持端坐不动和静止的脸部表情直至扫描结束.该扫描仪通过一次扫描得到人头部的几何信息和彩色纹理信息,并使用柱面坐标记录几何信息.扫描精度为圆周方向(用φ表示,0≤φ≤2π)489个采样点,轴方向(用h表示,0≤h≤300mm)478个采样点,扫描半径(用r表示)在260mm～340mm之间.每一0101计算机研究与发展　2009,46(6)个几何采样点对应一个24位(用R,G,B表示)纹理像素点,并以489×478大小的纹理图像存储.Fig.1　Cyberware laser scanner.图1　Cyberware激光扫描仪1)光照条件用激光扫描仪扫描人脸时可以同时获取人脸的三维几何信息和彩色纹理信息,人脸纹理的好坏直接影响到所创建人脸库的质量及应用价值,并给基于人脸库进行的人脸建模、人脸识别、人脸动画等方面的研究带来很大的影响.为了得到统一的、较为真实的纹理信息,我们的数据采集在同一个扫描间进行,并对光照条件做了一定的限制.扫描间是一个特定、封闭的环境,其四周设置4盏专用的照明灯,由前后左右4个方向指向被扫描对象,并保证扫描对象各个方向具有相同的光照强度.为了模拟正常的环境光,扫描间的4盏灯都是60W的白炽灯,同时设置扫描间的墙壁为通体白色,这样4盏灯相互照射后,从墙壁上返回的光形成了一个统一对环境光的模拟制式.由于镜面反射对模型的生成会产生较大的影响,所以要求光的强度在一定的范围内.所有扫描工作都在扫描间完成,这样既保证对环境光的光照条件近似模拟,也保证所有三维人脸数据的光照条件完全相同.2)饰物由于扫描仪对头发等深色部位的扫描效果比较差,而人脸研究仅对人的面部区域感兴趣,因此要求被扫描者佩戴泳帽并将头发全部包住.该泳帽一般应选择颜色较鲜明的色彩以便和面部区域分离,方便后期处理.此外还要求被扫描者不能化妆、不戴眼镜等任何饰物.3)数据规模及形式BJ U T23D三维人脸数据库共包括1200名中国人的三维人脸数据,其中500人的数据对外公开发布,男女各250人,年龄分布在16岁～49岁之间,所有人脸数据均是中性表情.部分人脸有3个样本,以便于人脸识别研究.三维扫描仪进行一次柱面扫描就是对人的头部表面进行高密度采样,采样信息包括空间几何信息和彩色纹理信息.空间几何信息由两部分组成,既空间三维采样点的坐标信息(用(X,Y,Z)表示,约2×105个点),和由网格描述的这些点之间的连接关系,网格组成的三角面片约有4×105个.彩色纹理信息是采样点柱面投影得到的二维图像,以普通图像格式存储,图像的长和宽由投影参数、扫描设备硬件与操作平台决定,本文得到的纹理分辨率为478×489,如图2(c)所示.为建立几何信息同纹理信息之间的联系,在几何信息中还存储几何采样点在纹理信息文件中对应纹理点的归一化坐标,归一化坐标表明本采样点在纹理信息文件中对应纹理点位置的索引信息,几何信息和纹理信息之间的关系就是通过该索引信息建立起来的.图2是扫描后的三维人脸及其对应的几何、纹理信息.Fig.2　3D prototytical face data.(a)Scanned3D face;(b) Shape data;and(c)Texture image.图2　三维原始人脸数据.(a)三维人脸;(b)几何数据;(c)纹理图像4)人脸数据的命名规则在数据库中,每个三维人脸数据由单一的文件组成,文件按照统一的规则进行命名.文件名有6部分信息,命名规则为性别+I D+年龄+表情+内容+发布情况.具体表示形式如下:x_xxxx_Ax_Ex_Cxxxx_Rx1　2 3　4　5 6每部分的具体含义为:1表示性别区域,由一个字母组成.“M”表示男性,“F”表示女性.2表示I D区域,由4个数字组成.表示该文件在数据库中的I D,当组成文件I D所需数字不足4位时剩余高位用0补齐.3表示年龄区域,由一个字母“A”和一位数字组成.A是年龄的英文Age的首字母.由于研究时1101尹宝才等:BJ U T23D三维人脸数据库及其处理技术关心的是人脸数据所处的年龄段,所以只记录每个人脸数据所属的年龄段,并用1位数字表示.每个年龄段的代表数字如表1所示:T able1　Correspondence of N otation and Age表1　年龄符号对应表Notation Age Range110-19220-29330-39440-494表示表情区域,由一个字母“E”和一位代表表情的字母组成.表情字母表示人脸数据具有的表情.每个表情代表字母的含义如表2所示.目前数据库中所有人脸都是中性表情.T able2　Correspondence of N otation and Expression表2　表情符号对应表Notation ExpressionN NormalH HappyP SurpriseA Angry5表示数据内容区域,由5位字母组成.C是Content的首字母,后面的4位字母“t rim”表示该数据经过预处理.6表示发布标记区域,由两位字母组成.首字母为R,第2个数字表示是否已经发布,其中“0”表示未发布,“1”表示已发布.目前发布的数据是无法直接读取的,用户需要使用我们提供的工具将原始数据转换成可读的文本形式.转换后的文本数据包含3个部分信息:顶点信息、纹理信息、网格信息.①顶点信息:顶点信息由密集采样点组成,三维人脸模型的顶点信息就是由这些采样点构成的.数据的表示形式为Vertex1:X=-87.616997,Y=-12.994000,Z=37.046001, Vertex1表示序号为1的顶点,X,Y,Z分别表示该点的3个坐标值.②纹理信息:纹理信息描述了每个顶点的对应的纹理值.数据表示形式为Text ure1:R=144,G=99,B=85,Text ure1表示顶点1的像素值,R,G,B分别表示点在3个颜色通道的值.③网格信息:网格信息描述顶点之间的连接关系.库中的数据使用三角网格来描述顶点之间的连接关系.数据的表示形式为Triangle1:Fi rst V ertex=36407,Second V ertex=36310,Thi r d V ertex=36392,Triangle1表示第1个三角网格,其后的3部分信息分别表示依附该三角网格的3个顶点的标号.3　建立BJUT23D的信息处理技术扫描后的数据还有许多信息缺失和不平滑的情况,另外肩部和头部的信息对于人脸识别及相关研究是无用的,它们的存在将会增加数据规模,为后续数据库的应用增加计算量,所以需要对扫描后的数据进行预处理.3.1　面部数据的分离和预处理扫描人脸时,由于光照条件的细微变化、人脸表面的不光滑性以及头发等复杂结构的影响,射在人脸表面的光线在返回时运动轨迹发生偏离,会使扫描后得到的三维人脸数据发生变形,出现一些毛刺和空洞等现象.在对耳朵、下巴等部位扫描采样时,捕捉不到的三维信息也会形成空洞,有些地方则因为局部表面不光滑会产生毛刺.对此,我们采用交互的方式,使用插值、平滑等预处理方法弥补三维人脸上的空洞并去掉毛刺.面部数据的分离是将人脸面部区域从整个头部扫描数据中分离出来,去除头发、肩等部位的三维数据.我们使用的方法[8]首先确定分离的边界.由于在三维人脸几何数据上直接进行边界关键点标定和边缘自动检测十分困难,所以借助人脸的纹理图像来进行不规则边界的确定,即在三维人脸对应的二维纹理图像上确定面部发际边界和耳朵部位的边界,然后通过纹理几何的对应关系,找到三维人脸几何数据相应的分割边界.对于耳下的垂直切面和脖子下的水平切面则直接在几何数据上确定,用来去除肩部以下和耳朵后面的数据.确定了人脸的分离边界后,即可将人脸的面部区域从原始扫描数据中分离出来.如图3所示为分离后的三维人脸,图3(a)是分离后的几何形状及其对应的纹理图像,图3(b)是分离后不同角度下的三维人脸面部图像.2101计算机研究与发展　2009,46(6)Fig.3　3D face data.(a )The cutted shape and texture for 3D face and (b )Frontal and side 3D face.图3　三维人脸数据.(a )分离后的三维人脸几何信息和纹理信息;(b )正面、侧面3D 人脸 为保证三维人脸数据的一致性,在数据获取时要求被扫描者保持指定的姿态和位置,既目视前方,头部保持垂直.但实际扫描得到的人脸样本的姿态不可避免地存在一定偏差,因此需要对不同的人脸数据进行坐标矫正,将不同的三维人脸数据统一到同一个坐标系.切割后的三维人脸数据接近一个柱面分布,所以用三维人脸数据的离散点集来拟合一个柱面,用柱面的中心轴作为三维人脸数据的新的垂直坐标轴(Z 轴),过鼻尖点且与新的垂直坐标轴垂直相交的直线作为新的前向坐标轴(Y 轴),新的X 坐标轴则由Y 轴和Z 轴的叉乘运算确定.通过坐标变换可以得到每个三维人脸在新的坐标系下的坐标值,经过坐标变换的所有三维人脸数据均变换到朝向、姿态相同的坐标系下.如图4是三维人脸的坐标矫正示意图,其中Z 是矫正后的垂直轴,Z 0是矫正前的垂直轴,X ,Y ,Z 是矫正后的坐标轴.Fig.4　Recorrected face by a cylinder.图4　人脸柱面矫正3.2　人脸数据的规格化由于人脸的个性化差异,扫描得到的人脸数据有很大差别.首先是构成三维人脸的点数和面数不同,这样的数据使基于形变模型的三维人脸重建无法进行,也不利于人脸的统一表示;其次是点或面的排列与人脸特征无关.因此建库时对预处理过的三维人脸数据进行了规格化,规格化后的数据既可以用统一的向量形式来表示,又保证所有的三维人脸数据特征对齐.规格化[9]的第1步是建立不同三维人脸数据间的稠密对应,既根据人脸面部特征建立不同的三维人脸数据间点到点的一一对应关系.例如,已知一个人脸上的鼻尖点可以根据对应关系找到另外一个人脸上的鼻尖点,如果以某一个人脸作为标准人脸,就可以将人脸数据根据标准人脸的点和面进行有序化.事实上,在三维数据上建立基于特征的点对点的稠密对应非常困难.首先不同人脸的个性差异导致三维人脸的几何差异很大,而且还要考虑纹理特征信息的对应;其次三维人脸数据是稠密点集,数据量很大,因此很难使用一般方法建立这种对应关系.文献[9]考虑到扫描人脸数据是以柱面的形式表示,将三维人脸展开为二维形式,借助在二维图像上光流对应计算的方法建立三维数据的对应.但光流算法的前提假设是两幅图像间光流的变化是连续光滑的,对于比较相像的两幅人脸可以近似地看做视频序列的相邻两帧图像,此时对应计算效果比较好.但对于形状差别较大的人脸数据,光流算法的前提假设不满足,对应计算将产生较大的误差.另外,这种将复杂三维几何进行柱面展开形成二维图像的方法实际上损失了很多三维信息,所以其对应计算的效果不是很好.为此,BJ U T 23D 数据库采用基于网格重采样的对齐方法.网格重采样是通过原始数据建立网格和曲面的常用方法,它摒弃了在二维图像上的处理方法,直接在三维空间进行,能够更多更精确地保留原数据的三维信息.利用重采样可以将不规则的多边形网格转化为规则的网格的特点,该方法将不同网格数和空间点数的原型人脸全部规格化为采样点数、网格数、拓扑完全一致的原形人脸,且重采样后的人脸同一相对位置的点都固定地代表了同一个面部特征,在此基础上能够直接进行不同人脸的点与点的线性组合,从特征的角度更具有线性组合的合3101尹宝才等:BJ U T 23D 三维人脸数据库及其处理技术理性.人脸对齐主要由人脸分片和网格重采样两个计算过程组成.1)人脸分片人脸分片将三维人脸分割成多个面片为网格重采样做准备.目前自动分片算法[10]的研究主要是针对纹理映射领域,虽然能够达到自动,但分片的形状不确定,无法保证所有人脸分出的同一片包含的人脸特征相同或相近.Krishnamurt hy 等人[11]提出的交互的人工分片方法,由用户选取一序列点,然后采用贪心图算法,在网格连线上寻找相邻点的最短路径,这些路径则形成分片的边界.该方法以网格的连接关系为基础进行分片操作,实现比较复杂.本文根据三维人脸数据包含三维几何与纹理两部分数据的特点,基于面部纹理图像手工交互标定特征点,然后以特征点的连线作为分片边界,划分特征区域,最后通过柱面映射找到三维人脸网格上的分割结点和分割线.考虑到重采样后网格要求比较均匀,所以采用面积比较接近的矩形进行分割.如图5所示是三维人脸分割的结果,一个人脸被分为122个面片.Fig.5　Divide the 3D face into patches.图5　三维人脸分片2)三维人脸网格重采样对于初始分片后的三维人脸通过网格重采样进行网格细分.重采样时首先要确定每个面片的4个角点.对于规格的矩形面片,直接使用其4个顶点作为角点;对分割后处于边界的不规格面片,利用最小内角法或长宽比法确定4个角点.为了能够进行均匀重采样,对所有矩形的边长度进行统计,然后进行等形线的均匀初始化,这样不仅使边界边的划分更均匀,还可以减少边界曲线提取的计算量.对等形线初始化后的网格进一步的细分,利用点的合力调整新获得弹性点的位置,从而获得了每一面片的均匀重采样网格.对每个面片重复以上重采样过程,直到重采样的密度与原始三维人脸数据的密度比较接近为止.如图6(c )是对人脸数据进行5次重采样的结果,约由13×104个点,25×104个三角面组成.详细的三维人脸重采样过程参见文献[8].Fig.6　Face mesh resampling.(a )The ioslines initialized ;(b )One time mesh resampling ;and (c )Five times mesh resampling.图6　人脸重采样.(a )初始化网格;(b )1次重采样的结果;(c )5次重采样结果经过上面的重采样处理,所有三维人脸具有相同数量的点和三角面片,且整个网格的拓扑结构完全相同,从而可以建立三维人脸数据间严格的一一对应,这样的对应可以将所有三维人脸表示为统一的表示形式.另外,由于这里的分片是基于特征的分片,因此重采样后点的对应也是基于特征的稠密对应.图7是分别基于网格重采样的方法和光流的方法进行人脸对齐的结果.从图中可以看出,基于网格重采样方法的对齐效果好于光流的算法.Fig.7　The correspondence based on mesh resampling and optical flow.(a )The correspondence based onmesh resampling and (b )The correspondence based on optical flow.图7　基于重采样算法和光流算法的对齐效果比较.(a )基于网格重采样方法的对齐结果;(b )基于光流方法的对齐结果4101计算机研究与发展　2009,46(6)4　BJUT 23D 的应用———多姿态人脸识别算法研究[12] 实用的人脸识别系统应该是在用户不配合的情况下使用,此时人的头部会以多种姿态的形式出现,所以进行人脸识别必须考虑头部姿态的变化,多姿态人脸识别也一直是人脸识别研究的难点.作为三维人脸数据库BJ U T 23D 的直接应用成果,我们小组进行了多姿态人脸识别研究,并借助于三维人脸形变模型[9]实现了对人脸的姿态估计.4.1　算法整体框架根据二维人脸库(gallery )中的人脸图像(每个人只需要一幅二维人脸图像),采用三维人脸形变模型重建其对应的三维人脸.在识别阶段采用该三维人脸模型估计二维测试图像中人脸的旋转角度,并以测试图像中人脸在3个方向上的旋转角度为基准,将人脸库(gallery )中重建的三维人脸旋转到相同视角的同一姿态.最后,采用相同姿态下人脸图像进行人脸对象的分类识别.算法的整体框架如图8所示:Fig.8　The f ramework for multipose face recognition.图8　算法整体框架4.2　三维人脸形变模型形变模型的基础是线性组合理论,即使用一类对象中若干典型样本张成该类对象的一个子空间,用子空间基底的组合近似地表示该类对象的特定实例.使用形变模型进行三维人脸建模分为两个过程:一是建立模型,包括原始人脸数据的获取、人脸数据的对应和建立组合模型;二是针对特定人脸图像进行二维人脸图像与模型的优化匹配,实现三维人脸的重建.建立形变模型使用的三维人脸数据源于BJ U T 23D 数据库,所有数据均经过前述的规格化处理,实现了三维人脸的点到点的对应.第i 个三维人脸数据用形状和纹理向量表示为S i =(X i 1,Y i 1,Z i 1,X i 2,…,X in ,X in ,X in ,)T,T i =(R i 1,G i 1,B i 1,R i 2,…,R in ,G in ,B in )T,1≤i ≤N ,(1)其中N 三维人脸的总数,n 是三维人脸顶点的个数.由于原型人脸数量比较大(N =200),且人脸数据间有一定相关性,因此使用主元分析方法(PCA )对人脸形状和纹理向量进行处理,压缩数据量,消除数据间的相关性,得到形变模型的表示形式:S model =S -+∑m-1i αi s i,T model =T -+∑m-1iβi t i,(2)其中S -,T -是原型三维人脸的平均形状和纹理向量,m 是主元个数,s =(s 1,s 2,…,s m -1),t =(t 1,t 2,…,t m -1)是形状和纹理的主元向量组,α=(α1,α2,…,αm -1),β=(β1,β2,…,βm -1)是模型的组合参数.4.3　模型匹配模型匹配就是将形变模型与输入二维人脸图像进行优化匹配,使模型人脸与输入人脸的匹配误差最小,得到模型的组合参数.本文用图像对应像素点的灰度差的平方和作为两图像的匹配误差,即E I =∑x ,y|I input (x ,y )-I mod el (x ,y )|2,(3)其中I input 是输入的人脸图像,I mod el 是三维模型人脸在某视点观察得到的人脸图像,可通过投影模型和5101尹宝才等:BJ U T 23D 三维人脸数据库及其处理技术。