三维人脸识别算法综述_柳杨

基于深度学习的三维人脸识别技术研究深度学习技术在人脸识别领域中的应用日益广泛。

其利用人工神经网络模拟人类大脑的决策机制，将海量的数据进行学习和分类，进一步提升了人脸识别的准确率和鲁棒性。

针对目前二维人脸识别存在的一些弊端，三维人脸识别技术成为研究的热点。

本文就基于深度学习的三维人脸识别技术展开研究。

一、三维人脸识别技术的原理三维人脸识别技术是利用三维建模技术获取人脸的深度信息，进一步提高识别的准确率。

相较于传统二维人脸识别技术，三维人脸识别技术具备更高的鲁棒性和可靠性。

其主要原理包括三维人脸建模、三维人脸识别和三维人脸识别的特征提取。

其中，三维人脸建模是实现三维人脸识别的先决条件。

二、三维人脸建模技术三维人脸建模技术是通过对二维图像的配准和三维重建实现的。

一般来讲，三维建模技术包括结构光三维重建、立体视觉三维重建和基于深度学习的三维重建等。

其中，基于深度学习的三维重建是目前比较热门的技术。

它主要利用卷积神经网络等深度学习技术对人脸进行三维重建，从而获取更为精确的面部深度信息，进一步提高人脸识别的准确率。

三、三维人脸识别模型三维人脸识别模型主要包括三维形状模型、三维纹理模型和三维混合模型等。

其中，三维混合模型是目前比较成熟的模型。

该模型将三维形状模型和三维纹理模型进行了融合，通过深度学习技术对人脸的三维形状和纹理信息进行学习和分类，进一步提升了人脸识别的准确率。

四、三维人脸识别的特征提取三维人脸识别的特征提取是实现识别的重要步骤。

传统的方法包括基于几何信息的特征提取和基于纹理信息的特征提取。

而在基于深度学习的三维人脸识别中，可以采用卷积神经网络等深度学习技术对三维人脸的纹理和形状信息进行提取，并进行特征融合得到综合的特征表示，进一步提高人脸识别的准确率。

五、三维人脸识别技术的应用三维人脸识别技术具有广泛的应用前景。

其主要应用于安防领域、虚拟现实、在线游戏、医学诊断等领域。

例如，在安防领域中，将三维人脸识别技术应用于人脸识别门禁系统中，可以更加精准地识别员工的身份信息，避免人为因素的干扰，提高安全性。

第18卷增刊1系统仿真学报©V ol. 18 Suppl.1 2006年8月Journal of System Simulation Aug., 2006三维人脸识别算法综述柳杨（浙江科技学院信息学院, 浙江杭州 310023）摘要：三维人脸识别与二维人脸识别相比，由于其不受视角、光照、姿势等因素的影响，越来越受到研究者的关注。

综述主要是对目前已有的三维人脸识别算法，并且指出了目前三维人脸识别存在的一些问题。

关键词：人脸识别；三维；算法中图分类号：TP391.9文献标识码：A文章编号：1004-731X (2006) S1-0400-04Survey of 3D Face Recognition AlgorithmsLIU Yang(Zhejiang University of Science and Technology, Hangzhou 310023, China)Abstract: Researchers pay more attention to 3D face recognition, because comparing with 2D face recognition it’s not affected by factors such as viewpoint, illumination, pose etc. This survey focuses on the relevant algorithms on 3D face recognition, and points out the challenges in 3D face recognition.Key words: face recognition; 3D; algorithms引言生物识别（Biometrics）技术目前越来越受到研究者的关注。

手写识别是比较老的生物识别技术。

人脸识别和指纹识别的研究也有比较长的一段历史了。

人脸识别技术中的三维重建算法研究人脸识别技术一直是计算机视觉领域的一个热门研究领域。

在现今科技发展的时代，人脸识别技术已经不仅仅是科幻电影中可见的技术，已经逐渐渗入到我们的日常生活中。

例如，我们已经可以通过人脸识别技术打开我们的智能手机，而无需输入密码或者是其他的解锁方式。

但是面对复杂的现实场景，单纯基于2D的人脸识别技术已经难以满足现实需要，因此三维人脸识别技术逐渐成为研究重点之一。

一、三维重建算法简介三维重建算法，也称3D重建算法，指的是通过多幅从不同角度拍摄同一物品的图片，还原出这个物品的三维形态的方法。

其中，三维重建算法主要包括两步骤：1.计算相机位姿，即确定从相机到物品中心的旋转和平移参数；2.基于多幅图片进行三维模型合成。

常见的三维重建算法包括点云重建、Mesh重建、曲面重建、立体匹配等。

二、三维人脸重建技术在人脸识别应用中的价值传统基于2D人脸识别技术，只使用了面部的外部信息，无法利用其潜在的丰富信息，如立体深度、几何形状、纹理等，其分类效果受到了很大的限制。

而利用三维人脸重建技术，可以获取到面部不同位置之间的形态变化、光照变化和纹理变化等一些关键信息。

三维人脸重建技术可以将一个二维的人脸图像还原为三维的面部模型，使得人脸识别技术能够更加准确的判断两个人脸之间的区别。

三、三维人脸重建算法的研究目前，三维人脸重建算法主要分为以下三个方向的研究：1. 基于空间三角测量的三维重建算法该方法常用于面部重建，并以点云或多边形网格的形式表示三维面部模型。

这种方法的思路是利用多个视角、多个相机、多个特征点来计算三维点的位置和纹理信息，从而把多个视角下的外形信息进行拼接重建。

常用的基于空间三角测量方法包括结构光、双目系统、多视角三维重建等。

2. 基于深度学习的三维重建算法该方法利用神经网络来预测人脸的三维形状，在二维图像下预测出三维人脸的关键点以及三维形状，这种方法不需要人为地标，而是自动地学习3D人脸的表面。

计算机研究与发展ISSN 100021239ΠCN 1121777ΠTPJournal of Computer Research and Development 46(6):100921018,2009　收稿日期:2008-06-25;修回日期:2008-11-25　通讯作者:孙艳丰(yf sun @ )　基金项目:国家自然科学基金项目(60533030,60825203);北京市自然科学基金项目(4061001);国家科技支撑计划基金项目(2007BA H13B01)BJUT 23D 三维人脸数据库及其处理技术尹宝才　孙艳丰　王成章　盖　赟(北京工业大学计算机学院多媒体与智能软件技术北京市重点实验室　北京　100124)(yinbc @ )BJ UT 23D Large Scale 3D F ace Database and Information ProcessingYin Baocai ,Sun Yanfeng ,Wang Chengzhang ,and Ge Yun(B ei j ing M unici pal Key L aboratory of M ultimedia and I ntelli gent S of tw are Technolog y College of Com p uter S cience and Technology ,B ei j ing Universit y of Technolog y ,B ei j ing 100124)Abstract 3D face recognition has become one of t he most active research topics in face recognition due to it s robust ness in t he variation on po se and illumination.3D database is t he basis of t his work.Design and ruction of t he face database mainly include acquisition of prototypical 3D face data ,p reprocessing and standardizing of t he data and t he st ruct ure design.Currently ,BJ U T 23D database is t he largest Chinese 3D face database in t he world.It contains 1200Chinese 3D face images and p rovides bot h t he text ure and shape information of human faces.This data resource plays an important role in 3D face recognition and face model.In t his paper ,t he data description ,data collection schema and t he po st 2p rocessing met hods are provided to help using t he data and f ut ure extension.A 3D face data dense correspondence met hod is int roduced.Dense correspondence means t hat t he key facials point s are caref ully labeled and aligned among different faces ,which can be used for a broad range of face analysis tasks.As an applicatio n ,a pose estimation and face recognition algorit hm acro ss different po ses is p ropo sed.Eexp remental result s show t hat t he propo sed algorit hm has a good performance.K ey w ords 3D face database ;face recognition ;3D face model ;morp hable model ;mesh resampling摘　要　BJ U T 23D 是目前国际上最大的中国人的三维人脸数据库,其中包括经过预处理的1200名中国人的三维人脸数据,这一数据资源对于三维人脸识别与建模方面的研究有重要意义.首先介绍了BJ U T 23D 数据库的数据获取条件、数据形式,并针对数据库建立过程中数据预处理技术进行了讨论.最后作为数据库的直接应用,进行了多姿态人脸识别和人脸姿态估计算法的研究.实验结果证实,该算法具有良好的性能.关键词　三维人脸数据库;人脸识别;三维人脸模型;形变模型;网格重采样中图法分类号　TP391 经过40多年的发展,尤其是近10年的研究,人脸识别的理论和算法均取得了长足的进步,但这些理论和算法主要针对输入是二维人脸图像而开展的.理论和实验研究已经证实,二维图像中人脸姿态或成像时光照条件的变化对算法的识别性能有很大影响.而更实用的人脸识别算法应该是在摄像环境不可控、用户不配合的情况下使用.所以目前算法的缺陷大大限制了人脸识别技术在实际中的广泛应用.如何解决不同姿态、不同光照条件下的人脸识别问题是二维人脸识别研究的瓶颈,也是当前的研究热点.与二维人脸图像数据相比,三维人脸数据中包含人脸的空间信息,这是人脸本身固有的特征信息,对姿态、光照条件的变化具有鲁棒性.因此,近年来利用三维人脸数据进行人脸识别的途径已经引起人们的广泛关注,也出现了一些识别算法[1].与二维图像不同,三维人脸数据有多种不同的形式,如人脸的深度数据、曲面点的三维坐标及其点之间的连接关系、面部轮廓线数据等.针对不同形式人脸数据的识别算法也需要相同形式的数据资源.人脸数据库对人脸识别算法的研究与开发、模型训练、算法性能比较测试是不可缺少的数据资源,尤其在基于统计学习算法占主导地位的人脸识别领域,模型训练所采用的人脸库的规模、覆盖的人脸数据的变化很大程度上影响算法精度和鲁棒性;不同算法性能测试所用到的数据库的规模和属性同样决定了评测的合理性和测试结果的有效性.所以,随着三维人脸识别研究的不断深入,建立各种数据形式的三维人脸数据库,为同行提供模型训练数据资源、算法研究与比较的数据平台,具有重要的意义.经过长期的研究积累,我们研究小组采用Cyberware3030R G BΠPS激光扫描仪获取三维人脸原始数据,通过对齐算法构建了可进行线性计算的三维人脸数据库BJ U T23D[2],该库包含1200个中性表情的中国人的三维人脸样本数据,其中部分数据有多个样本.扫描后的数据是由点的纹理信息、三维坐标信息及其点之间的连接关系构成.该数据库目前可以为诸如人脸跟踪、识别、动画等研究人员提供很好的数据资源.本文先对三维人脸数据的采集环境、条件、数据形式进行了介绍,然后研究了数据库建立过程中的数据获取、数据处理、数据对齐等相关技术.这些技术为数据库的使用及其相关的研究工作会提供一些有益的帮助.1　相关的三维人脸数据库综述目前已经有一些包含三维信息的三维人脸数据库,按着数据库的构造方法可以将它们分为基于多视角几何信息的方法、基于结构光的方法和基于三维扫描仪的方法.CMU的FIA数据库是基于多视角几何信息的三维数据库[3],其中数据是用6个摄像机从3个不同角度获取20s的视频信息,然后用计算机视觉的方法恢复三维信息得到的人脸数据.由于没有对视频人脸进行标定,这类方法是用复杂的人脸跟踪算法重构人脸的形状信息,所以其效果受人脸跟踪效果的影响较大.3D2RAM是基于结构光的方法建立的三维人脸数据库[4],它用一个照相机和放映机获取人的3D坐标信息,建立一个含129人的3D人脸数据库.该库样本的坐标信息精度高,但对于面部的眼睛或阴影部分无法获取其3D信息,导致面部曲面形状不完全.由于三维扫描仪能够获取人脸部较精确的形状和纹理信息,因此成为建立三维人脸数据库非常好的工具.在GavabDB数据库中[5],使用Minolta V I2700数字转换器获取61个有表情变化的从不同视角扫描的人脸数据.由于有些视角具有不可见部分,为获取完整的三维人脸表面信息还需要进行适当的后处理.Cyberware扫描仪通过一次扫描可以获取人不同视角的完整数据,因此获取的数据准确性好,大大简化了后处理工作,用该设备建立的U SF三维人脸数据库[6]有200人的三维人脸数据,由于每个样本的形状和纹理信息维数很高,因此对于人脸数据处理与分析方面的研究,这样规模的数据还远远满足不了需要.2007年, Huang的研究小组利用Cyberware扫描仪建立了一个含有475人的三维人脸数据库[7],样本主要有中性和微笑两种表情,年龄分布在19～25岁之间,这一数据库可以缓解现有数据库规模小的缺陷,也为人脸识别、跟踪、对齐、动画等相关研究工作提供重要基础.2　BJUT23D数据库介绍BJ U T23D的三维人脸数据通过Cyberware 3030R G BΠPS激光扫描仪获取.扫描时,一条红色激光线从扫描仪里面发射出来,照射到头部Π脸部,经过激光线的反射,被仪器接收和计算.扫描时要求被扫描者端坐在旋转平台的一个高度适中的椅子上,并直视前方,以保证头部在扫描仪的中部.扫描期间需保持端坐不动和静止的脸部表情直至扫描结束.该扫描仪通过一次扫描得到人头部的几何信息和彩色纹理信息,并使用柱面坐标记录几何信息.扫描精度为圆周方向(用φ表示,0≤φ≤2π)489个采样点,轴方向(用h表示,0≤h≤300mm)478个采样点,扫描半径(用r表示)在260mm～340mm之间.每一0101计算机研究与发展　2009,46(6)个几何采样点对应一个24位(用R,G,B表示)纹理像素点,并以489×478大小的纹理图像存储.Fig.1　Cyberware laser scanner.图1　Cyberware激光扫描仪1)光照条件用激光扫描仪扫描人脸时可以同时获取人脸的三维几何信息和彩色纹理信息,人脸纹理的好坏直接影响到所创建人脸库的质量及应用价值,并给基于人脸库进行的人脸建模、人脸识别、人脸动画等方面的研究带来很大的影响.为了得到统一的、较为真实的纹理信息,我们的数据采集在同一个扫描间进行,并对光照条件做了一定的限制.扫描间是一个特定、封闭的环境,其四周设置4盏专用的照明灯,由前后左右4个方向指向被扫描对象,并保证扫描对象各个方向具有相同的光照强度.为了模拟正常的环境光,扫描间的4盏灯都是60W的白炽灯,同时设置扫描间的墙壁为通体白色,这样4盏灯相互照射后,从墙壁上返回的光形成了一个统一对环境光的模拟制式.由于镜面反射对模型的生成会产生较大的影响,所以要求光的强度在一定的范围内.所有扫描工作都在扫描间完成,这样既保证对环境光的光照条件近似模拟,也保证所有三维人脸数据的光照条件完全相同.2)饰物由于扫描仪对头发等深色部位的扫描效果比较差,而人脸研究仅对人的面部区域感兴趣,因此要求被扫描者佩戴泳帽并将头发全部包住.该泳帽一般应选择颜色较鲜明的色彩以便和面部区域分离,方便后期处理.此外还要求被扫描者不能化妆、不戴眼镜等任何饰物.3)数据规模及形式BJ U T23D三维人脸数据库共包括1200名中国人的三维人脸数据,其中500人的数据对外公开发布,男女各250人,年龄分布在16岁～49岁之间,所有人脸数据均是中性表情.部分人脸有3个样本,以便于人脸识别研究.三维扫描仪进行一次柱面扫描就是对人的头部表面进行高密度采样,采样信息包括空间几何信息和彩色纹理信息.空间几何信息由两部分组成,既空间三维采样点的坐标信息(用(X,Y,Z)表示,约2×105个点),和由网格描述的这些点之间的连接关系,网格组成的三角面片约有4×105个.彩色纹理信息是采样点柱面投影得到的二维图像,以普通图像格式存储,图像的长和宽由投影参数、扫描设备硬件与操作平台决定,本文得到的纹理分辨率为478×489,如图2(c)所示.为建立几何信息同纹理信息之间的联系,在几何信息中还存储几何采样点在纹理信息文件中对应纹理点的归一化坐标,归一化坐标表明本采样点在纹理信息文件中对应纹理点位置的索引信息,几何信息和纹理信息之间的关系就是通过该索引信息建立起来的.图2是扫描后的三维人脸及其对应的几何、纹理信息.Fig.2　3D prototytical face data.(a)Scanned3D face;(b) Shape data;and(c)Texture image.图2　三维原始人脸数据.(a)三维人脸;(b)几何数据;(c)纹理图像4)人脸数据的命名规则在数据库中,每个三维人脸数据由单一的文件组成,文件按照统一的规则进行命名.文件名有6部分信息,命名规则为性别+I D+年龄+表情+内容+发布情况.具体表示形式如下:x_xxxx_Ax_Ex_Cxxxx_Rx1　2 3　4　5 6每部分的具体含义为:1表示性别区域,由一个字母组成.“M”表示男性,“F”表示女性.2表示I D区域,由4个数字组成.表示该文件在数据库中的I D,当组成文件I D所需数字不足4位时剩余高位用0补齐.3表示年龄区域,由一个字母“A”和一位数字组成.A是年龄的英文Age的首字母.由于研究时1101尹宝才等:BJ U T23D三维人脸数据库及其处理技术关心的是人脸数据所处的年龄段,所以只记录每个人脸数据所属的年龄段,并用1位数字表示.每个年龄段的代表数字如表1所示:T able1　Correspondence of N otation and Age表1　年龄符号对应表Notation Age Range110-19220-29330-39440-494表示表情区域,由一个字母“E”和一位代表表情的字母组成.表情字母表示人脸数据具有的表情.每个表情代表字母的含义如表2所示.目前数据库中所有人脸都是中性表情.T able2　Correspondence of N otation and Expression表2　表情符号对应表Notation ExpressionN NormalH HappyP SurpriseA Angry5表示数据内容区域,由5位字母组成.C是Content的首字母,后面的4位字母“t rim”表示该数据经过预处理.6表示发布标记区域,由两位字母组成.首字母为R,第2个数字表示是否已经发布,其中“0”表示未发布,“1”表示已发布.目前发布的数据是无法直接读取的,用户需要使用我们提供的工具将原始数据转换成可读的文本形式.转换后的文本数据包含3个部分信息:顶点信息、纹理信息、网格信息.①顶点信息:顶点信息由密集采样点组成,三维人脸模型的顶点信息就是由这些采样点构成的.数据的表示形式为Vertex1:X=-87.616997,Y=-12.994000,Z=37.046001, Vertex1表示序号为1的顶点,X,Y,Z分别表示该点的3个坐标值.②纹理信息:纹理信息描述了每个顶点的对应的纹理值.数据表示形式为Text ure1:R=144,G=99,B=85,Text ure1表示顶点1的像素值,R,G,B分别表示点在3个颜色通道的值.③网格信息:网格信息描述顶点之间的连接关系.库中的数据使用三角网格来描述顶点之间的连接关系.数据的表示形式为Triangle1:Fi rst V ertex=36407,Second V ertex=36310,Thi r d V ertex=36392,Triangle1表示第1个三角网格,其后的3部分信息分别表示依附该三角网格的3个顶点的标号.3　建立BJUT23D的信息处理技术扫描后的数据还有许多信息缺失和不平滑的情况,另外肩部和头部的信息对于人脸识别及相关研究是无用的,它们的存在将会增加数据规模,为后续数据库的应用增加计算量,所以需要对扫描后的数据进行预处理.3.1　面部数据的分离和预处理扫描人脸时,由于光照条件的细微变化、人脸表面的不光滑性以及头发等复杂结构的影响,射在人脸表面的光线在返回时运动轨迹发生偏离,会使扫描后得到的三维人脸数据发生变形,出现一些毛刺和空洞等现象.在对耳朵、下巴等部位扫描采样时,捕捉不到的三维信息也会形成空洞,有些地方则因为局部表面不光滑会产生毛刺.对此,我们采用交互的方式,使用插值、平滑等预处理方法弥补三维人脸上的空洞并去掉毛刺.面部数据的分离是将人脸面部区域从整个头部扫描数据中分离出来,去除头发、肩等部位的三维数据.我们使用的方法[8]首先确定分离的边界.由于在三维人脸几何数据上直接进行边界关键点标定和边缘自动检测十分困难,所以借助人脸的纹理图像来进行不规则边界的确定,即在三维人脸对应的二维纹理图像上确定面部发际边界和耳朵部位的边界,然后通过纹理几何的对应关系,找到三维人脸几何数据相应的分割边界.对于耳下的垂直切面和脖子下的水平切面则直接在几何数据上确定,用来去除肩部以下和耳朵后面的数据.确定了人脸的分离边界后,即可将人脸的面部区域从原始扫描数据中分离出来.如图3所示为分离后的三维人脸,图3(a)是分离后的几何形状及其对应的纹理图像,图3(b)是分离后不同角度下的三维人脸面部图像.2101计算机研究与发展　2009,46(6)Fig.3　3D face data.(a )The cutted shape and texture for 3D face and (b )Frontal and side 3D face.图3　三维人脸数据.(a )分离后的三维人脸几何信息和纹理信息;(b )正面、侧面3D 人脸 为保证三维人脸数据的一致性,在数据获取时要求被扫描者保持指定的姿态和位置,既目视前方,头部保持垂直.但实际扫描得到的人脸样本的姿态不可避免地存在一定偏差,因此需要对不同的人脸数据进行坐标矫正,将不同的三维人脸数据统一到同一个坐标系.切割后的三维人脸数据接近一个柱面分布,所以用三维人脸数据的离散点集来拟合一个柱面,用柱面的中心轴作为三维人脸数据的新的垂直坐标轴(Z 轴),过鼻尖点且与新的垂直坐标轴垂直相交的直线作为新的前向坐标轴(Y 轴),新的X 坐标轴则由Y 轴和Z 轴的叉乘运算确定.通过坐标变换可以得到每个三维人脸在新的坐标系下的坐标值,经过坐标变换的所有三维人脸数据均变换到朝向、姿态相同的坐标系下.如图4是三维人脸的坐标矫正示意图,其中Z 是矫正后的垂直轴,Z 0是矫正前的垂直轴,X ,Y ,Z 是矫正后的坐标轴.Fig.4　Recorrected face by a cylinder.图4　人脸柱面矫正3.2　人脸数据的规格化由于人脸的个性化差异,扫描得到的人脸数据有很大差别.首先是构成三维人脸的点数和面数不同,这样的数据使基于形变模型的三维人脸重建无法进行,也不利于人脸的统一表示;其次是点或面的排列与人脸特征无关.因此建库时对预处理过的三维人脸数据进行了规格化,规格化后的数据既可以用统一的向量形式来表示,又保证所有的三维人脸数据特征对齐.规格化[9]的第1步是建立不同三维人脸数据间的稠密对应,既根据人脸面部特征建立不同的三维人脸数据间点到点的一一对应关系.例如,已知一个人脸上的鼻尖点可以根据对应关系找到另外一个人脸上的鼻尖点,如果以某一个人脸作为标准人脸,就可以将人脸数据根据标准人脸的点和面进行有序化.事实上,在三维数据上建立基于特征的点对点的稠密对应非常困难.首先不同人脸的个性差异导致三维人脸的几何差异很大,而且还要考虑纹理特征信息的对应;其次三维人脸数据是稠密点集,数据量很大,因此很难使用一般方法建立这种对应关系.文献[9]考虑到扫描人脸数据是以柱面的形式表示,将三维人脸展开为二维形式,借助在二维图像上光流对应计算的方法建立三维数据的对应.但光流算法的前提假设是两幅图像间光流的变化是连续光滑的,对于比较相像的两幅人脸可以近似地看做视频序列的相邻两帧图像,此时对应计算效果比较好.但对于形状差别较大的人脸数据,光流算法的前提假设不满足,对应计算将产生较大的误差.另外,这种将复杂三维几何进行柱面展开形成二维图像的方法实际上损失了很多三维信息,所以其对应计算的效果不是很好.为此,BJ U T 23D 数据库采用基于网格重采样的对齐方法.网格重采样是通过原始数据建立网格和曲面的常用方法,它摒弃了在二维图像上的处理方法,直接在三维空间进行,能够更多更精确地保留原数据的三维信息.利用重采样可以将不规则的多边形网格转化为规则的网格的特点,该方法将不同网格数和空间点数的原型人脸全部规格化为采样点数、网格数、拓扑完全一致的原形人脸,且重采样后的人脸同一相对位置的点都固定地代表了同一个面部特征,在此基础上能够直接进行不同人脸的点与点的线性组合,从特征的角度更具有线性组合的合3101尹宝才等:BJ U T 23D 三维人脸数据库及其处理技术理性.人脸对齐主要由人脸分片和网格重采样两个计算过程组成.1)人脸分片人脸分片将三维人脸分割成多个面片为网格重采样做准备.目前自动分片算法[10]的研究主要是针对纹理映射领域,虽然能够达到自动,但分片的形状不确定,无法保证所有人脸分出的同一片包含的人脸特征相同或相近.Krishnamurt hy 等人[11]提出的交互的人工分片方法,由用户选取一序列点,然后采用贪心图算法,在网格连线上寻找相邻点的最短路径,这些路径则形成分片的边界.该方法以网格的连接关系为基础进行分片操作,实现比较复杂.本文根据三维人脸数据包含三维几何与纹理两部分数据的特点,基于面部纹理图像手工交互标定特征点,然后以特征点的连线作为分片边界,划分特征区域,最后通过柱面映射找到三维人脸网格上的分割结点和分割线.考虑到重采样后网格要求比较均匀,所以采用面积比较接近的矩形进行分割.如图5所示是三维人脸分割的结果,一个人脸被分为122个面片.Fig.5　Divide the 3D face into patches.图5　三维人脸分片2)三维人脸网格重采样对于初始分片后的三维人脸通过网格重采样进行网格细分.重采样时首先要确定每个面片的4个角点.对于规格的矩形面片,直接使用其4个顶点作为角点;对分割后处于边界的不规格面片,利用最小内角法或长宽比法确定4个角点.为了能够进行均匀重采样,对所有矩形的边长度进行统计,然后进行等形线的均匀初始化,这样不仅使边界边的划分更均匀,还可以减少边界曲线提取的计算量.对等形线初始化后的网格进一步的细分,利用点的合力调整新获得弹性点的位置,从而获得了每一面片的均匀重采样网格.对每个面片重复以上重采样过程,直到重采样的密度与原始三维人脸数据的密度比较接近为止.如图6(c )是对人脸数据进行5次重采样的结果,约由13×104个点,25×104个三角面组成.详细的三维人脸重采样过程参见文献[8].Fig.6　Face mesh resampling.(a )The ioslines initialized ;(b )One time mesh resampling ;and (c )Five times mesh resampling.图6　人脸重采样.(a )初始化网格;(b )1次重采样的结果;(c )5次重采样结果经过上面的重采样处理,所有三维人脸具有相同数量的点和三角面片,且整个网格的拓扑结构完全相同,从而可以建立三维人脸数据间严格的一一对应,这样的对应可以将所有三维人脸表示为统一的表示形式.另外,由于这里的分片是基于特征的分片,因此重采样后点的对应也是基于特征的稠密对应.图7是分别基于网格重采样的方法和光流的方法进行人脸对齐的结果.从图中可以看出,基于网格重采样方法的对齐效果好于光流的算法.Fig.7　The correspondence based on mesh resampling and optical flow.(a )The correspondence based onmesh resampling and (b )The correspondence based on optical flow.图7　基于重采样算法和光流算法的对齐效果比较.(a )基于网格重采样方法的对齐结果;(b )基于光流方法的对齐结果4101计算机研究与发展　2009,46(6)4　BJUT 23D 的应用———多姿态人脸识别算法研究[12] 实用的人脸识别系统应该是在用户不配合的情况下使用,此时人的头部会以多种姿态的形式出现,所以进行人脸识别必须考虑头部姿态的变化,多姿态人脸识别也一直是人脸识别研究的难点.作为三维人脸数据库BJ U T 23D 的直接应用成果,我们小组进行了多姿态人脸识别研究,并借助于三维人脸形变模型[9]实现了对人脸的姿态估计.4.1　算法整体框架根据二维人脸库(gallery )中的人脸图像(每个人只需要一幅二维人脸图像),采用三维人脸形变模型重建其对应的三维人脸.在识别阶段采用该三维人脸模型估计二维测试图像中人脸的旋转角度,并以测试图像中人脸在3个方向上的旋转角度为基准,将人脸库(gallery )中重建的三维人脸旋转到相同视角的同一姿态.最后,采用相同姿态下人脸图像进行人脸对象的分类识别.算法的整体框架如图8所示:Fig.8　The f ramework for multipose face recognition.图8　算法整体框架4.2　三维人脸形变模型形变模型的基础是线性组合理论,即使用一类对象中若干典型样本张成该类对象的一个子空间,用子空间基底的组合近似地表示该类对象的特定实例.使用形变模型进行三维人脸建模分为两个过程:一是建立模型,包括原始人脸数据的获取、人脸数据的对应和建立组合模型;二是针对特定人脸图像进行二维人脸图像与模型的优化匹配,实现三维人脸的重建.建立形变模型使用的三维人脸数据源于BJ U T 23D 数据库,所有数据均经过前述的规格化处理,实现了三维人脸的点到点的对应.第i 个三维人脸数据用形状和纹理向量表示为S i =(X i 1,Y i 1,Z i 1,X i 2,…,X in ,X in ,X in ,)T,T i =(R i 1,G i 1,B i 1,R i 2,…,R in ,G in ,B in )T,1≤i ≤N ,(1)其中N 三维人脸的总数,n 是三维人脸顶点的个数.由于原型人脸数量比较大(N =200),且人脸数据间有一定相关性,因此使用主元分析方法(PCA )对人脸形状和纹理向量进行处理,压缩数据量,消除数据间的相关性,得到形变模型的表示形式:S model =S -+∑m-1i αi s i,T model =T -+∑m-1iβi t i,(2)其中S -,T -是原型三维人脸的平均形状和纹理向量,m 是主元个数,s =(s 1,s 2,…,s m -1),t =(t 1,t 2,…,t m -1)是形状和纹理的主元向量组,α=(α1,α2,…,αm -1),β=(β1,β2,…,βm -1)是模型的组合参数.4.3　模型匹配模型匹配就是将形变模型与输入二维人脸图像进行优化匹配,使模型人脸与输入人脸的匹配误差最小,得到模型的组合参数.本文用图像对应像素点的灰度差的平方和作为两图像的匹配误差,即E I =∑x ,y|I input (x ,y )-I mod el (x ,y )|2,(3)其中I input 是输入的人脸图像,I mod el 是三维模型人脸在某视点观察得到的人脸图像,可通过投影模型和5101尹宝才等:BJ U T 23D 三维人脸数据库及其处理技术。

三维人脸识别算法研究胡敏;文永富【摘要】近年来,基于三维图像的人脸识别技术已经取得了很大进展,在约束环境下也能获得很好的识别性能,但仍受限于姿态、表情等因素,需要从算法上改进才能解决其影响.本文分别从基于空域直接匹配、基于局部特征匹配和基于整体特征匹配3个角度出发,对人脸匹配算法以及融合算法进行了研究,列出了部分改进算法的实验结果,并分析了算法有效性的原因,总结了目前面临的三维人脸识别算法难以突破的一些困难及未来的研究趋势.%The 3D image-based face recognition technology has made great progress in recent years,with good performance achieved under some constrained conditions.However,the technology is still limited by some factors such as facial pose and expression.To solve this kind of impact,the recognition methods must be improved.This paper shares the development status of 3D image face recognition by discussing a series of face matching methods and fuse-improve methods.And separately through three angles:spatial matching methods,local feature based methods and global feature based methods,to state some improvement of 3D face recognition methods.Besides,some experimental results of improved methods are listed and the reasons about effectiveness of the methods are analyzed.Finally,the paper summarizes some challenges which hinder the improvement of 3D face recognition methods,and explore the future research trend.【期刊名称】《影像科学与光化学》【年(卷),期】2017(035)002【总页数】9页(P131-139)【关键词】三维人脸识别;特征匹配;识别算法【作者】胡敏;文永富【作者单位】北京理工大学光电学院,北京100081;北京理工大学光电学院,北京100081;北京理工大学深圳研究院,广东深圳518057【正文语种】中文现代社会中，随着计算机及网络科技的高速发展，传统的身份鉴定如证件、识别码等已不再绝对安全，并且存在携带不便和容易遗失等问题。

三维人脸识别算法综述
柳杨
【期刊名称】《系统仿真学报》
【年(卷),期】2006()z1
【摘要】三维人脸识别与二维人脸识别相比,由于其不受视角、光照、姿势等因素的影响,越来越受到研究者的关注。

综述主要是对目前已有的三维人脸识别算法,并且指出了目前三维人脸识别存在的一些问题。

【总页数】4页(P400-403)
【关键词】人脸识别;三维;算法
【作者】柳杨
【作者单位】浙江科技学院信息学院
【正文语种】中文
【中图分类】TP391.9
【相关文献】
1.基于三维谱回归的有效三维人脸识别算法 [J], 明悦;阮秋琦;李小利
2.三维人脸识别研究综述 [J], 王跃明;潘纲;吴朝晖
3.二维Gabor特征与三维NP-3DHOG特征融合的人脸识别算法 [J], 王雪峤;齐华山;袁家政;梁爱华;孙力红
4.基于近红外结构光与可见光的三维人脸识别算法 [J], 史秋阳;李浩;石凤蕊;杨凯凡
5.基于多区域融合的表情鲁棒三维人脸识别算法 [J], 桑高丽;闫超;朱蓉
因版权原因，仅展示原文概要，查看原文内容请购买。

三维面部表情识别技术的研究进展随着人工智能和计算机技术的发展，三维面部表情识别技术在近年来得到了广泛的研究和应用。

三维面部表情识别技术是指利用计算机技术分析和识别人类面部表情的过程，主要通过获取人脸三维模型的数据，从而进行表情分类和情绪分析。

下面将介绍该技术研究的进展。

1. 数据集的构建一个好的数据集对于三维面部表情识别技术的研究是至关重要的。

近年来，学者们开发了一些包含不同表情和情绪的三维面部数据集。

例如，Cohn-Kanade(CK+) 数据集是一个常用的三维面部数据集，该数据集包含了面部表情和情绪的广泛覆盖区域，可以更准确地识别人类的情绪和表情。

2. 特征提取在三维面部表情识别技术中，特征提取是非常重要的步骤。

特征提取可以帮助计算机更好地处理人脸三维模型数据，并识别不同的表情和情绪。

学者们从RGB颜色空间、深度图像、骨架点等多个方向进行特征提取，例如LBP、SIFT等算法。

3. 表情分类表情分类是三维面部表情识别技术中最重要的应用之一。

除了通过RGB颜色空间计算人脸表情的分布和形态，目前也有许多基于神经网络的算法，例如卷积神经网络（CNN）、长短时记忆网络（LSTM）和自编码器（AE）等。

4. 情绪分析基于情绪分析的三维面部表情识别技术也在逐渐成熟。

通过将表情分类和情绪分析相结合，可以更好地理解人类面部表情的意义。

近年来，一些基于人工智能的方法已被用于情绪分析，例如基于深度学习的多任务学习、基于注意力机制的情绪分析等。

总之，三维面部表情识别技术已得到广泛的研究和应用，对于计算机视觉、人工智能和心理学等领域具有重要的意义。

未来，随着技术的不断发展和创新，三维面部表情识别技术将继续取得新的进展，并有望在更广泛的领域得到应用。

三维人脸识别算法的研究与优化随着现代科技的不断发展，人类生活的各个领域都出现了许多新的技术。

其中，人脸识别技术是一项很有前途的技术，其应用范围十分广泛。

人脸识别技术中的三维人脸识别算法，是人脸识别技术中的重要组成部分。

在本文中，我将就三维人脸识别算法的研究与优化进行探讨。

一、三维人脸识别算法的基本原理人脸识别算法是对人的身份信息进行识别的技术。

三维人脸识别算法是对人脸信息进行三维空间建模、特征提取和匹配等技术的总称。

其基本流程包括三个步骤：三维人脸建模、特征提取和匹配。

早期的三维人脸识别算法主要采用基于三维立体成像的方法，通过光学成像技术获取人脸三维模型，然后对三维模型进行分析、比对，最终进行人脸识别。

但这种方法不仅需要使用昂贵的设备，而且对于人脸情况的变化较为敏感，识别效果并不理想。

因此，现代三维人脸识别算法主要采用基于深度学习的方法，通过训练神经网络来进行人脸识别。

二、三维人脸识别算法的瓶颈问题虽然基于深度学习的三维人脸识别算法已经获得了很大的进展，但是仍然存在一些瓶颈问题：（1）数据质量不佳：由于三维人脸识别算法需要的三维数据来源于摄像头等设备，因此数据质量不仅受到设备的限制，同时还受到外界环境的影响。

对于数据中存在噪声或者伪影的情况，三维人脸识别算法的识别精度会受到影响。

（2）神经网络模型设计不合理：神经网络模型是三维人脸识别算法中最关键的部分，模型的设计好坏直接影响到算法的识别精度。

因此，如何设计出一个高效的神经网络模型是三维人脸识别算法的重要问题。

（3）特征提取不够准确：三维人脸识别算法需要提取人脸的关键特征进行识别，因此特征提取的准确性直接影响到算法的准确性。

目前，特征提取算法的精度并不是特别高，需要对算法进行改进和优化。

三、三维人脸识别算法的优化针对上述问题，针对性的进行优化改进是必要的。

下面介绍一些优化方向：（1）数据处理：对于数据中存在噪声或者伪影的情况，需要对数据进行预处理，对于不合格的数据进行去噪等操作。

人脸识别三大经典算法（附经典论文列表）AMiner今日已发布《人脸识别研究报告》微信公众号菜单栏和文末均可直接下载研究报告欢迎大家下载特征脸法（Eigenface）特征脸技术是近期发展起来的用于人脸或者一般性刚体识别以及其它涉及到人脸处理的一种方法。

使用特征脸进行人脸识别的方法首先由Sirovich和Kirby（1987）提出（《Low-dimensional procedure forthe characterization of human faces》），并由Matthew Turk和Alex Pentland用于人脸分类（《Eigenfaces for recognition》）。

首先把一批人脸图像转换成一个特征向量集，称为“Eigenfaces”，即“特征脸”，它们是最初训练图像集的基本组件。

识别的过程是把一副新的图像投影到特征脸子空间，并通过它的投影点在子空间的位置以及投影线的长度来进行判定和识别。

将图像变换到另一个空间后，同一个类别的图像会聚到一起，不同类别的图像会聚力比较远，在原像素空间中不同类别的图像在分布上很难用简单的线或者面切分，变换到另一个空间，就可以很好的把他们分开了。

Eigenfaces选择的空间变换方法是PCA（主成分分析），利用PCA得到人脸分布的主要成分，具体实现是对训练集中所有人脸图像的协方差矩阵进行本征值分解，得到对应的本征向量，这些本征向量就是“特征脸”。

每个特征向量或者特征脸相当于捕捉或者描述人脸之间的一种变化或者特性。

这就意味着每个人脸都可以表示为这些特征脸的线性组合。

局部二值模式（Local Binary Patterns，LBP）局部二值模式（Local binary patterns LBP）是计算机视觉领域里用于分类的视觉算子。

LBP，一种用来描述图像纹理特征的算子，该算子由芬兰奥卢大学的T.Ojala等人在1996年提出（《Acomparative study of texturemeasures with classification based on featured distributions》）。