基于单幅图片恢复人体三维形貌的研究

基于图像识别的人脸三维重建研究随着科技不断发展，人们对于细节的追求也越来越高。

在当今世界，人脸识别技术越来越被广泛应用。

它可以在安全检查、身份认证等方面发挥核心作用。

而人脸三维重建技术就是其中的一个重点领域。

本文将着重探讨基于图像识别的人脸三维重建技术的发展现状和应用前景。

一、人脸三维重建技术简介人脸三维重建技术是指利用计算机图形学及其相关技术实现从二维图像中恢复三维人脸模型的一种技术。

其过程主要包括以下几个步骤：1. 利用计算机图形学及其相关技术建立三维人脸的模型。

2. 利用相机采集三维人脸模型的各个角度。

3. 重建二维人脸图像并对其进行进一步的处理。

4. 实现人脸的三维重建。

这种技术的应用可谓是相当广泛。

例如，基于人脸三维重建的虚拟客服、表情识别和三维视频通话等技术在当今商业应用领域已经得到了广泛的应用。

二、基于图像识别的人脸三维重建技术的现状基于图像识别的人脸三维重建技术的发展现状相较于基于深度学习等技术稍微滞后一些。

但是通过最新的研究，我们可以看到这种技术在不断地走向成熟。

首先，基于图像识别的人脸三维重建技术已经形成了一套完整的体系结构。

目前的研究主要是以二维图像为基础，然后借助于计算机视觉、模型推理等技术实现人脸的三维重建。

由此可以看出，该技术的研发方向主要是基于计算机视觉领域进行的。

其次，该技术的发展还需要更多的数据支持。

因为人脸形态是多变的，因此需要大量丰富的数据来支持算法的训练。

在当前的研究中，适量的纹理以及高品质的图像数据是非常关键的。

三、基于图像识别的人脸三维重建技术的应用前景未来，基于图像识别的人脸三维重建技术在商业应用领域有着无限的潜力。

以下是该技术的几个典型应用方向：1. 精细化商业营销在今天的商业应用中，关键问题之一是如何将广告和营销策略触达到特定的目标受众。

基于人脸三维重建技术，可以通过精细化的目标定位和营销策略来最大化地提高目标受众的转化率。

2. 虚拟试衣间基于人脸三维重建技术，可以将现有的智能试衣间延伸到虚拟领域，并可能具有更好的代表性。

基于正交照片重建三维人脸的研究的开题报告一、研究背景和意义随着科技的不断发展，人脸识别技术被越来越广泛地应用于各个领域。

在这个过程中，精细的三维人脸重建技术显得尤为重要。

随着3D扫描设备的不断升级，从正交照片重建三维人脸已经成为了一个可行的解决方案。

这种方法不仅消除了常见的三维扫描方法所面临的模型失真、纹理重建困难的问题，而且可以利用成千上万的可用图片对目标面部特征进行3D建模。

二、国内外研究现状目前，基于正交照片重建人脸的方法已经被广泛研究，并取得了相当的进步。

在国外，Loureiro等人提出了一种快速的、基于正交照片的3D人脸重建方法。

该方法使用正交照片进行轮廓和几何深度的反演，并将漫反射和高光照片分别用于纹理和皮肤渲染。

他们的方法以非常高的精度和逼真性建立了三维人脸模型。

在国内，刘敏等人提出了一种基于正交照片的三维人脸重建方法。

他们的方法结合了基于照片的三维点云建模、基于片面的映射以及基于图像的撕裂与融合技术。

通过这种方法，他们能够从单个正交照片重建出高度逼真的三维人脸模型。

三、论文研究内容在本论文中，我们将利用深度学习和计算机视觉技术，提出一种基于正交照片重建三维人脸的方法。

具体研究内容包括：1. 基于深度学习方法的人脸关键点检测和面部特征提取。

2. 基于正交照片的三维点云建模方法的优化。

3. 基于图像的撕裂与融合技术的完善与创新。

4. 经过多次实验与调整后，实现一个从正交照片中重建出高度逼真的三维人脸模型的系统。

四、研究方法与技术路线1. 数据采集：收集大量不同光照和角度的人脸正交照片。

2. 数据处理：使用深度学习技术对人脸照片进行关键点检测和面部特征提取，处理后得到面部特征点云。

3. 三维点云建模：根据处理后的面部特征点云进行三维点云建模，从而得到初步的三维人脸模型。

4. 图像的撕裂与融合：使用多张正交照片进行图像的撕裂与融合，优化三维人脸模型的逼真度5. 优化系统：多次实验与调整，对系统进行优化，提高重建成功率和逼真度。

从单张二维图像重建出三维形状的方法对于具有丰富的日常经验的人类来说，我们可以通过单一的图像推断出物体的三维形貌，甚至对从未见过的物体也能够通过单一视角的图像对其形状有八九不离十的感官认知，但这对计算机来说却是一个巨大的挑战。

目前从单一视图重物体的三维形貌极大地受到了训练数据的影响，对于未知物体的重建依然存在着一系列问题。

视觉领域的研究人员认为人类的这种能力来自于对于物体表示的复杂层级关系，通过将图像映射到表面最终得到物体的体积和形状信息，利用不同形式的表示来处理形状不同方面的信息。

为了有效的解决这一问题，研究人员提出了一种称为一般性重建（Generalizable Reconstruction, GenRe）的算法，来捕捉与物体类别无关的形状先验特征，并实现了表现良好的单视图形状恢复，对于未包含在训练集内的物体也具有良好的重建效果。

近年来很多计算机视觉和机器学习领域的研究人员探索了从单张二维图像重建出三维形状的方法，包括ShapeNet和MarrNet等工作都在这个方向进行了一系列有益的探索，通过学习复杂庞大的数据集与其对应视图的映射关系来实现2D到3D的映射。

三维形状重建问题可以分解为f(2.5D->3D)">但很多现存的方法却忽略了一个问题，从2D或者2.5D 到3D形状的映射会涉及复杂但确定的几何投影过程，如果不为这个映射过程精确建模而简单地使用神经网络来近似，会造成过度参数化/过拟合的现象。

同时还会忽略这一投影过程中有价值的归纳偏置(inductive biases)。

正是由于这两个因素造成了目前的算法对于未知分类的重建泛化能力不尽如人意。

在这篇文章中，研究人员提出了一种解耦形状重建几何投影的过程，来实现对于未知物体更好的外形重建泛化能力。

在MarrNet的基础上，将先前的f(2.5D-3D)的映射解耦成了两个过程：现充2.5D数据投影到部分的3D模型，再将部分3D模型构建出完整的3D模型，此时f(2.5D->3D)=c(2.5D->3D)">于是研究人员提出了基于球坐标(spherical maps)的三维补全。

算倣语咅信is与电ifiChina Computer&Communication2021年第5期利用单目图像重建人体三维模型钱融王勇王瑛(广东工业大学计算机学院，广东广州510006)摘要：人体三维模型在科幻电影、网上购物的模拟试衣等方面有广泛的应用场景，但是在单目图像重建中存在三维信息缺失、重建模型不具有贴合的三维表面等问题-为了解决上述的问题，笔者提出基于SMPL模型的人体三维模型重建算法。

该算法先预估人物的二维关节点，使用SMPL模型关节与预估的二维关节相匹配，最后利用人体三维模型数据库的姿势信息对重建的人体模型进行姿势先验，使得重建模型具有合理的姿态与形状.实验结果表明，该算法能有效预估人体关节的三维位置，且能重建与图像人物姿势、形态相似的人体三维模型.关键词：人体姿势估计；三维人体重建；单目图像重建；人体形状姿势；SMPL模型中图分类号：TP391.41文献标识码：A文章编号：1003-9767(2021)05-060-05Reconstruction of a Three-dimensional Human Body Model Using Monocular ImagesQIAN Rong,WANG Yong,WANG Ying(School of Computer,Guangdong University of Technology,Guangzhou Guangdong510006,China) Abstract：The human body3D model are widely used in science fiction movies,online shopping simulation fittings,etc,but there is a lack of3D information in monocular image reconstruction,and the reconstructed model does not have problems such as a fit 3D surface.In order to solve the above mentioned problems,a human body3D model reconstruction algorithm based on SMPL model is proposed.The algorithm first estimates the two-dimensional joint points of the character,and uses the SMPL model joints to match the estimated two-dimensional joints;finally,the posture information of the three-dimensional human body model database is used to perform posture prior to the reconstructed human body model,making the reconstructed model reasonable Posture and shape.The algorithm was tested on the PI-INF-3DHP data set.The experimental results show that the algorithm can effectively predict the3D position of human joints,and can reconstruct a3D model of the human body similar to the pose and shape of the image.Keywords：human pose estimation;3D human reconstruction;monocular image reconstruction;human shape and pose;SMPL0引言人体三维模型所承载的信息量远远大于人体二维图像，能满足高层的视觉任务需求，例如在网购中提供线上试衣体验，为科幻电影提供大量的人体三维数据。

DOI: 10.3785/j.issn.1008-973X.2021.01.018由LeNet-5从单张着装图像重建三维人体许豪灿1,2，李基拓1,2，陆国栋1,2(1. 浙江大学 机械工程学院，浙江 杭州 310027；2. 浙江大学 机器人研究院，浙江 余姚 315400)摘 要：提出基于LeNet-5的从单张着装图像恢复人体三维形状的方法，建立着装人体正面轮廓和人体形状空间之间的映射模型，实现了高效、精确的三维人体建模，可以应用于对人体表面形状精度要求较高的场合，如虚拟试衣. 基于PGA 在流型空间上对公开的三维人体数据集进行数据扩增，给虚拟人体进行着装，构建着装人体数据库. 从着装人体正面投影图像中提取信息，以人体形状参数及正、侧面轮廓信息为约束，基于LeNet-5完成三维人体重建. 实验证明，对于身穿不同款式服装的人，采用的模型通常都能从单张着装图像中重建得到较高精度的三维人体模型.关键词： 三维人体重建；虚拟试衣；数据扩增；着装人体；深度学习中图分类号： TP 399 文献标志码： A 文章编号： 1008−973X （2021）01−0153−09Reconstruction of three-dimensional human bodies fromsingle image by LeNet-5XU Hao-can 1,2, LI Ji-tuo 1,2, LU Guo-dong 1,2(1. School of Mechanical Engineering , Zhejiang University , Hangzhou 310027, China ;2. Robotics Institute , Zhejiang University , Yuyao 315400, China )Abstract: A novel human body modeling method that can reconstruct three-dimensional (3D) human bodies fromsingle dressed human body image based on LeNet-5 was proposed. The method can reconstruct 3D human bodies accurately and efficiently, and the reconstruction results can be potentially used in some occasions where require precise surface shapes, such as virtual try-on systems. 3D human bodies collected from open datasets were selected and augmented on manifolds with PGA. A dressed human body database was established after dressing these 3D human bodies with virtual garments in various types and sizes. Feature descriptors were extracted from the frontal projected images of dressed human bodies. The corresponding 3D human bodies were constructed through LeNet-5with the constraints of shape parameters as well as the frontal and lateral contours. The experimental results show that the model can reconstruct a high-precision 3D human body from a single dressed human body image for people wearing different styles of clothing.Key words: three-dimensional human modeling; virtual try-on; data augmentation; dressed human body; deep learning三维人体模型在人机交互、服装设计、虚拟试衣等领域有着广泛的应用，如何快速、低成本地重建高精度的三维人体模型，一直是计算机图形学领域的重点研究方向.传统的三维人体重建方法主要包括基于多视角数据融合的方法和基于模板形变的方法. 按照数据来源的不同，基于多视角数据融合的方法可以细分为基于色彩数据(R G B )[1]、深度数据收稿日期：2020−01−09. 网址：/eng/article/2021/1008-973X/202101018.shtml基金项目：国家重点研发计划资助项目（2018YFB1700704）；国家自然科学基金资助项目（61732015）；中央高校基本科研业务费专项资助项目（2019QNA4001）；浙江省自然科学基金资助项目（LY18F020004）.作者简介：许豪灿（1993—），男，博士生，从事计算机图形学的研究. /0000-0002-1474-7039. E-mail ：*****************.cn通信联系人：李基拓，男，副教授. /0000-0003-1343-5305. E-mail ：****************.cn第 55 卷第 1 期 2021 年 1 月浙 江 大 学 学 报(工学版)Journal of Zhejiang University (Engineering Science)Vol.55 No.1Jan. 2021(Depth)[2-4]和色彩-深度数据(RGB-D)[5]的三维重建方法. 常见的图像特征提取方式，如SIFT、SURF、HOG等，容易受到外界因素干扰，如光照. 高精度的激光扫描仪面临高昂的设备和安装成本，低成本RGB-D相机面临原始数据精度的挑战.基于模板形变的方法需要事先设定拓扑结构已知的模板人体，通过从RGB/RGB-D图像中提取目标人体的正、侧面轮廓以及关键点位置等信息[6-8]，驱动模板人体形变. 从低维特征数据恢复高维模型本身是一个病态问题，因而基于模板形变的方法通常无法保证重建结果的稳定性与精度.随着参数化人体模型SCAPE[9]和SMPL[10]的广泛应用及深度学习的快速发展，基于深度学习的人体建模被逐渐应用于越来越多的场合. 主要思路大多是从图像中提取关键点[11]、轮廓[12-15]、热图[12]或对图像进行语义分割[11,16]，通过约束人体姿态/形态参数、正面轮廓、关键点位置等，建立输入图像与人体形态参数、姿态参数之间的映射模型. 单视角数据往往不能全面地反映人体表面形状信息，LSP[17]、Human3.6M[18]、UP-3D[19]等常见数据集中的人体姿态、服装款式丰富且背景复杂多变，重建结果往往更侧重于恢复姿态信息，形状精度一般不高.本文提出由LeNet-5从单张着装图像重建三维人体的方法，以A-pose人体的二值化图像为输入，通过对公开数据集中的虚拟人体进行数据扩增并穿着不同款式、尺寸的服装，构建着装人体数据集；以人体形状参数误差、正/侧面轮廓误差为损失函数，开展模型迭代优化，实现快速、高精度的三维人体重建.1 系统概述如图1所示，从公开数据集[20]中获取约1 500组女性真实人体样本数据. 利用SMPL调整人体姿态后，在流型空间上使用主测地线分析(prin-ciple geodesic analysis, PGA)进行数据扩增，利用Marvelous Designer①给虚拟人体穿上不同款式、不同尺寸的服装，构建着装人体数据库.对于在流型空间上扩增后的人体数据库，采用PCA进行降维，以低维度的PCA主轴系数向量γ表征高维人体；对于着装人体数据库中的每一个样本人体，通过投影得到正面轮廓图像，从中提取特征. 为了能够更加准确地建立着装人体正面轮廓图像与人体形状空间之间的映射模型，重建结果进行重投影，得到三维人体正、侧面轮廓图像. 以PCA主轴系数向量误差、人体正、侧面轮廓误差为损失函数，迭代优化模型，实现了基于单张着装人体正面图像的三维人体重建.2 着装人体数据集构建现有的着装人体数据集，如Human3.6M[18]、LSP[17]、UP-3D[19]等，人体姿态信息丰富且背景复杂多变，更适用于人体姿态信息恢复，难以实现高精度三维人体重建. 为了减小人体姿态及拍摄环境对重建结果的影响，以扫描人体数据为基础，采用SMPL表征人体形状并调整人体姿态，在流型空间上进行数据扩增. 借助Marvelous Designer 完成人体着装，构建姿态近似、背景简单的着装人体数据集.2.1 人体姿态调整在计算机图形学中，通常使用高维三角网格表征人体表面形状. 为了构建不同形状、不同姿态人体的形变关系，参数化统计模型SCAPE和SMPL近年来被逐渐广泛采用，其中以SMPL更具有代表性. SMPL是基于网格顶点的人体形变模型，用于表征不同姿态下不同人体的表面形状，网格形变参数包括形状参数β及非刚性姿态参数θ. 为了降低人体姿态对重建结果的影响，实现高精度三维人体建模，对于所有着装人体数据，姿态均被调整为A-pose.扫描人体数据通常由数万个甚至数十万个空间点构成，维度过高且网格拓扑结构不一致，因而需要统一不同人体数据之间的网格拓扑[21]. 以网格拓扑统一的扫描人体为样本，通过SMPL估算当前人体形态参数βi及姿态参数θi，调整人体姿态至A-pose. 其中人体形态参数βi通过将当前PGAPCA图 1 由单张图像重建三维人体流程Fig.1 Pipeline of reconstruction of three-dimensional human bodies from single image①Marvelous Designer 官网./.154浙江大学学报（工学版）第 55 卷网格顶点投影至T -p o s e 下的P C A 主轴得到（SMPL 模型的标准姿态为T-pose ），当前姿态参数θi 由下式[10]预估：T P µJ P µB P W e (·)V S i ,e ρω式中：和分别为平均人体及目标人体关节点平均位置，为形变融合方程，和分别表示当前人体及目标人体的对应边，和为从人体数据集中训练得到的SMPL 参数.每个虚拟人体以6 890个网格顶点表征，扫描人体姿态均通过SMPL 转换为A-pose ，βi 维度为10，θi 维度为72.2.2 数据集扩增样本数据的数量和质量会影响模型的拟合能力，充足的样本数量及合理的样本分布是构建高精度网络模型的必要条件. 现有的扫描人体数据库[20]仅包含约1 500组男性人体、1 500组女性人体，样本数量有限，不足以训练得到稳定的模型，因而需要进行数据集扩增. 男性和女性在人体形态上存在明显差异，例如在腰围与臀围接近的情况下，女性人体的胸围普遍大于男性. 为了能够更加准确地建立统计模型，重建得到更高精度的三维人体，需要对男性与女性人体分别构建数据集，开展独立的三维建模，思路与方法完全相同.以女性人体为实例，进行详细说明.常用的人体数据集扩增方法为现有人体数据之间的线性插值，但人体形状空间是一个复杂的高维空间，不同人体加权求和得到的人体不一定有效. 为了能够更加准确地表征人体形状空间，得到更加接近于真实人体的扩增数据集，将现有的人体数据投影至黎曼空间，采用李群(Lie Groups)构造流型结构，用测地线距离定义不同人体之间的差异[22]，进行人体数据集扩增.拓扑结构统一的人体之间的变形可以认为是各三角网格形变的综合. 人体H 1和H 2中对应三角形T 1=[v 12−v 11, v 13−v 11]∈R 3×2和T 2= [v 22−v 21,v 23−v 21]∈R 3×2之间的形变方程可以表示为T 1=QT 2，其中[v 11, v 12, v 13]、[v 21, v 22, v 23]分别为三角形T 1、T 2的顶点；Q ∈R 3×3为形变矩阵，共包含9个未知数，大于方程数量6. 在欧式空间里，常通过添加额外约束，如正则项来解决这一病态问题，但会不可避免地引入误差；在黎曼几何中，Q 可以被分解为T 1T 212阵，自由度为3；S 为缩放系数，自由度为1；A 为特殊平面内的形变，自由度为2[22]，共包含6个自由度，与方程数量相等. 采用PGA 在流型空间上对现有人体数据进行插值操作. 对于流型空间M 中的人体数据集{H i }，通过迭代算法[23]得到平均人体：式中：d (·)为测地线距离，∥·∥F 其中 表示Frobenius 范数. 采用PCA 对人体数据集{H i }在切平面T µM 上的投影结果{lg µ−1H i}进行降维，其中T µM 是M 在µ处的切平面. 如图2所示，通过对PCA 主轴系数的线性加权插值，共得到6 000组人体数据，插值得到的人体数据可以表示为式中：k 1、k 2为权重系数，k 1+k 2=1.虽然数据库中的所有人体姿态均为A-pose ，不同样本之间的姿态信息可能存在细微的差别.为了更加合理地表征数据库中的三维人体模型，采用PCA 对插值后的人体数据库进行降维. 取前95%的特征值对应的特征向量表征三维人体模型，即PCA主轴系数向量γi 的维度为15.在实际应用场景中，用户通常更倾向于在穿日常服饰的情况下，采用非侵入式且少附加条件的测量方式，需要在虚拟人体表面添加不同款式、尺寸的虚拟服装. 如图3所示，采用Marvelous Designer 添加虚拟服装，构建着装人体数据库. 样本数据集中服装款式的增加必然会提升模型的泛化能力，但也会增加数据集构建成本，提升模型训练难度. 综合考虑上述因素，本数据集累计包含图 2 人体数据集扩增Fig.2 Human data augmentation第 1 期许豪灿, 等：由 LeNet-5 从单张着装图像重建三维人体 [J]. 浙江大学学报：工学版,2021, 55(1): 153–161.1551 500组真实人体描述数据、1 500组插值人体、3款不同款式的虚拟服装，总计约9 000组着装人体.3 基于LeNet-5的三维人体重建为了降低拍摄环境及人体姿态信息对于重建结果的影响，构建人体正面二值化轮廓图像与人体形状空间之间的映射模型. 模型训练数据为着装人体正面轮廓图像及对应的三维人体数据. 为了减小图像平移对于模型训练的影响，将人体中心点与图像中心点对齐后进行投影变换，得到无平移的人体正面轮廓图像. 从图像中提取特征，以人体姿态参数及正、侧面轮廓为约束，迭代优化重建结果.3.1 网络结构及训练参数网络以二值化后的人体正面轮廓图像为输入，人体模型PCA 主轴系数向量γi 为输出，以γi 的误差及人体正、侧面轮廓误差为损失函数，迭代优化模型. LeNet-5[24]模型共包含3个卷积层、2个池化层及1个全连接层，具体的网络结构如图4所示.1)输入层：输入图像大小为256×256，每个像素点的物理尺寸为8 mm×8 mm.2)C1层：卷积层，滤波器大小为5×5，步长为2，共包含16个滤波器.3)S2层：子采样层/池化层，对每个2×2区块中的值取平均值，得到16组特征映射.4)C3层：卷积层，滤波器大小为5×5，步长为2，共包含32个滤波器.5)S4层：子采样层/池化层，对每个2×2区块中的值取平均值，得到32组特征映射.6)C5层：卷积层，滤波器大小为5×5，步长为2，共包含64个滤波器.7)F6层：全连接层.8)输出层：由PCA 主轴系数构成的向量γ.在模型训练的过程中，采用dropout 以避免模型过拟合，提升模型的泛化能力[25]，将dropout rate 设定为0.5；将学习率和batch 分别设置为0.01和100，添加批处理规范化，以提升收敛速度. 将着装人体数据集中70%的样本数据作为训练集，剩下的作为测试集和验证集，采用TensorFlow 及Python 实现网络模型，在服务器上进行训练. 服务器相关硬件为1块Intel Xeon E5 CPU 和4块NVIDIA 2080Ti GPU ，训练时间大约为36 h.3.2 损失函数单视角数据往往不能全面地反映人体表面形状信息，为了提升模型的性能，使得重建结果在视觉上更加接近于真实人体，以人体模型PCA 主轴系数向量及人体正、侧面形状误差为损失函数.迭代优化模型如下.1）人体形状参数误差，即h 式中：N 为训练样本数量，G i 为第i 个着装人体的正面轮廓图像， 为模型LeNet-5的参数.Y i froY i lat2）轮廓误差. 根据PCA 主轴系数向量γi 计算得到三维人体模型M (γi )，重投影得到人体正面轮廓图像及侧面轮廓图像. 正面和侧面轮廓误差分别可以表示为f (I 1,I 2)=∑I 1(x ,y )−I 2(x ,y )P i froP i lat式中：f (I 1,I 2)为图像I 1和I 2之间的差异，；和分别为第i 个着装人体的正面、侧面投影图像（不包含服装）.该模型结合人体形状参数误差及正、侧面轮廓误差，总体损失函数为φϕ式中：和分别为正面投影误差和侧面投影误差的权重系数.图 3 在虚拟人体表面添加服装Fig.3 Garment simulation on human body surface图 4 LeNet-5网络结构Fig.4 Network structure of LeNet-5156浙 江 大 学 学 报（工学版）第 55 卷4 实验结果与分析为了客观评价该方法的有效性和泛化能力，开展了大量的实验，主要包括：模型对比，即不同损失函数下模型误差比较及与常见深度学习及非深度学习算法比较；从虚拟着装人体图像和真实人体正面图像恢复三维人体模型. 其中虚拟着装人体图像由三维着装人体模型的小孔成像投影获得，在已知三维人体体形的情况下，可以有效地测试该方法的效果；将真人着装图像的重建测试用于验证该方法的实际应用效果.4.1 模型对比本文的主要贡献之一是将人体形状参数误差及人体正、侧面轮廓误差作为损失函数，迭代优化网络，实现了更高精度的三维人体重建. 为了验证该方法的有效性，以同样的着装人体样本数据库、网络结构、训练参数构建学习模型，仅改变损失函数，评估重建结果的形状误差. 表1中，e为平均误差. 如表1所示，若仅以PCA主轴系数向量γi为误差项，重建结果的总体平均误差约为1.8 cm，平均围度误差（胸围/腰围/臀围误差）超过3 cm，不足以应用在对三维人体模型精度要求较高的领域. 人体轮廓约束，尤其是侧面轮廓约束，明显提升了模型拟合能力，降低了重建人体的形状误差及围度误差.为了客观评价本文方法的性能，表2给出部分从单张图像恢复三维人体模型方法的误差. 由于Guan等[15]仅提供3个真实人体样本及胸围和腰围误差，在表2中仅表示误差范围；Kanazawa 等[14-16]为基于深度学习的三维人体重建方法，重建精度受数据集的影响较大，如表2所示均为在数据集Human 3.6 M下的误差. 可以看出，与常见的偏重人体姿态信息恢复的模型相比，本文方法的重建精度更高；与需要事先手动交互的传统方法[15]相比，本文的模型用户体验更佳，重建结果不易受测试者的影响.4.2 虚拟人体三维重建在实际应用中，用户通常很难保持精确的人体姿态. 为了对模型进行更加准确的评估，客观测试模型的泛化能力，该实验通过适当改变数据库中着装人体的姿态，模拟真实数据. 如图5所示，将手臂与躯干的夹角调整为15°、45°，适当调整双脚的间距，使用Marvelous Designer对形变人体进行着装，投影得到人体正面轮廓图像作为模型输入，预测人体形状. 表3中，P为手臂与躯干的夹角，L为双脚之间的距离. 可以看出，提出的模型具有较好的泛化能力，在合理的范围内，人体姿态的轻微变化不会对重建结果产生明显的影响.为了直观展示模型在不同体型人体上的性表 1 不同损失函数下重建结果误差Tab.1 Reconstruction error with different loss function损失函数e /cm总体误差胸围腰围臀围手长腿长Lγ 1.76 3.27 3.18 3.51 1.94 2.04 Lγ+φL f 1.36 2.34 2.49 2.72 1.48 1.59 Lγ + φL s 1.31 2.36 2.23 2.66 1.41 1.62 L total 1.15 1.97 2.08 2.32 1.21 1.45表 2 不同方法重建结果误差Tab.2 Reconstruction error with different methods方法e /cm总体误差胸围腰围臀围LeNet-5 1.15 1.97 2.08 2.32文献[15]方法−0.1~4.50.6~3.4−文献[12]方法7.59−−−文献[14]方法 5.68−−−文献[16]方法 5.99−−−图 5 不同姿态下的三维人体Fig.5 3D human bodies with different postures第 1 期许豪灿, 等：由 LeNet-5 从单张着装图像重建三维人体 [J]. 浙江大学学报：工学版,2021, 55(1): 153–161.157能，手动从数据集中挑选若干具有代表性的人体进行实验. 如图6所示，四肢与头部的误差相对更大，这主要是因为不同人体之间的姿态存在细微差别. 从上述实验可以看出，无论是身材相对标准的人体还是偏胖或者偏瘦的人体，利用提出的模型都能够实现较高精度的三维重建.4.3 真实人体三维重建三维模型的精度测试数据与样本数据之间的差异性相关. 为了证明本文方法的实际应用价值，在真实人体上开展多次实验，主要可以分为3类，分别评估目标人体本身、目标人体姿态及服装款式对重建结果的影响. 在模型训练的过程中，输入图像为背景纯净的人体正面轮廓图像，且假设相机位置固定不变. 在实际的应用环境下，背景通常多变而复杂，且相机位置难以固定；因此，需要对输入图像进行预处理，保证相机位置与训练图像中的相机位置一致，即从真实人体采集到的图像应与其对应的虚拟人体投影得到的图像相同（假设可以重建得到高精度的三维人体模型）. 如图7所示，具体步骤如下.1）背景分割. 去除环境背景，采用Grabcut 算法[26]从原始图像中提取人体，并进行二值化. 由于背景分割不是本文研究的重点，数据采集环境均为白色背景，这在实际应用中不难实现.2）中心点对齐. 以人体平均点为人体中心点，并将图像中心点和人体中心点对齐.3）人体图像缩放. 结合用户提供的身高信息，计算当前图像中每个像素点的实际物理尺寸；按比例缩放人体轮廓，调整图像中每个像素点的物理尺寸至8 mm×8 mm.为了验证模型在不同人体上的效果，邀请几位不同身高、体型的志愿者，根据样本数据采集要求，即姿态为A ，着装为长衣长裤或短裙，采集正面图像，如图8、9所示. 重建结果的关键围度误差见表4. 对比表1、3可知，以真实人体正面图像为输入数据和以虚拟人体正面投影图像为输入数据，重建结果的围度误差较接近，证明了本文方法在真实应用环境中的有效性.为了验证真实环境下人体姿态对重建结果的影响，与4.2节展示的实验类似，志愿者随机改变手臂姿态及双脚间距，采集不同姿态下人体的正面图像，预处理后进行人体重建. 如图10、表5所示，围度误差与4.2节的理论值较接近，证明了该模型具有较强的泛化能力，人体姿态在合理范围表 3 不同姿态下人体的误差Tab.3 Reconstruction error on different postures人体姿态e /cm总体误差胸围腰围臀围手长腿长P = 15° 1.56 3.45 2.91 3.34 1.84 2.15P = 25° 1.26 2.06 2.24 2.29 1.41 1.53P = 30° 1.15 1.97 2.08 2.32 1.21 1.45P = 35° 1.19 1.95 2.17 2.57 1.15 1.57P = 45° 1.69 3.16 3.05 3.40 2.02 2.01P = 90° 2.68 4.52 5.05 5.13 3.17 3.64L = 01.212.142.092.451.361.68(a) 输入图像(b) 重建结果(c) 重建误差>15 mm图 6 不同体型的三维人体重建Fig.6 3D human body reconstruction in different shapes分割对齐图 7 人体正面图像预处理Fig.7 Preprocessing for frontal image158浙 江 大 学 学 报（工学版）第 55 卷内的轻微变化不会对重建精度产生明显的影响.为了使得重建结果在视觉上更加接近于输入图表 4 不同人体的重建误差Tab.4 Reconstruction error on different bodies人体着装e /cm胸围腰围臀围手长腿长人体1长衣长裤 2.35 2.08 1.14 1.960.91人体1短裙 3.15 2.93 3.20 1.69 1.46人体2长衣长裤 1.050.81 1.020.36 1.34人体2短裙 1.47 1.61 1.84 1.37 2.11人体3长衣长裤 1.54 1.72 3.03 2.35 1.71人体3短裙2.612.202.613.221.68表 5 不同姿态人体的重建误差Tab.5 Reconstruction error for real human bodies with differ-ent postures人体姿态e /cm胸围腰围臀围手长腿长P = 15°1.840.73 1.51 1.46 1.58P = 25° 1.620.880.670.93 1.61P = 30° 1.050.81 1.020.73 1.34P = 35°0.91 1.20 1.530.360.95P = 45°2.15 2.06 2.07 1.04 1.36P = 90° 2.163.844.215.13 4.38L = 01.261.390.790.511.37图 8 从正面图像恢复三维人体，姿态A ，长衣长裤Fig.8 3D human body reconstruction from images captured in frontview, posture A, and long trousers图 9 从正面图像恢复三维人体，姿态A ，着短裙Fig.9 3D human body reconstruction from images captured in frontview, posture A, and short skirt图 10 从不同姿态人体图像恢复三维人体Fig.10 Reconstruction from images of human bodies in differentpostures第 1 期许豪灿, 等：由 LeNet-5 从单张着装图像重建三维人体 [J]. 浙江大学学报：工学版,2021, 55(1): 153–161.159像，图10中的三维人体的姿态经过手动调整.为了提升用户体验，验证模型的泛化能力，评估服装款式对重建结果的影响. 实验者穿着不同款式的服装，按照要求采集正面图像，如图11所示. 重建结果的围度误差如表6所示. 可以看出，在当前数据集下，当真实人体着装款式与训练集中服装相同或相近时，重建结果较理想；当服装款式发生明显变化时，重建结果精度会受到影响.这主要是由于数据集中服装款式有限，若适当丰富数据集中的服装款式，则重建精度必然得到提升. 本文旨在从现有数据集中学习着装人体正面图像与人体表面形状之间的统计规律. 在面对某些特殊情形时，如测试人体脸部及四肢相对肥胖，躯干相对瘦小，且身着相对宽松的服装时，正面图像通常无法准确地反映表面形状，重建误差必然相对较大.图 11 从同一人体不同着装的图像恢复三维人体Fig.11 Reconstruction from images of one human body in differentgarments5 结　语本文提出由LeNet-5从单张着装图像恢复三维人体的方法. 为了降低人体姿态、图像背景及服装款式对重建精度的影响，得到符合虚拟试衣要求的高精度三维人体模型，从公开数据集中获取了约1 500组女性真实人体数据. 采用PGA 在流型空间上进行数据扩增，给虚拟人体穿上不同款式、尺寸的虚拟服装，构建着装人体数据集. 从人体正面轮廓图像中提取特征，以PCA 主轴系数向量误差、正、侧面轮廓误差为损失函数，预测人体形态. 实验证明，该模型对于不同体型的人体，在不同着装下，通常都能够得到较理想的重建结果. 本文的主要贡献如下：1）将人体侧面轮廓信息作为约束，提高了模型的性能；2）基于不同服装款式及尺寸的着装人体样本数据训练模型，降低了服装款式及尺寸对三维人体重建结果的影响.参考文献(References):ALLDIECK T, MAGNOR M, XU W, et al. Detailed humanavatars from monocular video [C]// International Conference on 3D Vision . Verona: IEEE, 2018: 98–109.[1]TONG J, ZHOU J, LIU L, et al. Scanning 3D full human bodiesusing kinects [J]. IEEE Transactions on Visualization and Computer Graphics , 2012, 18(4): 643–650.[2]CHEN G, LI J, WANG B, et al. Reconstructing 3D humanmodels with a kinect [J]. Computer Animation and Virtual Worlds , 2016, 27(1): 72–85.[3]CHEN G, LI J, ZENG J, et al. Optimizing human modelreconstruction from RGB-D image based on skin detection [J].Virtual Reality , 2016, 20(3): 159–172.[4]WEISS A, HIRSHBERG D, BLACL M J. Home 3D body scansfrom noisy image and range data [C]// International Conference on Computer Vision . Barcelona: IEEE, 2011: 1951–1958.[5]WANG C C L. Parameterization and parametric design ofmannequins [J]. Computer-Aided Design , 2005, 37(1): 83–98.[6]BEAK S Y, LEE K. Parametric human body shape modelingframework for human-centered product design [J]. Computer-Aided Design , 2012, 44(1): 56–67.[7]表 6 不同服装下人体的重建误差Tab.6 Reconstruction error for real human bodies with differ-ent garments服装款式e /cm胸围腰围臀围手长腿长款式10.73 1.43 2.71 1.82 1.51款式2 2.65 2.81 1.97 1.600.82款式34.794.561.763.141.01160浙 江 大 学 学 报（工学版）第 55 卷HUANG J, KWOK T H, ZHOU C. Parametric design for humanbody modeling by wireframe-assisted deep learning [J].Computer-Aided Design , 2019, 108: 19–29.[8]ANGUELOV D, SRINIVASAN P, KOLLER D, et al. SCAPE:shape completion and animation of people [J]. ACM Transactions on Graphics , 2005, 24(3): 408–416.[9]LOPER M, MAHMOOD N, ROMERO J, et al. SMPL: a skinnedmulti-person linear model [J]. ACM Transactions on Graphics ,2015, 34(6): 248.[10]POPA A I, ZANFIR M, SMINCHISESCU C. Deep multitaskarchitecture for integrated 2d and 3d human sensing [C]//Conference on Computer Vision and Pattern Recognition .Hawaii: IEEE, 2017: 6289–6298.[11]PAVLAKOS G, ZHU L, ZHOU X, et al. Learning to estimate 3Dhuman pose and shape from a single color image [C]//Conference on Computer Vision and Pattern Recognition .Salt Lake City: IEEE, 2018: 459–468.[12]JI Z, QI X, WANG Y, et al. Human body shape reconstructionfrom binary silhouette images [J]. Computer Aided Geometric Design , 2019, 71: 231–243.[13]KANAZAWA A, BLACK M J, JACOBS D W, et al. End-to-endrecovery of human shape and pose [C]// Conference on Computer Vision and Pattern Recognition . Salt Lake City: IEEE, 2018:7122–7131.[14]GUAN P, WEISS A, BALAN A O, et al. Estimating humanshape and pose from a single image [C]// International Conference on Computer Vision . Florida: IEEE, 2009:1381–1388.[15]OMRAN M, LASSNER C, PONS-MOLL G, et al. Neural bodyfitting: unifying deep learning and model based human pose and shape estimation [C]// International Conference on 3D Vision .Verona: IEEE, 2018: 484–494.[16]JOHNSON S, EVERINGHAM M. Clustered pose and nonlinearappearance models for human pose estimation [C]// British Machine Vision Conference . Aberystwyth: BMVA, 2010: 5.[17]IONESCU C, PAPAVA D, OLARU V, et al. Human3.6m: largescale datasets and predictive methods for 3d human sensing in natural environments [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2013, 36(7): 1325–1339.[18]LASSNER C, ROMERO J, KIEFEL M, et al. Unite the people:closing the loop between 3d and 2d human representations [C]//Conference on Computer Vision and Pattern Recognition .Hawaii: IEEE, 2017: 6050–6059.[19]PISHCHULIN L, WUHRER S, HELTEN T, et al. Buildingstatistical shape space for 3d human modeling [J]. Patten Recognition , 2017, 67: 276–286.[20]LI J, LU G. Customizing 3D garments based on volumetricdeformation [J]. Computers in Industry , 2011, 62(7): 693–707.[21]FREIFELD O, BLACK M J. Lie bodies: a manifoldrepresentation of 3D human shape [C]// European Conference on Computer Vision . Berlin: Springer, 2012: 1–14.[22]FLETCHER P T, LU C, JOSHI S. Statistics of shape via principalgeodesic analysis on lie groups [C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition .Wisconsin: IEEE, 2003: 95–101.[23]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-basedlearning applied to document recognition [J]. Proceedings of the IEEE , 1998, 86(11): 2278–2324.[24]HINTON G E, SRIVASTAVA N, KRIZHEVSKY A, et al.Improving neural networks by preventing co-adaptation of feature detectors [J]. Computer Science , 2012, 3(4): 212–223.[25]ROTHER C, KOLMOGOROV V, BLAKE A. "GrabCut"interactive foreground extraction using iterated graph cuts [J].ACM Transactions on Graphics , 2004, 23(3): 309–314.[26]第 1 期许豪灿, 等：由 LeNet-5 从单张着装图像重建三维人体 [J]. 浙江大学学报：工学版,2021, 55(1): 153–161.161。

基于深度学习的单幅图像三维人脸重建研究综述
何嘉玉;黄宏博;张红艳;孙牧野;刘亚辉;周哲海
【期刊名称】《计算机科学》
【年(卷),期】2022(49)2
【摘要】在计算机视觉领域中,三维人脸重建是一个具有研究价值的方向,高质量地重建出三维人脸在人脸识别、防伪、游戏娱乐、影视动画和美容医疗等领域具有重要的意义。

近二十年来,虽然基于单幅图像的三维人脸重建领域已经取得很大的进展,但使用传统算法进行重建的结果仍会受到人脸表情、遮挡、环境光的影响,并且会出现重建效果精度不佳和鲁棒性不足等问题。

随着深度学习进入三维人脸重建领域,各种优于传统重建算法的方法相继出现。

文中首先重点介绍了基于深度学习的单幅图像三维人脸重建算法,将算法按不同的网络架构分为4类,并对各类最具有代表性的方法进行了详细阐述。

然后汇总了基于单幅图像的三维人脸重建算法常用的三维人脸数据集,并在数据集上对具有代表性的方法进行了性能评估。

最后对基于单幅图像的三维人脸重建领域进行了总结与展望。

【总页数】11页(P40-50)
【作者】何嘉玉;黄宏博;张红艳;孙牧野;刘亚辉;周哲海
【作者单位】北京信息科技大学计算机学院;北京信息科技大学信息管理学院;北京信息科技大学仪器科学与光电工程学院
【正文语种】中文
【中图分类】TP3
【相关文献】
1.深度学习在基于单幅图像的物体三维重建中的应用
2.基于深度学习的单幅图像三维重建算法
3.基于深度学习的单幅图像超分辨率重建综述
4.基于卷积神经网络的单幅图像三维人脸重建
5.基于姿态估计的单幅图像三维人脸重建
因版权原因，仅展示原文概要，查看原文内容请购买。

一种新的单张照片三维人脸重建方法刘笃晋;孙淑霞;李思明【期刊名称】《计算机仿真》【年(卷),期】2011(28)9【摘要】In this paper, the problem of formation control and obstacle avoidance for multiple mobile robots is discussed. First the formation construction is established, and the formulation of formation control for avoiding the obstacles is given. By using potential function, a formation control scheme is proposed for multiple mobile robots with obstacle avoidance. Under the proposed distributed control scheme, the closed-loop stability and safety are guaranteed theoretically. Simulation results demonstrate the effectiveness of the proposed control strategies.%针对利用反向传播神经网络实现单张照片三维人脸重建方法中速度慢、精度低的缺点,提出了一种改进反向传播神经网络,该方法通过引入混沌变异思想有效解决了APSO 算法中的早熟问题,然后以此APSO算法取代传统反向传播神经网络的梯度下降算法,通过对基于传统反向传播神经网络和改进反向传播神经网络的单张照片三维人脸重建方法对比实验,结果表明,采用改进后的反向传播神经网络算法实现的单张照片三维人脸重建,重建的三维人脸更加逼真,并且模型重建的效率和精度也得到了明显提高,重建的时间也大大减少.【总页数】4页(P275-278)【作者】刘笃晋;孙淑霞;李思明【作者单位】成都理工大学信息工程学院,四川成都 610059;成都理工大学网络教育学院,四川成都 610059;成都理工大学网络教育学院,四川成都 610059【正文语种】中文【中图分类】TP391.9【相关文献】1.基于单幅正面照片的三维人脸重建方法 [J], 邓秋平;赵宇明2.基于单张照片的三维人脸重建优化算法 [J], 熊平;卢烨3.一种基于左右斜侧面照片的三维人脸重建方法 [J], 余畅;陈益强;刘军发;唐晓庆4.基于单张人脸图片和一般模型的三维重建方法 [J], 涂意;赵群飞;卢芳芳5.基于单张照片的三维人脸表情合成 [J], 赵欢;赵晖因版权原因，仅展示原文概要，查看原文内容请购买。