半边小脸症之三维网格模型重建与分析系统

首先是数据采集 ：收集多张同一个人的不同角度、表 情和光照条件下的图像 ；其次是进行特征提取 ：利用卷 积神经网络（CNN）等深度学习方法提取图像的特征向 量。通过三维人脸建模算法将提取到的特征向量转换为 三维人脸模型。将采集到的图像纹理映射到三维人脸模 型上。根据光照条件和环境设置对三维人脸模型进行渲 染，生成最终的三维人脸重建结果。
多视图三维人脸重建方法综述
北方工业大学信息学院 童立靖 张豪杰
在现实生活中，人脸蕴含了个体丰富的信息，在视 觉感知中占有非常重要的地位，因此人脸在三维重建中 是一个非常重要的对象，具有广泛的应用前景。三维人 脸重建具有很高的研究价值和意义。目前有关三维人脸 重建的研究大多是针对单张人脸图像，虽然单视图三维 人脸重建已经在人脸识别、虚拟现实等领域有了广泛应 用，但是它仍然存在很大弊端，比如单张图像重建出的 模型准确性和精度不足，但是多张图像却可以提供更多 的观测数据，从而可以提高人脸三维模型的精度和准确 性。同时当单张图像情况下存在的遮挡、光照变化等因 素，重建结果可能存在噪声和误差，而多张图像可以通过 多个视角的信息进行校正和补充，从而减少这些噪声和误 差。因此本文主要讨论多视图三维人脸重建问题，将目前 的研究工作按照使用的技术分为两类 ：第一类工作是基于 传统方法的多视图三维人脸重建 ；第二类工作是基于深度 学习的多视图三维人脸重建。最后对多视图三维人脸重 建存在的主要挑战以及未来的发展趋势进行阐述。 1 基于传统方法的多视图三维人脸重建
single image to image set regression
SHANG J等
ZHAO W等
Self-supervised monocular
From 2D images to 3D
3D face reconstruction model:weakly supervised multi-

图片简介:本技术介绍了一种基于多光谱和3D模型重建的人脸图像分析系统及其方法，该系统包括五光谱皮肤检测仪、云端服务器和显示控制模块，通过所述五光谱皮肤检测仪获取五种光谱下的图像信息，并将所述图像信息发送给云端服务器，云端服务器对其进行三维图像重建、肤质检测以及评估分析，得到分析报告和三维图像信息；最后通过显示控制模块进行显示。

本技术不仅能满足日常客户需求，还能为人脸面部皮肤的美容或者治疗提供可靠的数据支撑。

技术要求1.一种具有3D模型重建功能的五光谱皮肤检测仪，其特征在于：包括支架，所述支架上安装有C形架，C形架的中部安装有高清摄像头，以及以高清摄像头为中线左右对称安装有五光谱光源和深度摄像头，五光谱光源位于高清摄像头和深度摄像头中间；所述支架上还安装有与高清摄像头、五光谱光源和深度摄像头连接的处理模块，用于控制五光谱光源发出不同的光、控制高清摄像头和深度摄像头获取的图像信息并将图像信息上传；它包括处理器、以及与处理器连接的存储模块和数据传输模块；所述支架上还安装为高清摄像头、五光谱光源、深度摄像头和处理模块提供电源的电源模块。

2.根据权利要求1所述的具有3D模型重建功能的五光谱皮肤检测仪，其特征在于：所述五光谱光源发出的光包括白光、正偏振光、负偏振光、伍氏光和UV光。

3.根据权利要求1所述的具有3D模型重建功能的五光谱皮肤检测仪，其特征在于：所述支架上位于五光谱光源背光面设有挡光板。

4.基于多光谱和3D模型重建的人脸图像分析系统，其特征在于包括：权利要求2所述的五光谱皮肤检测仪，用于采集人脸皮肤图像信息，所述图像信息包括高清摄像头采集的图像信息以及深度摄像头采集的图像信息；云端服务器，用于接收所述五光谱皮肤检测仪采集的人脸皮肤图像信息，并对其进行三维图像重建、肤质检测以及评估分析，得到分析报告和三维图像信息；所述云端服务器内包含用于对肤质进行检测的肤质检测模块、用于对肤质进行分析并能生成分析报告的分析报告生成模块和用于对采集的图像信息进行三维图像重建的3D图像重建模块；控制显示模块，用于控制所述五光谱皮肤检测仪、以及用于显示所述五光谱皮肤检测采集的人脸皮肤图像信息和所述云端服务器得到的分析报告和三维图像信息。

将所得参数作用于整个侧面人脸部分。该算法不但加快了对应点的搜索时间，而且提高了融合精度。
借助 2.3 中初步融合的结果，令 proj fr 为将正面人脸深度图投影到图象平面的映射。则只需对三维空间
点集：
Pf = proj fr −1(S )
Pl = proj f −1(S)
运用 ICP 算法，计算使得式（3）最小的旋转矩阵 R(qR ) 和平移向量 qT 。其中，N = Pf ，mi ∈ Pf ，pi ∈ Pl 。
∑ f (q) =
1 N
N i=1
mi
− R(qR ) pi
− qT
（3）
30
电路与系统学报
第 12 卷
ICP 算法中刚体变换参数的求取过程如下，令：
qR = [q0 q1 q2 q3 ], q02 + q12 + q22 + q32 = 1
qT = [q4 q5 q6 ]
其中， qR 是旋转四元数， qT 是平移向量。旋转矩阵由旋转四元数 qR 决定
目前主要存在三类三维人脸模型重建算法：（1）Vetter 和 Blanz 的研究小组提出的基于三维可变 形人头模型的方法[5]。他们使用激光扫描采集 200 个人脸，通过训练建立一个可变形的 3D 人脸模型。 但这种方法算法复杂度高，扫描一个人头需要消耗较长的时间，拟合时间长（在 2GHz Pentium IV 的 工作站上约需 4.5 分钟），且扫描仪价格昂贵，因此实用性较差；（2）许瑞麟等人提出一种基于三维通 用人头模型的方案[3]。他们选择了 Water 的人脸线框模型[6]拟合输入的人脸，从而产生三维人脸模型。 国内较多学者采用了类似的方法。但是要找到一个合适的通用人头模型难度大,一旦通用模型定义过分 精细，则拟合时间较长；若模型粗糙，则效果较差；（3）Gunaratne 等人提出一种基于四张深度图合成 人脸三维模型的方案[7]。该算法通过手工选择特征点和 Sobel 算子提取出图像边缘的方法产生三维人 脸模型。因为使用 Sobel 算子提取边缘，Sobel 算子内在高噪声敏感性使得该方法在算法稳定性上存在 一定的问题。

３Ｄ ｐｏｉｎｔ ｃｌｏｕｄ ｗ鼬ｅｄｉｔｅｄ ｂｙ陀ｖｅ雠ｅＩｌｇｉ瞅ｒｉｎｇ舳枷珊ｔｏ ｒｅｃｏ略ｔｎＪｃｔ ｔｈｅ ３Ｄ ｍｏｄｅｌ ｏｆ岫ｋｅ．１１ｌｅ ｄａｔａｂ蛳 ｓｙｓｔｅｍ ｗ艄ｄｉｖｉｄｅｄ ｉｎｔｏ ｔｈ陀ｅ ｐａｒｔｓ，ｉｎｃｌｕｄｉｎｇ ｂａｓｉｃ ｉＩｌＩｂｎＭｔ加，ｄｉ龋！ａ能ｉ—ｂ咖ｔｉｏｎ ａＩＩｄ叫啦ｒｙ ｉｎｆｏ册ａｌｉ∞．Ｔｈｅ
模型精度的误差分析采用游标卡尺（手工）及 Ｇｅｏｍａ面ｃ Ｓｔｕｄｉｏ ８软件分别对石膏头像和塑料人体 模特的２４个面部特征点之间的１９个距离参量进行 测量。应用Ｍａｔｌａｂ数学计算软件进行两组测量值 的配对ｆ检验，平均测量误差为０．０２ ｍｍ，测量结果 之间差异无统计学意义（Ｐ＞０．０５）ｂ ｏ。
肘删ｃ０比酽，饥妇靶４∞ｄＰ，町０，肌癌∞ｆ ｓ啦，ｌ。皤，＆咖喈 １００００５，Ｃｈｉ腿 ｃｏ哗咖伽ｌ胁：ｚ删胍砒，学ｇｌｌＤ，Ｅ，Ｍ以：五喇１２６＠１２６．∞ｍ
【Ａｂｓｔｍｎ】 ｏｂｊｅｃｔｉ＂ Ｔｏ ｃｏｕｅｃｔ ｔＩＩｅ ｔｈｒｅｅ—ｄｉｍｅ鹏ｉｏｎａＩ（３Ｄ）ｆａｃｉａｌ ｄａｔａ ｏｆ ３０ ｆａｃｉａｌ ｄｅｆｏｍｉｔｙ ｐａｔｉｅｎ协
用户通过网络登录本系统后可对每一个病例从 不同的方面进行了解，如临床病历的文本资料、数码 相机所拍摄的二维照片，以及扫描重建得到的三维 模型等。另一方面，用户可以根据面部畸形的种类
万方数据
Ｗｅｂ咖砘２ №ｌ
圈ｌ网络系统首页圈２ 患者面部图像分析系统
Ｈ０ｍｅｐ孵０ｆ ｄｌｅ来自Ｉｍ丑ｇｅ ａｍｄｙ８ｉｓ ｓｙ刚捌ｎ ｏｆ ｔＩｌｅ ｐａｔｉｅ吣’ｈ∞
对于面部整形外科，只要获取人面部表面的空 间信息即可满足临床需要。而最适合这一要求的方 法是光学三维测量技术，即以光学的手段测量物体 的形貌，获取物体三维坐标数据的一种非接触式测 量技术＂１。光学三维测量技术基本可以分为两大 类：被动三维测量技术和主动三维测量技术。

中北大学学位论文图２．４三庭五眼关系本文根据ＭＰＥＧ－４以及人脸的生理特征选择出其中具有能够反映人脸几何特征的特征点，如图２．５所示。

图２．５特征点定义其中眼睛上有四个特征点，鼻子上有三个，眉毛上有三个，嘴巴上有四个，脸的轮廓上有五个，共２５个特征点。

中北大学学位论文图２．６侧面特征点定义图图２．６给出了侧面特征点，其中耳朵上有三个特征点，其余与正面人脸相同．２．４本章小结本章作为本文的建模分析部分，酋先对人脸的生理结构特征进行了介绍，其中骨骼和肌肉组织形式基本上组成了人脸的几何特征。

其次，再对ＭＰＥＧ－４进行了简单介绍，ＭＰＥＧ－４中对于人脸特征点的定义对于本文中的特征点的选择有部分的参考作用．最后，在分析ＭＰＥＧ－４的基础上在本文提取的人的正、侧面照片上手工标出了能基本反映人脸几何形状和特征点的特征点。

４人脸的三维重建根据上文中提到立体视觉原理，我们可以从正，侧面人脸图像中定义的特征点出发．对通用人脸的模型进行一系列的调整，使通用人脸变形达到与照片上人脸特征的匹配。

在调整人脸特征点的同时，对于入脸特征点邻域内的非特征点，也要按照ＤＦＦＤ算法进行相应的变形，以达到曲面的光顺。

４．１经典人脸模型与技术回顾当前存在许多种人脸模氆，其中具有典型意义的有：基于参数的模型、肌肉模型，简单弹性网格模型、物理学模型。

４．１．１经典人脸模型（１）基于参数的模型用计算机模拟人脸可追溯到１９７４年，由ＦｒｅｄｅｒｉｃＰａｒｋｅ嘲手工测量假人模型的方法，第一次在计算机中生成了３Ｄ人脸。

他的方法主要是对一个假人的面部进行划线分割，之后采集分割之后的多边形顶点的数据，由采集到的数据得到．ｒ头部的分片模型。

并且Ｐａｒｋｅ使用了双线性插值来创建不同的人脸形状，他假定人脸之间的差异可以从单一拓扑上变形而来，他通过改变一般人脸的构造参数创建了ｌＯ个不同的人脸。

如图４．１所示。

图４．１Ｐａｒｋｅ的参数化模犁（２）肌肉模型为丫提高逼真度，Ｗａｔｅｒｓ提出ｒ一种基于肌肉物理特性的模型。

3



背景(2/3) -- 淺談半邊小臉症

半邊小臉症 (Hemifacial microsomia或Craniofacial microsomia)是指臉的一邊發育不良，看起來比正常側 小。通常有下列三種組織或器官患有不同程度的發育 不全：
1.
ቤተ መጻሕፍቲ ባይዱ2.
3.
顏面骨骼 耳朵 皮膚、肌肉、神經發育不全 或嘴唇側裂導致大嘴症。

A System for Facial Reconstruction using Distraction and Symmetry Consideration[3]：

透過Distraction與Symmetry的方式讓非對稱的臉轉換為對 稱的臉，並建構成三維模型。

Distraction是對下顎骨做逐步拉扯的動作並增加或移除組 織及骨頭，使整個臉型能趨近於對稱。 Symmetry是用鏡射(Mirroring)的方式，先隨機產生一平面 ，再計算兩邊特定組織結構的加總，根據產生結果再決定 平面要往哪邊移動，找出平面後再以正常的一邊映射到受 創的一邊。

11
相關文獻探討(4/4)
優點：結果不錯。 缺點： 1. 非專業醫生，無法對下顎骨調整 方向。 2. 半邊小臉症的整張臉都歪斜不正 用鏡射對稱法會有誤差。 若能提供工具讓醫生調整，病人 對結果較能信服。

12
研究方法(1/8)

流程圖：
13
研究方法(2/8)

直接採用醫院得到的CT與MRI影像。 要讓顱顏醫生準確評估患者，採用體積成像 (Volume Rendering)的方式建構三維模型。 體積成像是由很多張二維影像堆疊 所形成的三維影像。

收稿日期：2020-03-28作者简介：刘政（1992-），男，江南大学物联网工程学院硕士研究生，研究方向为三维人脸重建、计算机视觉等；董洪伟（1967-），男，博士，江南大学物联网工程学院副教授、硕士生导师，研究方向为计算机图形学、计算机视觉、高性能计算、数控技术等；杨振（1990-），男，江南大学物联网工程学院硕士研究生，研究方向为三维人脸重建。

0引言三维人脸重建是计算机图形学的研究热点。

目前三维人脸重建方法可大致分为基于仪器扫描的方法和基于图像的重建方法。

使用仪器扫描虽然可以获得较高质量的三维人脸模型，但被扫描对象需与扫描仪器进行交互，且扫描期间目标对象需尽可能保持静止；通过扫描设备扫描得到三维人脸模型后，还需对扫描数据进行一系列复杂的处理才能得到较高质量的三维人脸模型。

另外扫描设备价格高、操作较复杂性，使该方法难以普及。

基于图像的重建方法包括基于统计模型的三维人脸重建［1-4］、基于多视几何的三维人脸重建［5］、基于光照立体的三维人脸重建［6-11］以及近年来发展迅速的基于机器学习的三维人脸重建［12-14］。

基于统计模型的三维人脸重建方法依赖于大量的三维人脸数据，这些数据一般是对扫描得到的人脸模型进行PCA （Principal Components Analysis ）处理后获得的。

另外，该方法重建结果严重依赖于数据库中的人脸模型，数据库中模型空间有限，限制了重建灵活性。

传统基于多视几何的方法需获取不同角度的多张正交人脸图像，为计算图像匹配点，首先需足够多的匹配点数量，然后匹配精确度也要求很高。

而基于机器学习的方法则需要大量三维人脸数据用以训练，其最终重建结果同样依赖于训练样本数量，与基于统计模型的方法有相同的弊端。

本文采用基于光照立体的方法，利用人脸图像实现三维人脸重建。

具有网络一致结构的三维人脸模型重建研究刘政，董洪伟，杨振（江南大学物联网工程学院，江苏无锡214122）摘要：针对传统方法及机器学习方法对大量三维人脸数据、训练样本数量与质量依赖性大的问题，采用基于光照立体的方法，利用人脸图像重建三维人脸。