纹理一致的多视角三维人脸点云配准与融合

基于特征融合的三维人脸点云质量判断
高工;杨红雨;刘洪
【期刊名称】《计算机应用》
【年(卷),期】2022(42)3
【摘要】针对使用双目结构光扫描仪获取的三维人脸点云,提出了一种特征融合网络(FFN)来完成人脸点云质量判断任务。

首先,对三维点云预处理切割出人脸面部区域,使用点云和对应的二维平面投影得到的图像作为输入;其次,分别训练用于点云学习的动态图卷积神经网络(DGCNN)和ShuffleNet两个模块;然后,提取出两个网络模块的中间层特征进行特征融合,对整个网络进行微调;最后,使用三层全连接层,实现三维人脸点云的5分类(优秀、普通、条纹、毛刺、变形)。

所提FFN的分类正确率为83.7%;分类正确率比ShuffleNet提升了5.8%,比DGCNN提升了2.2%。

实验结果表明,加权融合二维图像特征和点云特征可以达到不同特征之间的优势互补效果。

【总页数】6页(P968-973)
【作者】高工;杨红雨;刘洪
【作者单位】视觉合成图形图像技术国防重点学科实验室(四川大学);四川大学计算机学院
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.一种基于EGI和标准人脸模板的三维人脸点云拼合算法
2.纹理一致的多视角三维人脸点云配准与融合
3.基于特征融合的三维人脸识别
4.三维点云及多模态人脸融合识别技术及其应用
5.纹理一致的多视角三维人脸点云配准与融合
因版权原因，仅展示原文概要，查看原文内容请购买。

纹理一致的多视角三维人脸点云配准与融合作者：黄宏博来源：《软件导刊》2015年第09期摘要摘要：在三维人脸建模和识别中，为获取信息更为完整的人脸数据，常常需要对多个视角下采集到的三维人脸点云进行配准和融合。

传统的点云配准多使用ICP方法求取刚体变换，但由于人脸属于非刚体，容易因表情变化等引起形变，而且多视角人脸点云间的重合度较低，使用ICP方法效果较差。

使用改进的BANICP方法进行人脸点云的配准，并提出一种多通道迭代光线补偿算法，可实现纹理一致的多视角三维人脸点云融合。

关键词关键词：点云配准；点云融合；三维人脸识别；光线补偿DOIDOI：10.11907/rjdk.1511000中图分类号：TP312文献标识码：A 文章编号文章编号：16727800（2015）0090049030 引言在人脸识别系统中，三维人脸识别由于便于克服人脸姿态、遮挡等因素带来的影响，近年来吸引了众多研究者关注[ 1 ]。

但传统的三维人脸识别仅仅扫描和采集人脸的深度信息，而舍弃了对人脸表征能力很强的纹理信息，因而难以进一步提升人脸识别系统的性能。

随着三维数据采集技术的发展，RGBD摄像机等同时可以采集颜色纹理信息和深度信息的三维采集设备越来越普及，为在三维人脸识别中同时利用结构信息和纹理信息提供了便利[ 2 ]。

在三维人脸识别的实际应用场景中，往往由于姿态变化、遮挡和自遮挡等带来的影响，使得采集的三维人脸数据仅是部分数据，存在数据缺失及形变。

尤其是在匹配识别阶段，测试数据往往只能获取识别对象的部分信息，因此实际应用场景下的识别通常是利用部分数据进行的识别[ 3 ]。

如何更加充分地利用非受控场景下获取的部分数据进行人脸识别，是这类识别要解决的核心问题之一。

考虑到在人脸识别实际应用系统中，可以分为注册阶段和识别阶段两大步骤。

通常注册可以在受控情况下进行，而在识别阶段，测试数据往往是在非受控情况下获取。

如图1所示，注册阶段采用受控模式，采集人脸的3组数据，识别阶段在非受控情形下进行，采集人脸任意姿态的1组数据作为测试数据。

三维重建中点云模型与纹理图像的配准孙谦;何明一【期刊名称】《计算机仿真》【年(卷),期】2011(28)11【摘要】研究三维立体图像优化问题,实现高真实度的纹理图.由于立体图像重建过程产生累加误差,影响匹配精度.目前半自动和自动纹理贴图中三维扫描数据与高分辨率纹理图像对应点配准精度低、计算量大.为解决上述问题,在标准ICP(Iterative Closest Point)算法的基础上,提出一种改进的LM-ICP 2D和3D配准算法.通过法向量内积加权的最近点迭代,动态更新特征对应,减小误匹配点对配准精度的影响,并利用LM(Levenberg-Marquardt)算法优化投影矩阵.采用真实数据进行仿真.实验表明,提出的算法能得到精度高、真实性强的匹配图像效果,为设计提供参考.%Highly realistic texture mapping is a key factor in 3D reconstruction based on the 3D scanning device. For semi-automatic and aotomatic registration of 3D scanning data and high resolution texture image, the existing algorithm is of low precision and needs complex calculation. A modified LM-ICP algorithm applied to 2D and 3D registration was presented based on the standard ICP algorithm. Updating the corresponding relationship between 2D and 3D feature points by weighting the inner product of normal vector, it enhanced the robustness and reduces the effect of registration precision resulted from mismatching points. Finally, the LM algorithm was used to optimize the projectionmatrix. The experimental results on real data show that this method is feasible and can achieve highly realistic texture mapping.【总页数】4页(P218-221)【作者】孙谦;何明一【作者单位】西北工业大学电子信息学院,陕西西安710129;西北工业大学电子信息学院,陕西西安710129【正文语种】中文【中图分类】TP391.4【相关文献】1.曲面的点云模型优化配准方法 [J], 赵夫群2.颅骨点云模型的优化配准 [J], 赵夫群;周明全3.基于区域扩张的三维点云模型配准算法 [J], 李羿辰;耿国华;张雨禾;李姗姗4.文物点云模型的优化配准算法 [J], 赵夫群;周明全5.损伤零件点云模型配准的ICP算法 [J], 魏效玲; 孟艺; 孙秀军因版权原因，仅展示原文概要，查看原文内容请购买。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202011233224.9(22)申请日 2020.11.06(71)申请人 天津大学地址 300072 天津市南开区卫津路92号(72)发明人 彭勃　宋嘉慧　雷建军　于增瑞　秦天一　(74)专利代理机构 天津市北洋有限责任专利代理事务所 12201代理人 李林娟(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(54)发明名称一种点云-多视图融合的三维模型识别方法(57)摘要本发明公开了一种点云‑多视图融合的三维模型识别方法，包括：通过模态间交互的注意力模块，实现将两种模态数据之间的相关信息融合到模态间交互的注意力掩膜中；构建模态间注意力增强模块，用于通过一个残差结构来获得增强的多视图特征和点云特征；构建基于视图上下文的注意力增强模块，用于在多视图序列中挖掘上下文信息，获取三维模型的空间结构信息；构建点云特征和多视图特征融合模块，用于融合增强的点云特征以及进一步增强的多视图特征，得到三维模型特征表示；训练点云‑多视图融合的三维模型识别网络，采用三维模型分类任务评估三维模型的识别性能。

本发明联合优化点云特征和多视图特征学习、融合以及增强过程，提升三维模型识别性能。

权利要求书2页 说明书5页 附图1页CN 112347932 A 2021.02.09C N 112347932A1.一种点云-多视图融合的三维模型识别方法，其特征在于，所述方法包括：构建点云特征学习网络和多视图特征学习网络，以分别学习点云特征和多视图特征；通过模态间交互的注意力模块，实现将两种模态数据之间的相关信息融合到模态间交互的注意力掩膜中；构建模态间注意力增强模块，用于通过一个残差结构来获得增强的多视图特征和点云特征；构建基于视图上下文的注意力增强模块，用于在多视图序列中挖掘上下文信息，获取三维模型的空间结构信息；构建点云特征和多视图特征融合模块，用于融合增强的点云特征以及进一步增强的多视图特征，得到三维模型特征表示；训练点云-多视图融合的三维模型识别网络，采用三维模型分类任务评估三维模型的识别性能。

一种基于EGI和标准人脸模板的三维人脸点云拼合算法作者：张辰阳来源：《软件导刊》2016年第11期摘要：对重合区域较少的两组不同角度获取的三维人脸点云数据，直接寻找对应点进行点云拼合的难度很大。

为解决这一问题，提出一种基于EGI和标准人脸模板全自动点云数配准拼合算法。

针对待配准的三维人脸点云以及标准人脸点云模型，首先通过局部最小二乘曲面拟合，估计每个点的法向和曲率，其次计算点云的扩展高斯图（EGI），然后利用EGI上对应的特征点计算欧拉角，分别使待配准三维人脸点云旋转至与人脸模型大致相同的位置，完成粗配准，并把粗配准结果作为新的初始位置。

采用最近点迭代算法（ICP）分别对三维人脸点云与标准人脸模型进行精确配准，从而实现两组三维人脸点云的拼接。

关键词关键词：点云拼接；三维人脸；高斯图；最近点迭代算法；欧拉角DOIDOI：10.11907/rjdk.162008中图分类号：TP312文献标识码：A 文章编号文章编号：16727800（2016）011004204基金项目基金项目：作者简介作者简介：张辰阳（1991-），男，湖北恩施人，四川大学空天科学与工程学院硕士研究生，研究方向为计算机视觉导航、三维人脸重建。

0 引言随着三维点云数据获取手段的增多以及对于三维重建技术需求的增大，不同角度的三维点云数据拼合技术[1]逐渐成为研究热点。

目前，解决点云配准拼合的技术一般分为手动配准以及自动配准两大类。

前者需要在被测物体的重叠区域上人为贴上标记点[2]，从而通过标记点计算坐标系的旋转、平移参数。

对于后者，通常要求两幅点云具有足够多的重叠区域，这样才能够通过算法快速、灵活地寻找两组或者多组数据间的对应关系，最终精确求解出点云数据间的旋转、平移关系。

在自动配准中运用最为广泛的是由 Besl等[3]提出的最近点迭代算法（iterative closest point， ICP），该算法以相对位置经过粗略配准的两片点云数据为基础，迭代求解两片或者多片点云数据间的对应点及对应点之间的刚性变换（旋转、平移）关系，直到对应点之间的距离误差评价函数最小。

2020年第7期信息与电脑China Computer & Communication人工智能与识别技术三维点云及多模态人脸融合识别技术及其应用张 晖（福建汇川物联网技术科技股份有限公司，福建 福州 350000）摘 要：人脸识别技术是根据生物特征提出的一种新型个人身份认证技术，凭借着高效性、便捷性、实用性等特点，在视频监控软件、支付宝软件、考勤软件等软件中得到了有效的应用。

近几年，随着基于三维人脸识别技术的不断普及和推广，该技术的发展已经趋于成熟。

基于以上情况，笔者首先从三维人脸识别基本框架和三维人脸模型的表现形式两个方面入手，介绍了三维点云及多模态人脸融合识别技术的相关概念，进而从三维人脸点云的预处理、三维人脸点云独特特征的提取两方面入手，研究了三维点云及多模态人脸融合识别技术的具体应用，希望能够为三维人脸识别技术的应用和推广提供有效的参考。

关键词：三维点云；多模态；人脸融合识别技术；应用中图分类号：TP391.41 文献标识码：A 文章编号：1003-9767（2020）07-131-033D Point Cloud and Multimodal Face Fusion Recognition Technology and ItsApplicationZhang Hui(Fujian Huichuan Internet of Things Technology Co., Ltd., Fuzhou Fujian 350000, China)Abstract: Face recognition technology is a new type of personal identity authentication technology based on biometrics. It hasbeen applied effectively in video surveillance software, Alipay software, attendance software and so on, because of its high efficiency, convenience and practicability. In recent years, with the continuous popularization and promotion of 3D face recognition technology, the development of this technology has become mature. Based on the above situation, the author first introduces the related concepts of 3D point cloud and multimodal face fusion recognition technology from two aspects: the basic framework of 3D face recognition andthe representation of 3D face model, and then studies 3D point cloud and multimodal face fusion recognition from two aspects: the preprocessing of 3D point cloud and the extraction of unique features of 3D point cloud The specific application of the technology is expected to provide an effective reference for the application and promotion of 3D face recognition technology.Key words: 3D point cloud; multimode; face fusion recognition technology; application作者简介：张晖(1983—)，男，福建邵武人，硕士研究生，工程师。

点云配准算法在三维重建中的应用随着数字化技术的快速发展，三维重建已经成为了许多领域非常重要的工具。

无论是建筑、地形、工业产品等，都需要进行三维重建才能更好地进行设计、分析和计划。

然而，要进行三维重建必须利用到配准算法，才能在不同的视角和数据之间实现无缝切换，达到良好的三维重建效果。

本文旨在介绍一类点云配准算法在三维重建中的应用，并探究如何进行点云配准，在三维重建过程中提高配准算法的精度和效率。

一、点云配准点云配准是基于两个或多个点云数据之间的相对位置关系，通过对点云数据进行初步的变换和匹配，将它们合并成整个模型的一种过程，可以实现多视角三维重建和点云数据的融合。

在点云配准过程中，重要的是如何识别点云数据之间的相似点，并进行合并操作。

同时，点云配准也有不同的模式，包括面对面（point-to-point）、面对平面（plane-to-plane）和面对法向量（point-to-plane）等。

其中，面对法向量模式是最为优秀的一种，可达到最高的配准精度。

二、点云配准算法在点云配准算法中，基于迭代最近点（Iterative Closest Point, ICP）算法是实现点云配准的最为经典和重要的算法之一。

ICP算法将一个点云数据近似变换到另一个点云的坐标系下，通过计算变换矩阵（旋转、平移）对点云进行变换和匹配。

常见的点云配准算法还有Horn算法、互信息匹配（Mutual Information-based Registration, MIR）算法和基于特征的点云配准等。

三、点云配准在三维重建中的应用在三维重建中，数据源头往往来自多个不同角度、不同位置、不同设备的相机所拍摄的数据，不同数据源之间需要进行配准才能达到同样的坐标系，以达到合并目的。

点云配准技术可以把这些点云数据以较高的精度合并到一个完整的模型当中。

此外，在制造业中，点云数据可以用于逆向工程，即从一个物理部件中测量点云数据，再通过三维重建获得高效准确的工程图。

多视角三维激光点云全局优化整体配准算法李彩林1，郭宝云1，季 铮2【摘 要】提出一种已知多视激光点云配准初值进行自动全局优化的整体配准算法，并详细推导了多视激光点云配准全局优化平差模型。

本算法对多视角三维激光点云的扫描顺序不作要求，可以处理无序散乱的多视三维激光扫描点云，同时可以获得最小二乘意义下的最优变换参数，实现多视三维激光点云的自动精确配准。

利用实际三维激光扫描点云数据进行试验，得到了预期的结果，验证了本文方法的可行性和有效性。

【期刊名称】测绘学报【年(卷),期】2015(000)002【总页数】7【关键词】多视三维激光点云；全局优化；点云配准；最小二乘平差；整体配准模型1 引 言近年来，三维激光扫描测量技术发展迅速，在逆向工程、工业测量、文物数字化保护等方面得到了广泛的应用[1-2]。

在实际应用中，为了获取物体表面完整的三维点云需要对被测物体进行多角度扫描，进而需要将多视激光点云配准到统一的坐标系中，所以配准精度会直接影响物体最终的三维重构精度[3]。

因此对初始配准后的三维激光点云进行全局优化整体配准将具有十分重要的现实意义。

计算机视觉界的相关学者对点云配准领域的研究主要集中在两视点云之间的配准，大多都基于文献[4]提出的最邻近点迭代方法(iterative closest point，ICP)，通过迭代选择对应点计算满足对应点之间的距离误差最小条件的旋转平移变换矩阵[5-6]。

在ICP算法的基础上，很多论文对搜索最邻近点的方法进行了改进[7-10]，如提出了point-point、point-to-plane、point-to-projection等方法搜索最邻近点，文献[11]采用K-D树加快了最邻近点的查找速度。

此外，文献[12]提出了基于彩色三维扫描数据的配准方法，主要在ICP算法中考虑三维扫描点的纹理色彩信息进行搜索最邻近点。

文献[13—14]提出了基于曲率的点云数据配准算法，并结合改进的ICP算法对点云进行精确配准。

三维点云配准方法三维点云配准是计算机视觉和机器人领域中的一项关键技术，主要用于将不同来源的三维点云数据对齐，以进行进一步的分析和处理。

以下是三维点云配准的主要步骤：一、数据预处理预处理是三维点云配准的第一步，主要包括噪声去除、滤波、降采样、补洞等操作。

这些步骤的目的是提高点云数据的精度和质量，为后续的配准提供更好的基础。

1.噪声去除：去除由传感器或环境因素引起的噪声点。

2.滤波：平滑点云数据，减少数据的复杂性。

3.降采样：减少点云数据的密度，减少计算量。

4.补洞：对缺失的数据区域进行填充。

二、特征提取特征提取是点云配准中的关键步骤，它从点云数据中提取出用于配准的特征。

这些特征可以是点云的几何形状、统计特性或拓扑结构等。

常用的特征提取方法包括：1.点特征直方图（PFH）和改进的点特征直方图（FPFH）。

2.快速行进距离场（FSDF）。

3.表面描述符（SD）。

三、粗配准粗配准是为了快速地确定点云之间的相对位置和方向。

这一步通常使用迭代最近点（ICP）算法，通过不断迭代优化，使得两个点云之间的距离最小化。

粗配准的结果可以为后续的精确配准提供初始的估计值。

四、优化调整在粗配准的基础上，优化调整是为了进一步提高配准的精度。

这一步通常采用非线性优化方法，如Levenberg-Marquardt算法或Dogleg算法等，来最小化点云之间的差异。

同时，也可能引入额外的约束，如物理约束或拓扑约束等，以提高配准的准确性。

五、后处理后处理是为了完善配准结果，进一步提高配准精度。

这一步可能包括对配准结果的平滑处理、对齐不完全的区域进行局部优化等操作。

后处理的目的是为了使得配准结果更接近真实情况，为后续的应用提供更准确的数据基础。

I学术研究|CHHUA NG浙江测绘2020年第4期监控视频人脸识别和点云融合空间定位实验卢珍珠打吴敦2,应良中2(1.宁波市鄞州区测绘院，宁波315200；2.宝略科技(浙江)有限公司，宁波315200)摘要：利用移动SLAM扫描技术快速实现室内数字化的特点，高效地将所有操作集中到点云空间完成，构建了一个基于人脸识别的空间定位模型，实现监控对象的准确定位，并结合实验数据,分析了人脸识别及空间定位的有效性。

关键词：监控视频；人脸识别；移动扫描；空间定位1引言监控视频是社区、学校、公共场所等重要安防手段，而“人”是重点监控对象。

面对庞大的监控网络，没有数字化的手段很难对监控对象实施有效管理。

现有的人脸识别可以说是走出了重要一步,综合运用监控视频和人脸识别技术的案例也越来越多,如公安的刑侦的黑名单布控尧电力作业现场人员管控等［1］遥而要实现更进一步的精 细化管理，则还需获取监控对象的空间位置信息。

现有基于监控视频的空间定位方法有不少，大都通过建立图像坐标和实际坐标的映射关系来实现，具体实现过程存在一定的差异。

林苏美(2014冤提出用多台CCD摄像机采集图像来重构场景，通过控制点信息来建立这种映射关系［2］。

唐丽玉等(2014)通过数字高程模型(DEM)来构建三维地理场景，利用虚拟相机和OpenGL的成像原理来建立映射罠蒋中强(2014)利用消失点对摄像机进行标定，建立目标图像点和空间三维点的映射典上述方法都实现了二维图像到三维空间的位置映射，相比之下摄像机标定技术通过计算相机的内参数、外参数及畸变参数，获得空间定位精度更好。

近来，随着移动SLAM扫描等新兴测绘技术的出现及三维可视化技术的发展，整个室内场景已经可以快速地转换成高精度的三维点云及对应全景数据，测绘工作从现场转移到了点云场景，所有操作更加简便、高效。

本文在新型测绘成果的基础上，引入人脸识别技术，对现有基于监控视频的空间定位技术做了进一步深化。