基于kinect传感器的物体三维重建

基于Kinect深度传感器的三维建模过程胡泽周发布时间：2021-08-20T01:20:21.618Z 来源：《现代电信科技》2021年第7期作者：胡泽周[导读] 针对传统三维建模复杂、效率低下的问题，本文利用Kinect深度传感器对目标体进行环拍，从每一次拍摄的图像信息和深度信息中提取点云数据，再将每一次获取的点云数据依次拼接，进而获得目标体的完整点云数据，从而实现对目标体的快速三维建模。

（南京市测绘勘察研究院股份有限公司江苏南京 210019）摘要：针对传统三维建模复杂、效率低下的问题，本文利用Kinect深度传感器对目标体进行环拍，从每一次拍摄的图像信息和深度信息中提取点云数据，再将每一次获取的点云数据依次拼接，进而获得目标体的完整点云数据，从而实现对目标体的快速三维建模。

关键词：Kinect；图像匹配；点云拼接；三维建模1 引言三维重建是在虚拟环境中处理、分析和操作模型的基础，同时也是虚拟现实的关键技术[1-2]。

根据获取的场景信息的不同可将其分为基于纹理和基于深度的三维重建[3]，其中基于深度的三维重建又可分为非接触式和接触式，而接触式技术又分为主动扫描和被动扫描。

Kinect是美国Microsoft公司推出的一款体感控制器，其凭借可以直接获取被测物体的深度图像和彩色图像、价格低廉、结构小巧等优点，在三维模型重建领域得到广泛应用[4-5]。

国内外学者对基于Kinect的三维重建技术的相关课题进行了大量的研究工作，并取得一系列重要进展。

Microsoft公司（2011）针对Kinect发布的KinectFusion三维模型重建算法[6]，该算法采用Kinect深度传感器自由转动获取室内场景深度数据，通过与点云域TSDF（Truncated Signed Distance Function）模型匹配的方式进行位姿估计，并将所有数据融合到模型中实现三维场景的重构。

该项目实现了实时的三维重建，但是缺少彩色纹理信息，且需要利用GPU进行加速计算。

基于Kinect-OpenNI-OpenCV-OpenGL的环境三维重构项目源码详见：/forum/viewtopic.php?f=1&t=13042前几天刚入手了期待已久的Kinect ，用于实验室机器人项目的视觉导航与环境理解。

首先要做的是破解-->连接PC-->获取深度数据和图像数据-->三维点云显示这么几项基本工作。

开始仿照的是饮水思源[1]博客的方法（使用VS2008在windows平台上试用Kinect[2]），利用CL-NUI-Platform 来破解，它的最新版是1.0.0.1210，但我在XP上用会当机，后来换1.0.0.1121 版的就可以用了。

CL NUI 提供了十分简便易用的接口，在OpenCV 上调用很简单，另外它还提供了Kinect 底座马达的控制接口和LED 灯颜色的选择接口，其例程中可以操控Kinect 上下摆动。

如果只需要获取深度数据和图像数据，CL NUI 就够用了。

不过要做深入的应用，比如人体姿态识别、骨架提取、深度数据与图像数据的合并等等，就该用到OpenNI 了。

国的CNKINECT[3]是个不错的Kinect 开发论坛，版块丰富，有很多资料可供借鉴。

我通过论坛介绍的方法[4]成功配置了OpenNI + Kinect，先是用最新版的OpenNI+SensorKinect+NITE ，但在XP 下不能正常运行，可能跟 .net 平台有关，老实按上面论坛的方法装就成功了。

另外用CMake + VS2008 装了最新的OpenCV_SVN，开始试过在CMake 里选择With TBB，但诡异的是TBB 似乎只适用于VS2005，在VS2008 编译后试用里面的samples 老是提示报错找不到msvcp80.dll，重新用CMake 配置取消了With TBB，就一切正常了。

[编辑]一、深度摄像机的视角调整与深度/彩色图像的合并通过研究OpenCV_SVN 与OpenNI 相关的代码（cap_openni.cpp）发现，OpenCV 目前只支持对Kinect的深度图、视差图和彩色/灰度图及相关属性的读取，更进一步的设置还没有实现。

基于Kinect的室内场景三维重建共3篇基于Kinect的室内场景三维重建1随着科技的不断发展，人工智能、计算机视觉等领域正在逐步改变人们的生活方式和工作方式。

在这些技术中，Kinect作为一种能够实现深度感知、人体识别等功能的传感器，其应用领域也越来越广泛。

其中，基于Kinect的室内场景三维重建技术，成为了近年来备受关注的研究方向之一。

一、Kinect技术概述Kinect是由微软公司开发的一个结合了摄像头、深度感知器和麦克风的设备，通过人体轮廓的捕捉和分析，实现人体动作捕捉等各种应用。

Kinect可以通过红外光点的反射、深度感应的计算等技术，将人体的各种动作准确地捕捉到计算机中，并将其转化为计算机能够识别和处理的数据。

二、室内场景三维重建技术室内场景三维重建技术利用计算机视觉技术和三维重建算法，将室内场景或对象的图像和数据转化为三维建模，进而实现对室内场景或对象的快速、精确的重建、分析和数字化。

基于Kinect技术的室内场景三维重建技术，利用Kinect设备可以实时获取场景中的深度图像等数据，并通过循环设备测距算法将这些数据转换为三维坐标信息。

然后，根据这些坐标信息，可通过三维重建算法，对室内场景进行建模和重建。

三、基于Kinect的室内场景三维重建的应用1. 建筑物侦查利用Kinect设备，可快速捕捉建筑物内部空间的三维模型信息，对现场进行快速、准确的测量和分析，为建筑物改建、翻新和维护提供重要的数据支持。

2. 教育仿真基于Kinect的室内场景三维重建技术，可用于创建虚拟实验室、仿真实验场景、虚拟教学交互等，为学生提供更加生动、直观、互动的学习体验。

3. 游戏开发基于Kinect的室内场景三维重建技术，可用于游戏场景的建模与重建，在游戏中创造更加真实、生动的虚拟世界，提高玩家的游戏体验。

四、基于Kinect的室内场景三维重建技术存在的问题及解决方案1. 对环境的要求高Kinect设备对环境要求较高，对灯光、噪声、阴影等都有严格的限制。

基于Kinect的三维场景重建研究的开题报告一、研究背景随着计算机图形学、数字图像处理、立体视觉等技术的不断发展，三维场景重建技术应用越来越广泛。

已经广泛用于建筑测量、室内设计、工业设计、影视制作、虚拟现实等领域。

但传统的三维重建技术需要特定的硬件设备，例如激光雷达、摄像机等，成本较高。

而基于Kinect深度摄像头的三维场景重建技术具有成本低、精度高、控制方便等优点，越来越受到研究者的重视。

二、研究目的本文旨在开发一种基于Kinect深度摄像头的三维场景重建技术，并提出一种有效的算法用于获取三维点云数据，并进行场景重建，以实现高效、准确的三维建模。

三、研究内容1.调研已有的三维重建技术和Kinect相关技术，分析它们的优缺点。

2.设计并实现基于Kinect的三维场景重建系统，包括深度图像获取、点云数据获取、数据处理和三维场景重建。

3.提出一种基于点云数据的三维建模算法，解决点云数据的无序性和噪声问题，并实现场景的可视化重建。

4.验证系统的可行性和效果，并进行实验比较。

四、研究意义本文的研究可以为基于Kinect的三维场景重建技术的发展提供一定的参考和帮助，提供一种低成本、高精度的三维重建解决方案，对相关产业的发展和应用也有着重要的促进作用。

五、研究方法和技术路线本文采用了文献研究、实验研究、数值模拟等方法，采用C#语言、OpenCV、PCL等工具，设计了基于Kinect深度摄像头的三维场景重建系统，提出了基于点云数据的三维建模算法，并在实验中对系统进行了验证和比较。

六、预期成果预期完成一份论文，能够阐述基于Kinect的三维场景重建技术的研究内容、研究方法、实现过程和效果验证。

同时，还将提供基于该技术的三维重建系统软件，实现三维场景重建功能。

七、进度安排第一季度：调研已有的三维重建技术和Kinect相关技术，梳理方法和技术路线，初步设计三维场景重建系统。

第二季度：设计并实现基于Kinect的三维场景重建系统，包括深度图像获取、点云数据获取、数据处理和三维场景重建。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910257175.3(22)申请日 2019.04.01(71)申请人 西安电子科技大学地址 710071 陕西省西安市太白南路2号(72)发明人 卢朝阳　郑熙映　(74)专利代理机构 郑州芝麻知识产权代理事务所(普通合伙) 41173代理人 董晓勇(51)Int.Cl.G06T 17/20(2006.01)(54)发明名称一种基于Kinectv2的完整物体实时三维重建方法(57)摘要本发明涉及一种基于Kinectv2的完整物体实时三维重建方法，包括数据采集→深度补全→点云处理→ICP点云配准→点云融合→曲面重建。

本发明的有益效果是：该基于Kinect2.0的物体完整实时三维重建方法通过数据采集、深度补全、点云处理、ICP点云配准、点云融合及曲面重建等步骤的共同作用，使得该方法对物体完整实时三维重建的效果提升，替代传统的三维重建一般使用多张照片、单目或双目相机进行深度获取，这个过程计算量大，在实时性和精度方面很难同时保证，而专业的高精度三维扫描设备价格过高，使得三维重建技术的应用和普及度存在限制的缺陷。

权利要求书2页 说明书11页 附图4页CN 110047144 A 2019.07.23C N 110047144A1.一种基于Kinect2.0的物体完整实时三维重建方法，其特征在于，包括数据采集→深度补全→点云处理→ICP点云配准→点云融合→曲面重建。

2.根据权利要求1所述的一种基于Kinect2.0的物体完整实时三维重建方法，其特征在于：所述基于Kinect2.0的物体完整实时三维重建方法如下：(1)数据采集：通过Kinect2.0获取深度图像和彩色图像数据，对获取的深度图像进行噪声预处理，而后将彩色图与降噪后的深度图进行对齐，将结果输入进深度补全网络中。

(2)深度补全：在Torch框架中将彩色图与深度图放入设计好的深度补全网络中，利用彩色图的信息对深度图缺失部分进行预测，并将结合原始深度图进行全局优化，得到补全后深度图后通过相机内参矩阵将其转化为点云数据。

kinect fusion算法摘要：1.引言2.Kinect Fusion算法概述3.算法原理3.1 点云处理3.2 表面重建3.3 优化与可视化4.应用领域5.算法优缺点6.总结正文：【引言】在计算机视觉和增强现实领域，Kinect Fusion算法独树一帜。

它通过将多个Kinect传感器采集的数据进行融合，实现对场景的实时三维重建。

本文将对Kinect Fusion算法进行详细解析，带你领略其魅力所在。

【Kinect Fusion算法概述】Kinect Fusion算法是一种基于Kinect传感器的三维重建技术。

它通过实时捕捉场景中的深度信息和彩色信息，对场景进行三维重建。

与其他三维重建方法相比，Kinect Fusion算法具有更高的实时性和准确性。

【算法原理】Kinect Fusion算法主要包括以下三个部分：【3.1 点云处理】Kinect传感器捕捉到的深度数据是连续的深度值，需要将这些深度值转化为点云数据。

点云数据是由一系列三维坐标点组成的数据集，能更好地反映场景中的物体形状和位置信息。

【3.2 表面重建】在得到点云数据后，需要对点云数据进行表面重建。

表面重建的目的是从点云数据中提取出物体的表面信息，以便后续处理。

常用的表面重建方法有Poisson表面重建、球形重建等。

【3.3 优化与可视化】表面重建完成后，需要对结果进行优化和可视化。

优化主要包括降噪、平滑等处理，以提高表面质量。

可视化则是将重建结果以直观的方式展示出来，便于用户观察和分析。

【应用领域】Kinect Fusion算法在许多领域都有广泛应用，如虚拟现实、增强现实、机器人导航等。

通过实时三维重建，Kinect Fusion算法为这些领域提供了强大的技术支持。

【算法优缺点】Kinect Fusion算法具有以下优点：1.实时性：能够实时捕捉场景信息并进行三维重建。

2.准确性：与其他三维重建方法相比，Kinect Fusion算法具有较高的准确性。

kinectfusion算法详解KinectFusion算法是一种利用微软Kinect传感器进行三维重建的技术。

它能够实时地将物体或环境的三维形状转化为点云数据，从而实现对实时场景的三维建模。

本文将对KinectFusion算法进行详细解析，包括算法原理、实现步骤以及应用场景等方面。

我们来看一下KinectFusion算法的原理。

该算法主要依赖于Kinect传感器提供的深度图像和彩色图像。

深度图像是通过红外光和红外摄像头测量物体与Kinect传感器之间的距离而得到的。

而彩色图像则是通过普通的RGB摄像头获取的。

基于这两个输入，KinectFusion算法能够实时地生成环境中物体的三维模型。

KinectFusion算法的实现步骤如下：1. 初始化：首先，需要将深度图像和彩色图像进行配准，以保证它们的空间对齐。

这一步骤通常需要使用传感器提供的内置标定参数。

2. 预处理：在进行三维重建之前，需要对深度图像进行预处理。

这包括去除噪声、填充空洞等操作，以提高后续处理的准确性和稳定性。

3. 三维重建：在预处理完成后，可以开始进行三维重建。

首先，需要根据深度图像和内置标定参数计算相机的内外参数。

然后，将深度图像转化为点云数据，并将其与彩色图像进行配准。

最后，利用体素格网（Voxel Grid）等方法将点云数据进行三维重建，生成物体的三维模型。

4. 实时更新：一旦生成了初始的三维模型，KinectFusion算法可以实时地将新的深度图像与已有的模型进行融合。

这样，即使物体在移动或者场景发生变化，也能够及时地更新模型，保持模型的准确性和完整性。

KinectFusion算法在虚拟现实、增强现实等领域具有广泛的应用。

例如，在虚拟现实游戏中，可以利用该算法实时地将玩家的动作转化为三维模型，实现身临其境的游戏体验。

在医学领域，可以利用该算法进行手术模拟和病灶分析等工作。

此外，KinectFusion算法还可以应用于室内导航、机器人感知等领域，为相关应用提供三维环境模型。

收稿日期：2019-07-10；修回日期：2019-09-25基金项目：国家自然科学基金资助项目（61170315）作者简介：孟冰源（1995-），男（通信作者），河南西平人，硕士研究生，主要研究方向为计算机图形学（mbingyuan@163．com ）；苗兰芳（1963-），女，浙江慈溪人，教授，博士，主要研究方向为计算机图形学．基于Kinect 的三维物体重建系统*孟冰源，苗兰芳（浙江师范大学数学与计算机科学学院，浙江金华321000）摘要：针对三维物体重建精度较低的问题进行了研究，实现了一套使用Kinect 进行三维物体重建的系统。

首先，针对深度图像中的噪声问题，提出了一种深度图像采集算法。

此外，获取的点云包含较多的场景信息，干扰到物体重建。

针对这个问题，采取坐标法对目标物体进行提取。

另外，数量庞大的点云会降低配准效率。

为了减少点云的数量，提出了一种混合点云精简方法。

在实验中对多片点云进行配准和表面重建，获得了两个精度较高的三维模型。

最后与现有重建方法进行对比，结果表明该系统具有良好的重建效果，能够显著提升重建精度。

关键词：Kinect ；三维物体重建；点云精简；点云配准0引言三维物体重建是图像处理中的一个重要分支。

它是指使用二维图像中的深度、纹理等基本信息来恢复三维空间中物体的形状和位置信息，目的在于将现实世界中的真实物体数字化［1］。

三维重建技术被广泛应用于3D 打印、虚拟现实、文物修复、影视建模和SLAM 等领域。

随着科学技术的发展，对三维重建的精度要求也越来越高。

因此，本文主要针对如何提高三维重建精度进行研究。

Kinect ［2］由于成本低廉、操作简单、便于携带的特点使其成为非常受欢迎的深度数据获取设备。

在基于Kinect 的三维重建方面，Henry 等人［3］使用彩色与深度信息之间的映射，实现了带有彩色纹理的三维模型，但模型精度较低。

Izadi 等人［4］完成了经典的KinectFusion 三维重建系统，通过GPU 把深度数据融合到待建的目标模型中，重建模型完整度较高，具有很好的实时性。

基于多Kinect的物体三维点云数据重建技术研究Keywords Kinect, Point Clouds Registration, 3D Scanning, Surface Reconstruction目录1绪论 (1)1.1课题研究背景及意义11.2国内外研究现状11.3本文主要工作和章节安排32多台Kinect深度数据预处理..52.1OPENCV简介 (5)2.2数据采集52.3背景移除72.4双边滤波降噪73多Kinct三维点云处理..103.1OSG平台简介.103.2初始拼接..113.3基于ICP算法的点云拼接..114面向3D打印机的三维模型优化..134.1点云数据三角化..134.2点云格网空洞修补..154.3三维模型表面重建..175实现成果与分析.20结论241总结242展望24致谢25参考文献..261 绪论1.1 课题研究背景及意义随着当今数字化技术水平的飞速发展，人们的生活方式和制造业生产流程出现了巨大变化。

由于各种三维扫描设备的普及，三维数字化技术也渗入了生产生活中的多种领域，如医药工业的器械生产、航天制造中的零部件生产、军事中地形模拟乃至日常生活中的立体电影、电子游戏场景等娱乐设备。

如今三维激光扫描设备不仅在精度、扫描速度和平民化方面得到有了巨大突破[1]，人们对于扫描对象数据采集速度和三维模型精度要求也在逐渐提高，因此三维点云数据的处理问题也逐渐成为了研究关注的重心和难点。

对于传统的三维扫描设备，例如三维激光扫描仪，虽然能获得精确的物体三维信息，但是由于它昂贵的价格和复杂的操作，一般人很难利用它来进行人体三维重构。

而近年来兴起的深度相机[2]引起了的关注量也在逐年上升，相比传统的三维扫描设备，深度相机价格低廉（例如微软的 Kinect 摄像机约 600 人民币），而且能方便、快速地获取物体表面的彩色和深度信息。

经过研究，在现实三维扫描中，因为光是通过直线传播的，所以三维激光扫描设备在固定视角下对于某些具有复杂表面或奇异形状的实物的经常会出现扫描死角[3]，此时就需要不停转换视角或多次测量才能达到完整模型数据的采集。