最新3D动态人体模式识别技术研究汇总

3D动态人体模式识别技术研究3D动态人体模式识别技术研究1、项目来源及选题依据本项目为学生自选题目项目。

本项目属于计算机视觉学科的基础研究，由本项目组独立完成，旨在研究运动物体的模式识别技术。

计算机视觉既是工程领域也是科学领域中的一个富有挑战性的重要研究方向。

计算机视觉是一门综合性的学科，它涉及计算机科学、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等多个学科领域，吸引了大批研究者投身其中。

一些发达国家，如美国把对计算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战（grand challenge）。

目前它在多个工程领域均有成功的应用，是制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能、自主系统中不可分割的一部分。

模式识别就是当把认识对象能够分类成几个概念时，将被观测的模式与这些概念中的一类进行对应的处理。

这种概念称为类或者种类。

为实现模式识别的机械，首先必须考虑从识别对象测量（提取）出某种特征量的方法。

当今信息化时代的快速发展对计算机视觉提出了越来越高的要求。

三维模型具有比二维图像更丰富的信息，利用三维信息是实现目标识别的另一有效途径。

基于三维数据的识别方法，在计算机视觉领域已经被广泛研究。

有的研究者通过分析三维模型数据的分布特征，提出了整体分离的方法，结合物体特点，实现了各区域的准确裁减。

然而，在某些识别问题中，信息的提取有时并不一定是在静态条件下。

因此，三维动态识别技术也应运而生。

动态识别是相对于静态识别提出的一个新概念，旨在对运动物体进行三维识别。

由于运动物体的特征较静态物体更难以捕捉，因而，动态识别技术的关键问题就是如何快速准确提取运动物体的特征并构造有效的识别方法，它对提取、重建和识别算法的快速性和有效性提出了更高的要求。

本课题在研究三维人体目标的动态特征的基础上，旨在建立一个三维动态人体模式识别系统，它将完成对一个运动的人体进行有效识别的功能。

该系统可广泛应用于医学、运动员测量分析、军事目标判定、计算机图形学和计算机辅助设计中。

另外，该技术还有较大的推广空间，在这个技术基础之上，改变被测物体后也可在诸如制造业和建筑界等多个领域得到应用，如三维机械系统动态识别及三维建筑动态识别系统等。

2、选题过程中已经阅读的文献资料，以及各项准备工作（如计算、实验等）已完成知识储备如下：数学：空间解析几何及线性代数；复变函数；数学物理方程程序设计：C++；C#算法理论：计算机视觉完成第一轮学习这个阶段里，项目组利用matlab软件进行了人体轮廓提取的仿真实验，初步实现了人体的轮廓提取功能。

另外，针对运动的视频分析部分，项目组已经建立了一个合理的人体刚体模型，为人体运动分析奠定了良好的基础。

3、国内外同类课题研究现状运动信息处理始于上世纪70年代。

那时，确定图像上移动向量的分布（光流），即图像间的映射关系是主要的研究课题。

虽然在图像间由特征的对应关系能够获得映射关系，但在对应时需要伴随着搜索和处理的大量计算。

因此，作为利用图像间差分计算移动向量的方法，提出时空梯度法。

该方法是在运动图像编码的研究中发现的，并由Horn 与Shunk等对其进行了公式化。

时空梯度法将移动向量进行线性约束，但只凭该约束并不能直接确定移动的向量，还需要其他的一些约束。

针对此又提出其他的各种约束办法。

人体是一个非刚体运动模型。

但在处理较大幅度的运动时，人体往往可以被近似为一个多节点的刚体模型。

1979年，Ullman等提出，如果假设所研究的对象是刚体，就能够从图像间的对应关系恢复对象物体的三维结构和三维运动。

很长时间以来，针对人体的运动分析都是建立人体刚体模型进行估计，具体说来就是通过安装在人体关节处的光点的运动，对人体的结构和运动进行估计。

然而，由于人体结构较为复杂，即便采取自下而上的处理方法也是很困难的。

因此，大多采用预先假定人体模型知识的自下而上的处理方法，难点主要体现在下面两点：（1）不易提取有效的图像测量特征；（2）人体的姿势是一个高维空间，基于全局搜索和匹配的方法计算量太大。

近年来，研究者分别从人体模型、图像特征以及搜索策略等角度讨论了基于视频的三维人体运动跟踪问题。

D M Gavrila与L S Davis 等人利用多个已定的摄像机对全身运动进行跟踪。

他们使用距离图来匹配模型与边界特征，并采用分解搜索空间的方法进行姿态估计。

Deutscher J,Blake,A,Reid I等人采用例子滤波算法在多摄像机下实现对人体三维运动的跟踪，并使用模拟退火算法来减少对粒子数目的需求。

C Bregler与J Malik等人采用类似Lucas&Kanade光流估计的方法来跟踪身体各个部分。

C Sminchisescu与B Triggs提出使用Covariance Scaled Sampling 结合局部优化的方法从单视频中跟踪人体运动。

这些算法在可控环境下实现了简单的人体三维运动的跟踪。

但是它们存在的共有问题是：（1）假设简单背景或者人穿着紧身衣；（2）无法实现自动初始化和自动从错误中恢复；（3）无法处理错误累积以及光照变化等环境因素的影响；（4）计算复杂度较高。

进入20世纪90年代，有人提出了将时空梯度法和人体的机器人模型相结合的动作估计法，以及通过模型的逐次匹配的人体姿势估计法等一系列方法，希望能够将其作为新的运动捕获的人体运动图像分析技术。

对于动态图像的分析以及最后识别运动目标,目前主要通过两个途径来实现。

一种途径是模仿人眼成像及识别物体的机理，让计算机从获得的二维连续图像序列中提炼出运动目标，并从中重构出三维物体的可视部分以达到识别物体的目的。

虽然在这一方面的研究取得了一些进展，但是由于其它方面的研究滞后以及计算机的固有缺陷(例如，计算机系统普遍地采用二维逻辑，而人眼成像及识别物体不仅仅是二维的)，使得通过这一途径完全还原及识别运动目标的研究进展缓慢。

另一途径是图像法识别运动目标。

图像法识别运动参数的基本原理是将物体用成像头(红外或可见光等)摄入后形成的图像信号序列送入计算机，经过对图像的预处理、特征提取、目标识别后，在连续图像序列中进行特征点匹配，进而解出目标物体的运动参数，实现对目标物体的搜索、识别和跟踪。

一旦完成对目标及其运动参数的识别，就可以由伺服机构完成下一步的决策和处理。

图像法识别是从输入图像和目标物体两个方面入手，通过对输入图像序列的处理，使其与目标样本库中的图像进行匹配，以达到识别目标的目的。

该方法也存在着缺陷，比如，样本库可能非常大，不利于实时跟踪和处理。

4、详细阐述所选课题的目的和意义计算机视觉主要的诀窍在于从图像或图像序列中获取对世界的描述。

毫无疑问，这是很有使用价值的。

摄取图像通常不带破坏性，是安全的。

它又是一件不费力的事，现在的成本也不昂贵。

用户希望从图像中获取的描述对不同的应用可能性相差很大。

例如，一种称为从运动求取结构的技术可以从图像序列中获取所见物体的描述以及摄像机的运动规律。

娱乐产业中人们利用这种技术来构造建筑物的三维模型，此时人们关注结构而忽略运动信息。

这些模型可以应用到实际建筑物无法使用的场合，如火灾、爆炸等场合。

只要利用数量很少的一组照片就可以构造出好的、简单准确的、令人信服的模型。

而用这种技术来控制移动机器人时，人们一般关注运动，而将结构舍弃。

这是因为，一般仅知道机器人工作的某些方面。

而并不知道机器人在这个区域的准确位置。

可以从固定在机器人上摄像机的运动信息中确定机器人的位置。

计算机视觉还有许多其他方面的重要应用，其中之一是医学图像的处理与理解。

人们可以设计软件系统来增强图像，或鉴别重要的现象或事件，或通过成像获得可视化信息。

另一种应用是：检验人们对物体拍摄的图像，以便确定它们是否符合规定。

第三种应用是卫星图像的理解。

这既可用于军事目的，如编制程序来确定进来有没有与军事有关的现象在给定的地区内发生，或估计轰炸所引起的损害，也可运用于民用的目的。

第四个应用是对收集的图片加以组织与结构化。

和其他计算机视觉技术一样，三维人体动态识别技术也广泛用于制造业、医学工程、检验、文档等多个领域。

另外，该项目中间生成的三维重建模型可作为计算机图形学三维人体模型二次开发素材，动态特征捕捉也为3D图像处理带来方便，可以说带来了一种新的三维动画设计手段。

而在识别检测领域，医学三维识别系统可以看做这项技术在这个领域中的推广。

最后还可以在加强快速捕捉检测技术的情况下作为电子警察系统中的交通肇事检测。

总之，这个技术的研究具备广泛的前景，拥有很大的实用价值。

5、根据选题所要完成的工作和预期成果及成果形式所要完成的论文工作:1、理论工作（1）获得摄像机内外参数为获得真实的三维场景与视频序列的映射关系正确，必须首先求解出摄像机的内外参数，实现摄像机自定标。

另外，为提高准确性，也利用了真实场景中已存直线、平面的特殊的位置关系作为约束条件，估计单应性矩阵。

（2）人体检测算法针对视频图像的噪声和背景问题，经过定标的摄像机系统应可以完成对人体的检测，通过背景差等方法抽出身体图像，使用一个矩形框对其标定。

这个算法中应该包含比例分割、部位确定和模型区域匹配功能。

（3）运动跟踪算法为定量把握人的动作，引入表示身体结构与位置/姿势的模型。

对于从图像中所抽出的身体图像，通过匹配身体结构模型来决定位置与姿势。

从连续图像间的变化可以推断位置/姿势的变化。

（4）运动识别算法作为动作的识别方法，可采取隐马尔科夫模型和运动动作进行识别的研究，同时也提出了对模式识别方法扩展后得到的一些方法。

然而，由于运动图像的信息量大，对捕捉特征要求高，故多采取跟踪方法。

一般而言，对于线性系统，总能通过推理的方式实现运动分析，例如线性动态模型的卡尔曼滤波方法。

2、系统实现（1）利用视频实现人体检测，在复杂背景中分离人体及人体区域匹配（2）建立人体模型，本项目采取多关节的刚体模型，配合蒙皮骨骼动画实现运动捕捉（3）以XNA和托管Direct 3D作为开发工具，实现运动动画计算机模拟（4）运用matlab进行模式识别研究并在系统中实现模式识别功能（5）实现远程控制云台的硬件平台及其软件控制本课题最终成果如下：建立一个运动识别系统，该系统可以对人体进行跟踪检测，并有效识别待测人体项目完成后发表核心期刊水平以上论文一篇，内容具体涉及本项目的实施过程中遇到的各种问题及解决方案，以及项目的更进一步的发展展望和项目意义。

同时，拟申请专利一项。

6、拟采用的研究方案和要解决的关键技术问题（一）项目内容及具体方案（1）基本工作原理本系统总体思路为，首先通过双目视觉系统采集两个二维视频流，在经过简单预处理后，对优化后的二维视频流进行特征判定。

特征判定后将这些特征数据对比与标准人体模型在系统中重建一个三维动态人体模型，通过识别其预先存在与否决定输出匹配信息或继续学习，最后完成整个系统功能。