下载文档原格式
基于Kinect的人体姿态识别与跟踪系统设计人体姿态识别与跟踪系统在计算机视觉领域具有广泛的应用前景。
基于Kinect的人体姿态识别与跟踪系统设计是一项复杂而有挑战性的任务。
本文将讨论该系统的设计原理、关键技术和实现方法。
首先，基于Kinect的人体姿态识别与跟踪系统的设计是基于深度图像和彩色图像的融合。
Kinect传感器能够同时获取人体的深度信息和彩色图像，这为人体姿态的识别和跟踪提供了更加可靠的数据来源。
其次，关键技术之一是深度图像的处理和分析。
深度图像是基于红外线技术获取的，能够准确地测量物体和人体的距离信息。
通过对深度图像进行处理和分析，可以得到人体的关节位置和姿态信息。
常用的技术包括深度图像的滤波、分割、几何特征提取和关节位置计算等。
另一个关键技术是彩色图像的处理和分析。
彩色图像可以提供更多的纹理和细节信息，对于人体姿态的识别和跟踪也起到重要的作用。
通过对彩色图像进行处理和分析，可以得到人体的皮肤检测、形状分析、纹理特征提取等信息，以辅助人体姿态的识别和跟踪。
在人体姿态的识别和跟踪中，关节的检测和定位是一个关键的步骤。
Kinect的传感器可以获取人体的关节位置信息，但由于深度图像的噪声和模糊，导致关节位置的准确度有限。
因此，需要采用一些算法和方法来提高关节位置的精度。
例如，通过滤波算法可以降低噪声，而通过模型拟合算法可以提高关节的准确度。
此外，为了实现实时的人体姿态识别和跟踪，需要考虑系统的性能和效率。
Kinect的传感器可以在较快的频率下获取图像和深度信息，但在实际应用中，需要通过优化算法和并行计算等技术来提高系统的运行速度和效率。
例如，可以通过多线程编程和GPU加速等技术来实现并行计算，从而提高系统的实时性。
最后，基于Kinect的人体姿态识别与跟踪系统的设计还需要考虑用户交互的问题。
传统的人机交互方式主要通过键盘、鼠标等输入设备实现，而基于Kinect的人体姿态识别与跟踪系统可以通过识别和跟踪用户的动作和姿态来实现更自然、直观的交互方式。
• 131•我国机器人产业正处于蓬勃发展的状态，中国已成为机器人应用的最大市场。
以机械臂为代表的工业机器人已大量应用于生产一线。
随着机器人应用不断深入，具有良好交互性的仿人机器人需求前景广阔。
本项目采用Kinect体感器作为图像采集单元，利用体感技术实现人外形轮廓建模及肢体空间坐标定位，实现人体的全动作采集建模。
采用17自由度仿人机器人Roboy为执行平台，接受控制指令实现人体动作跟随。
本方案可以使机器人能够精准的进行人体动作的同步跟随，克服了遥控器、按钮、操作手柄等繁杂的控制系统，实现更好的人机交互性能。
1 引言本项目主要研究利用体感技术实现人的肢体动作精准控制一个17自由度的机器人，以ROBY人形机器人为载体，用Kinect体感器捕捉人的肢体动作，运行上位机，将人的动作解析，通过无线串口发送给机器人，单片机接收到信号并直接控制机器人，使机器人对人体工作进行精准的同步跟随。
通过体感控制机器人，解决了传统机器人机械性的按程序执行动作和克服了遥控器、按钮、操作手柄等繁杂的控制系统，可以大大的提高机器人动作的精准度和执行任务时的灵活度。
2 Kinect数据采集及机器人控制简述2.1 Kinect体感器工作原理Kinect其实是一种3D体感传感器，它兼有动态捕捉，影像识别，人脸识别，语音识别，人机互动等功能。
用户可以做出体感动作通过Kinect对游戏中的角色进行实时的控制，实现较高层次的人机互动，同时还可以通过互联网分享信息和图片给其他玩家等。
其中，摄像头起到了很大的作用，它负责捕捉人肢体的动作，并转换成相应的标数据，然后把这些数据发送到电脑。
工程师就可以通过这些数据去设计程序，识别、分析这些动作，从而达到想要的目的。
Kinect摄像头一秒可以捕捉30次人体的动作。
PS1080芯片是Kinect的核心部件，它由PrimeSense公司所提供，通过它就可以实现对红外光源投射激光散斑进行控制和通过对图像编码并采集编码后的红外光谱计算得到场景深度信息，同时也可以对深度数据进行解析得到用户关节点信息。
基于Kinect骨骼信息的机械臂体感交互系统的设计与实现林海波;梅为林;张毅;罗元【摘要】In the paper we present a robot arm somatosensory interaction manner based on the human skeletal information. First, we use Kinect sensor to capture image depth of field data, and deal with the data by skeletal tracking technology to match various parts of the human body followed by further establishing the 3D coordinates of every joint of human body. Then, we utilise the 3D coordinates to calculate the rotation angle of human waist, shoulder, elbow and wrist joints. These four joints of human body are in one-to-one correspondence with the four joints of 4-DOF robot arm. Finally, we transform the calculation results to control commands and sent them to controller of the robot arm by serial ports to realise somatosensory interaction. Experimental results show that the method can effectively control the robot arm to rotate and grab objects.%提出一种基于人体骨骼信息的机械臂体感交互方式.首先利用Kinect传感器获取图像景深数据,并通过骨骼追踪技术处理景深数据,以匹配人体的各个部分,进而建立人体各个关节的3D坐标.然后利用3D坐标值计算出入体腰、肩、肘和腕4个关节的转动角度,人体的这4个关节与四自由度机械臂的4个关节一一对应.最后将计算结果转换成控制指令通过串口发送给机械臂的控制器,实现体感交互.实验表明,该方法能够有效地控制机械臂的转动以及抓取物件.【期刊名称】《计算机应用与软件》【年(卷),期】2013(030)002【总页数】5页(P157-160,176)【关键词】Kinect;骨骼信息;机械臂【作者】林海波;梅为林;张毅;罗元【作者单位】重庆邮电大学国家信息无障碍工程研发中心智能系统及机器人研究所重庆400065【正文语种】中文【中图分类】TP3190 引言为了给老年人和残障人士提供性能优越的操作工具，帮助他们提高行动自由度，许多国家对移动机器人进行了研究[1]。
毕业设计论文基于Kinect的人机交互系统设计摘要随着技术的不断进步，人机交互的方式也越来越先进，通过肢体动作来操作计算机和游戏机已经成为现实。
自从微软推出Kinect体感外设以来，自然的人机交互成为当前的研究热点，通过Kinect外设，可以解除人们受键盘、鼠标等传统交互方式的束缚，具有重要的意义。
本论文介绍的就是基于Kinect的人机交互的程序设计。
本设计通过Kinect的骨骼跟踪接口，自定义动作，如手臂平伸，手臂前伸，手臂上举等，触发事件后映射为键盘事件，达到操作应用程序的目的。
使用者可以选择被控制的对象程序。
为了防止他人干扰操作，本程序默认只追踪离Kinect传感器最近的人。
本设计的程序可以让使用者通过手臂动作操作俄罗斯方块、播放PPT、控制音乐播放器、控制视频播放器。
未来还可以扩展其他基于键盘控制的程序的操作。
关键词：Kinect 人机交互骨骼跟踪The Design of Man-machine Interaction SystemBased on KinectABSTRACTAs technology continues to progress, human-machine interaction is more and more advanced, and body movements to operate computers and game consoles has become a reality.This paper will introduce a program of Kinect-based human-machine interaction design.Since Microsoft launched Kinect somatosensory peripheral,natural human-computer interaction has become a research hotspot.People can lift their shackles of traditional interact such as keyboard, mouse, and others through the Kinect peripheral, and this will be a important significance.This design achieve the purpose of operating applications through Kinect's skeleton tracking interface,such as stretch your arms,reach your arms,and uplift your arms.custom actions and an triggered event which is mapped to keyboard event.The user can select the object of control program.In order to prevent the interference of other people, this design procedures only tracks the people who is nearest to the Kinect sensor.The program of this design allows the user to operate Tetris, Powerpoint,music and video player.It can be extended to other keyboard-based control programs operating in the future.Key Words: Kinect Human-machine interaction Skeleton tracking目录第一章引言 (1)1.1 选题理由 (1)1.2 自然人机交互技术的发展 (1)1.3 国内外发展情况 (1)1.4 你就是控制器 (2)1.5 Kinect的应用 (2)1.6 需求分析 (3)第二章认识Kinect (4)2.1 两款Kinect对比 (4)2.2 Kinect的硬件组成 (5)2.2.1 Kinect的“心脏”——PS1080 SoC (6)2.2.2 Kinect的“三只眼”——投影仪和两个摄像头 (8)2.2.3 Kinect的“四只耳朵”——麦克风阵列 (9)2.3 Kinect相关的技术规格 (10)2.4 Kinect工作原理 (11)2.4.1 Kinect for Xbox360的产品设计 (11)2.4.2基于“管道”的系统架构 (12)第三章总体设计 (14)3.1 软件概述 (14)3.2 软件用户群 (14)3.3 软件功能 (14)3.4 运行环境 (14)3.5 开发环境 (15)3.6 软件框架图 (15)3.7 软件各模块设计 (15)3.7.1 初始化窗口 (15)3.7.2 注册Kinect变化事件 (15)3.7.3 骨骼事件处理 (16)第四章详细设计与算法分析 (17)4.1 初始化相关模块 (17)4.1.1 定义变量 (17)4.1.2 Window_Loaded窗口载入事件 (17)4.2 注册Kinect变化事件 (17)4.2.1 事件方法主体 (17)4.2.2 事件方法中引用的方法 (17)4.3 骨骼事件处理 (18)4.3.1 隐藏骨骼跟踪提示标签 (18)4.3.2 判断窗口是否关闭中 (18)4.3.3 获取最近的骨骼跟踪跟踪实例 (18)4.3.4 判断获取的距离Kinect最近的骨骼跟踪实例 (18)4.3.5 提示用户可以进行应用程序控制 (18)4.3.6 判断Kinect的控制对象 (19)4.3.7 定义判断骨骼跟踪事件的阈值 (19)4.3.8 控制俄罗斯方块的方法 (19)4.3.9 控制PPT播放的方法 (22)4.3.10 控制音乐播放器的方法 (24)4.3.11 控制视频播放器的方法 (27)4.3.12 模拟键盘输入工具类 (29)4.3.13 窗口关闭方法 (30)第五章软件测试 (31)5.1 Kinect控制俄罗斯方块的测试 (31)5.1.1 骨骼跟踪图 (31)5.1.2 运行结果 (31)5.2 Kinect控制PPT播放的测试 (33)5.2.1 骨骼跟踪图 (33)5.2.2 运行结果 (33)5.3 Kinect控制音乐播放器的测试 (34)5.3.1 骨骼跟踪图 (34)5.3.2 运行结果 (34)5.4 Kinect控制视频播放器的测试 (35)5.4.1 骨骼跟踪图 (35)5.4.2 运行结果 (35)第六章总结与展望 (37)6.1 总结 (37)6.2 展望 (37)参考文献 (40)附录 (41)致谢 (48)第一章引言1.1 选题理由人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。
人机交互机器人技术的设计与开发教程在当代科技迅速发展的时代，人机交互机器人技术正逐渐渗透到我们的日常生活中，为我们的工作和生活带来了诸多便利。
设计和开发人机交互机器人的过程涉及到多方面的技术与知识，本文将介绍人机交互机器人技术的设计与开发教程，帮助读者了解其中的原理和方法。
一、人机交互机器人技术概述人机交互机器人技术是指机器人与人类之间进行信息交流、理解和处理的技术。
它涉及到多个领域的知识与技术，包括机器视觉、自然语言处理、语音识别与合成、运动控制等等。
人机交互机器人的设计与开发需要综合运用这些技术，以实现智能化的机器人系统。
二、人机交互机器人技术的设计与开发流程1. 确定需求和目标：在设计和开发人机交互机器人之前，首先需要明确需求和目标，即机器人需要完成的任务和提供的服务。
例如，可以设计一个语音助手机器人，用于语音控制家电设备。
根据不同的需求和目标，选择适合的技术和方法。
2. 硬件选型和搭建：根据设计需求和目标，选择合适的硬件平台和模块来构建机器人系统。
一般来说，机器人的基本组成部分包括主机、传感器、执行器等。
根据实际情况，可以选择使用单板计算机、摄像头、麦克风等硬件设备。
3. 编程和算法设计：机器人的人机交互功能需要编程和算法的支持。
根据具体的硬件平台和需求，选择适合的编程语言和开发环境进行编程开发。
常用的编程语言包括Python、C++等。
根据任务需求，设计相应的算法，如语音识别算法、图像处理算法等。
4. 传感器数据采集与处理：人机交互机器人需要通过传感器获取环境信息，对数据进行采集和处理。
根据机器人的任务，可以选择适合的传感器，如摄像头、麦克风等。
通过编程实现传感器数据的采集与处理，获取所需的信息。
5. 人机交互界面设计：机器人与人类之间的信息交流需要一个合适的界面。
根据具体需求，设计用户友好的交互界面，如语音识别界面、图形界面等。
通过合适的界面，让用户能够方便地与机器人进行交互。
6. 系统测试与优化：机器人的设计与开发完成后，进行系统测试与优化是必不可少的一步。
基于kinect的自然人机交互系统的设计与实
现
简介：
本文介绍了一种基于Kinect的自然人机交互系统的设计和实现。
该系统使用Kinect作为输入设备，通过识别人类的姿势和动作，实现了自然的人机交互。
该系统可以应用于游戏、教育、医疗等领域，可以提高用户的交互体验。
设计：
该系统的设计主要包括三个部分：图像处理、人体姿态识别和人机交互控制。
1. 图像处理
该部分的主要任务是对图像进行预处理，以提高人体姿态识别的准确性。
常用的图像处理技术包括去噪、平滑、增强等。
2. 人体姿态识别
该部分的主要任务是通过Kinect获取人体所处的空间位置和姿态信息，并将其转换为计算机可以识别的数据。
常用的人体姿态识别算法包括SVM、Adaboost、神经网络等。
3. 人机交互控制
该部分的主要任务是将识别到的姿态和动作转换为计算机命令，以实现自然的人机交互。
常用的人机交互控制技术包括手势识别、语音识别、头部追踪等。
实现：
该系统的实现主要包括以下步骤：
1. 使用Kinect获取人体姿态信息，并进行图像预处理。
2. 使用OpenNI、NITE等软件库，对人体姿态进行识别和分析。
3. 将识别得到的姿态转换为命令，并发送给计算机。
4. 根据命令，控制计算机实现相应的功能。
结论：
基于Kinect的自然人机交互系统可以实现自然的人机交互，提
高用户的交互体验，具有广泛的应用前景。
同时，该系统还存在一些
问题，如姿态识别的准确性、响应时间等，需要进一步的研究和改进。
《基于Kinect的手势识别与机器人控制技术研究》篇一一、引言随着人工智能技术的不断发展，人机交互技术已成为研究热点之一。
其中，基于Kinect的手势识别技术因其高精度、实时性和自然性等特点，在人机交互领域具有广泛的应用前景。
同时，机器人控制技术也在不断进步，为机器人与人类更加自然、智能地交互提供了可能。
因此，本研究将探讨基于Kinect的手势识别与机器人控制技术的结合，以实现更高效、便捷的人机交互体验。
二、Kinect手势识别技术Kinect是一种由微软开发的三维动作捕捉和语音识别系统，能够实时捕捉人体动作和语音信息。
基于Kinect的手势识别技术通过捕捉人体手势信息，对不同手势进行分类和识别，从而实现人机交互。
2.1 Kinect手势数据采集在Kinect手势识别过程中，首先需要采集手势数据。
Kinect 通过红外线传感器和深度相机等设备，实时捕捉人体动作信息，包括骨骼点信息、颜色信息等。
这些数据将被用于后续的手势识别和处理。
2.2 手势特征提取与分类在手势特征提取方面，可以通过分析骨骼点信息、颜色信息等特征，提取出手势的关键特征。
然后，利用机器学习算法对不同手势进行分类和识别。
常用的机器学习算法包括支持向量机、神经网络等。
2.3 手势识别的应用场景基于Kinect的手势识别技术可以应用于多个领域，如游戏控制、智能家居、虚拟现实等。
在游戏控制中，玩家可以通过手势控制游戏角色，实现更加自然、便捷的操作体验。
在智能家居中，用户可以通过手势控制家居设备的开关、调节等操作。
在虚拟现实中，手势识别技术可以实现更加自然、真实的交互体验。
三、机器人控制技术机器人控制技术是实现机器人与人类自然、智能交互的关键技术。
通过机器人控制技术，可以实现机器人的自主导航、语音识别、手势识别等功能。
3.1 机器人控制系统的架构机器人控制系统通常由传感器、控制器和执行器等部分组成。
传感器用于获取环境信息和机器人自身的状态信息，控制器根据传感器信息做出决策并控制执行器执行相应的动作。
《基于Kinect的手势识别与机器人控制技术研究》篇一一、引言随着人工智能技术的不断发展，人机交互技术已成为研究热点之一。
其中，基于Kinect的手势识别技术因其高精度、实时性和自然性成为了重要的人机交互方式。
同时，机器人控制技术也在不断进步，如何将手势识别技术应用于机器人控制，提高机器人的智能化水平，已成为研究的重要方向。
本文旨在研究基于Kinect的手势识别与机器人控制技术，探索其应用前景和实现方法。
二、Kinect手势识别技术Kinect是一种常用的深度传感器，能够通过捕捉人体运动信息来实现手势识别。
基于Kinect的手势识别技术主要包括以下几个步骤：1. 数据采集：通过Kinect传感器捕捉人体运动信息，包括骨骼数据、颜色信息和深度信息等。
2. 数据预处理：对采集到的数据进行预处理，如去除噪声、平滑处理等，以提高数据的准确性和可靠性。
3. 特征提取：从预处理后的数据中提取出与手势相关的特征，如手势的形状、速度、加速度等。
4. 模式识别：采用模式识别算法对提取出的特征进行分类和识别，实现手势的分类和识别。
三、机器人控制技术机器人控制技术是实现机器人运动和行为的关键技术。
基于Kinect的手势识别技术可以应用于机器人控制，实现机器人的智能化控制。
机器人控制技术主要包括以下几个方面的内容：1. 运动规划：根据机器人的任务需求，制定合理的运动轨迹和姿态。
2. 控制算法：采用控制算法对机器人的运动进行控制和调节，保证机器人的稳定性和精度。
3. 传感器融合：将多种传感器信息进行融合，提高机器人的感知能力和反应速度。
四、基于Kinect的手势识别与机器人控制技术的研究基于Kinect的手势识别与机器人控制技术的结合，可以实现人机自然交互，提高机器人的智能化水平。
具体实现方法包括：1. 构建系统框架：搭建基于Kinect的手势识别系统，将手势识别结果传输给机器人控制系统。
2. 训练模型：采用机器学习算法对手势识别模型进行训练和优化，提高识别的准确性和实时性。
《基于Kinect的手势识别与机器人控制技术研究》篇一一、引言随着人工智能技术的快速发展，人机交互技术已经成为人们日常生活中不可或缺的一部分。
其中，基于Kinect的手势识别与机器人控制技术以其高效、自然的人机交互方式，逐渐受到广泛关注。
本文旨在探讨基于Kinect的手势识别技术及其在机器人控制领域的应用，以期为相关研究提供参考。
二、Kinect技术概述Kinect是微软公司开发的一款体感摄像头，能够捕捉人体动作、姿态、手势等信息，并将其转化为计算机可识别的数据。
Kinect技术具有高精度、实时性、非接触性等特点，为手势识别与机器人控制提供了可能。
三、手势识别技术研究1. 数据采集与预处理通过Kinect设备采集人体动作数据，对数据进行去噪、平滑等预处理操作，以提高手势识别的准确性。
2. 特征提取与分类根据预处理后的数据，提取出手势的特征信息，如关节点位置、运动轨迹等。
利用机器学习算法对特征进行分类，实现手势的识别与分类。
3. 算法优化与改进针对不同场景和需求，对手势识别算法进行优化与改进，如基于深度学习的手势识别算法、基于概率统计的手势识别算法等，提高识别的准确性和实时性。
四、机器人控制技术研究1. 机器人控制系统设计根据应用场景和需求，设计合适的机器人控制系统。
控制系统应包括硬件设备、传感器、执行器等，实现机器人的运动控制、姿态调整等功能。
2. 手势与机器人动作映射关系建立将手势识别结果与机器人动作进行映射关系建立，实现手势对机器人动作的直接控制。
例如，通过挥手、指向等手势控制机器人的运动方向、速度等。
3. 机器人行为规划与决策在机器人控制过程中，需要根据实际情况进行行为规划与决策。
例如，在遇到障碍物时，机器人应能够自主规划路径，避免碰撞；在完成某项任务时，根据任务需求进行动作规划与执行。
五、应用场景分析基于Kinect的手势识别与机器人控制技术在多个领域具有广泛应用。
如：在教育领域，可用于辅助教学、学生互动等；在医疗康复领域，可用于帮助患者进行康复训练、辅助医生进行手术操作等；在娱乐领域，可用于游戏控制、虚拟现实等。
QU基于Kinect 的救援机器人系统设计俞镇洋摘 要 本次设计采用STM32单片机为下位机，配合救援机器人的机械结构、关节角度变化识别模块、移动模块和执 行模块构成了救援机器人平台的硬件控制系统，并对上位机及检测模块、移动模块和执行模块进行软件设计，构成了救援机器人平台的软件控制系统.在WPF 环境下设计了上位机用户端，实现了远程界面对救援机器人的控制功能.实 验结果表明，该机构设计与控制系统具有良好的稳定性.关键词 救援机器人;STM32 ;控制系统;软件设计;WPF 中图分类号G2 文献标识码A文章编号1674-6708 ( 2020 ) 250-0124-05当今世界各地自然灾害频繁发生，地震、泥石 流、海啸等灾难不断皿。
灾难事故发生后，现场建 筑结构坍塌，导致地形环境发生巨大变化，空间狭 小不稳定，严重威胁着人类安全和社会稳定。
许多 遇难者因得不到及时的救援而失去宝贵的生命，因 此救援人员如何快速高效的开展救援工作关系着被 困人员的生命安全［2］ o 随着社会科技水平不断进步，机器人在人类的生活中扮演的角色越来越重要，而 以科学技术和高新产业为基础，现代社会已然成为 一个科技社会，在科技的催产下，机器越来越智能 化和自动化。
机器人的触手已然伸入我们的工作和 生活的各个角落，侦察、探测、救援、生产等各个 方面都可以见到它们的身影，在这些我们无法触及 和高难度的情况下，它们可以提供帮助，助人类一 臂之力，它们加速着社会的发展。
将机器人技术应用到救援中已成为常态，救援机器人可代替工作人 员去面对危险，减少伤亡閃。
但传统的救援机器人通常需要技术人员在救援装置里操作机器的运转和 现场破坏程度的检查，这些情况会导致救援行动充 满不确定性，或者造成二次伤亡等。
本文设计了一种基于Kinect 的体感救援机器 人，对发生灾难的区域能代替人来进行探测救援， 以具有越障能力的履带车作为移动平台，能对复杂 地形有很好的适应性，机械臂作为实现远程手部动 作的直接载体，使用Kinect 体感传感器将人的手 臂动作以机械臂的运动展现出来，可远程操控，减 少二次伤亡，提高工作效率等优点⑷。
• 159•基于kinect体感控制机器人设计与实现桂林电子科技大学 谭花花【摘要】针对体感技术，本文将提出一套关于kinect体感设备的机器人控制系统。
该系统采用kinect体感设备通过摄像头和红外发射器捕捉人体的动作信息，通过PC机对所获取到的动作信息做算法处理得到骨骼跟踪的关节点，通过骨骼空间坐标映射转化到屏幕坐标，PC机又通过无线串口将手势动作信息传输到MCU的主机设备操作机器人响应手势动作，使机器人保持与人体手势同步。
本作品操作简单便捷，支持个性化体感操作，形成了全新的用户体验。
【关键词】人机交互；Kinect；MCU；机器人引言在人类迅速进步的现在，计算机所表现出来的形态越来越繁多，所具备的功能也越来越强大。
随着现在摄像头技术的不断进步，计算算法越发的强大。
目前体感交互式技术也得到了广泛应用。
本文根据实际应用需求设计了一种采用kinect体感设备通过摄像头和红外发射器捕捉人体的动作信息通过PC机操控的机器人。
1.本项目总体设计方案基于Kinect的体感控制机器人系统主要如下几个部分组成。
第一部分为Kinect对人体图像的捕捉以及捕捉后的算法处理，第二部分为将捕捉处理的数据通过电脑串口发送到无线模块的主机，第三部分是无线模块从机接收到主机发过来的数据传输到MCU上，MCU通过获得的数据表现为驱动电机后机器人的运动状态。
系统整体设计框图如图1.1所示。
图1.1 系统整体设计框图动作2.kinect体感控制机器人的硬件电路设计微控制器：MCU采用STM32RBT6它是ST公司推出的一款控制器，采用了Cortex-M3的内核，使用目前主流ARM V7-M的架构，拥有低功耗、低成本、高性能三大特点。
电源：电源供电电路的设计需要综合每一个芯片或模块的工作电压，本系统硬件主要有三个需要考虑，主控制器STM32RBT6、ESP8266模块和舵机。
STM32RBT6输入电源电压范围2.0 - 3.6V，ESP8266的输入电源电压范围为3.0 - 3.6V，舵机的输入电源电压范围为3.5 - 6.0V。
图片简介:本技术涉及一种基于Kinect的机器人人机交互系统及方法，系统包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人；首先通过Kinect信息采集模块，将图像数据流和音频数据流传递给人机交互模块，通过人机交互模块的语音/文字提示引导用户选择不同的控制模式，进而调用不同的控制模块，实现对机器人的操控。
本技术综合体感、声音、手势多种交互方式，可实现对机器人的运动控制，代替人工在非结构化场景中进行作业，提高机器人的作业能力和智能水平。
技术要求1.一种基于Kinect的机器人人机交互系统，其特征在于，包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人；Kinect信息采集模块利用Kinect三维传感器，获取图像数据流及语音数据流；通过人机交互模块选择不同的控制模式，调用姿态控制模块或语音控制模块；姿态控制模块基于图像数据，根据人体姿态控制机器人机械臂运动；语音控制模块基于语音数据，实现语音指令的识别，控制机器人进行相应动作。
2.根据权利要求1所述的基于Kinect的机器人人机交互系统，其特征在于，人机交互模块提示用户选择控制模式，包括语音提示和文字提示。
3.一种基于权利要求1所述基于Kinect的机器人人机交互系统的人机交互方法，其特征在于，包括以下步骤：利用Kinect三维传感器，获取图像数据流及语音数据流；基于图像数据，根据人体姿态控制机器人机械臂运动；基于语音数据处理结果，实现语音指令的识别，控制机器人进行相应动作；通过人机交互模块的语音/文字提示选择不同的控制模式，调用不同的控制模块，实现人机交互。
4.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，利用Kinect三维传感器，获取多种图像数据信息流及语音信息流，具体为：步骤1-1、利用Kinect三维传感器的深度摄像头直接获取深度图像，利用Kinect三维传感器的麦克风阵列对语音进行捕获；步骤1-2、将图像数据流和音频数据流放入缓冲区。
5.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，基于图像数据，根据人体姿态控制机器人机械臂运动，具体为：步骤2-1、对图像数据流进行处理，通过Kinect深度图像处理方法获取人体索引信息，提取操作者手势状态信息和关节点信息；步骤2-2、建立人体姿态——机器人映射关系模型；步骤2-3、建立关节角度值的滤波算法，使用滤波算法得到的角度代替关节角度；步骤2-4、将步骤2-3得到的目标关节角度通过TCP/IP协议发送给机器人控制箱，同时机器人控制箱返回机器人的机器人关节状态信息、电气参数信息，所述机器人关节状态信息包括机器人各关节的实时角度、角速度，电气参数信息包括机器人各关节的实时电流、温度；步骤2-5、机器人控制箱解算收到的控制指令，实现机器人的跟随运动。
6.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，步骤2-2中建立人体姿态——机器人映射关系模型，具体为：基于UR机器人建立映射关系模型，其中UR机器人的关节包括机座、肩膀、手肘、手腕1、手腕2和手腕3；选取步骤2-1提取的关节点信息中的左肩、右肩、右肘、右腕、右指尖以及左右手的手势；通过所选的5个关节点求解得到人体的腰关节转动角度、右肩关节转动角度、右肘关节转动角度、右腕关节转动角度1、右腕关节转动角度2；表1为映射关系；表1：具体映射关系设选取关节由左肩关节J1(x1,y1,z1)、右肩关节J2(x2,y2,z2)、右肘关节J3(x3,y3,z3)、右腕关节J4(x4,y4,z4)、右指尖关节J5(x5,y5,z5)表示；(1)腰关节转动角度(θ1)，具体如下：腰关节转动角度(θ1)通过左肩关节J1(x1,y1,z1)和右肩关节J2(x2,y2,z2)的坐标关系求得；将两关节点所成的直线J1J2投影至xOz平面得到直线l1,得到l1与x轴的夹角θ1,θ1即为腰关节转动角度：其中x2≠x1 (1)(2)右肩关节转动角度(θ2)，具体如下：右肩关节转动角度(θ2)通过右肩关节J2(x2,y2,z2)和右肘关节J3(x3,y3,z3)的坐标关系求得；将直线J2J3投影至xOy平面得到直线l2,直线l2的斜率为k2,l2与x轴的夹角θ2即为肩关节转动角度：其中x3≠x2 (2)(3)右肘关节转动角度(θ3)，具体如下：求解右肘关节转动角度(θ3)，首先将直线J3J4投影至xOy平面得到直线l3,直线l3的斜率为k3,直线l3与直线l2的夹角θ3即为肘关节转动角度：(4)右腕关节转动角度1、2(θ4,θ5)，具体如下：求解右腕关节转动角度1、2(θ4,θ5)，直线J3J4与直线J4J5的夹角α在xOy平面的投影即为θ4,夹角α在xOz平面的投影即为θ5；θ4的求解在xOy平面中，直线J3J4在xOy平面中的投影为l3,直线l3的斜率为k3,直线J4J5在xOy平面中的投影为l4,直线l4的斜率为k4,直线l4与直线l3的夹角θ4即为腕关节转动角度1；θ5的求解在xOz平面中，直线J3J4在xOz平面中的投影为l'3,直线l'3的斜率为k'3,直线J4J5在xOz平面中的投影为l'4,直线l'4的斜率为k'4,直线l'4与直线l'3的夹角θ5即为腕关节转动角度2：(5)手势信息基于右手手势信息控制末端执行器，右手张开控制末端手抓张开，右手闭合控制末端手抓闭合；左手手势信息系统运行/停止，左手张开控制系统运行，左手闭合控制系统暂停运行。
7.根据权利要求6所述的基于Kinect的机器人人机交互方法，其特征在于，步骤2-3，建立关节角度值的滤波算法，使用滤波算法得到角度代替步骤2-2中得到的关节角度；具体包括以下步骤：给步骤2-2中得到的关节角度建立一个固定长度的关节角度队列；在队列中把当前时刻的关节角度值与前一时刻的值相减；如果差值小于设定的阈值，则该时刻的关节角度值进入队列尾，同时队列头的数据移出队列；否则，该时刻的关节角度值用上一时刻的值代替，而后进入队列尾，队列头的数据同时移出队列；队列中的关节角度按进入队列时刻的先后分配权重，先进入队列的角度值权重小，后进入队列的角度权重大，根据权重求出该关节的角度平均值Y：其中，Xn是当前时刻的角度值，P1是Xn的权重，Xn-1是前一时刻的角度值，P2是Xn-1的权重，Xn-2是前两个时刻的角度值，P3是Xn-2的权重，Xn-3是前三个时刻的角度值，P4是Xn-3的权重。
8.根据权利要求7所述的基于Kinect的机器人人机交互方法，其特征在于，基于语音数据处理结果，实现语音指令的识别，控制机器人进行相应动作，具体为：步骤3-1、使用Kinect for Windows SDK中的Kinect Audio Source对象从Kinect的麦克风阵列中提取通过降噪、自动增益控制、回声抑制方式处理的音频数据流，然后设定一个存有控制命令对象，该对象由控制命令的语句构成，通过在对象中查找的结果识别出用户的命令；步骤3-2、对步骤3-1中的控制命令语句设置对应的机械臂控制指令和对应的人机交互操作指令；步骤3-3、若步骤3-1中解算出的命令与控制命令匹配成功则将对应的操作指令发送给控制程序并实现相应功能；若未匹配成功则结束本次模块的运行。
9.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，通过人机交互模块的语音/文字提示选择不同的控制模式，调用不同的控制模块，实现人机交互，具体为：步骤4-1、设计整体的人机交互系统界面，包括姿态/语音模式选择、语音/文字提示、机器人实时关节姿态显示、Kinect人体实时关节姿态显示、机器人实时电气参数监控界面；步骤4-2、通过调用语音控制模块，识别用户的模式控制需求并进入相应模式进行机器人控制，同时分别在三个窗口可视化机器人关节状态信息、电气参数信息以及人体关节点信息。
技术说明书基于Kinect的机器人人机交互系统及方法技术领域本技术属于机器人技术领域，具体涉及一种基于Kinect的机器人人机交互系统及方法。
背景技术随着人与计算机的交互越来越频繁，语音识别、手势交互、虚拟现实、体感控制等多种新型人机交互技术取得突破，人机交互方式越来越自然、直观和简单。
Kinect是一种体感设备，基于深度场景分割和骨骼拟合技术，实现对人体的检测追踪。
其非接触式的体感操作方式，在虚拟现实、医学、机器人等众多领域掀起了人机交互研究的热潮，例如：3D虚拟试衣镜、浏览医疗图像的Osirix PACS系统等。
随着机器人技术的快速发展，机器人在人们日常生活中发挥着越来越重要的作用，广泛地应用于国防、工业、医疗等领域，对于提高劳动效率，减轻工人劳动强度具有重要意义。
但在面对救灾、危险品处理、深海勘探，空间实验等一些复杂且危险的作业环境，传统的机器人控制方式大多通过设定程序自主运作或者依赖于操纵杆，操作繁琐，灵活性差。
技术内容本技术的目的在于提供一种基于Kinect的机器人人机交互系统及方法，综合体感、声音、手势多种交互方式，可实现对机器人的运动控制，代替人工在非结构化场景中进行作业，提高机器人的作业能力和智能水平。
实现本技术目的的技术方案为：一种基于Kinect的机器人人机交互系统，包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人；Kinect信息采集模块利用Kinect三维传感器，获取图像数据流及语音数据流；通过人机交互模块选择不同的控制模式，调用姿态控制模块或语音控制模块；姿态控制模块基于图像数据，根据人体姿态控制机器人机械臂运动；语音控制模块基于语音数据，实现语音指令的识别，控制机器人进行相应动作。
一种基于Kinect的机器人人机交互方法，包括以下步骤：利用Kinect三维传感器，获取图像数据流及语音数据流；基于图像数据，根据人体姿态控制机器人机械臂运动；基于语音数据处理结果，实现语音指令的识别，控制机器人进行相应动作；通过人机交互模块的语音/文字提示选择不同的控制模式，调用不同的控制模块，实现人机交互。
本技术与现有技术相比，其显著优点为：(1)本技术结合姿态、手势和语音等方式设计的人机交互模块、姿态控制模块和语音模块，可提供更加自然、灵活多样的人机交互方式；(2)本人机交互系统与机器人通信实时性好，机器人运动精度高，采用人机交互的方式可以很好地解决工程实际应用中面临的路径规划避障、防碰撞、目标识别与定位等技术难题，同时能较好地解决技术人员培训时间长、操作方式繁琐且错误率高等实际问题，提高作业效率和开发效率；(3)本技术能够应用于一些需要人机共融、机器人难以自主作业的复杂场景中，如救灾、危险品处理、空间实验、海底勘探等，具有广阔的应用前景。
