基于Kinect的隔空人手键盘输入

基于微软Kinect的手势识别技术研究近年来，随着科技的快速发展，各种智能设备也逐渐普及。

其中，基于微软Kinect的手势识别技术备受关注。

这一技术通过使用Kinect摄像头和深度传感器，可以感知人体的运动姿势和动作，并将其转化为相应的指令，实现对设备的控制。

本文就从技术原理、应用场景及发展趋势等方面进行探讨。

一、技术原理微软Kinect是一款专门用于游戏控制的设备，其核心技术在于3D深度摄像头和红外发射器。

摄像头能够捕捉周围环境的深度信息，而红外发射器则能够检测人体的运动姿势。

其中，深度摄像头通过红外线的反射和接收，可以精确地测量物体距离，将其转化为三维坐标。

而红外发射器则可以发射红外信号，以检测人体在空间中的运动。

基于这一技术，Kinect的手势识别功能应运而生。

通过人体骨架模型的建立和动作捕捉算法，Kinect可以识别人体姿态和动作，并将其转化成计算机能够理解的指令。

例如，向左移动手臂可以控制游戏中的角色向左转动，向前伸手可以控制角色前进等等。

同时，Kinect还支持语音控制和面部表情识别等功能，大大提升了用户的交互体验。

二、应用场景手势识别技术作为一种新兴的交互方式，已经得到了广泛的应用。

除了游戏控制以外，其实际应用场景还包括人机交互、智能家居、虚拟现实等领域。

在人机交互领域，手势识别技术可以被应用于机器人控制、医疗诊断、智能办公等方面。

例如，在智能办公场景中，用户可以通过手势控制电脑的开关、程序的启动以及文档的编辑等操作，提高工作效率。

在智能家居领域，手势识别技术可以被应用于智能家电的控制、家庭安防等方面。

例如，在智能家电方面，用户可以通过手势控制灯光的开关、音响的播放以及电视的切换等操作，提高家居生活的便利程度。

在虚拟现实领域，手势识别技术可以被应用于3D模型设计、游戏控制等方面。

例如，在游戏领域中，用户可以通过手势控制游戏角色的动作和攻击技能，提供更为真实的游戏体验。

三、发展趋势手势识别技术虽然已经取得了很大的进展，但还有很多发展空间。

基于Kinect的人手姿态混合跟踪方法乔体洲;戴树岭【期刊名称】《计算机辅助设计与图形学学报》【年(卷),期】2015(000)004【摘要】In order to track position and orientation of hand and its articulations, we implement a hybrid solution for markerless hand articulation tracking with electromagnetic tracker and visual observations from Kinect. The position tracking of hand uses an electromagnetic tracker, and tracking of 23 DOFs of articulations is treated as an optimization problem which is solved using Particle Swarm Optimization (PSO), and it is essentially the progress of seeking for the hand model parameters that minimize the discrepancy between the hypothesized hand model and actual hand observations. The system input is RGB and depth images from Kinect sensor. This system does not require special markers and is capable to track hand articulations frame by frame. Experiments show that ro-bust 3D tracking of hand articulations can be achieved in 12FPS, and average error is less than 10mm.%为了实现在无标记的情况下不对称地跟踪人手及其所有关节的位置和姿态，提出一种软硬件结合的混合跟踪计算框架，同时使用电磁跟踪器和无标记人手关节姿态分析算法提出基于 CUDA 的异步并行粒子群优化(PSO)加速方法。

毕业设计论文基于Kinect的人机交互系统设计摘要随着技术的不断进步，人机交互的方式也越来越先进，通过肢体动作来操作计算机和游戏机已经成为现实。

自从微软推出Kinect体感外设以来，自然的人机交互成为当前的研究热点，通过Kinect外设，可以解除人们受键盘、鼠标等传统交互方式的束缚，具有重要的意义。

本论文介绍的就是基于Kinect的人机交互的程序设计。

本设计通过Kinect的骨骼跟踪接口，自定义动作，如手臂平伸，手臂前伸，手臂上举等，触发事件后映射为键盘事件，达到操作应用程序的目的。

使用者可以选择被控制的对象程序。

为了防止他人干扰操作，本程序默认只追踪离Kinect传感器最近的人。

本设计的程序可以让使用者通过手臂动作操作俄罗斯方块、播放PPT、控制音乐播放器、控制视频播放器。

未来还可以扩展其他基于键盘控制的程序的操作。

关键词：Kinect 人机交互骨骼跟踪The Design of Man-machine Interaction SystemBased on KinectABSTRACTAs technology continues to progress, human-machine interaction is more and more advanced, and body movements to operate computers and game consoles has become a reality.This paper will introduce a program of Kinect-based human-machine interaction design.Since Microsoft launched Kinect somatosensory peripheral,natural human-computer interaction has become a research hotspot.People can lift their shackles of traditional interact such as keyboard, mouse, and others through the Kinect peripheral, and this will be a important significance.This design achieve the purpose of operating applications through Kinect's skeleton tracking interface,such as stretch your arms,reach your arms,and uplift your arms.custom actions and an triggered event which is mapped to keyboard event.The user can select the object of control program.In order to prevent the interference of other people, this design procedures only tracks the people who is nearest to the Kinect sensor.The program of this design allows the user to operate Tetris, Powerpoint,music and video player.It can be extended to other keyboard-based control programs operating in the future.Key Words: Kinect Human-machine interaction Skeleton tracking目录第一章引言 (1)1.1 选题理由 (1)1.2 自然人机交互技术的发展 (1)1.3 国内外发展情况 (1)1.4 你就是控制器 (2)1.5 Kinect的应用 (2)1.6 需求分析 (3)第二章认识Kinect (4)2.1 两款Kinect对比 (4)2.2 Kinect的硬件组成 (5)2.2.1 Kinect的“心脏”——PS1080 SoC (6)2.2.2 Kinect的“三只眼”——投影仪和两个摄像头 (8)2.2.3 Kinect的“四只耳朵”——麦克风阵列 (9)2.3 Kinect相关的技术规格 (10)2.4 Kinect工作原理 (11)2.4.1 Kinect for Xbox360的产品设计 (11)2.4.2基于“管道”的系统架构 (12)第三章总体设计 (14)3.1 软件概述 (14)3.2 软件用户群 (14)3.3 软件功能 (14)3.4 运行环境 (14)3.5 开发环境 (15)3.6 软件框架图 (15)3.7 软件各模块设计 (15)3.7.1 初始化窗口 (15)3.7.2 注册Kinect变化事件 (15)3.7.3 骨骼事件处理 (16)第四章详细设计与算法分析 (17)4.1 初始化相关模块 (17)4.1.1 定义变量 (17)4.1.2 Window_Loaded窗口载入事件 (17)4.2 注册Kinect变化事件 (17)4.2.1 事件方法主体 (17)4.2.2 事件方法中引用的方法 (17)4.3 骨骼事件处理 (18)4.3.1 隐藏骨骼跟踪提示标签 (18)4.3.2 判断窗口是否关闭中 (18)4.3.3 获取最近的骨骼跟踪跟踪实例 (18)4.3.4 判断获取的距离Kinect最近的骨骼跟踪实例 (18)4.3.5 提示用户可以进行应用程序控制 (18)4.3.6 判断Kinect的控制对象 (19)4.3.7 定义判断骨骼跟踪事件的阈值 (19)4.3.8 控制俄罗斯方块的方法 (19)4.3.9 控制PPT播放的方法 (22)4.3.10 控制音乐播放器的方法 (24)4.3.11 控制视频播放器的方法 (27)4.3.12 模拟键盘输入工具类 (29)4.3.13 窗口关闭方法 (30)第五章软件测试 (31)5.1 Kinect控制俄罗斯方块的测试 (31)5.1.1 骨骼跟踪图 (31)5.1.2 运行结果 (31)5.2 Kinect控制PPT播放的测试 (33)5.2.1 骨骼跟踪图 (33)5.2.2 运行结果 (33)5.3 Kinect控制音乐播放器的测试 (34)5.3.1 骨骼跟踪图 (34)5.3.2 运行结果 (34)5.4 Kinect控制视频播放器的测试 (35)5.4.1 骨骼跟踪图 (35)5.4.2 运行结果 (35)第六章总结与展望 (37)6.1 总结 (37)6.2 展望 (37)参考文献 (40)附录 (41)致谢 (48)第一章引言1.1 选题理由人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。

摘要随着体感技术的发展，以及Kinect，VII体感设备的普及，体感技术和教育领域的结合似乎成为了一种趋势。

但是目前体感技术的教育应用相关性研究在国内还刚刚起步，而且关于手语教学方面的教育软件几乎没有。

为了弥补现今手语教学支持平台的严重缺乏，本研究旨在运用Kinect体感技术改善传统的手语教学中的种种不足，设计出基于Kinect体感技术的手语教学平台并开发出其关键新功能——手语录入和识别，从而能够为目前的手语教学提供支持。

本研究从手语教学系统的设计入手，在全面了解手语教学的形式和内容的基础上设计了本手语教学系统并且对手语教学系统中的核心功能模块进行了程序开发，最后选取了小样本实验人员进行试用和评价，旨在探索体感技术在手语教学方面的潜能。

本论文采用的研究方法主要包括基于设计的研究方法和文献研究法。

研究主要分为三个阶段：第一阶段，前期调研阶段，收集所需资料。

包括手语教学的现状，当前国内手语教学系统的现状以及Kinect体感技术在各个领域特别是在教育领域的应用情况。

第二阶段，手语教学系统设计阶段。

根据前期的调研设计合理的教学系统的各个功能，从而进行相应程序开发。

第三阶段，试用及反馈修改阶段。

选取学生以及工作人员的小样本进行案例及程序试用，在反馈的基础上对案例及程序进行相应改善。

确立基于Kinect的手语教学系统程序。

关键词：手语教学; 体感技术; Kinect; 手语识别AbstractWith the development of the motion-sensing technology, as well as the popularity of Nintendo Vii and Kinect somatosensory devices, the combination of motion-sensing technology and education seems to be a tendency. But currently the application research of motion-sensing technology in education is still at beginning，application software for teaching sign language are not available. In order to meet compensate for the serious lack of today's language teaching support platform, this study aims to use the motion-sensing technology to improve the shortcomings of the traditional language teaching, based on the motion-sensing technology to develop the some new functions to input and recognize the sign language, which can provide support for the current language teaching.Based on the fully comprehensive understanding of the way teaching sign language and the basic requirements of the sign language teaching system, this paper is to design a sign language teaching system. In the end we developed the input and recognition program, then choosing a small sample to test the program for exploring the potential of using motion-sensing technology in the sign language teaching.The research methods of this paper include literature research method, interview method and development method. This Research mainly divided into three stages:The first stage is the prophase research stage, collecting the data, including the present situation of the sign language learning requirements, the current situation of sign language teaching software and device motion-sensing technology application in various areas, especially in the field of education.The second phase is the design of the sign language teaching system. According to the pre-work we has done, I design a good teaching system of each function for the corresponding development based on the previous research.The third stage is the trial and feedback modification stage. Some students or staff are invited to try out the program and the feedbacks are used to improve case and procedures accordingly.Key W ords:sign language teaching; motion-sensing technology; Kinect; sign language recognition目录摘要 (I)Abstract ...................................................................................................................................................................... I I 目录 (i)第1章绪论 (1)1.1研究背景 (1)1.1.1传统手语教学亟需改进 (1)1.1.2动觉模式教育（Kinesthetic learning styles model）逐步发展 (2)1.1.3人机交互技术快速发展 (3)1.1.4问题的提出 (4)1.2国内外研究现状 (5)1.2.1手语教学系统 (5)1.2.2手势识别技术 (6)1.2.3Kinect体感技术 (8)1.3研究内容 (11)1.4研究意义 (11)1.5研究方法 (12)1.6论文安排 (13)第2章相关概念、理论以及技术简介 (14)2.1相关概念的简介 (14)2.1.1手语 (14)2.1.2Kinect体感技术 (15)2.2相关理论对本研究的指导 (18)2.2.1情境认知理论 (18)2.2.2建构主义学习理论 (19)第3章手语教学系统的设计 (22)3.1需求分析 (22)3.1.1功能需求分析 (22)3.1.2性能需求分析 (23)3.2总体设计 (23)3.3管理者功能子系统设计 (25)3.3.1用户及权限管理 (25)3.3.2班级信息管理 (27)3.3.3手语资料库管理 (27)3.4设计者功能子系统设计 (30)3.4.1手语资料库模板编辑 (31)3.4.2手语学习活动管理 (32)3.5学习者功能子系统设计 (32)3.6监控者功能子系统设计 (33)第4章手语教学系统的部分功能实现 (34)4.1手语姿势模板的创建和匹配 (34)4.1.1DTW算法基本原理 (34)4.1.2基于Kinect的DTW的算法介绍 (36)4.2手语姿势库以及手语识别功能的实现 (37)4.2.1手势动作输入 (38)4.2.2数据预处理 (40)4.2.3DTW手势模板匹配算法 (45)4.3实验概述 (47)4.3.1实验目标 (47)4.3.2实验对象 (48)4.3.3实验过程 (48)4.3.4实验结果 (50)第5章总结和反思 (53)参考文献 (54)致谢 (58)第1章绪论1.1研究背景1.1.1传统手语教学亟需改进我国是一个残疾人大国，其中听力语言残疾占据五大残疾（视力残疾、肢残、智残等）之首，大约有2057万人，这部分人占全国人口总数的1.67%，其中7岁以下儿童大概有80万人，他们是需要国家和社会来关心和帮助的特殊群体1。

基于Kinect的手势识别及在虚拟装配技术中的应用
陈艳艳;陈正鸣;周小芹
【期刊名称】《电子设计工程》
【年(卷),期】2013(21)10
【摘要】为了实现在Virtools环境下自然方便的人机交互过程,设计开发了基于Kinect的虚拟装配交互技术.该技术通过三维多手指检测并结合Kalman滤波来稳定跟踪指尖,同时基于指尖特征自定义了多种装配所需的手势；以Mircrosoft Visual Studio 2010为开发工具,设计了手势操控相关功能块的编辑后集成于Virtools环境中,实现了手势在虚拟装配中的交互控制.实例证明,该技术能很好地完成虚拟装配过程,效果良好.
【总页数】4页(P4-7)
【作者】陈艳艳;陈正鸣;周小芹
【作者单位】河海大学物联网工程学院,江苏常州213022;河海大学物联网工程学院,江苏常州213022;江苏省输配电装备技术重点实验室江苏常州213022;河海大学物联网工程学院,江苏常州213022;江苏省输配电装备技术重点实验室江苏常州213022
【正文语种】中文
【中图分类】TP391.9
【相关文献】
1.基于Kinect手势识别的研究与应用 [J], 黄文静;马力
2.基于Kinect手势识别的应用与研究 [J], 于泽升;崔文华;史添玮
3.基于Kinect手势识别的应用研究 [J], 王攀;官巍
4.基于Kinect的手势识别算法研究及应用 [J], 吴晓雨;杨成;冯琦
5.基于Kinect手势识别技术的数字沙盘开发应用研究 [J], 李昕; 徐芳棋
因版权原因，仅展示原文概要，查看原文内容请购买。

Kinect手势输入终端
方案：
1、通过体感外设可以准确将用户轮廓提取出来，通过轮廓提取用户动作信息，并对用户信息进行建模。

2、如图。

体感外设可通过内部的深度摄像头与红外摄像头提取出用户头、
四肢、躯干位置信息，在计算机中构建出人体在三维空间中的模型。

3、计算机根据模型实时计算人体位置。

当用户有动作发生时，体感外设可对发生动作的位置进行锁定，使计算机更好的针对动作进行分析。

4、针对于一些用户特定要求，可以正对如手、头、四肢的动作进行跟踪。

5如上图所示，为体感外设对用户手掌轨迹的追踪。

通过该功能可以捕捉
用户挥手的方向、速度、加速度值。

这些参数的捕获可以结合相应的软件实
现用户通过体感对计算机进行操控。

基于Kinect的隔空人手键盘输入张仲一;杨成;吴晓雨【摘要】近年来,随着三网融合概念的兴起,家庭多媒体设备功能的日趋完善,其控制与使用也变得越来越复杂,如何使家庭多媒体设备控制实现简单化、统一化、易用化成为相关行业亟待解决的问题.通过人们手指细微的运动,更使用户能够直接快速地完成空间键盘输入的功能,从而极大地提高用户的操作体验.Kinect作为一种新型的体感设备,可以获得精确的RGB图像信息和深度图像信息,是准确快速地获得用户的指尖定位成为可能.本系统通过深度图和RGB图相结合的方法,进行手型分割.通过指尖检测所得二维指尖坐标,反向求出指尖点的三维空间坐标.对于由指尖点、凹缺陷点和掌心点所组成的手部三维空间模型,判定计算键盘输入行为.此系统基本实现了隔空键盘输入的功能,但在边缘区域的识别率相对较低.【期刊名称】《中国传媒大学学报（自然科学版）》【年(卷),期】2013(020)003【总页数】5页(P68-71,46)【关键词】空间键盘;Kinect;手型分割;指尖检测【作者】张仲一;杨成;吴晓雨【作者单位】中国传媒大学信息工程学院,北京100024;中国传媒大学信息工程学院,北京100024;中国传媒大学信息工程学院,北京100024【正文语种】中文【中图分类】TP391人手拥有人身体最灵活的肌肉，他不仅可以帮助我们完成日常的劳动，还可以帮助传达丰富细致的信息，例如本文将要实现的人手三维空间虚拟键盘输入功能。

基于视觉的手指交互现在及不久的将来在人机交互领域将有广泛和重要的用武之地，主要包括四类:(1)手语识别，利用计算机视觉和红外深度影像，应用图像处理技术，完成手语、语音、文字指尖的相互转换，以帮助聋哑人群。

(2)手势识别，利用静态或动态手势进行人机交互，在身份识别、机器人控制和家用电器控制等方面具有广阔的应用前景。

(3)虚拟触控技术，使用非接触式的空间虚拟触控系统，通过手掌和躯干的运动，操纵游戏、娱乐、多媒体设备。

第３５卷第３期２０２１年５月兰州文理学院学报(自然科学版)J o u r n a l o fL a n z h o uU n i v e r s i t y ofA r t s a n dS c i e n c e (N a t u r a l S c i e n c e s )V o l ．３５N o ．３M a y ２０２１收稿日期:２０２１Ｇ０３Ｇ２０基金项目:甘肃省产业支撑引导项目(２０１９c Ｇ０９);甘肃省高等学校科研项目(２０１８A Ｇ１３８)作者简介:马少斌(１９６９Ｇ),男,甘肃静宁人,副教授,研究方向:数字媒体技术．E Ｇm a i l :m _s b ＠１６３．c o m．㊀㊀文章编号:２０９５Ｇ６９９１(２０２１)０３Ｇ００７７Ｇ０５基于K i n e c t 的手势交互课件应用系统的设计马少斌１,２,张成文１,２,梁虎金１(１．兰州文理学院数字媒体学院,甘肃兰州７３００１０;２．兰州文理学院V R 技术研发与推广中心,甘肃兰州７３００１０)摘要:针对增强现实(A u g m e n t e dR e a l i t y ,A R )可视化交互教学系统中,需要对课件进行手势控制的需求,本文完成了基于K i n e c t 的手势交互课件应用系统的设计．首先通过K i n e c t 采集深度图像,然后根据K i n e c t 骨骼跟踪技术完成手势识别,并最终依据手势识别结果实现对课件播放的控制．实验结果表明,本方法实现课件播控能提高播控的准确率和灵活性,从而为基于A R 交互课件的播控奠定基础．关键词:增强现实;可视化交互教学;K i n e c t ;骨骼跟踪;手势识别中图分类号:T P ３９１．９㊀㊀㊀文献标志码:A㊀㊀K i n e c t [１]是一个具有动态获取㊁影像辨识㊁麦克风输入㊁语音识别等功能的３D 体感摄影机．它结合了视觉处理算法和三维定位功能,可以利用摄像头的高分辨率对三维坐标空间中的细微变动进行识别,同时其自带人体骨骼跟踪S D K ,可以识别最多６位用户的人体骨骼并对他们进行１０８０P 的高清视屏录制．K i n e c t 在红外传感器的配合之下,可以在昏暗的背景下精准识别用户动作,有效克服了光照条件对其应用范围的限制．因此,K i n e c t 在教育教学[２]㊁交互游戏设计㊁虚拟现实等领域获得了广泛的应用．K i n e c t 设备提供３种类型的最初数据,即深度数据流㊁彩色视频流㊁原始音频数据[３],可分别应用于骨骼跟踪㊁动作识别㊁人脸识别㊁语音识别等．自古以来,手势是人类交流的重要辅助手段,不同的手势被赋予各种特定的含义,在教学㊁演讲中,利用这些特定含义的手势来控播课件将会为我们的工作带来极大的便利,因而手势识别逐渐成为人机交互领域的一个研究热点．基于上述原因,本文在讨论K i n e c t 深度图像及骨骼跟踪的理论基础上,重点研究基于深度图像的手势交互,并进行测试验证,最终应用于A R交互课件中[４]．1㊀基于深度成像的骨骼跟踪原理首先,应用K i n e c t 采集并分析深度数据．然后,经过特定处理,将人体目标从环境中提取出来并二值化．最后,以１６位二进制数组成后续的信息数据计算人体部位的关节点,其过程如图１所示．图１㊀K i n e c t 获取的人物骨骼过程1.1㊀深度图像获取K i n e c t深度图像采用结构光编码(L i g h t C o d i n g)[５]技术,就是用光源照明给需要测量的空间编上码． 结构光 就是将光结构化,结构化的光可包括点结构光㊁线结构光和面结构光．点结构光测量法每次只投影一点;线结构光向物体投影一条线或者多条线;面结构光向物体投射平面几何图案,三种方法各有优缺点．面结构光识别法目前被广泛应用于人脸识别㊁医学㊁工业㊁航天等领域．K i n e c t采用的面结构光技术,就是由红外摄像头将光线投射到被拍摄物体上,因为被投射物体具有不同的深度区域,从而形成不同的图案,并将其换算成深度信息,就可以知道这个物体在什么位置了．深度图像以１６位二进制数据信息流表示,如以[００００１０００１１００１１１０]为例,其中,后３位二进制数代表可以识别的人数,前１３位为K i n e c t摄像头与目标物体之间的距离．目标物体距K i n e c t 摄像头较远时,空间面积越大;目标物体距K i n e c t 摄像头较近时,空间面积越小．因此,微软K i n e c t 官方推荐舒适距离是１．２m~３．５m为佳．1.2㊀骨骼跟踪K i n e c t通过下面３个步骤将深度图像转化为骨骼图像[６]．第１步:将人像抽离出背景,由于背景的环境十分的复杂多样,这项工作难度很大．先看人像轮廓,再看细节,对深度图像的分辨率进行有序规格的扫描,使用分辨率级的检测方法利用K i n e c t对深度图像检查,辨别出人像的各个肢体结构,经过约定的字节编码,分割出被追踪的用户．第２步:系统将用户抽离出来,采用人体特征值进行快速分类,识别出人体各部位,这一过程要做到快速和精准．第３步:通过人体部位识别关节部位的２１个点,通过对这些关节点的数据分析测量人体的实际位置．如图１(d)中骨骼跟踪关节点所示．1.3㊀机器学习K i n e c t系统自带深度学习算法[７],即K i n e c t 骨骼跟踪机器学习技术,该技术获得２０１１年M a c R o b e r tA w a r d工程创新大奖[１]．人体的部位分为头部㊁躯干和四肢,K i n e c t通过 分类器 分析评估其特征变量．这是一个机器学习的过程,评估过程会随着不断扫描到的像素进行修正,从而判断是人体的哪个部位．训练分类器特征公式如(１)所示,其中u和v 是一对偏移向量,x是像素值,d１(x)是像素值在图像I中的深度值,１/d１(x)是偏移正规化,用来处理人体尺寸的缩放,也就是简化目标像素u和v的值．很显然,这些特征测量与像素周围区域的３D外形相关,用来说明手臂和腿之间的区别．fθI,x()＝d１x＋u d１(x)éëêêùûúú－d１x＋v d１(x)éëêêùûúú．(１)机器学习需要大量的数据,微软征集了大量不同着装㊁肤色㊁体型和身高的志愿者来训练数据．大量分析数据被编排成能够迅速决策识别人体各部位的决策树,众多决策树构成决策树森林,如图２所示．图２㊀机器学习产出的 决策树1.4㊀手势识别１．４．１㊀手势识别概述K i n e c t摄像头可以基于人体全身骨骼识别,使用深度摄像头消除背景及光线造成的影响,使用图形识别算法提供数据信息,捕获到用户的手势动作,并将这些手势动作转换为控制方式．手势定义㊁手势检测㊁特征提取及分类识别是体感手势识别中最重要的部分．通过静态手势与动态手势的有效结合,把摄像头中将识别到的手势从视频中甄别出来,通过预处理,提供给系统调用．并且,采用手势分割算法把分离出的手势先进行单独保存,然后提取出手势特征值,最后,应用分类算法来判断手势类别．手势识别算法[８Ｇ１１]的研究与改进主要是针对算法优化[９]和特征值提取研究[８,１０,１１]方面,可以有效识别数字０~９的１０种手势,如图３所示．１．４．２㊀手势分隔与特征提取依据A R可视化交互教学系统[４]要求,需要对A R课件进行手势控制,且满足演讲习惯,无需１０种复杂的 数字手势 ,就可满足对课件播放控制需求．根据人们日常做手势时,用右手高于头部来 控制焦点 ;左手高于头部来执行 锁定 ;双８７㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀兰州文理学院学报(自然科学版)㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第３５卷手握拳低于头部来代表 开始 ;双手展开低于头部来代表 退出 ;右手向左方向挥动表示 下一页 ;左手向右方向挥动表示 上一页 等,如图４所示．图３㊀０~９１０种数字手势图４㊀部分手势交互深度图像㊀㊀在实际应用中,图４所表示的部分手势基本能满足对课件的控制需求,图４(e )~图４(h )分别代表了两种动态手势,这在增强现实中非常重要,可以对三维虚拟空间中的虚拟物品进行旋转㊁放大㊁缩小等操作,适当的动态手势可以使操作更加灵活自如,比如双臂向前向后伸展．K i n e c t 采集到手部区域的深度值大都处于同一范围内,利用深度阈值法提取手部区域的深度数据．按照所采集到人体数据的最小深度值D m i n 和深度阈值T 的方法,就可分割出手部区域．手部区域深度图像的提取公式如(２)所示．其中,H (B ,G ,R )为提取的手部区域像素值;S (B ,G ,R )为人体像素值,其他区域为０;d 为摄像头到人体轮廓每个像素的距离．根据深度阈值法,对分割出的手部区域进行二维空间的投影,重建二维图像．H B ,G ,R ()＝S B ,G ,R ()d ＜(D m i n ＋T ),０,其他．{(２)2㊀实验设计与分析本文以K i n e c tV ２及M i c r o s o f tK i n e c tS D K V ２．０为实验平台．K i n e c t f o r W i n d o w sS D K 引用后添加控件,打开M a i n W i n d o w s ．x a m l 文件,添加I m a g e 控件,命名为u s i n g Mi c r o s o f t ．K i Ｇn e c t ,定义对象为K i n e c t S e n s o rK i n e c t ．初始化设备后进行R G B 图像获取㊁深度图像处理等,过程不再赘述,重点讨论有关骨骼追踪事件．手部追踪技术和手势识别技术虽为不同的两个概念,但其方法基本一致．首先需要建立可追踪手部运动的类库,这些类之间通过相互调用来实现用户手势所在位置的管理．微软提供的K i n e c tS D K 并没有包含手势识别引擎,需要开发者自定义手势．手势识别引擎有基于算法㊁基于神经网络和基于手势样本库３种基本方法．本案例中采用第一种比较简单的方法来完成实验,这种算法通过一个二值型对象来判定某一手势是否符合预定的手势并将其加入类库．通过对算法的扩展及相关参数的调整,能够满足我们对普通课件的播放控制,手势识别算法设计如图５和图６所示．后续将在此基础上增加新的手势识别算法并将其加入类库中,以满足A R 课件对更多控制的需求．双手旋转幻灯片图片的实验效果如图７所示．图７(a)为手部动作和图片的起始状态;图７(b)表示手势做旋转 势 后,图片也随之旋转的效果．旋转手势识别的核心算法在H a n d l eG e s t u r eT r a c k i n g 方法中,并通过K i n e c tC u r s o rM a n a ge r 中的U p d a t eC u r s o r 方法和K i n e c t 中的骨骼追踪事件绑定,这样就可以将获得的新坐标点添加到９７第３期马少斌等:基于K i n e c t 的手势交互课件应用系统的设计图５㊀静态手势识别算法流程图６㊀动态手势识别算法流程集合中去．对新添加的坐标点首先进行位置判断,即新加入的点是否以手势开始位置为参考点;其次进行时间判断,即检查手势开始时间和当前时间的差是否大于阈值．鉴于K i n e c t 摄像头分辨率等技术的局限性,目前只能对手势进行追踪和识别．随着硬件设备性能的不断提高能够获取更好的深度影像数据,则可以实现对手指的追踪和识别,使实验达到更高精准度和更高自然性．图７㊀旋转手势3㊀结语在现代社会中,使用课件教学㊁演讲非常普遍．但演讲者却要不断地点击鼠标㊁键盘或者一些其它的手持设备来完成课件的翻页㊁演示等功能．本文完成了基于K i n e c t 的手势交互课件应用系统的设计,并在普通课件中进行了功能验证,实验结果表明,本方法实现课件播控能提高播控的准确率和灵活性,从而为基于A R 交互课件的控播奠定基础,系统扩展后可以应用于课堂教学㊁学术交流㊁商务演讲等众多领域．下一步我们将研究增强现实手势识别交互技术在A R 视觉系统㊁同步系统㊁多机交互系统等领域的应用,提高交互技术的灵活性和广泛性．参考文献:[１]余涛．K i n e c t 应用开发实战:用最自然的方式与机器对话[M ]．北京:机械工业出版社,２０１２．[２]许龙铭,张茵婷．基于K i n e c t 的体感多媒体讲台系统的设计[J ]．电子世界,２０１８(２４):１４７Ｇ１４８,１５１．[３]石曼银．K i n e c t 技术与工作原理的研究[J ]．哈尔滨师范大学自然科学学报,２０１３,２９(３):８３Ｇ８６．[４]马少斌,张成文,王万军．一种基于A R 的可视化交互教学平台[J ]．兰州文理学院学报(自然科学版),２０１９,３３(１):６４Ｇ６９．[５]张绍阳,侯旭阳,崔华,等．利用激光散斑获取深度图[J ]．中国光学,２０１６,９(６):６３３Ｇ６４１．[６]J AM I E S HO T T O N ,T O B Y S HA R P ,A L E X K I P ＧMA N ,e ta l ．R e a l Ｇt i m e h u m a n p o s e r e c o g n i t i o ni n p a r t s f r o m s i n g l ed e p t hi m a g e s [J ]．C o mm u n i c a t i o n s o f t h eA C M ,２０１３,５６(１):１１６Ｇ１２４．[７]李海峰,李纯果．深度学习结构和算法比较分析[J ]．河北大学学报(自然科学版),２０１２,３２(５):５３８Ｇ５４４．[８]鲍志强,吕辰刚．基于K i n e c t 的实时手势识别[J ]．激光与光电子学进展,２０１８,５５(３):２３１Ｇ２３６．[９]时梦丽,张备伟,刘光徽．基于深度图像的实时手势识别方法[J ]．计算机工程与设计,２０２０,４１(７):２０５７Ｇ２０６２．[１０]贾丙佳,李平．人机交互过程中数字手势的识别方法[J ]．华侨大学学报(自然科学版),２０２０,４１(２):２６０Ｇ２６７．[１１]S HA R MA A ,M I T T A L A ,S I N G H S ,e ta l ．H a n dg e s t u r e r e c o g n i t i o nu s i n g i m a g e p r o c e s s i n g an df e a Ｇt u r ee x t r a c t i o nt e c h n i q u e s [J ]．P r o c e d i a C o m p u t e r S c i e n c e ,２０２０,１７３:１８１Ｇ１９０．[责任编辑:李㊀岚]０８㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀兰州文理学院学报(自然科学版)㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第３５卷D e s i g no fA p p l i c a t i o nS y s t e mB a s e do nK i n e c t G e s t u r e I n t e r a c t i v eC o u r s e w a r eMAS h a o Ｇb i n １,２,Z HA N GC h e n g Ｇw e n １,２,L I A N G H u Ｇji n １(１．S c h o o l o fD i g i t a lM e d i a ,L a n z h o uU n i v e r s i t y ofA r t s a n dS c i e n c e ,L a n z h o u７３００００,C h i n a ;２．V Rt e c h n o l o g y R &Da n dP r o m o t i o nC e n t e r ,L a n z h o uU n i v e r s i t y ofA r t s a n dS c i e n c e ,L a n z h o u７３００００,C h i n a )A b s t r a c t :I n o r d e r t om e e t t h e n e e d s o f g e s t u r e c o n t r o l i n t h e v i s u a l i n t e r a c t i v e t e a c h i n g s y s t e mo f a u gＧm e n t e d r e a l i t y (A R ),t h e d e s i g no f g e s t u r e i n t e r a c t i v e c o u r s e w a r e a p p l i c a t i o n s ys t e mb a s e d o nK i n e c t w a s c o m p l e t e d i nt h i s p a p e r ．F i r s t l y ,t h ed e p t hi m a g e sw e r ec o l l e c t e db y K i n e c t ,a n dt h e n g e s t u r e r e c o g n i t i o nw a s c o m p l e t e dw i t hK i n e c tb o n e t r a c k i n g t e c h n o l o g y ．F i n a l l y,t h e c o n t r o l o f c o u r s e w a r e p l a y i n g w a s r e a l i z e d a c c o r d i n g t o t h e r e s u l t o f g e s t u r e r e c o g n i t i o n ．T h ee x pe r i m e n t a l r e s u l t s s h o w e d t h a t t h e a c c u r a c y a n df l e x i b i l i t y o f c o u r s e w a r eb r o a d c a s t c o n t r o lw e r e i m p r o v e d ,w h i c hc o u l d l a y th e f o u n d a t i o n f o r b r o a d c a s t c o n t r o l b a s e do nA R i n t e r a c t i v e c o u r s e w a r e ．K e y wo r d s :a u g m e n t e d r e a l i t y ;v i s u a l i n t e r a c t i v e t e a c h i n g ;K i n e c t ;b o n e t r a c k i n g ;g e s t u r e r e c o g n i t i o n １８第３期马少斌等:基于K i n e c t 的手势交互课件应用系统的设计。