基于Kinect的手势识别算法研究及应用

第３２卷第７期

２０１５年７月计算机应用与软件

ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＶ０１．３２Ｎｏ．７

Ｊｕｌ．２０１５

基于Ｋｉｎｅｃｔ的手势识别算法研究及应用

吴晓雨杨成冯琦

（中国传媒大学信息工程学院北京１０００２４）

摘要手势识别技术是人机交互技术的重要研究内容。为了提高基于Ｋｉｎｅｃｔ的手势识别性能，提出基于深度人手定位和ｈｏｇ特征的静态手势识别算法及基于改进ＨＭＭｓ的动态手势识别算法。静态手势识别算法首先通过Ｋｉｎｅｃｔ的深度信息完成人手定位，

而后在定位区域内提取基于梯度方向直方图的形状特征并利用级联Ａｄａｂｏｏｓｔ训练的手势模型，实现对静态手势的准确识别，在公开手势数据库中测试的实验结果表明提出的静态手势识别算法具有较高的识别率。动态手势识别算法首先通过Ｋｉｎｅｃｔ获取手心轨迹

并提取轨迹切线角度作为特征，利用改进的隐马尔科夫模型实现动态手势的判别，实验结果表明提出的动态手势识别算法相比于传

统ＨＭＭｓ算法有效地排除了无效手势。此外利用提出的动静态手势识别算法有效地控制了模拟的数字电视。

关键词手势识别人机交互Ｋｉｎｅｃｔ传感器

中图分类号ＴＰ３９１．９文献标识码Ａ数字电视的模拟控制

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００－３８６ｘ．２０１５．０７．０４２

ＲＥＳＥＡＲＣＨｏＮＫＩＮＥＣＴ．ＢＡＳＥＤＨＡＮＤＧＥＳＴＵＲＥＲＥＣｏＧＮＩＴＩｏＮＡＬＧｏＲＩＴＨＭ

ＡＮＤＩＴＳＡＰＰＬＩＣＡＴｌ０ＮＳ

ＷｕＸｉａｏｙｕＹａｎｇＣｈｅｎｇＦｅｎｇＱｉ

（ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＥ，画ｎｅｅｎｎｇ，ＣｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，＆沏茸１０００２４，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＨａｎｄｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎｔｅｃｈｎｉｑｕｅｉｓｔｈｅｉｍｐｏｒｔａｎｔｒｅｓｅａｒｃｈｃｏｎｔｅｎｔｉｎｈｕｍａｎ—ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｔｅｃｈｎｏｌｏｇｙ．Ｉｎｏｒｄｅｒｔｏ

ｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆＫｉｎｅｃｔ—ｂａｓｅｄｈａｎｄｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎ，ｗｅｐｒｏｐｏｓｅｔｈｅｓｔａｔｉｃｈａｎｄｇｅｓｔｕｒｅｓｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈｉｓｂａｓｅｄ

ｏｎｄｅｐｔｈｈａｎｄｓｌｏｃａｌｉｓａｔｉｏｎａｎｄｈｏｇｆｅａｔｕｒｅ，ａｎｄｔｈｅｄｙｎａｍｉｃｈａｎｄｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍｗｈｉｃｈｉｓｂａｓｅｄｏｎｔｈｅｉｍｐｒｏｖｅｄＨＭＭｓ．Ｆｏｒ

ｔｈｅｓｔａｔｉｃｈａｎｄｇｅｓｔｕｒｅｓｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍ，ｆｉｒｓｔｉｔａｃｈｉｅｖｅｓｔｈｅｈａｎｄｌｏｃａｌｉｓａｔｉｏｎｔｈｒｏｕｇｈＫｉｎｅｃｔｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎ，ａｎｄｔｈｅｎｅｘｔｒａｃｔｓｔｈｅ

ｇｒａｄｉｅｎｔｏｒｉｅｎｔａｔｉｏｎｈｉｓｔｏｇｒａｍ—ｂａｓｅｄｓｈａｐｅｆｅａｔｕｒｅｓｗｉｔｈｉｎｌｏｃａｌｉｓａｔｉｏｎａｒｅａａｎｄｕｓｅｓｔｈｅｇｅｓｔｕｒｅｍｏｄｅｌｔｒａｉｎｅｄｂｙＡｄａｂｏｏｓｔｃａｓｃａｄｅｔｏｒｅａｌｉｓｅ

ｔｈｅａｃｃｕｒａｔｅｒｅｃｏｇｎｉｔｉｏｎｏｎｓｔａｔｉｃｇｅｓｔｕｒｅｓ．Ｉｔｉｓｄｅｍｏｎｓｔｒａｔｅｄｂｙｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｔｅｓｔｅｄｏｎｐｕｂｌｉｃｈａｎｄｇｅｓｔｕｒｅｄａｔａｓｅｔｔｈａｔｔｈｅ

ｐｒｏｐｏｓｅｄｓｔａｔｉｃｈａｎｄｇｅｓｔｕｒｅｓｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍｏｂｔａｉｎｓｈｉ【ｓｈｅｒｒｅｃｏｇｎｉｔｉｏｎｒａｔｅ．Ｔｈｅｄｙｎａｍｉｃｇｅｓｔｕｒｅｓｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍｆｉｒｓｔｏｂｔａｉｎｓｔｈｅ

ｐａｌｍｔｒａｊｅｃｔｏｒｉｅｓｕｓｉｎｇＫｉｎｅｃｔａｎｄｅｘｔｒａｃｔｓｔｈｅｔａｎｇｅｎｔ．ａｎｄｅｏｆｔｒａｊｅｃｔｏｒｙａｓｔｈｅｆｅａｔｕｒｅ，ｔｈｅｎｅｍｐｌｏｙｓｔｈｅｉｍｐｒｏｖｅｄｈｉｄｄｅｎＭａｒｋｏｖｍｏｄｅｌｔｏ

ｉｍｐｌｅｍｅｎｔｔｈｅｄｉｓｃｒｉｍｉｎａｔｉｏｎｏｆｈａｎｄｇｅｓｔｕｒｅｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｄｙｎａｍｉｃｈａｎｄｇｅｓｔｕｒｅｓｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍ

ｅｆｆｅｃｔｉｖｅｌｙｅｘｃｌｕｄｅｓｔｈｅｕｎｄｅｆｉｎｅｄｇｅｓｔｕｒｅｓｃｏｍｐａｒｅｄｗｉｔｈｔｒａｄｉｔｉｏｎａｌＨＭＭｓｍｅｔｈｏｄ．Ｂｅｓｉｄｅｓ，ｔｈｅｐｒｏｐｏｓｅｄｄｙｎａｍｉｃａｎｄｓｔａｔｉｃｈａｎｄｇｅｓｔｕｒｅｓｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍｓａｒｅａｐｐｌｉｅｄｉｎｅｆｆｅｃｔｉｖｅｃｏｎｔｒｏｌｏｆｓｉｍｕｌａｔｅｄｄｉｇｉｔａｌＴＶ．

ＫｅｙｗｏｒｄｓＨａｎｄｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎＨｕｍａｎｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎＫｉｎｅｃｔｓｅｎｓｏｒＤｉｇｉｔａｌＴＶｓｉｍｕｌａｔｉｏｎｃｏｎｔｒｏｌ

０引言

随着科学技术的迅猛发展，计算机会“听”会“看”的智能化

程度不断提高，人与计算机交流正在逐步摆脱传统的、有一定束

缚的鼠标和键盘式的交互方式，而向一种类似人与人的、更加自

然的交互方式发展。基于手势的人机交互因具有简便易行、直

观自然及适应性强等优点，正在成为一种新型被广泛使用的人

机交互方式。目前基于视觉的非接触主动感知式的手势识别技

术在游戏娱乐、生物特征识别、虚拟现实和电脑电视遥控器、体

感游戏娱乐等领域¨’２ｏ有着较广泛的应用前景。

基于视觉的手势识别算法主要包括人手分割与定位、手势

的特征提取和手势的识别三个阶段的研究内容¨’４１。在人手的

分割与定位方面，其方法大致可分为基于徒手的表观特征的分割方法¨－及基于人为增加限制的方法（如有些系统要求使用者

戴上有色手套∞１）。手势的特征提取是影响手势识别率的关键

因素，目前特征值的选取有很多方法。７Ｊ１：选择手掌区域、手掌中心及手的倾斜度，或提取手掌轮廓区域的几何特征或手掌的

运动轨迹等进行分析识别；在手势识别环节，识别方法可以分为

基于规则的手势识别。９ｏ和基于机器学习的手势识别¨””１。其中基于机器学习的手势识别方法通过学习大量的训练样本特征

向量来确定分类器，是一种鲁棒性较高的手势识别方法。目前

手势识别中人手分割与定位主要是从彩色的视频帧图像或静态图像中提取颜色及形状等信息进行手势的定位与识别，但颜色

特征易受光照变化和人手肤色等因素的影响使得在复杂背景下

收稿１３期：２０１３一ｌｌ一２３。国家科技支撑课题（２０１２ＢＡＨ０１Ｆ００）。吴晓雨，讲师，主研领域：图像处理，人机交互技术。杨成，副教授。冯

琦，硕士生。

万方数据１７４计算机应用与软件２０１５血

人手分割与定位的准确性降低从而导致手势识别性能下降。

Ｋｉｎｅｃｔ是美国微软公司于２０１０年１１月４日推出的ＸＢＯＸ３６０游

戏机体感周边外设，提供了彩色数据流、原始音频数据和红外摄

像头得到的深度数据，具备骨骼跟踪、身份识别与语音识别三个处理过程ｉ１４１５＿。｜，为廉价易用且实时的人机交互方式提供了可能。因Ｋｉｎｅｃｔ基于红外摄像头得到的深度信息对光照变化和复

杂背景有较好的鲁棒性，已有一些学者利用Ｋｉｎｅｃｔ传感器进行

了人手的分割与手势识别的研究””“１。ＹｉＬｉ＿”。利用Ｋｉｎｅｃｔ的

深度信息定位人手、依据轮廓和凸凹点检测确定五个手指位置并通过计算三点的夹角特征识别静态手势，目前可对９个静态

手势进行识别。笔者对文献［１７］中的算法进行实验时发现当

手掌平面与Ｋｉｎｅｃｔ传感器不平行时待定位的五个指尖信息会发

生丢失或定位不准确。Ｍ．Ｔａｎｇ结合深度和颜色信息可对抓放２种手势进行识别ｉ８｝。ＺｈｏｕＲｅｎ等人利用深度及提取的形状特征进行了石头剪刀布和代数运算的静态手势识别，但并没有

给出识别率的分析ｊｉ９３。Ｄａｎｉｅｌａ等人利用Ｋｉｎｅｃｔ提出了核学习

算法只对３种动态手势进行了识别。“”。ＣｈｅｏｌｊｏｎｇＹａｎｇ旧¨提取手心轨迹的三维特征并利用隐马尔科夫模型识别８种动态手势，但是没有分析对非定义手势的排除眭能，而在实际应用中识

别算法对非定义手势的排除是影响算法应用的重要因素。

总的来看，已有基于Ｋｉｎｅｃｔ深度和彩色信息的手势识别算法对手势识别问题的研究尚不全面：如静态手势识别方法虽依

据深度等各不相同的特征取得了一定的识别结果，但并没有在已有公开测试库上定量评估各自的算法。动态手势识别方法缺

少对非定义手势排除的重要研究。本文在基于Ｋｉｎｅｃｔ获取深度

和彩色数据的基础上，对手势识别问题进行了深入系统的研究，提出了基于深度和梯度方向直方图的静态手势识别方法并在公

开库上进行了性能测试，详细地分析了识别算法性能；提出了基

于改进的隐马尔可夫动态手势识别算法，算法对７种手势有着

较高的识别率且有效地排除了无效手势。此外，将手势识别算法应用到视频的直播和点播的控制中，以初步模拟对数字电视

的体感操作。

１基于深度和ＨｏＧ特征的静态手势识别

算法

１．１静态手势的训练

本文采集了约１５０个人的“Ｏｐｅｎ”和“Ｖｉｃｔｏｒｙ”手势，每个手势共采集６８６张右手正样本图像，负样本在ＰａｓｃａｌＶＯＣ中随机

选取了约１５００张图片。在识别时对输入的图像进行镜像与非

镜像２次计算，这样就可以实现对左右手手势的识别。为消除样本之间的差异性，我们首先进行样本的归一化：即

在采集的样本图像上标注６个点进行位置校准。依据这６个点

我们就可以裁减出手势图，之后对裁减出的图进行旋转、缩放等变化，得到归一化后的校准图像。样本的归一化不仅在一定程

度上获得了手势表示的几何不变性，而且消除了一些背景的干

扰。图ｌ的（ａ）和（Ｃ）分别对应着”Ｏｐｅｎ”和”Ｖｉｃｔｏｒｙ”手势的归一化后的训练样本。

描述手势的特征我们选取了梯度方向直方图特征旧…。该特征利用局部梯度方向的分布表示对象局部外观和外形，可以

有效地描述目标的形状信息，同时对局部区域较小的平移和旋转运动具有一定的不变性、对光照变化较鲁棒。故本文选用

ＨＯＧ特征作为静态手势模型的输入特征。同时为提高ＨＯＧ特征计算速度，在特征提取阶段引入积分直方图进行ＨＯＧ特征的加速计算。ＨＯＧ特征计算过程简述如下：首先将视频某输入帧

分成Ⅳ个图像块（ｂｌｏｃｋ），块内又分成若干个单元（ｃｅｌｌ），在单元

内计算梯度如式（１）所示，并对梯度方向进行量化统计出梯度方向直方图，并在块内采用Ｌ２范数归一化直方图来消除光照的

影响。最后一个检测窗１２１内的所有ｂｌｏｃｋ归一化直方图组成最后的ＨＯＧ特征集。

Ｍ（戈，Ｙ）＝￣／Ｇ＾（ｘ，Ｙ）２＋Ｇ。（戈，Ｙ）‘（１）

０（戈，Ｙ）＝ｔａｎ一。（Ｇ＾（ｘ，ｙ）／Ｇ，（ｘ，Ｙ））

其中，Ｍ（ｚ，Ｙ）表示梯度的幅值，Ｇ。（ｚ，Ｙ）和Ｇ。（戈，Ｙ）分别表示该点在水平方向和垂直方向上的梯度值。０（ｚ，Ｙ）是梯度的方

向，一般将梯度方向在［０。～１８０。］范围内量化为９段。图１的（ｂ）和（ｄ）给出了两个手势基于对应的训练正样本求得的平均

梯度图。从图中不难看出平均梯度较好保留了手势的形状信

息，也间接说明了基于梯度方向直方图ＨＯＧ特征用于“Ｏｐｅｎ”、

“Ｖｉｃｔｏｒｙ”等手势识别的可行性。设定训练参数后，即可用级联的Ａｄａｂｏｏｓｔ学习算法旧３。训练