当前位置：文档之家 › 基于运动轨迹的手势识别算法研究

基于运动轨迹的手势识别算法研究

  • 格式：pdf
  • 大小：2.69 MB
  • 文档页数：60

哈尔滨工业大学工学硕士学位论文

- I - 摘 要

近些年，物联网技术快速发展，人机交互应用越来越普遍，而手势作为

人机交互的重要一环，在人们生活中扮演了重要角色。目前，基于MEMS惯

性传感器的手势识别方法，都需要分析每个手势的加速度和角速度的特征值

或者相应的规律，然后根据这些特征值或者规律来识别手势，此方法需要分

析每个手势的运动细节，操作者需要根据设计者事先定好的手势进行操作，

这样会对用户手势操作造成不便。针对上述情况，本文提出了一种基于运动

轨迹的手势识别方法，通过追踪手势的运动轨迹来识别手势，可以避免对每

个手势进行运动学分析，只需分析手势运动轨迹特征，方便用户手势操作，

同时也增加了手势识别的多样性。

在研究了大量的相关资料的基础上，本文从基本原理出发，介绍了运动

轨迹追踪的基本原理和手势识别方法，分析了MEMS惯性传感器误差来源，

并建立了加速度和角速度的系统误差模型和随机误差模型。在运动轨迹追踪

理论基础上，设计了数据自动截断算法以减少冗余数据，设计了四元数误差

处理算法来提高转移矩阵的精度，此外由于重力加速度对运动轨迹计算的影

响，设计了重力加速度补偿算法以消除其影响，之后针对积分计算的速度和

位移存在误差问题，提出了速度位移重建算法。在手势识别理论基础上，结

合实际手势运动轨迹，设计了运动轨迹的特征值和手势分类器以及特征值的

提取算法。最后，使用Matlab对运动轨迹的手势识别算法进行仿真，并给出

了实验结果，该实验结果表明本系统的手势识别率高于90%，达到预期效果。

关键词：运动轨迹；MEMS惯性传感器；手势识别；特征值；分类器

哈尔滨工业大学工学硕士学位论文

- II - Abstract

In recent years, Internet of Things technology has been rapidly developed. Human

computer interaction is more and more common. In addition, the gesture is as an

important part of human computer interaction and plays an important role in people's

lives. However, at present, MEMS inertial sensor-based gesture recognition methods

need to analyze the eigenvalues or corresponding laws of acceleration and angular

velocity of each gesture. Then according to the above rules or eigenvalues, the system is

able to identify the corresponding gesture. The kind of method demands to analyze the

movement details of each gesture, and the operator needs to operate corresponding

gesture on the basis of the designer's predetermined gestures, This will lead to such a

result that the user needs to operate the corresponding gestures inconveniently. In view

of the above situation, this paper presented a gesture recognition method based on

motion trajectory. By tracking the motion trajectory of the gesture, the paper was able to

avoid the kinematics analysis of each gesture and just needs to analyze the gesture

trajectory characteristics. This article aims not only to facilitate user-defined gesture

operations, but also increased the diversity of gesture recognition.

After knowing a lot of documents, this paper introduced the basic principles of

motion tracking and the method of gesture recognition, and has analyzed the sources of

error of MEMS inertial sensors, and has established the acceleration and angular

velocity of the system error model and the random error model. On the one hand, based

on the trajectory tracking theory, this paper has designed an automatic data truncation

algorithm to reduce the redundant data. The quaternion error processing algorithm has

been designed to improve the accuracy of the transfer matrix. In addition, due to the

influence of gravitational acceleration on trajectory calculation, a gravitational

acceleration compensation algorithm has been designed to eliminate its influence. After

that, the error of the velocity and displacement of the integral calculation exists, and the

speed displacement reconstruction algorithm has been proposed. On the other hand,

based on the theory of gesture recognition, the paper has combined with the trajectory

of the actual gesture, and the eigenvalue and gesture classifier of trajectory and the

algorithm of extracting eigenvalue have been designed. Finally, the algorithm of gesture

recognition of motion trajectory has been simulated by Matlab. Finally the experimental

results was shown graphically. And the result demonstrates that the gesture recognition

rate of the system is higher than 90%, to achieve the desired effect.

Keywords: trajectory, MEMS inertial sensor, gesture recognition, eigenvalues,

classifier 哈尔滨工业大学工学硕士学位论文

- III - 目 录

摘 要 ................................................................................................................. I

ABSTRACT ....................................................................................................... II

第1章 绪 论 .................................................................................................. 1

1.1 课题研究背景及意义 .................................................................... 1

1.2 国内外该方向的研究现状与分析 .................................................... 2

1.2.1 运动轨迹检测研究现状 .................................................................... 2

1.2.2 手势识别研究现状 ............................................................................ 3

1.3 本文主要研究内容 ........................................................................ 5

1.4 本文结构 ..................................................................................... 5

第2章 运动轨迹的手势识别相关理论 ............................................................ 7

2.1 基于MEMS传感器的运动轨迹计算理论 ........................................ 7

2.1.1 滤波算法 ........................................................................................... 7

合集下载

基于Kinect骨架信息的交通警察手势识别

基于Kinect骨架信息的交通警察手势识别

基于Kinect骨架信息的交通警察手势识别

刘阳;尚赵伟

【摘 要】针对现有的手势识别算法识别率低、鲁棒性弱的问题，提出一种基于Kinect骨架信息的交通警察手势识别方法。从Kinect深度图像中预测人体骨架节点的坐标位置，将节点的运动轨迹作为训练和测试的特征，结合距离加权动态时间规整算法和K-最近邻分类器进行识别。实验表明，在参数最优的情况下，该方法对八种交通警察手势的平均识别率达到98.5%，可应用于智能交通等领域。%To

overcome the problems such as low recognition rate and weak robustness

of current gesture recognition algorithms, this paper presents a novel

traffic gesture recognition method based on Kinect skeleton data. It

predicts skeleton joints’coordinates from depth image captured by Kinect

sensor. Then it uses joints’trajectories as the features of training and

testing. Distance weighting dynamic time warping algorithm and K-nearest

neighbor algorithm are used to recognize the giving sample. The

experimental results show that when argument is optimal, the average

recognition rate is up to 98.5%tested on eight traffic cop gestures, so this

基于Kinect深度图像信息的手势轨迹识别及应用

基于Kinect深度图像信息的手势轨迹识别及应用

第２９卷第９期　２０１２年９月　计算机应用研究　Ａｐｐｌｉｃａｔｉｏｎ　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｃｏｍｐｕｔｅｒｓ　Ｖｏ１．２９　Ｎｏ．９　Ｓｅｐ．２０１２　

基于Ｋｉ　ｎｅｃｔ深度图像信息的手势轨迹识别及应用　：ｌ＝　

张毅ｈ，张烁ｈ，罗元　，徐晓东　

（１．重庆邮电大学ａ．自动化学院；ｂ．光电工程学院，重庆４０００６５；２．电子科技大学自动化学院，成都６１１７３１）　

摘　要：为实现基于Ｋｉｎｅｃｔ深度图像信息的手势轨迹识别，提出了一种基于隐马尔可夫模型（ＨＭＭ）的手势轨　

迹识别的方法。首先采用新型Ｋｉｎｅｃｔ传感器获取图像深度信息；然后通过ＯｐｅｎＮＩ的手部分析模块获得手心的　

位置，提取轨迹特征；最后利用隐马尔可夫模型训练有效的轨迹样本并实现轨迹的识别。实验结果证明，该方法　

能有效地识别手势轨迹，并可用于控制智能轮椅的运动。　

关键词：手势轨迹识别；Ｋｉｎｅｃｔ传感器；ＯｐｅｎＮＩ；隐马尔可夫模型　

中图分类号：ＴＰ３ｌ１．５２　文献标志码：Ａ　文章编号：１００１—３６９５（２０１２）０９—３５４７—０４　

ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—３６９５．２０１２．０９．０９２　

Ｇｅｓｔｕｒｅ　ｔｒａｃｋ　ｒｅｃｏｇｎｉｔｉｏｎ　ｂａｓｅｄ　ｏｎ　Ｋｉｎｅｃｔ　ｄｅｐｔｈ　

ｉｍａｇｅ　ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　ｉｔｓ　ａｐｐｌｉｃａｔｉｏｎｓ　

ＺＨＡＮＧ　Ｙｉ　，ＺＨＡＮＧ　Ｓｈｕｏ　，ＬＵＯ　Ｙｕａｎ　，ＸＵ　Ｘｉａｏ．ｄｏｎｇ　（１．ａ．Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ａｕｔｏｍａｔｉｏｎ，ｂ．Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｏｐｔｏｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈｏｎｇｑｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｐｏｓｔｓ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ　４０００６５，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ　ｏｆＡｕｔｏｍａｔｉｏｎ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＥｌｅｃｔｒｏｎｉｃ　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ　ｏｆＣｈｉｎａ，Ｃｈｅｎｇｄｕ　６１１７３１，Ｃｈｉｎａ）　

一种新的多媒体教学系统人机交互应用研究

一种新的多媒体教学系统人机交互应用研究

应用技术与研究学术探讨　ｌ啊　二　＿二　二＝＝＝　＿＝二二＝＝＝＝　二二＝＝＿＝二二二二二＿ｉ：：一　２ｔ）１２苹第７鞘　一种新的多媒体教学系统人机交互应用研究　张如静　禹　亮　（聊城大学传媒技术学院，山东聊城　２５２０５９）　［摘要］　目前，多媒体教学在高校日常教学中占有重要地位，但多媒体教学系统由于各种原因容易损坏，严重影响教学　的质量。本系统对现有多媒体教学系统增加一个摄像头，通过捕获授课教师的手势指令控制多媒体展示，避免了多媒体教学系　统的人为损坏。提出基于二次检测的人手跟踪算法和基于人手运动轨迹的手势指令识别算法。经实验证明该系统快速稳定、抗　干扰性强且与用户无关，可广泛应用于多媒体教学中。　［关键字］　多媒体教学系统；人机交互；运动跟踪；轨迹识别　１．引言　近年来，随着我国教育信息化的快速发展，多媒体教学　已基本在全国高校普及。高等院校中几乎所有的教室都配备　多媒体教学系统，有效地提高了教育教学的品质。但是，笔者　在教学过程中发现多媒体教学系统中的鼠标、键盘、遥控鼠　标等设备由于操作频率高，极易出现问题，并且由于各种原　因造成维修或更换不及时，从而影响授课效果。文献［１］中也　提出当前学校的多媒体教学系统存在各种原因造成的设备　不能发挥正常作用、设备损坏的现象。　本系统通过对现有多媒体教学系统增加一个摄像头，实　时采集教师授课图像，识别教师简单手势动作来控制多媒体　课件的展示。首先本系统采用差分图像和肤色信息进行人手　检测，然后提取手势特征，利用动态时间归正算法与标准模　板进行相似性判别，从而确定控制命令。这样不仅实现手势　识别的任务，而且满足授课的实时性需要。　２．系统结构　本系统实现的困难主要有以下两个：（１）教室中光线复　杂多变。为了保证投影幕布上的图像清晰可见，多数情况要　保证教室光线偏暗，同时投影仪发出的光线会对手势识别产　生极大的影响。（２）为了使摄像头捕获授课时教师在所有可　能位置发出的指令，不得不牺牲图像的清晰度以获得较广的　视角，导致图像中人手不清晰，很难分割出人手的细节。针对　以上困难，本文提出基于二次检测的人手跟踪算法和通过人　手运动轨迹识别进行控制指令的判别。系统结构如图１。　●…。。＿…－…－－●－。。　；　训练　扶检测１　；ｌ襁姓锺　本系统分为两个模块：人手检测模块和手势识别模块。　其中人手检测模块检测判断输入的实时图像数据中是否存　在手势；手势识别模块实现对不同手势指令的识别。　３．基于二次检测的人手跟踪算法　运动目标跟踪是计算机视觉领域重要的研究课题，其目　的是在视频序列中实时地发现并提取运动目标，为下一步目　标识别、运动分析等算法提供数据。目前运动Ｅｌ标检测的主　要方法有流光法＿２、３］、帧差法【４、５］和背景差法＿６、－－，其中流光法虽　然准确性高，但是运算量较大，无法保证实时性，帧差法和背　景差法运算量小，但是受环境光线变化的影响较大，易受噪　声干扰。针对本文应用，笔者提出基于帧差法和肤色分割的　人手二次检测，实现人手的跟踪定位。　３．１　基于相邻帧差法罔的人手初步检测　将当前帧图像与前一帧图像对应像素点的像素值作差，　如果差值大于闽值，则该点为运动目标的像素点，如下式：　ｄ＝Ｉ　Ｉ　（ｘ，Ｙ，ｉ）－ＩＬ（Ｘ，Ｙ，ｉ－１）ｌ　（１）　ｆ１，如果ｄ　Ｔ　ＤＬ（ｘ，ｙ，ｉ）　｛０，如果ｄ＜Ｔ　（２）　式中：ＩＤＬ（ｘ，Ｙ，ｉ）表示相邻两帧图像中对应像素点的检测　结果；１表示运动目标像素点；０表示背景像素点；Ｔ为阈值，　Ｔ的选取依靠统计实验经验，一般设为５０左右。　由于光线、阴影等变化的影响，帧差法得到的二值图像　中存在噪声，如图２所示，Ｃ图中红色方框内是运动目标，蓝　色方框内为噪声。噪声使人手无法准确定位，影响人手动作　的识别。笔者利用相邻帧差法得到人手可能存在的区域，然　后使用肤色信息在当前帧中相同区域进行二次检测，去除噪　声干扰，实现人手的准确定位。　口口■　作者简介：张如静，女，山东阳谷人，硕士，助理实验师，研究方向：虚拟现实，教育游戏。　ｂ　ｃ　图２相邻帧差法效果图　一

基于Leap Motion的动态手势识别方法

基于Leap Motion的动态手势识别方法

基于Leap Motion的动态手势识别方法

高宇; 何小海; 吴晓红; 王正勇; 张豫堃

【期刊名称】《《计算机系统应用》》

【年(卷),期】2019(028)011

【总页数】5页(P208-212)

【关键词】手势识别; 虚拟现实; Leap Motion; 特征提取; 隐马尔科夫模型

【作 者】高宇; 何小海; 吴晓红; 王正勇; 张豫堃

【作者单位】四川大学 电子信息学院 图像信息研究所 成都 610065; 成都西图科技有限公司 成都 610065

【正文语种】中 文

随着计算机、虚拟现实等各方面技术的显著进步，人机交互技术在虚拟现实中扮演的角色地位逐渐提升[1].人们不仅对人机交互的实时性、识别率等标准的要求愈发严苛，而且提出人机交互方式更简单、准确率更高和参与性更强的发展需求[2].手势作为一种变化方式和表达含义都很丰富的肢体语言，自然成为人机交互的一种重点媒介.

手势识别有动态手势识别和静态手势识别，相较于静态手势识别而言，动态手势识别特点在于跟踪目标伴随时间和空间的改变而产生形态和运动轨迹的变化.动态手势识别一般分为特征数据采集、手势模型训练和手势分类识别3 个步骤[3].其中，手势模型的训练和建立是至关重要的一步.选择不同手势之间区分度较大的特征参与手势模型的训练，才能准确建立出相似手势的不同手势模型.张琪祥利用掌心位移、掌心法向量、掌心球半径和五指伸展程度作为特征训练HMM 手势模型[4]，但是一些相似手势的识别率差强人意；Lu W 等人选取相邻指尖距离、指尖梯度和五指分开度作为特征进行手势模型训练[5]，然而对相似单指动态手势的识别不够理想.针对以上识别率不足的问题，提出在特征数据的提取中不仅提取掌心位移、掌心法向量、掌心球半径和手指伸展程度，而且加入掌心位移向量角度的提取，并且在进行HMM手势模型训练的过程中将拐点判定计数也作为手势的特征参与训练，建立更准确的手势模型，提升手势识别的准确率.