下载文档原格式
基于深度信息的指尖追踪及手势识别顾德;李吉【摘要】This paper presents an algorithm to realize the finger and palm tracking based on the depth information in real time. The recognized actions can be used for hand pose recognition. The depth map of the hands is captured by Kinect, which then converts the depth map to 3D point cloud in a form of pixel matrix. Fingers and direction of palms are calculated by using K-curvature algorithm. Finger names are determined according to their relative distances. Experimental results show that the present method effectively achieves the finger and palm tracking, and is unaffected by light and complex background. This method can apply to hand pose recognition.%提出了一个基于深度信息对手指和手部进行实时跟踪，并可用于手势识别的方案。
用Kinect获取深度信息，然后生成手部的三维点云，进行过滤转换成像素矩阵；使用K-curvature算法获取指尖和手掌方位，然后通过手指之间的相关距离进行手指标定。
实验结果证明该方案识别追踪效果稳定且高效，不受光照和复杂背景影响，能够同时跟踪双手共10个手指和2个掌心的动作轨迹，并用于手势识别。
基于深度学习的运动员动作识别及评价指标研究运动员的动作识别和评价一直是体育领域的重要研究方向。
随着深度学习技术的不断发展，基于深度学习的运动员动作识别和评价指标研究也取得了显著的进展。
本文将对这一研究方向进行探讨，并讨论如何利用深度学习方法提高运动员动作的识别和评价。
动作识别是指通过运动员的动作来判断其所处状态的能力。
在过去，动作识别主要依赖于人工手动提取特征和设计算法来进行分析，这种方法存在着人工选择特征的主观性和算法设计的局限性。
而基于深度学习的运动员动作识别方法可以通过学习数据中的高级特征来实现动作的自动提取和分析，具有更大的准确性和鲁棒性。
深度学习方法中的卷积神经网络（CNN）在运动员动作识别中得到了广泛应用。
CNN能够学习出多层次的特征表示，从而提高动作识别的准确度。
一种常用的CNN网络结构是多层卷积层和池化层交替堆叠，最后通过全连接层进行分类。
在训练过程中，需要大量的标记数据集来进行监督学习，以帮助CNN网络学习并识别出不同动作。
同时，还可以通过数据增强技术来扩充数据集，提高网络的泛化能力。
除了动作识别，运动员的动作评价也是非常重要的。
传统的评价方法主要依赖于人工观察和判断，存在主观性和不一致性的问题。
而基于深度学习的评价指标研究可以通过学习数据中的相关特征，自动判断和评价运动员的动作质量。
例如，可以利用深度学习方法从运动员动作的细节特征中提取出关键点位置、运动轨迹等信息，进而进行评价。
此外，还可以利用基于深度学习的模型来建立运动员的动作评价系统，实现对运动员动作的实时评估。
在运动员动作识别和评价中，还需考虑到一些特殊的问题。
比如，多人动作的识别和评价，这需要考虑到多个运动员之间的协同和互动关系。
可以利用深度学习模型来建立多人运动的时空关系模型，实现对多人动作的识别和评价。
此外，还需考虑到不同运动项目的差异性，不同运动项目的动作特征和评价指标可能存在较大的差异，需要针对不同运动项目进行特定的研究和改进。
手势识别与姿态估计算法研究摘要：手势识别与姿态估计是计算机视觉领域中的热门研究方向之一。
随着智能设备的普及和人机交互技术的发展，手势识别和姿态估计的应用越来越广泛。
本文将介绍手势识别与姿态估计算法的研究进展，包括传统方法和深度学习方法，并讨论其在图像识别、虚拟现实、智能交通等领域的应用。
1. 引言手势识别与姿态估计是研究人类动作行为和空间定位的重要领域之一。
通过利用计算机视觉技术，可以将人的手势或身体姿态转化为计算机能够理解和处理的信息，实现与计算机的自然交互。
手势识别与姿态估计在图像识别、虚拟现实、智能交通等领域具有广泛的应用前景。
2. 传统方法传统的手势识别与姿态估计方法主要基于计算机视觉中的特征提取和分类算法。
传统方法主要包括以下几种技术：形状分析、运动分析、模型匹配和机器学习。
形状分析是指通过对手势或姿态形状的描述和分析来进行识别和估计。
运动分析是指通过分析手势或姿态的运动模式和轨迹来进行识别和估计。
模型匹配是指通过将手势或姿态与已有的模型进行匹配来进行识别和估计。
机器学习是指通过构建分类器来自动学习和识别手势或姿态。
3. 深度学习方法深度学习是近年来兴起的一种机器学习方法，具有较强的数据驱动能力和自动特征学习能力。
深度学习在手势识别与姿态估计领域取得了显著的进展。
深度学习方法主要包括基于卷积神经网络（CNN）的方法和基于循环神经网络（RNN）的方法。
CNN方法可以通过学习空间特征和纹理特征来实现手势识别和姿态估计。
RNN方法可以通过学习时间序列特征和运动模式来实现手势识别和姿态估计。
4. 应用领域手势识别与姿态估计在多个领域都有广泛的应用。
在图像识别领域，手势识别和姿态估计可以应用于人脸识别、物体识别等任务，提高识别的准确性和稳定性。
在虚拟现实领域，手势识别和姿态估计可以用于手部交互、虚拟角色动作捕捉等场景，增强用户与虚拟环境的互动体验。
在智能交通领域，手势识别和姿态估计可以用于驾驶员行为识别、手势交通信号灯控制等应用，提高交通安全性和驾驶体验。
基于深度学习的手势识别技术研究毕业设计1在手势识别技术的发展过程中，深度学习作为一种新兴的人工智能技术，为手势识别提供了更高的准确性和稳定性。
本文将围绕基于深度学习的手势识别技术展开研究，分析其原理、应用以及未来发展方向。
1. 引言手势识别技术在现代社会中具有重要意义，它通过感知人体手势的姿态、运动和形态特征，实现与人之间的自然交互。
然而，传统的手势识别方法在准确性和稳定性方面存在一定的限制。
而深度学习作为一种新兴的人工智能技术，具有强大的学习能力和泛化能力，被广泛应用于图像识别领域。
因此，基于深度学习的手势识别技术成为了当前研究的热点和趋势。
2. 基于深度学习的手势识别原理基于深度学习的手势识别技术主要包括两个主要步骤：特征提取和手势分类。
在特征提取阶段，利用深度神经网络对手势图像进行特征抽取，获取图像中手势的空间和时间信息。
在手势分类阶段，利用深度神经网络将手势特征映射到对应的手势类别，实现手势的准确分类。
深度学习模型如卷积神经网络（CNN）和循环神经网络（RNN）通常被应用于手势识别任务，能够有效地提取手势的多模态特征。
3. 基于深度学习的手势识别应用基于深度学习的手势识别技术在许多领域具有广泛的应用前景。
一方面，在虚拟现实（VR）和增强现实（AR）等交互界面中，通过手势识别技术能够实现用户与虚拟环境之间的自然交互，提升用户体验。
另一方面，在智能家居、智能驾驶等领域，基于深度学习的手势识别技术可以实现智能设备的远程操控和控制，提高生活和工作效率。
4. 基于深度学习的手势识别研究挑战尽管基于深度学习的手势识别技术取得了显著的进展，但仍存在一些挑战。
首先，手势多样性和变化性对算法的稳定性和鲁棒性提出了挑战。
不同人的手势形态、姿态和动作习惯存在差异，如何克服这些差异，实现高准确性和稳定性的手势识别仍然是一个挑战。
其次，深度学习技术需要大量的标注数据进行训练，但手势识别标注数据的获取难度较大。
因此，如何充分利用有限的标注数据，提升手势识别模型的泛化能力是一个关键问题。
第32卷第9期计算机辅助设计与图形学学报Vol.32No.9 2020年9月Journal of Computer-Aided Design & Computer Graphics Sept. 2020融合手势全局运动和手指局部运动的动态手势识别缪永伟, 李佳颖, 孙树森(浙江理工大学信息学院杭州 310018)(***************.cn)摘要: 传统基于手部轮廓或手部运动轨迹的动态手势识别方法, 其提取的特征通常难以准确表示动态手势之间的区别. 针对动态手势的复杂时序、空间可变性、特征表示不准确等问题, 提出一种融合手势全局运动和手指局部运动的手势识别方法. 首先进行动态手势数据预处理, 包括去除手势无效帧、手势帧数据补全和关节长度归一化; 然后根据给定的手部关节坐标, 利用手势距离函数分段提取动态手势关键帧, 并基于手势关键帧提取手在空间中的全局运动特征和手内部手指的局部运动特征; 其次融合手势全局运动和手指局部运动的关键帧手势特征, 并采用线性判别分析进行特征降维; 最后利用带高斯核的支持向量机实现动态手势识别与分类. 对DHG-14/28动态手势数据集中14类手势和28类手势数据集进行实验, 其分类识别准确率分别为98.57%和88.29%, 比现有方法分别提高11.27%和4.89%. 实验结果表明, 该方法能准确地表征动态手势并进行手势识别.关键词: 动态手势识别; 手势全局运动; 手指局部运动; 关键帧; 线性判别分析; 支持向量机中图法分类号: TP391. 41 DOI: 10.3724/SP.J.1089.2020.18126Dynamic Gesture Recognition Combining Global Gesture Motion and Local Finger MotionMiao Yongwei, Li Jiaying, and Sun Shusen(College of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018)Abstract: Traditional gesture recognition methods always focus on hand contours or hand movement track, and the extracted gesture features are often difficult to represent the difference between dynamic gestures accurately. To overcome the issues of complex time series, the spatial variability and inaccurate feature rep-resentation of different dynamic gestures, a novel dynamic gesture recognition method is proposed here by combining global gesture motion and local finger motion. Firstly, based on the given hand joint positions, several data pre-processing steps are performed for dynamic gesture data, such as removing of the invalid gesture frames, completing the gesture frames, and the normalization of joint lengths for different gestures.Secondly, the key gesture frames will be extracted according to the distance function defined by the differ-ence of hand translation and rotation, fused by the difference of panning and rotating of fingers. Meanwhile, according to the extracted key gesture frames, the gesture features of global gesture motion and local finger motion can be calculated. Finally, by combining the extracted gesture features, dynamic hand gestures can be classified and recognized using linear discriminant analysis (LDA) and Gaussian kernel based SVM. The proposed method has been evaluated on the DHG-14/28 datasets, which includes 14 kinds of gestures and 28 kinds of gestures. And the accuracy of hand gesture recognition is 98.57% and 88.29% respectively, which is收稿日期: 2019-10-24; 修回日期: 2020-03-28. 基金项目: 国家自然科学基金(61972458); 浙江理工大学科研基金(17032001-Y).缪永伟(1971—), 男, 博士, 教授, 博士生导师, CCF杰出会员, 主要研究方向为计算机图形学、数字几何处理、计算机视觉、机器学习; 李佳颖(1995—), 女, 硕士研究生, 主要研究方向为计算机图形学、机器学习; 孙树森(1975—), 男, 博士, 副教授, 主要研究方向为计算机图形学、虚拟现实.第9期缪永伟, 等: 融合手势全局运动和手指局部运动的动态手势识别 149311.27% and 4.89% higher than the existing methods. Experimental results demonstrate that our method can represent the difference between dynamic hand gestures accurately and recognize them effectively.Key words: dynamic gesture recognition; global gesture motion; local finger motion; key frame; linear discrimi-nant analysis; support vector machine作为计算机图形学、虚拟现实、人机交互和手语翻译等领域的一种重要交互模式, 手势交互提供了一种简单便捷的交互体验[1]. 根据手势是否具有时序性, 可以将手势分为静态手势和动态手势2类[2], 静态手势顾名思义指的是单帧静止的手势, 而动态手势指的是一段时间内连续的多帧手势. 相比于静态手势, 动态手势由于不仅需要关注手部手形的变化, 还要关注手指在时间、空间中的运动而变得难以准确识别[3]. 通常, 复杂动态手势的运动规律具有以下3个明显特点: (1) 时间的可变性. 动态手势的运动速度不确定, 对于相同的手势, 不同的人可以用不同的速度来完成; 即使是同一个人, 每次的完成速度也并不一样. (2) 手势完整性的可变性. 在许多情况下, 与系统预先定义的手势相比, 用户/操作员的手势是不完整的或冗余的. (3) 空间的可变性. 手势的运动空间和运动距离是不同的, 不同的人所做相同手势的距离和范围也总是不同的. 这些特点将导致难以准确表征不同动态手势的特征. 动态手势的复杂时序、空间可变性、特征表示不准确等问题, 给动态手势的识别和分类带来困难与挑战[2].许多动态手势识别的工作都是基于RGB图像、深度图像、光流信息或手势轨迹[4]. Simonyan 等[4]利用双数据流特征进行动态手势分类, 其中一个数据流利用静态的RGB图像进行分类, 而另一个数据流利用光流和轨迹信息. RGB图像信息中包含了单帧手势的局部特征信息, 光流和轨迹信息中包含了手势的全局特征信息, 但是该方法并没有将2个数据流的特征相结合, 仅仅是分开使用2个数据流. 本文考虑手势全局运动特征和手内部手指局部运动特征, 并将融合2个特征进行动态手势识别和分类. 基于手势图像, Molchanov等[5]采用联接时间分类(connectionist temporal classifica-tion, CTC)方法解决动态手势时序问题, 但是该方法具有条件独立性, 假设不同时间帧的输出之间是独立的, 对于动态手势序列而言, 手势序列是具有时间空间连续性的, 该假设并不符合动态手势运动.最近受益于Intel real sense, Microsoft Kinect, OpenPose等硬件设备的广泛使用以及高精度手部跟踪方法的发展, 使得人们很容易获取高精度的手部骨架数据. 实际上, 手部骨骼的运动通常能准确反映不同动态手势的特征差异[3,6]. 基于手部关节点坐标输入, 针对动态手势时间的可变性和手势完整性的可变性等问题, 本文首先提出动态手势关键帧的有效提取方法, 从而去除不同动态手势中的冗余帧, 并将不同长度的动态手势视频统一到同一长度; 然后基于动态手势关键帧, 将手势运动特征表征为手部在空间中的全局运动和手内部手指的局部运动, 并融合2类特征进行降维; 最后利用带高斯核的支持向量机(support vector ma-chine, SVM)实现有效的动态手势识别. 本文提出了一种动态手势特征表示, 该表示能够有效表征动态手势的运动特征, 并为手势准确识别奠定了基础.1 相关工作动态手势的时空信息特征处理是动态手势识别与分类的关键和难点[2]. 动态手势识别大致可以分为传统手工特征提取方法和深度学习方法等.针对动态手势的传统手工特征提取方法, 大多采用动态时间规划(dynamic time warping, DTW)[7-8]、傅里叶时间金字塔[9]、隐马尔可夫模型(hidden Markov models, HMM)[10]等解决动态手势的时空信息处理问题. 其中DTW方法[7-8]采用两两对比的策略来规整时间信息, 该方法依赖于一个标准手势版本进行对比, 但是在手势数据集中并没有这个标准版本可供对比, 只能人为设定标准手势; 傅里叶时间金字塔方法[9]采用将完整的手势帧进行分段提取的方式来处理动态手势的时空信息特征; HMM则认为动态事件的下一状态只与上一状态有关, 与之前的状态都没有关系[10], 其忽略了动态手势的连贯性.针对动态手势识别的深度学习方法往往利用HMMs[10]、长短期时间记忆(long short-term mem-1494计算机辅助设计与图形学学报 第32卷ory, LSTM)[11-12]、广义时间规划(generalized time warping, GTW)[13], DTW [7-8]、空间金字塔池化(spatial pyramid pooling, SPP)[14]等解决时空信息处理问题. Wu 等[15]使用HMMs, 结合深度置信网络和卷积神经网络, 从RGB-D 数据中提取骨架特征中的时间依赖性. 然而, 由于深度置信网络采取无监督方式学习, 并没有结合手势类别对数据进行压缩. Nguyen 等[6]提出一种基于手部关节点坐标的对称正定(symmetrical positive determined, SPD)矩阵流形学习的神经网络方法. 该网络由3个部分组成: 一层卷积层、一层时空高斯聚合层和从骨架数据中学习到的最终SPD 矩阵. 该方法与本文类似利用关节之间的物理链接点提取特征. 然而, 该方法对时间序列的处理较粗糙, 为了捕获骨架序列的时间顺序, 采用了时空手势识别网络构造许多子序列: 原始序列、将原始序列分成2个子序列、再分成3个子序列等. Abavisani 等[16]提出了一种基于多模态训练的单模态动态手势识别方法, 对时间和位置信息利用时空语义对齐损失进行对齐, 这与协方差矩阵对齐密切相关. 然而, 利用神经网络进行动态手势识别的方法中网络设计往往难以充分考虑动态手势特定的手势运动特征. 本文提出了一种新的动态手势识别方法. 该方法将动态手势的运动分为手部在空间的全局运动和手内部手指的局部运动2部分, 并利用关键帧提取解决时间信息处理问题.2 动态手势识别方法本文从动态手势运动的内在特性出发, 结合手势所具有的个体差异性、时空连续性等特点, 提出了一种新的动态手势识别框架. 如图1所示, 该框架输入为动态手势3D 关节坐标, 首先进行数据预处理, 包括去除手势无效帧、手势帧数据补全和关节长度归一化; 然后提取动态手势关键帧, 并基于手势关键帧提取手在空间中运动的全局特征和手内部手指的局部特征; 并将两者特征融合后进行线性判别分析(linear discriminant analysis, LDA)特征降维, 最后利用带高斯核的SVM 进行动态手势识别分类. 该框架结合动态手势的时空连续特性, 解决了手势的时序问题, 同时有效提取了手部运动全局特征和手指运动局部特征.图1 动态手势识别框架2.1 动态手势数据预处理首先, 针对动态手势的时间可变性, 本文认为对于相同的手势动作, 由于测试者的动作有快有慢导致手势视频中出现较多冗余帧. 另外, 在手势提取过程中, 由于初始化问题或者出于提取关节位置信息考虑, 通常会需要测试者保持若干秒静止状态, 该手势帧与手势类别无关, 本文中将与手势类别无关的手势帧定义为手势无效帧, 为避免在关键帧提取中产生干扰, 需要首先去除手势无效帧.其次, 针对动态手势的完整性, 对不满关键帧帧数的手势将采用手势帧补全的方法, 使得动态手势数据帧数达到关键帧帧数的要求.最后, 针对动态手势的空间可变性, 本文认为当不同人做相同手势时, 不同的手掌大小和不同的手势幅度等通常会产生个体差异性. 本文将利用关节长度归一化方法消除个体差异性带来的影响, 从而解决动态手势的空间可变性问题. 2.1.1 手势的无效帧删除动态手势是一段时间内连续变化的手势序列, 手的形状和位置随着时间而变化. 动态手势数据集通常通过深度相机或数据手套获取, 获取的动态手势通常存在如何定义起始帧和结束帧的问题.第9期缪永伟, 等: 融合手势全局运动和手指局部运动的动态手势识别 1495本文所采用的数据集序列中, 要求参与者在每一个序列开始前的几秒内将整个手完全打开在摄像机前, 这一操作主要用于初始化手势估计算法. 因此, 每个手势序列中都有一些与手势类别无关的手势无效帧, 为了避免无效帧对手势分类造成干扰, 首先需要删除手势无效帧. 另外, 动态手势起始帧提取也是动态手势分类中的一个难点, 本文采用的动态手势数据集中已手工标注了有效的起止帧, 因此本文只需根据数据集中提供的手势起止帧数, 删除起始帧之前和结束帧之后的无效帧. 2.1.2 手势帧数据补全当手势关键帧确定之后, 对于关键帧帧数不足的手势处理问题, 本文考虑如果直接将小于关键帧数量的手势视为无效手势删除, 随着关键帧数量的增加, 数据集中的手势数量将急剧下降. 因此, 本文对帧数小于关键帧的手势数据采用数据补全的方法, 利用重复手势帧进行数据补全; 即从起始帧开始不断依次重复所有现有帧, 且为了保持手势运动特性, 将重复的手势帧直接插在被重复的手势帧之后, 直至手势视频达到规定帧数为止, 然后删除一个起始帧. 通过手势帧补全, 可以使训练数据集中样本数保持不变, 而重复现有手势帧可以有效地保持动态手势的完整性, 更好地说明手势识别准确率的提升和本文方法的泛化性. 2.1.3 手部关节长度归一化手势数据集通常需要由不同参与者采集数据, 并保持手势的通用性. 但是, 不同的参与者手的大小和关节之间的长度不同. 为了消除手部的个体差异性, 本文将手部关节长度归一化为相同长度, 即改变关节长度但不改变关节间的夹角. 例如, 在握拳手势时可能会出现指尖穿过手掌平面的异常运动. de Smedt 等[3]将手部关节长度归一化为数据集的平均长度, 但增加了计算量. 本文在标准手指长度的基础上, 对手部关节长度进行归一化.不妨以某一帧为例简述归一化过程. 利用,i j W 表示第j 帧中第i 个关节点位置. 为方便起见,归一化过程中下标j 均省略, 即表示为i W , 其中,0,1,2,,21i = . 利用向量表示22个关节点构成的关节对, 即15,1216,10,14,18 ,6,10,14,18i i i i i i i --≠⎧=⎨-=⎩W W V W W 且≤≤.归一化过程为,iii iL =V V V015, 0+,1216,10,14,18+, 6,10,14,18i i i i i i i i -=⎧⎪=≠⎨⎪=⎩W W V W V W ≤≤且 (1)需要指出的是, 本文对手部关节长度归一化时基于一个标准手指长度进行, 标准手指长度参考ACT hand 关节段[17]确立, 其中, i L 为对应第i 节关节段标准长度.2.2 动态手势特征表示首先, 从全局来看, 动态手势是手随着时间的流逝发生的一系列空间上的变化, 该变化可以根据物体运动的特性划分为平移运动和旋转运动. 其中平移运动通过手部中心点的移动距离表示, 根据手的运动特性, 手掌中心点的位置可以唯一确定手在空间中的位置. 旋转运动则是通过手的主方向向量的改变来进行刻画, 本文中手的主方向定义为: 手肘指向手掌中心点的向量. 考虑交互手势特征, 并不包含手绕中指指根关节与手肘连线所在直线的自旋转运动, 所以本文没有考虑自旋转运动的特征.其次, 从局部来看, 除了手在空间上的变化, 还有手内部手指的局部运动引起的手形变化, 本文将手部关节等同于21段链段结构. 而手指的局部运动是由手指的关节弯曲所引起, 可以理解为链段之间的角度变化引起的链段结构的整体变化. 考虑旋转矩阵所使用的元素多达16个, 而欧拉角会出现万向节死锁现象, 故本文中利用旋转四元数表示该变化. 而对于链段结构而言, 细微的角度误差将被累积, 经过多段链段后容易引起较大的距离误差[3], 故本文为消除由于角度误差累积引起的距离误差, 将手指相对距离特征加入手指的局部运动特征中. 同样考虑手部物理特征, 手指不存在绕该指指根关节与手肘连线所在直线的自旋转运动.综上所述, 本文基于手势的几何特性和时间空间连续性的角度, 提出了动态手势的4个特征表示. 动态手势运动的过程包括整只手在空间中的全局运动(即手在空间中的平移运动、旋转运动)和手内部手指的局部运动(即手内部手指的平移运动、旋转运动). 具体表示如下:(1) 手在空间中的平移运动.手在空间中的移动过程通过前后2帧手中心1496计算机辅助设计与图形学学报 第32卷点(关节点1)的距离刻画, 即1,11,1j j j j T T --=--W W .(2) 手在空间中的旋转运动.手在空间中的翻转信息通过前后2帧之间的手主方向向量距离刻画, 本文中手的主方向定义为10-W W , 翻转信息表示为1,0,1011,,1j j j j j j P P ---=----W W W W . (3) 手内部手指的平移运动.手指的平移运动则利用手指指尖相对距离特征刻画. 为避免因关节段之间旋转角度信息作为特征而出现旋转误差累积的现象, 本文提取手指相邻指尖之间的距离和手指指尖相对于手腕的距离作为手指平移特征, 具体表征为手指相邻指尖之间的距离094D =-W W ,1139D =-W W , 21713D =-W W ,32117D =-W W ,以及手指指尖相对于手腕的距离440D =-W W ,590D =-W W ,1630D =-W W , 1770D =-W W ,2810D =-W W .(4) 手内部手指的旋转运动.手的弯曲变化利用手部关节之间的旋转四元数刻画, 以00001111(,,)(,,)x y z x y z V V 关节段之间的四元数为例, 可得四元数中的旋转角度特征为Q = 01cos(arccos()/2)⨯V V .2.3 动态手势关键帧提取 2.3.1 手势距离函数为了有效提取动态手势的关键帧, 融合手势全局运动和手指局部运动的4个特征表示, 本文提出了一种手势距离函数, 并通过对手势距离进行排序选取动态手势中特征变化显著的手势帧作为关键帧, 即产生运动突变的帧作为手势关键帧. 定义一个动态手势前后2帧之间的距离为1381,,12,,103141()()()(),1,,j i j i j k j k j i k j j j j L Q Q D D P P T T j S E λλλλ--==--=-+-+-+-=+∑∑ (2)其中动态手势起始帧序号为S , 结束帧序号为E .实验中参数取1234=100, =1, =1, =1λλλλ. 2.3.2 关键帧分段提取对于动态手势视频序列, 若直接选取手势距离函数最大的前k 帧作为关键帧, 容易出现关键帧全是邻近帧的情况, 如对于图2所示的有效帧为第44~66帧的向上滑动的手势动态序列, 直接利用手势距离函数提取出的关键帧为第52~56帧, 这些关键帧全是邻近帧, 从而无法有效地表示整个手势过程. 为方便观察, 以深度图为例, 如图2所示, 图中显示不经过分段直接提取手势关键帧时出现严重信息冗余, 且不包含起始手势, 丢失了动态手势的完整信息. 为了避免信息冗余和保持手势的完整性, 需要考虑分段提取动态手势的关键帧.a. 输入的动态手势视频帧b. 提取的动态手势关键帧图2 不分段提取的手势关键帧第9期缪永伟, 等: 融合手势全局运动和手指局部运动的动态手势识别 1497在采用分段提取动态手势关键帧中, 假设手势起始帧为S F , 结束帧为E F , 则整个有效手势可表示为,}{,S E F F . 若提取k 帧关键帧则可将整个手势均匀分成k 段, 经分段后手势段I 为1(1){{,,},,{,,}}S S d S k d E +-+-⋅=F F F I F (3) 其中, (1)/d E S k -+⎢⎥⎣⎦=. 然后在每个手势段内选取距离函数式(2)最大的帧作为该段关键帧.本文数据集删除无效帧后帧数范围为7~149帧, 可选取的关键帧帧数范围较广. 为不失一般性, 考虑人体动作识别视频序列长度与手势动作的差异性, 通过手势识别准确率的对比实验选取关键帧帧数为31帧. 最后, 为保证手势完整性, 添加手势起止帧作为关键帧. 若起始帧(结束帧)已经包含在关键帧中则选取该帧的邻近帧, 即后1帧或前1帧取代该帧, 并添加起止帧. 算法步骤如下.算法1. 关键帧提取算法.输入. 动态手势的22个关节点3D 坐标信息. 输出. 该动态手势的k 帧关键帧.Step1. 根据手势起止帧, 删除手势无效帧{}{}1,,,S E N ''←F F F F .Step2. 补全手势帧{}{},,,,S E S E ''←F F F F .Step3. 利用式(1)对每一帧的关节长度进行归一化, 得到归一化后关节点位置信息,,0,1,,21,i j i S j E =≤≤W .Step4. 将动态手势按照式(3)进行分段.Step5. 根据式(2)计算视频段内前后2帧距离j L . Step6. 在每个视频段中分别选取具有最大距离的帧作为其关键帧,,,m m m F F F .Step7. 加入手势起止帧S F 和E F , 最终得到动态手势的关键帧为,,,,,S m m m E F F F F F .以抓取手势为例, 说明本文中关键帧提取的有效性. 图3a 给出了抓取手势中的每隔5帧手势深度图, 分别对应第10帧、第15帧、第20帧、第25帧、第30帧、第35帧、第40帧、第45帧手势图; 图3b 给出了利用算法1提取的抓取手势的关键帧, 分别对应第10帧、第17帧、第22帧、第31帧、第38帧、第40帧、第45帧手势图, 可以看出利用分段提取动态手势的关键帧能够有效地表示手势的完整变化过程.a. 每隔5帧的手势深度图b. 分段提取的手势关键帧图3 抓取手势的关键帧提取本文采用的动态手势关键帧提取算法包含手势数据预处理、手势分段、手势帧距离计算等, 由于手势帧数的不同, 其关键帧提取时间也不尽相同. 表1给出了对不同手势帧帧数统计其关键帧提表1 关键帧提取时间统计手势帧帧数平均时间/s0~31 0.0032~40 40.1541~50 41.8951~60 42.25 61~70 46.07 >70 74.63取的平均时间列表. 当手势帧帧数不超过31帧时, 仅需补全手势帧, 不计关键帧提取时间; 随着手势帧帧数的增多, 关键帧提取时间变长. 本文中的关键帧提取实时性较低, 在未来工作中将探讨如何进一步提高关键帧提取的实时性.2.4 动态手势识别和分类 2.4.1 手势特征融合由于本文提出的融合手势全局运动和手指局部运动的特征将共同表征一个动态手势, 类似于Luvizon 等[18]将特征进行融合的思路, 本文将特征进行联接融合为单个手势的m 维特征向量=Y 1,],[ m y y . 在含有N 个样本的数据集中分别得到1498计算机辅助设计与图形学学报 第32卷N 个手势特征向量为,1,,[],1,2,,,. m i i i y y i N ==Y对特征向量中各维特征分别归一化,,i j ji j jf f f σ-=.其中, ,1/;N j i j j i f f N σ===∑ 从而得到N 个手势的归一化特征向量为,1,[], ,,,,1,2i i i m f f i N ==F .2.4.2 手势特征降维对于SVM 来说, 本文的样本特征向量维数过多, 在动态手势关键帧中存在信息冗余. 为了使变量相互独立并去除手势特征中的噪声, 同时考虑样本中存在的类别标签, 这里采用监督降维中的LDA 方法进行特征降维. 该方法降维原理如下: 同类数据应尽可能接近, 不同类别的数据应尽量远离, 即投影后类内方差最小, 类间方差最大. 本文在降维过程中, 充分利用手势类别的先验知识. 将手势特征映射到一个低维空间中, 该过程充分利用了手势类别的信息, 使得不同类别手势间的特征方差最大, 同一类别手势间的特征方差最小, 方便进行手势识别和分类.2.4.3 基于带高斯核SVM 的手势识别和分类与其他机器学习分类方法相比, SVM 理论避开了高维空间的复杂性并直接利用核函数向高维空间进行映射, 再利用线性可分情况下的求解方法直接求解对应的高维空间决策问题. 当核函数已知时可以简化高维空间问题的求解难度. 同时SVM 有很好的理论基础, 不涉及概率测度, 最终的决策函数也只由少量的支持向量决定, 计算复杂度取决于支持向量的数目, 而不是样本空间的维数, 从而避免了维数灾难.本文采用带高斯核的SVM 实现对动态手势的识别和分类. 该方法能根据有限样本信息找到特定训练样本的学习精度与学习能力之间的折中, 在解决小样本、非线性和高维识别方面具有优势.3 实验结果与分析本文实验平台为Intel Core i5-7500, 4 GB RAM, 操作系统为Windows10 64位. 本文基于手部关节点的3D 坐标信息, 通过确定起止帧、删除手势无效帧; 然后进行关节长度归一化以消除个体差异性, 提取手势关键帧, 再分别提取手在空间中的全局运动和手内部手指的局部运动特征, 并进行特征融合和LDA 降维; 最后利用带高斯核的SVM 进行动态手势识别与分类.3.1 实验数据集本文方法所采用的数据集是DHG-14/28动态手势数据集[3], 该数据集中包含有14类动态手势类别, 如表2所示, 并以2种方式执行手势: 只用一个手指的方式和整个手的方式. 每个手势由20名参与者以上述2种方式完成, 每个执行方式各完成5次, 共2 800个动态手势序列. 14种手势中5种为Fine 类手势, 9种为Coarse 类手势. 同时, 数据集中不仅包含动态手势视频帧深度图像, 还包含2D 深度图像中和3D 空间中的22个手部关节坐标, 其中深度图像分辨率为640×480, 深度图和手骨架均以30帧/s 的速度拍摄获取.表2 数据集中包含的手势类别序号 手势类别1 Grab(抓取) Fine2 Expand(展开) Fine3 Pinch(抓紧) Fine4 Rotation CW(顺时针旋转) Fine5 Rotation CCW(逆时针旋转) Fine6 Tap(轻敲) Coarse7 Swipe right(向右滑动) Coarse8 Swipe left(向左滑动) Coarse 9Swipe up(向上滑动) Coarse10 Swipe down(向下滑动) Coarse 11 Swipe X(在空中画X) Coarse 12 Swipe V(在空中画V) Coarse 13 Swipe +(在空中画+) Coarse14 Shake(摇手) Coarse3.2 手势关键帧帧数的确定需要说明的是, 在动态手势关键帧提取中首先需要确定手势关键帧帧数, 选取合适的关键帧帧数将影响手势的识别准确率. 本文对比手势识别准确率, 对不同关键帧帧数k 值进行实验分析. 如图4所示, 随着关键帧帧数的增加, 手势识别准确率有所上升且趋于稳定; 当关键帧帧数大于31时, 手势识别准确率趋于下降. 从图5可以看出, 对于DHG-14/28动态手势数据集[3]中28种手势,关键帧帧数31k =时, 手势识别准确率为88.29%, 达到最高. 实验表明, 若关键帧帧数较少, 则同一种手势的关键帧选取可能具有较大差异性, 导致手势识别准确率较低. 因此, 为了提高手势识别准。
基于SVM的Leap Motion手势识别马淑慧;夏斌;杨文璐;谢宏【摘要】随着互联网行业的迅速发展,人们对人机交互的需求也日益剧增.手势作为人机交互的重要组成,其识别技术的研究在人机交互领域有关重要的理论和实用价值.采用Leap Motion体感器作为手势提取工具,获取12种手势在三维空间中的位置信息,进而提取相应的特征值.采用机器学习的方法,对获取手势数据进行识别,分析不同机器学习方法对手势识别率的影响.采用SVM的算法进行识别率分析,分别采用两种方法实现SVM手势识别,一对一模型训练法和一对多模型训练法.实验结果表明,采用这两种方法都可以获得较高的识别准确率.【期刊名称】《现代计算机（专业版）》【年(卷),期】2017(000)023【总页数】4页(P55-58)【关键词】LeapMotion;手势识别;机器学习;SVM【作者】马淑慧;夏斌;杨文璐;谢宏【作者单位】上海海事大学信息工程学院,上海 201306;上海海事大学信息工程学院,上海 201306;上海海事大学信息工程学院,上海 201306;上海海事大学信息工程学院,上海 201306【正文语种】中文随着互联网行业的迅速发展，人们对人机交互的需求也日益剧增。
手势作为人机交互的重要组成，其识别技术的研究在人机交互领域有关重要的理论和实用价值。
采用Leap Motion体感器作为手势提取工具，获取12种手势在三维空间中的位置信息，进而提取相应的特征值。
采用机器学习的方法，对获取手势数据进行识别，分析不同机器学习方法对手势识别率的影响。
采用SVM的算法进行识别率分析，分别采用两种方法实现SVM手势识别，一对一模型训练法和一对多模型训练法。
实验结果表明，采用这两种方法都可以获得较高的识别准确率。
上海市科学技术委员会项目（No.12441903500）在人机交互领域中，传统的人机交互方式，如鼠标、键盘、遥控等，具有非常大的局限性，使得人机交互受到很大的限制。
第１３卷㊀第７期Ｖｏｌ．１３Ｎｏ．７㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年７月㊀Ｊｕｌ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）０７－０１７３－０６中图分类号：ＴＰ３９１．９文献标志码：Ｂ基于ＰＳＯ－ＳＶＭ的表面肌电信号多手势识别王㊀博，闫㊀娟，杨慧斌，徐春波，吴㊀晗（上海工程技术大学机械与汽车工程学院，上海２０１６２０）摘㊀要：作为人机交互的一种重要形式，手势识别在医疗康复领域已尤显重要㊂针对手势识别技术存在的不足，提出粒子群优化支持向量机（ＰＳＯ－ＳＶＭ）的多手势精确识别方法㊂首先，利用表面肌电信号采集仪采集１６种手势所对应的表面肌电信号（ＳＥＭＧ）；其次，分别从时域㊁频域和时频域提取所需要的ＳＥＭＧ特征；然后，采用主成分分析法（ＰＣＡ）对数据特征进行降维；最后，使用ＰＳＯ－ＳＶＭ对降维后的数据特征进行分类识别㊂经过与传统支持向量机（ＳＶＭ）分类以及遗传算法优化支持向量机分类（ＧＡ－ＳＶＭ）相对比，本方法识别精度高㊁速度快，研究结果可为手势识别提供新的思路，为人体上肢动作判断和上肢康复机器人的研究提供参考㊂关键词：手势识别；表面肌电信号；主成分分析；粒子群优化；支持向量机Ｍｕｌｔｉ－ｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎｏｆＳＥＭＧｓｉｇｎａｌｓｂａｓｅｄｏｎＰＳＯ－ＳＶＭＷＡＮＧＢｏ，ＹＡＮＪｕａｎ，ＹＡＮＧＨｕｉｂｉｎ，ＸＵＣｈｕｎｂｏ，ＷＵＨａｎ（ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌａｎｄＡｕｔｏｍｏｔｉｖｅＥｎｇｉｎｅｅｒｉｎｇ，ＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙｏｆＥｎｇｉｎｅｅｒｉｎｇＳｃｉｅｎｃｅ，Ｓｈａｎｇｈａｉ２０１６２０，Ｃｈｉｎａ）ʌＡｂｓｔｒａｃｔɔＡｓａｎｉｍｐｏｒｔａｎｔｆｏｒｍｏｆｈｕｍａｎ－ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ，ｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎｈａｓｂｅｃｏｍｅｔｈｅｆｏｃｕｓｏｆｒｅｓｅａｒｃｈｉｎｔｈｅｆｉｅｌｄｏｆｍｅｄｉｃａｌｒｅｈａｂｉｌｉｔａｔｉｏｎ．Ａｉｍｉｎｇａｔｔｈｅｓｈｏｒｔｃｏｍｉｎｇｓｏｆｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎｔｅｃｈｎｏｌｏｇｙ，ａｍｕｌｔｉ－ｇｅｓｔｕｒｅａｃｃｕｒａｔｅｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｐａｒｔｉｃｌｅｓｗａｒｍｏｐｔｉｍｉｚａｔｉｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ（ＰＳＯ－ＳＶＭ）ｉｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔｌｙ，ｓｕｒｆａｃｅｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ（ＳＥＭＧ）ｓｉｇｎａｌｓｃｏｒｒｅｓｐｏｎｄｉｎｇｔｏ１６ｋｉｎｄｓｏｆｈｕｍａｎｇｅｓｔｕｒｅｓａｒｅｃｏｌｌｅｃｔｅｄｂｙｓｕｒｆａｃｅｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙｓｉｇｎａｌａｃｑｕｉｓｉｔｉｏｎｉｎｓｔｒｕｍｅｎｔ．Ｓｅｃｏｎｄｌｙ，ＳＥＭＧｆｅａｔｕｒｅｓａｒｅｅｘｔｒａｃｔｅｄｆｒｏｍｔｉｍｅｄｏｍａｉｎ，ｆｒｅｑｕｅｎｃｙｄｏｍａｉｎａｎｄｔｉｍｅ－ｆｒｅｑｕｅｎｃｙｄｏｍａｉｎｒｅｓｐｅｃｔｉｖｅｌｙ．Ｔｈｅｎ，ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ（ＰＣＡ）ｉｓｕｓｅｄｔｏｒｅｄｕｃｅｔｈｅｄｉｍｅｎｓｉｏｎｏｆｄａｔａｆｅａｔｕｒｅｓ．Ｆｉｎａｌｌｙ，ａｃｃｏｒｄｉｎｇｔｏｔｈｅｄａｔａｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ＰＳＯ－ＳＶＭｉｓｕｓｅｄｆｏｒｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｃｏｇｎｉｔｉｏｎ．Ｃｏｍｐａｒｅｄｗｉｔｈｔｒａｄｉｔｉｏｎａｌｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ（ＳＶＭ）ｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｏｐｔｉｍｉｚｅｄｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｃｌａｓｓｉｆｉｃａｔｉｏｎ（ＧＡ－ＳＶＭ），ｔｈｉｓｍｅｔｈｏｄｈａｓｈｉｇｈｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙａｎｄｓｐｅｅｄ．Ｔｈｅｒｅｓｅａｒｃｈｒｅｓｕｌｔｓｃａｎｐｒｏｖｉｄｅａｎｅｗｉｄｅａｆｏｒｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎ，ａｎｄｐｒｏｖｉｄｅｔｈｅｒｅｆｅｒｅｎｃｅｆｏｒｈｕｍａｎｕｐｐｅｒｌｉｍｂｍｏｔｉｏｎｊｕｄｇｍｅｎｔａｎｄｔｈｅｒｅｓｅａｒｃｈｏｆｕｐｐｅｒｌｉｍｂｒｅｈａｂｉｌｉｔａｔｉｏｎｒｏｂｏｔ．ʌＫｅｙｗｏｒｄｓɔｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎ；ｓｕｒｆａｃｅｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙｓｉｇｎａｌ；ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ；ｐａｒｔｉｃｌｅｓｗａｒｍｏｐｔｉｍｉｚａｔｉｏｎ；ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ作者简介：王㊀博（１９９７－），男，硕士研究生，主要研究方向：智能控制㊁机器学习；闫㊀娟（１９７８－），女，高级实验师，硕士生导师，主要研究方向：智能控制算法研究㊁机械自动化；杨慧斌（１９８３－），男，实验师，主要研究方向：智能控制㊁机械自动化；徐春波（１９９７－），男，硕士研究生，主要研究方向：机器视觉㊁智能控制；吴㊀晗（１９９７－），男，硕士研究生，主要研究方向：智能控制㊂通讯作者：闫㊀娟㊀㊀Ｅｍａｉｌ：ａｌｉｃｅｙａｎ＿ｓｈｕ＠１２６．ｃｏｍ收稿日期：２０２２－０８－２６０㊀引㊀言目前，国内人口老龄化的问题较为严峻，老年人的健康问题已经逐渐成为人们关注的焦点㊂研究可知，老年人往往行动不便或者难以表达，因此通过手势表达内心想法便成为非常重要的一种途径㊂目前，主要的手势识别方式有视觉识别［１］和人体生物信号［２］识别两种，其中表面肌电信号（ＳＥＭＧ）识别方式作为一种生物信号显得尤为重要，因为其中蕴含着大量的信息㊂基于此，本文中通过人体表面肌电信号进行手势识别，通过手势识别的研究为后续研究提供基础㊂迄今为止，关于肌电信号对人体手势识别的研究已经取得较多成果，但大多研究对手势识别研究不够深入，赵诗琪等学者［３］使用了支持向量机来识别４种手势，识别结果为９９．９２％㊂隋修武等学者［４］通过非负矩阵分解与支持向量机的联合模型识别６种手势动作，识别结果为９３％㊂江茜等学者［５］通过多通道相关性特征识别８种手势动作，识别结果为９４％㊂当识别的手势种类增多时，分类器的识别精度将会随之降低，大量学者对分类器进行优化以利于提高识别精度㊂Ｌｅｏｎ等学者［６］对９Copyright ©博看网. All Rights Reserved.种手势进行识别，识别精度为９４％㊂Ｌｉａｎ等学者［７］通过Ｋ最邻近和决策树算法识别１０种手势动作，识别率仅为８９％㊂综上所述，为了满足当前医疗康复设备的需求，多手势识别的精确度还有待提高㊂使用ＳＥＭＧ信号进行手势识别时，特征提取和模式识别是提高手势识别精度的关键㊂典型的特征提取方法主要包括时域特征提取㊁频域特征提取和时频域特征提取［８］㊂模式识别主要通过搭建分类器实现，基于ＳＥＭＧ识别常用的分类器主要包括ＢＰ（ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）神经网络［９］㊁极限学习机（ＥｘｔｒｅｍｅＬｅａｒｎｉｎｇＭａｃｈｉｎｅ，ＥＬＭ）［１０］㊁卷积神经网络（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＣＮＮ）［１１］和支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ，ＳＶＭ）［１２］等分类模型㊂但以上方法均存在一定程度的不足：ＢＰ神经网络在识别手势时准确率较低；由于极限学习机要经过反复的迭代学习，因此其训练速度在一定程度上相对缓慢；ＫＮＮ计算量较大，计算时间长；ＳＶＭ分类思想简单㊁分类效果较好，但训练参数值的选取会影响分类器的效果［１３］㊂基于上述分析，本文中提出一种基于粒子群算法（ＰａｒｔｉｃｌｅＳｗａｒｍＯｐｔｉｍｉｚａｔｉｏｎ，ＰＳＯ）优化支持向量机的多手势识别方法，以提高多手势的识别精度㊂首先，利用主成分分析法对提取的表面肌电信号特征进行降维处理；然后，利用ＰＳＯ对ＳＶＭ的惩罚参数Ｃ和核函数半径参数ｇ迭代寻优；最后，使用ＰＳＯ优化的ＳＶＭ（ＰＳＯ－ＳＶＭ）分类模型识别了１６种手势，并与未优化的ＳＶＭ分类模型和遗传算法（ＧｅｎｅｔｉｃＡｌｇｏｒｉｔｈｍ，ＧＡ）优化的ＳＶＭ分类模型进行对比，从而验证本文所提方法的准确性㊂１㊀ＳＥＭＧ数据采集方法分析１．１㊀实验数据采集受试者为实验室中３名男生和１名女生㊂受试者年龄在２３ ２８岁，平均身高在１７０ｃｍ，均为右手使用者且无神经肌肉骨骼疾病㊂实验前２４ｈ内没有进行高强度运动并且身心舒适㊂用磨砂膏和７５％酒精棉清洁右肢掌长肌㊁桡侧腕屈肌㊁尺侧腕屈肌㊁指伸肌㊁指浅屈肌和肱桡肌皮肤表面皮肤，减少皮肤阻抗干扰㊂通过Ｄｅｌｓｙｓ无线肌电设备对６块肌肉的表面肌电信号同时进行采集㊂受试者端坐于试验台前，背部保持９０ʎ，左手臂自然垂下㊂实验时，共采集１６个手势动作，每个动作维持６ｓ，休息４ｓ，进行６次循环，重复以上动作直至４名受试者全部采集完成㊂１．２㊀信号预处理ＳＥＭＧ信号是由人体内神经肌肉系统产生的一种特别微弱的生物电信号㊂ＳＥＭＧ信号的电压幅度范围是０ ５ｍＶ，频率范围是２０ １０００Ｈｚ，其主要能量集中在５０ １５０Ｈｚ范围内㊂因此，首先设计陷波滤波去除原始信号中５０Ｈｚ的工频干扰，再设计３０ ３００Ｈｚ的巴特沃斯带通滤波器去除肌电信号中的基线漂移及其他噪声信号㊂图１分别为滤波前后的时域波形及频域振幅谱，较好地滤除了有效范围外的噪声信号㊂210-1-2-3102030405060幅度/10-4t /s（ａ）原始波形1.51.00.51002003004005006007008009001000频率/H z参考幅值/10-6（ｃ）原始振幅图210-1-2-3102030405060幅度/10-4t /s（ｂ）滤波后波形1.51.00.51002003004005006007008009001000频率/H z参考幅值/10-6（ｄ）滤波后振幅图图１㊀肌电信号滤波图Ｆｉｇ．１㊀ＦｉｌｔｅｒｉｎｇｄｉａｇｒａｍｏｆＳＥＭＧｓｉｇｎａｌ４７１智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀Copyright ©博看网. All Rights Reserved.１．３㊀特征提取为了能更全面地分析ＳＥＭＧ信号中所包含的信息，本文分别提取了肌电信号中的时域特征㊁频域特征和时频域特征三种特征模型㊂１．３．１㊀时域特征提取本文选用的时域特征有均方根值（ＲＭＳ）和绝对平均值（ＡＲＶ）㊂时域特征值的计算公式为：ＲＭＳ＝１ＮðＮｉ＝１ｘ２ｉ（１）ＡＲＶ＝１ＮðＮｉ＝１ｘｉ（２）㊀㊀其中，ｘｉ（ｉ＝１，２， ，Ｎ）是信号的时间序列㊂１．３．２㊀频域特征提取本文选用的频域特征是平均功率频率（ＭＰＦ）和中值频率（ＭＦ）㊂频域特征值的计算公式为：ＭＰＦ＝ʏ¥０ｆˑＰＳＤｆ()ｄｆʏ¥０ＰＳＤｆ()ｄｆ（３）ＭＦ＝１２ʏ¥０ＰＳＤｆ()ｄｆ（４）㊀㊀其中，ｆ是ＳＥＭＧ信号的频率，ＰＳＤ（ｆ）是ＳＥＭＧ信号的功率谱密度函数㊂１．３．３㊀时频域特征提取时频分析法可以对信号在时域和频域内的能量信号同时进行展现，这对于分析非平稳信号相当重要㊂其中，小波变换具有较好的准确性，本文采用小波变换计算时频域特征瞬时平均功率（ＩＭＰＦ）和瞬时中值频率（ＩＭＦ），公式具体如下：ＩＭＰＦ＝ʏｆ２ｆ１ｆˑＰＳＤ（ｔ，ｆ）ｄｆʏｆ２ｆ１ＰＳＤ（ｔ，ｆ）ｄｆ（５）ʏＩＭＦｆ１ＰＳＤ（ｔ，ｆ）ｄｆ＝ʏｆ２ＩＭＦＰＳＤ（ｔ，ｆ）（６）㊀㊀其中，ｆ是ＳＥＭＧ信号的频率，ＰＳＤ（ｔ，ｆ）是频率和时间的二维函数㊂１．４㊀特征降维本文利用６通道ＳＥＭＧ信号，以此对３６个维度的特征参数进行提取㊂高维数据由于存在很多冗余特征，使得实验过程中的计算量增多，并因此对分类器产生极大的影响㊂同时，在此过程会产生 过拟合 ㊁ 维数灾难 等系列问题，从而降低分类器的性能［１４］㊂因此，本文中使用主成分分析法进行降维处理㊂对其步骤流程可做分述如下㊂（１）首先，将计算得到的特征值进行处理构建样本矩阵，样本矩阵通过ｍ行ｎ列的矩阵Ｘ表示，得到：Ｘ＝ｘ１１ｘ１２ ｘ１ｎｘ２１ｘ２２ ｘ２ｎ︙︙⋱︙ｘｍ１ｘｍ２ ｘｍｎéëêêêêêùûúúúúú（７）㊀㊀（２）构建数据样本的协方差矩阵Ｃ＝１ｍ－１ＸＴＸ，得到协方差矩阵：Ｃ＝ｃ１１ ｃ１ｎ︙⋱︙ｃｎ１ ｃｎｎéëêêêêùûúúúú（８）㊀㊀（３）分解协方差矩阵Ｃ并计算协方差矩阵的特征值λ１ȡλ２ȡ ȡλｎ和特征向量ａ１，ａ２， ，ａｎ㊂（４）确定特征矩阵主成分的个数ｖ并构建主成分矩阵：Ｙｍˑｖ＝ＸｍˑｎＡｎˑｖ（９）㊀㊀其中，Ａｎˑｖ＝［ａ１，ａ２， ，ａｖ］，最后得到ＳＥＭＧ手势特征降维后的主成分特征Ｙｍˑｖ㊂２㊀分类器设计２．１㊀支持向量机分类支持向量机（ＳＶＭ）是基于统计学领域的ＶＣ维理论和结构风险学最小理论基础上的一种机器学习算法，常用于模式分类和非线性回归［１５］㊂通常，通过将向量映射到高维空间，以此来解决输入量与输出量之间的非线性问题㊂同时，通过设定的核函数ｇ，将输入空间利用非线性变换转变到高维空间，从而通过高维空间得到最优线性分类面㊂对于给定的训练样本集｛（ｘｉ，ｙｉ）｝，ｉ＝１，２， ，ｎ，ｘɪＲｎ，ｙɪ（－１，１），设最优平面为ωＴｘ＋ｂ＝０，分类间隔为：γ＝２ ω （１０）㊀㊀判别模型为：ｆ（ｘ）＝ｓｉｇｎ（ωＴｘ＋ｂ）（１１）㊀㊀若要找到最大间隔，即找到参数和使得最大，等价于最小化，因此求解问题最终转化为带约束的凸二次规划问题：ｍｉｎω，ｂ１２ ω ２＋Ｃðｎｉ＝１εｉ（１２）ｓ．ｔ．㊀ｙｉ（ωＴｘｉ＋ｂ）ȡ１－εｉ５７１第７期王博，等：基于ＰＳＯ－ＳＶＭ的表面肌电信号多手势识别Copyright©博看网. All Rights Reserved.εｉ＞０，ｉ＝１，２， ，ｎ㊀㊀其中，εｉ＝１－ｙｉ（ωＴｘｉ＋ｂ）为损失函数，Ｃ是惩罚参数，Ｃ的值与错误分类的惩罚程度成正比，其值越小，则惩罚程度越小；反之，惩罚程度越大㊂同时，利用凸优化理论，将约束问题通过引入的拉格朗日乘子法转化为无约束问题：㊀Ｌω，ｂ，λ()＝１２ ω ２＋Ｃðｎｉ＝１εｉ－ðｎｉ＝１μｉεｉ－ðｎｉ＝１λｉ（ｙｉ（ωｘｉ＋ｂ）－１＋εｉ）（１３）λｉȡ０，μｉȡ０对于极大值㊁极小值及对偶问题，令∂Ｌ∂ω＝０，∂Ｌ∂ｂ＝０，∂Ｌ∂ε＝０，因此得到：ω＝ðｎｉ＝１λｉｙｉｘｉðｎｉ＝１λｉｙｉ＝０Ｃ＝λｉ＋μｉìîíïïïïïï（１４）㊀㊀因此，最终得到：ｍｉｎλ１２ðｎｊ＝１ðｎｉ＝１λｉλｊｙｊｙｉｘｊｘｉ－ðｎｉ＝１λｉ（１５）ｓ．ｔ．㊀ðｎｉ＝１λｉｙｉ０ɤλｉɤＣ２．２㊀粒子群优化算法粒子群优化算法（ＰＳＯ）是一种设计无质量的粒子来模拟鸟群中的鸟不断迭代寻优来解决优化问题的方法［１６］㊂粒子的速度和位置通过迭代进行更新，粒子群优化算法公式为：Ｖｋ＋１ｉｄ＝ωＶｋｉｄ＋ｃ１ｒ１ｐｂｅｓｔｋｉｄ－ｘｋｉｄ()＋ｃ２ｒ２ｇｂｅｓｔｋｉｄ－ｘｋｉｄ()ｘｋ＋１ｉｄ＝ｘｋｉｄ＋ｖｋ＋１ｉｄ{其中，ω表示惯量因子；ｄ＝１，２， ，Ｄ表示空间维数；ｉ＝１，２， ，ｎ表示粒子数；ｋ表示当前迭代次数；ｖｋｉｄ表示第ｉ个粒子在第ｋ次迭代速度；ｘｋｉｄ表示第ｉ个粒子在第ｋ次迭代位置；ｐｂｅｓｔｋｉｄ表示第ｉ个粒子的个体最优解；ｇｂｅｓｔｋｉｄ表示第ｉ个粒子的全局最优解；ｃ１，ｃ２表示学习因子；ｒ１，ｒ２表示随机数㊂空间中的粒子不断搜寻其自身的最优解，将自身最优解传递给其他粒子，在所有传递的个体最优解中寻找全局最优解，所有粒子根据自身最优解及全局最优解不断调整位置及速度㊂２．３㊀粒子群优化支持向量机为了使ＳＶＭ能够对肌电信号特征进行快速精确地识别，通过ＰＳＯ对ＳＶＭ中分类识别影响最大的２个元素进行优化，即惩罚参数Ｃ和核函数半径参数ｇ，将ＳＶＭ结果中误差最小的一组惩罚参数和核函数半径参数用于预测分类㊂图２是ＰＳＯ优化ＳＶＭ的流程图㊂由图２可知，ｍ个粒子在Ｄ维空间中不断更新运动速度及自身所处位置，通过反复迭代寻优得到ＳＶＭ的最优参数㊂粒子群优化：更新全局最优个体更新速度更新位置根据S V M 参数形成初始种群计算适应度值形成新的种群是否满足条件交叉验证，得到最佳准确率作为适应度值返回输入参数训练S V M得到S V M 最优参数结束开始参数适应度值是否图２㊀ＰＳＯ－ＳＶＭ流程图Ｆｉｇ．２㊀ＰＳＯ－ＳＶＭｆｌｏｗｃｈａｒｔ６７１智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀Copyright ©博看网. All Rights Reserved.㊀㊀ＰＳＯ优化ＳＶＭ主要包括初始化种群㊁寻找初始极值㊁迭代寻优等操作，其步骤为：（１）在Ｄ维空间中，随机对ｍ个粒子进行初始化，即对ＳＶＭ参数编码，形成初始种群㊂（２）初始化的种群输入到ＳＶＭ分类器中，通过训练得到适应度值㊂（３）评估计算得到的粒子适应度值㊂（４）寻找全局最优参数，并判断是否满足终止条件㊂（５）若寻找得到的最优参数不满足终止条件，则更新迭代过程中的全局最优速度和全局最优位置，形成新的种群返回到步骤２继续计算；当结束条件得到满足时，通过将最优参数对ＳＶＭ重新训练，并将其作为最终分类器对特征识别分类㊂㊀㊀通过上述ＰＳＯ优化算法得到ＳＶＭ中惩罚参数Ｃ和核函数半径ｇ的最优解，对分类器进行训练和分类预测㊂３㊀实验结果分析实验将从２方面对所提出方法模型进行分析验证：（１）分别使用本文设计的算法模型与传统ＳＶＭ模型㊁遗传算法优化ＳＶＭ模型对相同的实验数据进行实验对比，验证模型的有效性㊂（２）为判断模型的识别性能，使用交叉验证，将训练样本与验证样本的数据来源分割开来用于实验，以评估方法的通用性，使用不同人的训练样本去验证其他人的测试样本㊂３．１㊀不同分类模型的对比分析将ＰＣＡ降维后的特征矩阵按照５ʒ１的比例分类参与分类器的训练和验证，训练和测试的样本不重叠且从实验者中平均调取㊂测试结果如图３所示㊂表２是关于分类器识别性能在不同方法下的对比㊂实际类型预测类型16141210864220406080100120140160样本序号类型（ａ）ＳＶＭ预测结果161412108642020406080100120140160测试集样本类别标签实际测试集分类预测测试集分类测试集的实际分类和预测分类图A c c u r a c y =94.375%（ｂ）ＧＡ－ＳＶＭ预测结果1009080706050400102030405060708090100最佳适应度平均适应度进化代数适应度（ｃ）ＧＡ－ＳＶＭ迭代次数161412108642020406080100120140160测试集样本类别标签实际测试集分类预测测试集分类测试集的实际分类和预测分类图A c c u r a c y =95.625%（ｄ）ＰＳＯ－ＳＶＭ预测结果100908070605040最佳适应度平均适应度进化代数102030405060708090100适应度（ｅ）ＰＳＯ－ＳＶＭ迭代次数图３㊀测试结果对比图Ｆｉｇ．３㊀Ｃｏｍｐａｒｉｓｏｎｔａｂｌｅｏｆｒｅｓｕｌｔｓｏｆｄｉｆｆｅｒｅｎｔｍｏｄｅｌｓ７７１第７期王博，等：基于ＰＳＯ－ＳＶＭ的表面肌电信号多手势识别Copyright ©博看网. All Rights Reserved.表１㊀不同模型结果对比表Ｔａｂ．１㊀Ｃｏｍｐａｒｉｓｏｎｔａｂｌｅｏｆｒｅｓｕｌｔｓｏｆｄｉｆｆｅｒｅｎｔｍｏｄｅｌｓ实验方法平均迭代次数平均准确率／％ＳＶＭ＼８７．５００ＧＡ－ＳＶＭ２６９１．３２０本文方法１１９４．２５３㊀㊀由上述实验结果可以得出分析如下，不同方法表现出不同的分类效果㊂其中，传统的ＳＶＭ方法，分类效果易受到干扰，分类精度不高；ＧＡ－ＳＶＭ虽然能够提高手势的识别精度，但在分类过程中需要经过３１次的迭代才能够达到分类的效果；对于本文中的方法，不仅对手势识别的准确率保持最高，同时也大大缩减了算法的复杂度，极大地提高了运算处理效率，表现出较好的分类识别性能㊂３．２㊀不同数据源实验验证考虑模型的通用性，即模型中训练的数据是基于部分受试者肌电信号进行训练，但手势识别对其他受试者的肌电信号同样适用㊂同时，为了分析所提出的模型在相同被试和不同被试下的识别性能，实验设计了男女混合验证的方式以消除性别的影响，按照２位男性同学的肌电信号进行训练，另外２位同学的肌电信号用于识别㊂分别使用ＳＶＭ和ＰＯＳ－ＳＶＭ进行实验对比，验证本文中所提方法的有效性㊂得到的训练结果性能对比见表２㊂表２㊀不同数据源实验结果对比表Ｔａｂ．２㊀Ｃｏｍｐａｒｉｓｏｎｔａｂｌｅｏｆｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｆｄｉｆｆｅｒｅｎｔｄａｔａｓｏｕｒｃｅｓ分类模型平均准确率／％ＳＶＭ８２．２３ＰＳＯ－ＳＶＭ９０．６４㊀㊀由表２中的结果可知：不同数据源的实验比同一数据源降低了３．６１％，而ＳＶＭ下降程度更高，也进一步说明了本文中所提出的优化方法具有较好的识别性㊂４㊀结束语为了提高多手势识别的精度，文中提出了基于ＰＳＯ－ＳＶＭ的识别方法㊂结果表明，通过肌电信号的陷波滤波和带通滤波进行预处理，并对其从时域㊁频域和时频域提取信号特征，再经过ＰＣＡ降维后使用本文所构建的ＰＳＯ－ＳＶＭ分类模型对１６种手势识别准确率达到９４．２５３％，将其与未被优化的ＳＶＭ模型和ＧＡ－ＳＶＭ模型进行对比，可知其识别效果有非常明显的改善㊂后续可将ＰＳＯ－ＳＶＭ分类模型应用于机械运动控制㊁外骨骼控制等领域㊂参考文献［１］解迎刚，王全．基于视觉的动态手势识别研究综述［Ｊ］．计算机工程与应用，２０２１，５７（２２）：６８－７７．［２］梁旭，王卫群，侯增广，等．康复机器人的人机交互控制方法［Ｊ］．中国科学：信息科学，２０１８，４８（０１）：２４－４６．［３］赵诗琪，吴旭洲，张旭，等．利用表面肌电进行手势自动识别［Ｊ］．西安交通大学学报，２０２０，５４（０９）：１４９－１５６．［４］隋修武，牛佳宝，李昊天，等．基于ＮＭＦ－ＳＶＭ模型的上肢ｓＥＭＧ手势识别方法［Ｊ］．计算机工程与应用，２０２０，５６（１７）：１６１－１６６．［５］江茜，李沿宏，邹可，等．肌电信号多通道相关性特征手势识别方法［Ｊ／ＯＬ］．计算机工程与应用：１－９［２０２２－０３－０７］．ｈｔｔｐｓ：／／ｋｎｓ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／１１．２１２７．ｔｐ．２０２２０３０３．２１０３．００８．ｈｔｍｌ．［６］ＬＥＯＮＭ，ＧＵＴＩＥＲＲＥＺＪＭ，ＬＥＩＪＡＬ，ｅｔａｌ．ＥＭＧｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓｃｌａｓｓｉｆｉｅｒｆｏｒｍｙｏｅｌｅｃｔｒｉｃｃｏｎｔｒｏｌｐｕｒｐｏｓｅｓ［Ｃ］／／２０１１ＰａｎＡｍｅｒｉｃａｎＨｅａｌｔｈＣａｒｅＥｘｃｈａｎｇｅｓ．ＲｉｏｄｅＪａｎｅｉｒｏ，Ｂｒａｚｉｌ：ＩＥＥＥ，２０１１．［７］ＬＩＡＮＫＹ，ＣＨＩＵＣＣ，ＨＯＮＧＹＪ，ｅｔａｌ．Ｗｅａｒａｂｌｅａｒｍｂａｎｄｆｏｒｒｅａｌｔｉｍｅｈａｎｄｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］／／２０１７ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＳｙｓｔｅｍｓ，Ｍａｎ，ａｎｄＣｙｂｅｒｎｅｔｉｃｓ（ＳＭＣ）．Ｂａｎｆｆ，ＡＢ，Ｃａｎａｄａ：ＩＥＥＥ，２０１７：２９９２－２９９５．［８］石欣，朱家庆，秦鹏杰，等．基于改进能量核的下肢表面肌电信号特征提取方法［Ｊ］．仪器仪表学报，２０２０，４１（０１）：１２１－１２８．［９］梅武松，李忠新．基于手形和姿态的军用动态手势识别方法研究［Ｊ］．兵器装备工程学报，２０２１，４２（０５）：２０８－２１４．［１０］来全宝，陶庆，胡玉舸，等．基于人工鱼群算法－极限学习机的多手势精准识别［Ｊ］．工程设计学报，２０２１，２８（０６）：６７１－６７８．［１１］许留凯，张克勤，徐兆红，等．基于表面肌电信号能量核相图的卷积神经网络人体手势识别算法［Ｊ］．生物医学工程学杂志，２０２１，３８（０４）：６２１－６２９．［１２］都明宇，鲍官军，杨庆华，等．基于改进支持向量机的人手动作模式识别方法［Ｊ］．浙江大学学报（工学版），２０１８，５２（０７）：１２３９－１２４６．［１３］徐云，王福能．采用ｓＥＭＧ的手势识别用ＡＰＳＯ／ＣＳ－ＳＶＭ方法［Ｊ］．电子测量与仪器学报，２０２０，３４（０７）：１－７．［１４］黄铉．特征降维技术的研究与进展［Ｊ］．计算机科学，２０１８，４５（Ｓ１）：１６－２１，５３．［１５］王霞，董永权，于巧，等．结构化支持向量机研究综述［Ｊ］．计算机工程与应用，２０２０，５６（１７）：２４－３２．［１６］冯茜，李擎，全威，等．多目标粒子群优化算法研究综述［Ｊ］．工程科学学报，２０２１，４３（０６）：７４５－７５３．８７１智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀Copyright©博看网. All Rights Reserved.。
基于深度学习的手势识别算法研究手势识别技术是近年来快速发展的一项人机交互技术，它能够通过分析人体动作来识别和理解人类的意图。
随着深度学习技术的兴起，基于深度学习的手势识别算法成为研究的热点之一。
本文将探讨基于深度学习的手势识别算法的研究进展、挑战和应用前景。
一、深度学习在手势识别中的应用深度学习是一种模仿人脑神经网络结构和工作原理的机器学习方法。
它通过构建多层神经网络模型，实现从低层次特征到高层次特征的自动学习和提取。
在手势识别中，深度学习算法可以通过学习大量的手势数据，自动提取和学习手势的特征，从而实现对手势的准确识别。
二、基于深度学习的手势识别算法的研究进展1. 卷积神经网络（CNN）卷积神经网络是深度学习算法中最常用的一种网络结构。
它通过卷积层、池化层和全连接层等组件，实现对图像特征的提取和分类。
在手势识别中，研究者们使用卷积神经网络来提取手势图像的空间特征，并通过softmax分类器进行手势分类。
通过大量的训练数据和深度网络结构的优化，基于卷积神经网络的手势识别算法在准确率和鲁棒性方面取得了显著的提升。
2. 循环神经网络（RNN）循环神经网络是一种能够处理序列数据的深度学习模型。
在手势识别中，手势序列是一种常见的输入形式。
循环神经网络通过记忆和传递上一时刻的隐藏状态，能够对手势序列进行建模和分类。
研究者们通过使用长短时记忆（LSTM）单元或门控循环单元（GRU）等改进模型，提高了循环神经网络在手势识别中的性能。
三、基于深度学习的手势识别算法的挑战尽管基于深度学习的手势识别算法取得了显著的进展，但仍然存在一些挑战。
1. 数据集的获取和标注深度学习算法需要大量的训练数据来进行模型训练，然而手势数据集的获取和标注是一项耗时且复杂的工作。
手势的多样性和个体差异性使得手势数据集的构建具有一定的难度，这也限制了深度学习算法在手势识别中的应用。
2. 模型的鲁棒性和泛化能力深度学习算法在面对噪声、光照变化、遮挡等干扰因素时，容易出现模型的鲁棒性和泛化能力不足的问题。
《基于Kinect的手势识别与机器人控制技术研究》篇一一、引言随着人工智能技术的快速发展，人机交互技术已经成为人们日常生活中不可或缺的一部分。
其中，基于Kinect的手势识别与机器人控制技术以其高效、自然的人机交互方式，逐渐受到广泛关注。
本文旨在探讨基于Kinect的手势识别技术及其在机器人控制领域的应用，以期为相关研究提供参考。
二、Kinect技术概述Kinect是微软公司开发的一款体感摄像头，能够捕捉人体动作、姿态、手势等信息，并将其转化为计算机可识别的数据。
Kinect技术具有高精度、实时性、非接触性等特点，为手势识别与机器人控制提供了可能。
三、手势识别技术研究1. 数据采集与预处理通过Kinect设备采集人体动作数据，对数据进行去噪、平滑等预处理操作，以提高手势识别的准确性。
2. 特征提取与分类根据预处理后的数据，提取出手势的特征信息，如关节点位置、运动轨迹等。
利用机器学习算法对特征进行分类，实现手势的识别与分类。
3. 算法优化与改进针对不同场景和需求，对手势识别算法进行优化与改进，如基于深度学习的手势识别算法、基于概率统计的手势识别算法等，提高识别的准确性和实时性。
四、机器人控制技术研究1. 机器人控制系统设计根据应用场景和需求，设计合适的机器人控制系统。
控制系统应包括硬件设备、传感器、执行器等，实现机器人的运动控制、姿态调整等功能。
2. 手势与机器人动作映射关系建立将手势识别结果与机器人动作进行映射关系建立，实现手势对机器人动作的直接控制。
例如，通过挥手、指向等手势控制机器人的运动方向、速度等。
3. 机器人行为规划与决策在机器人控制过程中，需要根据实际情况进行行为规划与决策。
例如，在遇到障碍物时，机器人应能够自主规划路径，避免碰撞；在完成某项任务时，根据任务需求进行动作规划与执行。
五、应用场景分析基于Kinect的手势识别与机器人控制技术在多个领域具有广泛应用。
如：在教育领域，可用于辅助教学、学生互动等；在医疗康复领域，可用于帮助患者进行康复训练、辅助医生进行手术操作等；在娱乐领域，可用于游戏控制、虚拟现实等。
基于深度学习技术的手部动作识别研究Introduction近年来，随着深度学习技术的迅猛发展，越来越多的领域开始应用这一技术。
其中，手部动作识别技术已经成为深度学习技术在计算机视觉领域应用的热门研究方向之一。
手部动作识别技术的应用范围广泛，包括手势控制，体感游戏，虚拟现实等领域。
本文主要介绍基于深度学习技术的手部动作识别研究。
文章分为四个章节：首先，介绍手部动作识别技术及其应用场景；接着，分析深度学习技术在手部动作识别中的应用；然后，介绍基于深度学习技术的手部动作识别算法；最后，讨论当前算法存在的问题及未来研究方向。
Hand Gesture Recognition Technology and its Application手部动作识别技术指的是通过计算机视觉技术，对人体手部运动轨迹、手部姿态等信息进行分析和识别的技术。
手部动作识别技术的应用场景有很多，例如，手势控制、虚拟现实、体感游戏等。
手势控制是手部动作识别技术应用最为广泛的场景之一。
手势控制可以应用于智能家居控制、电视遥控器等领域。
当人们在家中坐在沙发上，可以通过手势控制来控制家中的空调、电视等家电设备。
而在电视遥控器领域，通过手势控制可以实现更加智能化和人性化的控制体验。
另外，虚拟现实也是手部动作识别技术应用的一个重要场景。
虚拟现实技术可以带给人们更加丰富、多样的沉浸式体验，而手部动作识别技术可以增强虚拟现实体验的真实感，让人们更加自然地和虚拟世界进行互动。
最后，体感游戏也是手部动作识别技术的重要应用场景之一。
体感游戏可以通过手部动作识别技术来增加游戏的参与感和互动感，提高游戏的趣味性和娱乐性。
Application of Deep Learning in Hand Gesture Recognition深度学习技术是近年来计算机视觉领域研究的热门技术之一。
相较于传统的机器学习算法，深度学习技术在计算机视觉领域中具有更加出色的表现。
深度学习技术在手部动作识别技术中的应用主要包括以下三个方面：一、特征提取深度学习技术可以通过卷积神经网络（CNN）进行特征提取。
基于IMU惯性传感器的人体运动模式识别算法摘要运动模式识别是实现外骨骼人机协同控制决策的核心关键技术。
提出一种基于有限状态机的人体运动模式识别算法，构建有限状态机模型，通过人体姿态信息时域特征进行模式识别，并开展试验验证，试验表明,典型复合地形条件下连续运动模式识别率达到95.5%，算法性能良好，满足外骨骼智能控制的基本应用。
主题词 IMU 有限状态机外骨骼运动模式识别1引言外骨骼系统是一种典型的人机共融协同一体系统，可将人的智能与机器承担负载的能力有效结合起来，以增强人的运动及负重能力[1]。
运动模式识别是实现外骨骼机器人的人体协同控制决策、安全稳定行走的关键，对于运动模式识别的研究主要有两类方法：1）基于视频图像的识别方法；2）基于穿戴式装置的识别方法，采用传感器设备，如加速度计、陀螺仪等组成姿态检测系统检测人体运动信息[2]，该类方法因其成本低、隐私性好等特点，在外骨骼研究领域得到广泛研究与使用。
现有研究主要是针对单运动模式进行识别，对于典型复合地形条件下连续运动模式识别研究少且精度低，不能满足外骨骼智能控制的基本应用。
本文基于IMU惯性传感器搭建人体运动信息采集系统，通过构建的人体运动模式识别模式实现连续多模式的准确识别，该识别方法复杂度低，延时小，且考虑了不同运动模式切换的情况，识别效果好。
2基于有限状态机的人体运动模式识别策略2.1 人体运动模式转移规划外骨骼系统考虑的运动模式主要是人在日常行走运动过程中经常出现的运动行为，包括站立、行走、上楼梯、下楼梯、跑步、大跨步、下蹲等7种运动模式。
外骨骼系统辅助人体运动时，上述运动模式在时序上是呈现自状态转移与他状态转移两种情况，此外，在构建行为模式状态转移模型时，同时考虑人体运动行为的习惯性与外骨骼助力的安全性，规定人体运动模式转移规划如图1所示，只要确定当前运动模式，即可通过模式转移条件判断下一时刻的运动模式。
图1人体运动模式转移规划2.2 基于有限状态机的人体运动模式识别模型有限状态机（FSM，Finite State Machine）是表示系统中有限多个状态以及在这些状态之间转移和动作等行为的数学模型[3]。
基于卷积神经网络对羽毛球技术动作的识别研究随着人工智能技术的快速发展，卷积神经网络作为一种有效的图像处理方法，在各个领域得到了广泛的应用。
本文旨在通过基于卷积神经网络的方法，实现对羽毛球技术动作的识别，并探讨其在羽毛球训练中的潜在应用。
首先，我们采集了大量的羽毛球技术动作数据，包括发球、接球、扣杀等多种动作。
通过对这些数据的标注和处理，构建了一个包含多个类别的羽毛球技术动作数据集。
然后，我们设计了一个卷积神经网络模型，用于对这些动作进行识别。
在模型设计中，我们采用了深度卷积神经网络结构，包括多个卷积层和池化层，以及全连接层。
卷积层用于提取图像的特征，池化层用于降低特征的维度。
在全连接层中，我们采用了Softmax函数作为激活函数，用于分类任务。
为了验证我们的模型的有效性，我们将数据集分为训练集和测试集。
在训练阶段，我们使用训练集对模型进行训练，并通过反向传播算法优化模型参数。
在测试阶段，我们使用测试集对模型进行评估，并计算模型的准确率、精确率、召回率等指标。
实验结果表明，我们的模型在羽毛球技术动作的识别任务中取得了较好的效果。
准确率达到了90%以上，且精确率和召回率也较高。
这表明基于卷积神经网络的方法可以有效地辅助羽毛球训练，帮助运动员更好地掌握和改进技术动作。
基于卷积神经网络的羽毛球技术动作识别研究具有重要的实际意义。
它可以帮助教练和运动员更加科学地进行训练和评估，提高训练效果。
此外，该研究也为其他运动项目的技术动作识别提供了借鉴和参考。
未来，我们可以进一步优化模型，提高识别准确率，并将其应用于实际训练场景中，促进运动技术的发展和提高。
基于多特征融合的复杂路况步态识别方法董广宇【摘要】为了满足盲道草地等复杂路况下对步态相位进行识别的需求,提出了一种多特征融合的步态识别方法.首先搭建了包括Peadr-x分布式足底压力鞋垫和姿态采集装置的多特征信息采集的软硬件系统,并用该系统获取足底压力信号和大腿角度信号.其次,取足底平均压力、压力中心点(COP)和大腿角度信息作特征.最后用有向无环图支持向量机(DAG SVM)的方法识别五个相位的步态特征:支撑前期、支撑中期、支撑后期、摆动前期、摆动中期、摆动后期.实验证明在复杂路况下该方法对步态相位的识别率可以达到93％以上.%In order to satisfy the gait phase identification of complicated road conditions,such as blind tracks and the grass,a gait recognition method based on multi-feature fusion was proposed.A multi-feature information acquisition system including Novel Pedar-x system and attitude acquisition unit was designed to acquire the plantar pressure signal and thigh angle signal.Then,the Mean Plantar Pressure,Center of Plantar Pressure(COP)and the angle of the thigh was calculated as fusion feature.Directed Acyclic Graph Support Vector Machine(DAG SVM)was used to classify the different gait phases: early stance stage,mid-stance stage,terminal stance stage,early swing stage and terminal swing stage.The experiment result shows that the recognition rates achieve 93％in complicated road conditions.【期刊名称】《科学技术与工程》【年(卷),期】2017(017)008【总页数】6页(P202-207)【关键词】复杂路况;多特征融合;Pedar-x鞋垫;足底平均压力;足底压力中心点;DAG;SVM【作者】董广宇【作者单位】天津市复杂系统控制理论与应用重点实验室,天津理工大学自动化学院,天津 300384【正文语种】中文【中图分类】TP391.41步态相位识别是下肢外骨骼研究中的重要问题，目前常用的步态相位识别方法主要基于足底压力信息、加速度信息、角度信息、肌电信息及其组合的多特征信息。
