当前位置：文档之家 › 基于特征包支持向量机的手势识别

基于特征包支持向量机的手势识别

  • 格式：pdf
  • 大小：860.76 KB
  • 文档页数：5

收稿日期：2012-07-23；修回日期：2012-08-29。基金项目：国家自然科学基金资助项目（61064011）。作者简介：张秋余（1966－），男，河北辛集人，研究员，博士生导师，CCF高级会员，主要研究方向：图像理解与识别、多媒体信息安全；王道东（1986－），男，甘肃白银人，硕士研究生，主要研究方向：图像处理、模式识别、运动手势识别、人机交互；张墨逸（1985－），女，甘肃武威人，讲师，硕

士，CCF会员，主要研究方向：图像理解与识别、运动手势识别、人机交互；刘景满（1986－），男，山东菏泽人，硕士研究生，主要研究方向：图像处理与模式识别、手势跟踪、人机交互。

文章编号：1001－9081（2012）12－3392－05doi：10．3724/SP．J．1087．2012．03392基于特征包支持向量机的手势识别

张秋余，王道东*，张墨逸，刘景满(兰州理工大学计算机与通信学院，兰州730050)(*通信作者电子邮箱wdd66@163．com)

摘要：针对类肤色信息或复杂背景的影响，难以通过手势分割得到精确手势轮廓而对后期手势识别率与实时交互的影响，提出了一种基于特征包支持向量机（BOF-SVM）的手势识别方法。采用SIFT算法提取手势图像局部不变性特征点，将手势局部特征向量（尺度不变特征变换（SIFT）描述子）进行K-means聚类生成视觉码书，并通过视觉码书量化每一幅手势图像的视觉码字集合，以此获得手势图像的固定维数的表征向量来训练支持向量机（SVM）多类分类器。该方法只需框定手势所在区域，无需精确地分割人手。实验表明，该方法对9种交互手势的平均识别率达到92．1%，并具有很好的鲁棒性及实时性，能适应环境的变化。关键词：手势识别；尺度不变特征变换；特征包；视觉码书中图分类号：TP391．41文献标志码：A

Handgesturerecognitionbasedonbagoffeaturesandsupportvectormachine

ZHANGQiu-yu，WANGDao-dong*，ZHANGMo-yi，LIUJing-man(SchoolofComputerandCommunication，LanzhouUniversityofTechnology，LanzhouGansu730050，China)

Abstract:Accordingtotheinfluenceofapproximateskincolorinformationorcomplexbackground，itishardtogetprecisegesturecontourbyhandgesturesegmentation，whichwillhaveeffectonlatergesturerecognitionrateandreal-timeinteraction．Therefore，thispaperproposedagesturerecognitionmethodbasedontheBOF-SVM(BagOfFeatures-SupportVectorMachine)．Atfirst，localinvariantfeaturesofthegestureimageswereextractedbytheScaleInvariantFeatureTransformation(SIFT)algorithm．Thenthevisualcodebookwasgeneratedbygesturelocaleigenvector(SIFTdescriptors)throughK-meansclustering．Andvisualcodesetofeveryimagegotquantizedbyvisualcodebook．Asaresult，thecharacterizedvectorofgestureimageswithfixeddimensionalwasobtainedtotrainmulti-classSVMclassifier．Thismethodonlyneededtoframethegestureareainsteadofsegmentinggestureaccurately．Theexperimentalresultsindicatethattheaveragerecognitionrateofthenineinteractivehandgesturesbasedonthismethodcanreach92．1%．Besides，ithasgoodrobustnessandefficiency，andcanadapttothechangesofenvironment．Keywords:handgesturerecognition;ScaleInvariantFeatureTransformation(SIFT);BagOfFeatures(BOF);visualcodebook

0引言

手势识别作为一种自然、直观的交互方式，已成为近些年来人机交互领域的一大研究热点［1－2］。手势识别的目标就是提供一种有效、准确的机制使得计算机能够准确理解人手所表达的语义。然而，手势形变复杂（高达27个自由度（DegreesOfFreedom，DOF））、视角相关度高、冗余信息量大

以及所处环境的复杂性使得手势识别系统面临实时性、准确性及复杂背景下的鲁棒性等众多难题［3－4］。为了解决这些问题，一些手势识别系统借助于指尖标记或数据手套来提高实时手势检测与识别的准确率。然而，这种基于标记或设备的方式极大地限制了用户操作的方便性。大部分的手势识别方法都是基于肤色分割的，通过肤色分割获取二值手势区域，进一步提取手势轮廓特征［5］（轮廓矩、傅里叶描述子等）和二维空间分布特征［6］，或者通过指尖检测以获得指尖数目或指尖分布信息以识别手势［7］。然而，复杂背景、光照变化等因素始终是影响手势精确分割的难点。近些年来，不断有学者利用手势的内部灰度变化特性实现手势检测和手势识别。在文献［8－9］中，Haar-like特征被用来做手势检测，该特征能够很好地表达一定面积内的灰度变化信息。文献［10］结合Adaboost学习算法和尺度不变特征变换（ScaleInvariantFeatureTransformation，SIFT）特征实现了具有平面旋转不变性的手势检测。文献［11］采用快速鲁棒特征（SpeededUpRobustFeature，SURF）特征实现了手势的实时性跟踪和动态手势识别。SIFT是由Lowe于1999年提出并于2004年进一步完善的，用于检测和描述图像局部特征点［8］。SIFT特征描述子具有较强的旋转、尺度、亮度等不变性，能较好地克服一定程度的视角变化、仿射变化以及噪声的影响，SIFT特征已被广泛应用于物体识别、图像检索、图像拼接以及目标跟踪等领域。综上所述，为有效解决2D视觉下手势识别系统在手势检测阶段，由于类肤色信息或复杂背景的影响难以通过分割

JournalofComputerApplications计算机应用，2012，32(12):3392－3396ISSN1001-9081CODENJYIIDU2012-12-01http://www．joca．cn得到精确手势轮廓而对后期手势识别率的影响，为提高手势交互系统的实用性，本文采用SIFT算法［12］提取手势图像的局部不变性特征点，提出一种基于特征包支持向量机（BagOfFeatures-SupportVectorMachine，BOF-SVM）的手势识别方法。手势图像中存在大量的显著性局部特征点，它们具有较强的稳定性，对手势具有较强的表征能力。通过对手势的局部不变性特征点进行聚类统计来表征手势，只需框定手势所在区域，无需精确地分割人手。相比于基于图像分割的手势识别方法，该方法对于环境变化具有很好的适应性和鲁棒性。1手势特征提取SIFT算法提取到的手势图像中的每一个局部特征点可以表示为一个局部特征向量（SIFT描述子），因此一幅手势图像可以表达为许多局部特征向量的集合，这些局部特征向量的集合，整体体现了手势图像的内容。然而，这个局部特征向量集仅仅是对图像的一种不紧凑的表达，因为每个局部特征虽然体现了一定的局部信息，但并不能体现图像中所表达内容的整体特性，并且支持向量机（SupportVectorMachine，SVM）分类器要求以相同维数的特征向量作为输入。为了解决这一问题，采用特征包（BagOfFeatures，BOF）模型［13］，提取手势图像特征。采用SIFT算法提取手势图像局部不变性特征点，每个局部不变性特征点可以表示为一个局部特征向量，通过K-means聚类算法对手势训练样本集中的所有局部特征向量进行聚类建立视觉码书（CodeBook），并通过视觉码书将图像局部特征向量集合映射为视觉码字的集合（BOF向量）。最后，利用每一幅手势训练样本图像的BOF向量来训练SVM并得到手势分类模型。1．1采用SIFT算法提取手势图像局部不变性特征点SIFT描述子的生成分为以下几步：1）通过不断对图像做高斯卷积和降采样的方法构建图像金字塔，在金字塔的每层的相邻图像间做差建立高斯差分尺度空间；2）特征点检测，每个特征点都包含位置、对应尺度和方向三个信息；3）以特征点坐标为原点，特征点方向为坐标轴取16×16的图像数据块，在4×4的图像小块上计算8个梯度方向的累加值，形成如图1所示的种子点，最终形成4×4×8共128维的向量。SIFT特征描述符对光照、噪声、旋转和尺度都具有良好的不变性。图2为一些手势图像及提取到的显著性局部特征点。箭头末端表示特征点所在坐标，箭头方向表示特征点的方向，箭头长度表示特征点的尺度。SIFT算法提取到的特征点数量大，数目不定，且同一种手势特征点数量会随着手势与摄像头的距离变化而变化。因此，SIFT特征难以直接表征手势来做分类。图1SIFT描述子生成1．2通过K-means聚类生成视觉码书本文BOF的关键步骤是将手势图像局部特征向量进行K-means聚类生成视觉码书，通过视觉码书将手势图像局部特征向量集合映射为视觉码字的集合，量化形成表征手势图像的固定维数的特征向量。在此聚类过程中，K-means聚类方法使用广泛且具有较优的分类结果。

图2不同手势SIFT特征点提取下面是视觉码书的详细构建过程：步骤1初始化聚类中心数为k，针对手势训练样本的特

征点集X=｛x1，x2，…，xn｝，随机选取k个特征点Zj（I）（j=1，

2，3，…，k）作为初始聚类中心。步骤2计算特征点集中的每个特征点xi与聚类中心的

距离D（xi，Zj（I））（i=1，2，…，n；j=1，2，…，k），

合集下载

基于深度学习的手势识别与控制算法研究

基于深度学习的手势识别与控制算法研究

基于深度学习的手势识别与控制算法研究深度学习技术在计算机视觉领域具有广泛的应用，其中之一就是手势识别与控制。

手势识别是通过分析人体的手势动作，将其转化为对应的指令或操作，实现人机交互的一种技术。

基于深度学习的手势识别与控制算法在近年来取得了巨大的突破和进展，本文将对其进行研究和探讨。

首先，基于深度学习的手势识别算法需要建立一个准确而稳定的手势识别模型。

这个模型通常包括两个主要组成部分：手势特征提取和手势分类。

手势特征提取是指从输入图像中提取用于区分不同手势的有效特征，而手势分类则是根据这些特征将手势进行分类。

在深度学习中，常用的手势特征提取方法是利用卷积神经网络（CNN）进行特征学习，通过训练模型从图像中提取出有用的手势特征。

而在手势分类方面，可以利用神经网络中的分类器进行实现，如多层感知机（MLP）或支持向量机（SVM）。

通过不断调优和优化这两个阶段的模型，可以提高手势识别的准确率和稳定性。

其次，基于深度学习的手势控制算法需要将手势识别的结果进行有效的转化，实现对计算机或其他设备的控制。

一种常见的方法是利用手势识别模型输出的手势类别信息与预设的动作进行映射。

例如，可以将特定的手势类别与鼠标移动、点击或键盘输入等操作进行关联。

通过编写相应的控制程序，将手势类别与对应的操作进行绑定，实现手势控制的功能。

此外，基于深度学习的手势识别与控制算法还需要考虑实际应用中的一些问题。

例如，对于实时应用来说，算法的处理速度也是一个重要的考虑因素。

为了减少计算时间，可以采用一些加速技术，如模型剪枝、参数量化或硬件优化等。

同时，算法对于光照、视角和背景等变化的鲁棒性也是需要考虑的因素。

这可以通过数据增强、模型集成或领域自适应等方法来提高。

另外，数据集的质量和规模对于深度学习算法的性能也有着重要的影响。

大规模且具有多样性的手势数据集可以提高手势识别与控制算法的泛化能力。

合理选择和标注数据集对于算法的训练和评估是至关重要的。

手势识别系统设计与实现

手势识别系统设计与实现

手势识别系统设计与实现手势识别系统是一种利用计算机视觉技术，通过捕捉和解析人体的手势动作，将其转化为指令或操作的系统。

这种系统在现实生活中的应用非常广泛，例如智能家居控制、虚拟现实游戏交互、医疗康复等领域。

本文将介绍手势识别系统的设计原理、实现技术以及其在不同领域中的应用。

一、设计原理手势识别系统的设计原理基于计算机视觉和模式识别技术。

首先，系统需要通过摄像头等设备捕捉用户的手势动作。

接下来，通过图像处理和机器学习算法对图像数据进行分析和处理，提取手势的特征，并进行分类和识别。

最后，根据手势的识别结果，系统执行相应的指令或操作。

为了有效地设计手势识别系统，需考虑以下几个方面：1.手势的数据采集：系统需要有合适的设备来捕捉用户的手势动作，如摄像头或深度传感器。

通过设备采集到的图像或深度图，系统可以获取手势的形状、位置和运动轨迹等信息。

2.图像处理和特征提取：利用图像处理技术，系统可以对图像数据进行预处理，如去噪、滤波等，以提高手势识别的准确性。

特征提取是手势识别的重要一步，可以通过细化、边缘检测等算法提取手势的特征信息。

3.分类和识别算法：通过机器学习算法，系统可以对提取到的手势特征进行分类和识别。

常用的分类算法包括支持向量机（SVM）、卷积神经网络（CNN）等。

分类器训练的过程需要合适的训练数据集，并进行特征选择和参数调优。

4.指令执行和操作响应：根据手势的识别结果，系统可以执行相应的指令或操作。

这需要与其他设备或应用程序进行联动，如控制灯光开关、播放音乐、切换虚拟现实场景等。

二、实现技术手势识别系统的实现可以采用不同的技术和工具。

下面将介绍几种常见的实现技术：1.基于摄像头的手势识别：使用普通摄像头或红外摄像头来捕捉用户的手势动作，并通过图像处理和机器学习算法进行识别。

如OpenCV库提供了一些常用的图像处理函数，可以用于手势识别的图像处理和特征提取。

2.基于深度传感器的手势识别：深度传感器可以提供更精确的手势数据，如微软的Kinect、Intel的RealSense等。

基于机器学习的手语识别技术研究

基于机器学习的手语识别技术研究

基于机器学习的手语识别技术研究随着科技的不断发展，越来越多的人开始关注人机交互技术的研究和应用。

其中，基于机器学习的手语识别技术逐渐成为了一个热门的研究方向。

本文将从手语概述、手语识别技术的现状、机器学习在手语识别中的应用以及未来的研究方向等方面进行论述。

一、手语概述手语是一种通讯方式，被聋人和听障人士广泛应用。

手语是一种非语言的视觉语言，其不同于声音，使用手势和面部表情传递意思。

手语的语法和声音语言不同，在手语中，一个语句的信息通过手势，面部表情和头部姿势来传达。

此外，手语的一些手势可以代表一个单独的单词或一个短语，有时甚至可以表示一个句子。

手语的学习需要在教育和日常生活中不断地练习和思考。

二、手语识别技术的现状目前，手语的识别主要使用商业摄像机和红外摄像机等设备完成。

这种传统手语识别技术主要依靠计算机视觉技术实现。

但是，这种方式的缺点在于容易受到噪声，光照条件，和复杂的手势组合等因素的干扰。

因此，这种传统手语识别技术的识别率相对较低，无法满足实际需要。

幸运的是，近年来机器学习和深度学习的兴起为手语识别技术的研究带来了新的活力。

与传统数学模型不同，机器学习算法可以根据训练样本学习出一定的规律，并根据目标函数自行调整参数。

深度学习算法在传统机器学习算法的基础上加入了多层神经网络，在完成特征提取和分类任务时更加准确和稳定。

因此，机器学习算法和深度学习算法被广泛应用于手语识别技术中。

三、机器学习在手语识别中的应用机器学习方法主要分为监督式学习和无监督式学习两种类型，而在手语识别中，两种方法都可以得到应用。

监督式学习需要使用大量的样本数据进行训练，而无监督式学习则可以通过聚类或自编码的方式实现。

下面，我们将以监督式学习方法为例，详细介绍机器学习在手语识别中的应用。

在监督式学习中，有两种常用方法获得手语识别的数据：第一种是通过静态图像处理，第二种是通过以视频的形式获取数据。

对于静态图像数据处理方法，首先需要使用统计学特征生成方法将手势特征提取出来。

基于计算机视觉技术的手势识别步骤与方法研究

基于计算机视觉技术的手势识别步骤与方法研究

基于计算机视觉技术的手势识别步骤与方法研究随着人工智能技术的不断发展，计算机视觉技术成为了当前智能交互中不可或缺的一部分，而手势识别是计算机视觉技术中的一个核心问题。

本文将介绍基于计算机视觉技术的手势识别步骤和方法的研究。

一、手势识别的基本介绍手势识别指的是通过摄像头捕获到的人类手势，将其转化为计算机可理解的格式，并识别出手势的类别。

手势的类别有很多种，例如数字、字母、动作等。

手势识别的研究在人机交互、游戏、虚拟现实等领域应用广泛。

二、手势识别的关键步骤1. 数据采集：手势识别的第一步是采集手势数据，这些数据可以通过多种方式获取。

例如，可以通过摄像头获取手势视频，通过传感器获取手势的位置、加速度等信息。

2. 数据预处理：采集到的手势数据需要进行预处理，以便于后续的分析和识别。

数据预处理包括图像去噪、图像二值化、边缘检测、形态学滤波等操作。

3. 特征提取：特征提取是手势识别的关键步骤。

在这个步骤中，需要将预处理后的图像转换为特征向量，以便机器学习算法能够对其进行处理。

特征提取的方法有很多种，例如SIFT、HOG、LBP等。

4. 分类模型训练：在提取手势的特征后，需要对其进行分类。

分类模型训练包括数据集的划分、模型的选择和参数调整等操作。

常用的分类模型包括SVM、KNN、神经网络等。

5. 手势识别：在训练好分类模型后，即可用于手势的识别。

识别过程中，需要将手势图像进行预处理和特征提取，然后输入到训练好的分类模型中进行分类，最终输出手势的类别。

三、手势识别的技术方法1. 基于图像处理的手势识别基于图像处理的手势识别通常采用传统的图像处理算法进行特征提取和分类。

这种方法的优点是计算速度快，但需要手动提取特征，影响识别准确度。

基于机器学习的手势识别方法使用机器学习算法对手势数据进行特征学习和分类。

该方法的优点是可以自动提取特征，同时还能够调整算法参数以提高准确度。

3. 深度学习手势识别在深度学习手势识别中，通常采用卷积神经网络（CNN）进行特征学习和分类。