x基于OpenCV技术的复合手势特征识别算法

  • 格式:pdf
  • 大小:2.02 MB
  • 文档页数:5
new
paper,OpencV recogIlition
rate
technology,gesture aIld
pr叩osed
complex
reeognition
algorithms
g∞d mtation
inv鲥粕ce,锄d
have 900d pmspects in
tIle futIIre of military
intfingerNum;
y ●胁 ■咖 ■~ ●州
较为科学的手势特征存储结构,利用Vc++程序建立手势特
码,采用smith—wateman算法和最小平均距离法与数据库模
板进行匹配达到手势识别目的,但Kinect传感器成本较高,识 别前训练需要佩戴彩色手套,对旋转的鲁棒性不好。 本文以图像处理技术为基础,提出全新的手部识别复 合算法,由于使用指尖识别、手势结构、手指相对角度和绝 对角度等方法,该算法具有较高的识别率和旋转不变性等 优点,可以在计算机辅助决策人机交互方面进一步拓展和 应用。
息投影技术的发展,虚拟与现实的应用逐渐走入了人们的视野并得到了初步应用。利用OpenCV技术,针对手势特征识 别提出了全新的复合识别算法。经过验证,该算法具有很高的识别率并且拥有良好旋转不变性,在今后军事指挥决策 系统中具有良好的应用前景。 关键词:特征提取;手势识别;0pencV技术;辅助决策 中图分类号:TN939 文献标志码:A DOI:10.16280/j.、rideoe.2015.14.026
1.2构建手势特征结构体
根据手部的特征,结合参考文献中的大量实验,总结出
以。为原点、r为半径建立极坐标系。在吉r和r之间等距 建立5个以。为原点、专铲r为半径的同心圆尺。。
1 04
《电视技术》第39卷第14期(总第467期)I投稿网址hnp:/^『I,vI,、『I,_vjdeo E-cn
万方数据
k主盐
加载摄像头驱动
,,。一、厣丽≮
通过指尖检测算法计算手部指尖顶点的个数,此模型模 拟5个手指全部伸出则会得到5个顶点。设检测到的指尖顶 点坐标为0。,y。),以逆时针顺序建立每个指尖到图像重心的 连线£l,£2,£3,L4,£5。 指尖到手势重心连线方程L。为
y=}z,o≤y≤h
根据式(1)、式(2),可求出线段交点为
万方数据
投稿网址h廿p:伽MⅣ.videoE.cn I《电视技术》第39卷第14期(总第467期)
1 03
睢V恍。脚L,以徽需恶
定;文献【10】使用Kinect传感器捕获手势RGB—D数据,利用深 度数据进行手势分割,将手势的外形轮廓的RGB数据进行编 征的结构体:
stmctGesturestruct//定义一个手势结构 l
with t}le has
devel叩ment
been initial
of holographic applications.IIl
proVe
pmjection
this high
technolog)r,
virtual
reality印phcations粕d琴adually
recognition
spotlight柚d
但是由于手指本身具有非刚性、旋转特性、运动时的自 由度非常大、背景固有的复杂性、光照的不稳定性等特点,要 稳定地跟踪和获取手部的特征非常困难,因此如何提取手部 特征是一个特征识别算法的核心。 手势识别分为动态识别和静态识别。动态识别是将手 看作一个质点,连续记录其运动轨迹,并与数据库中的轨迹 进行比对,例如:文献[8]使用三维的加速度传感器获取手势 加速度信号,利用DTw和近邻传播聚类算法对训练集中的每 一个手势创建一个样本,然后用随机投影算法对数据进行降 维,再与数据库进行比对。该方法克服了传统算法中运算量 随着特征向量的个数以及维数的增加而增加的缺陷,但该算 法只能进行轨迹识别,并且需要辅助设备,使用限制较多。 在静态识别方面,文献【9】提出基于视觉的多特征手势识别算 法,该算法首先提取手部图像并用手势轮廓及手势凸缺陷检 测指尖,结合指尖手势指尖的相对位置进行识别,对手势识 别精度较高,但该算法识别的手势不多,凸缺检测运算不稳
//{佥测到的指尖数目 intringNum【5]; ,/每一个检测圆与指尖到重心连线的交点数 noatri“glValue【9]; /,第一层检测到的角度,包括绝对角度和相对角度 noa访n92Value[9】;
1手势特征检测模型
根据一定的图像处理运算法则,每一个手势经过运算都 会产生一个或一组特征值,该特征值就是在计算机中表示该 手势的符号。而寻求一个稳定高效的运算法则成为手势特 征检测最重要的环节。
/,第二层检测到的角度 noa试n93Value【9】; ,,第三层检测到的角度 noamn94Value[9】; ,/第四层检测到的角度 noa砸n95VaIue[9】;
1.1构建手势特征检测模型
由于手部的自由度非常高,如何建立一个简单高效的手 部特征检测模型始终是手势识别技术的一个核心环节。手 部加上腕关节手部共有15个关节,大部分关节的活动范围都 在1800左右,个别关节具有360。活动范围,因此提取每一个 关节的角度特征是非常困难的。此外由于腕关节的自由度 非常大,难以确定测量的基础点和建立一个稳定的坐标系去 测量每一根手指的角度,这给手部识别带来困难。因此,在 设计模型时提出以下两个原则: 1)为减少关节角度计算量,提高识别速度,待识别的手 势中,当需要弯曲手指时,弯曲度尽可能的大,而且要正对摄 像头。 2)待识别手势之间应具有较大的差异性,相似手型将被 识别为同一手势,比如,一根伸展手指的手势和两根并拢伸 展手指的手势,将被识别为同一手势。 虽然手部的自由度非常高,但是各手指之间分开的角度 基本是在一个范围内。鉴于此,本文提出建立如图1所示的 手部特征检测模型,该检测模型主要通过两个方法来精确识 别手势:第一,进行手部指尖检测,通过检测到的指尖数量来 初步对手势进行分类(二叉树);第二,进行精确手势识别,通 过一系列处理得到手部中心和手势简化模型,再计算该简化 模型手指的绝对角度与相对角度,并作为手势样本库存入手 势特征结构体。该模型能够很好地适合手势的特点,能够检 测手部的旋转、弯曲等运动,具有较高的检测正确率。
(2)
‘ 创建手势特征结

序等)2-算,!:=罢戈
础建立特图像颜色标准化
通过上式算出每一层的交点个数,并以该交点个数为基
● 计算图像直方图 ●
f日1l…口15
1日ll…p15

i I; l !. Lp5l…p55 I疗5l…p55/ 式中:p。为手部结构每个指尖的绝对角度;百。为手部结构 两个指尖的相对角度。
图像高斯模糊 + 颜色空间转换 ‘ 肤色检测
图2图像预处理
2手势特征检测算法设计思路
首先进行模型特征录入,该模型通过5个同心圆分别对 待录入手势的轮廓模型进行检测,存储每一层检测圆与手部 结构图的交点个数、手部结构图的绝对角度以及相对角度。 手势特征结构体记录每一层检测圆与手部结构图的交点个 数、手部结构图的绝对角度以及相对角度。然后以检测到的 指尖个数、分层的交点个数、绝对角度以及相对角度作为该 手势的特征结构体存储在计算机内,最后,在应用时根据大 量实验设定一个合适的阈值,以摄像头输人为图像源,对每 一帧图像进行以上的图像处理,得到该图像的特征结构体, 再与所存储的特征结构体进行比对,当比对的结果小于设定 的阈值时,判定为该特征手势。 以摄像头拍摄的视频或录制好的视频作为视频输入源, 视频源的每一帧图像都会经过图像预处理和图像特征检测 两个部分。图像预处理部分包括载入图像、图像颜色标准 化、计算图像直方图、图像高斯模糊、图像颜色空间转换、肤 色检测、轮廓提取等步骤。 特征检测算法部分包括指尖检测、计算手势特征模型、 分层提取、特征比对等步骤。视频经过预处理得到手势特征 轮廓的二值化图像,利用手势特征检测模型对图像进行分层 特征提取获得特征值,与样本库的特征值进行相减并取绝对 值d,根据大量试验设定一个经验阈值6,对图像进行特征
,/第五层检测到的角度
CStringGestureName;
//手势名字 l;
1.3建立手势特征值样本库
手势特征样本库对于后续的手势识别起到至关重要的 作用。本文首先根据手势检测模型建立样本库,如图1所示。
离l
手蓊捡:曩模型
该手势检测模型由5个同心检测圆组成,同心圆的中心 与手势图像的重心。重合,重心与各指尖的最大距离为r,
如图3所示,该部分是图像手势识别,共有8个环节,其 中图像在指尖提取和特征比对两个部分分别进行指尖初步 分类和手势精确识别。
轮廓提取

轮廓比对

计算质心、半径

提取指尖

绘出手势模型

分层提取

特征比对

输出结果
图3图像识别部分

实验结果
为了验证本文方法的可靠性与稳定性,待检测手势选取
手指指向不同、环境干扰不同的视频图像进行指尖定位和特 征检测实验。手势图像像素大小为320×240。 通过本文提出的特征提取和检测算法,结果证明指尖定 位准确率达到90%以上。为了更好地实现徒手人机交互,本
ljj蓝捣
P71'—’T—’●_
V恍㈣刚c勰器:¨
孙翼8,朱丽娟6,韩龙8
(海军大连舰艇学院a.研究生一队;b.通信系,辽宁大连116018)
【本文献信息】孙翼,朱丽娟,韩龙.基于opencV技术的复合手势特征识别算法【J】.电视技术,2叭5,39(14)
基于openCV技术的复合手势特征识别算法
摘要:手势特征识别作为图像特征识别的一个重要研究方向,在很多了领域都有着非常广阔的应用前景,尤其是随着全
投稿网址hnp:枷MnvideoE.cn I《电视技术》第39卷第14期(总第467期)
1 05
万方数据
nV怔㈣刚cA慧牌恶