结合三帧差分和肤色椭圆模型的动态手势分割
- 格式：pdf
- 大小：1.25 MB
- 文档页数：6
第４３卷第６期 ２０１６年６月 光电工程
Ｏｐｔｏ－Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ Ｖｌｏｌ＿４３，Ｎｏ．６
Ｊｕｎｅ．２０１６
文章编号：１００３—５０１Ｘ（２０１６）０６—００５１—０６ 结合三帧差分和肤色椭圆模型的动态手势分割
袁敏，姚恒，刘 牮 （上海理工大学光电信息与计算机工程学院，上海２０００９３） 摘要：针对手势识别系统中的手势分割部分提出了一种改进的结合三帧差分法和肤色椭圆边界模型的动态手势分 割方法。运用三帧差分法提取动态手势的运动特征，初步确定手势所在区域，然后运用肤色椭圆边界模型对该区 域进行肤色判别从而确定目标。通过提取双特征，可有效解决复杂背景下大面积肤色背景被误检的问题。通过合 理设置运动检测过程中的阈值，可有效去除运动幅度较小的人脸和裸露手臂部分。同时针对三帧差分法不能检测 静态手势进行了改进，使提出算法对视频流中手势的短暂停留具有极强的鲁棒性 实验结果表明，提出算法能准 确高效的检测出动态手势，适用于动态手势识别等实时系统中。 关键词：动态手势分割；三帧差分法；肤色椭圆边界模型；手势识别系统 中图分类号：ＴＰ２７４．２ 文献标志码：Ａ ｄ０ ｉ：１０．３９６９￣．ｉｓｓｎ．１００３—５０１Ｘ．２０１６．０６．００９
Ｄｙｎａｍｉｃ Ｇｅｓｔｕｒｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｃｏｍｂｉｎｉｎｇ Ｔｈｒｅｅ—ｆｒａｍｅ Ｄｉｆｆｅｒｅｎｃｅ Ｍｅｔｈｏｄ ａｎｄ Ｓｋｉｎ—ｃｏｌｏｒ Ｅｌｌｉｐｔｉｃ Ｂｏｕｎｄａｒｙ Ｍｏｄｅｌ
ＹＵＡＮ Ｍｉｎ，ＹＡＯ Ｈｅｎｇ，ＬＩＵ Ｊｉａｎ （Ｓｃｈｏｏｌ ｏｆＯｐｔｉｃａｌ－Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆＳｈａｎｇｈａｉｆｏｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ ２０００９３，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ａ ｎｏｖｅｌ ｄｙｎａｍｉｃ ｇｅｓｔｕｒｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｂｙ ｃｏｍｂｉｎｉｎｇ ｔｈｒｅｅ—ｆ ａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ ａｎｄ ｓｋｉｎ—ｃｏｌｏｒ ｅｌｌｉｐｔｉｃ ｂｏｕｎｄａｒｙ ｍｏｄｅ１．Ｆｉｒｓｔｌｙ，ｔｈｅ ｐｏｓｓｉｂｌｅ ｄｙｎａｍｉｃ ｇｅｓｔｕｒｅ ｒｅｇｉｏｎ ｉｓ ｄｅｔｅｒｍｉｎｅｄ ｂｙ ｅｘｔｒａｃｔｉｎｇ ｔｈｅ ｔａｒｇｅｔ ｐｒｏｐｅｒｔｙ ｏｆ ｍｏｖｅｍｅｎｔ ｖｉａ ｔｈｒｅｅ—ｆｌａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ，ａｎｄ ｔｈｅｎ ｔｈｅ ｔａｒｇｅｔ ａｒｅａ ｉｓ ｇｏＲｅｎ ｂｙ ｓｋｉｎ—ｃｏｌｏｒ ｄｅｔｅｃｔｉｏｎ ｉｎ ｔｈｅ ｐｏｓｓｉｂｌｅ ｒｅｇｉｏｎ ｕｓｉｎｇ ｓｋｉｎ—ｃｏｌｏｒ ｅｌｌｉｐｔｉｃ ｂｏｕｎｄａｒｙ ｍｏｄｅ１．Ｂｙ ｅｘｔｒａｃｔｉｎｇ ｄｏｕｂｌｅ ｆｅａｔｕｒｅｓ ｏｆ ｄｙｎａｍｉｃ ｈａｎｄ ｇｅｓｔｕｒｅｓ，ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ｔｈｅ ｌａｒｇｅ ａｒｅａ ｏｆ ｓｋｉｎ—ｃｏｌｏｒ ｂａｃｋｇｒｏｕｎｄ ｗａｓ ｍｉｓｔａｋｅｎｌｙ ｉｄｅｎｔｉｆｉｅｄ ａｓ ｈａｎｄｓ．Ｔｈｅ ａｒｅａ ｏｆ ｆａｃｅ ａｎｄ ｂａｒｅ ａｒｍｓ ａｒｅ ｒｅｍｏｖｅｄ ｂｙ ｓｅｔｔｉｎｇ ａ ｒｅａｓｏｎａｂｌｅ ｔｈｒｅｓｈｏｌｄ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｆｏｒ ｏｖｅｒｃｏｍｉｎｇ ｔｈｅ ｓｈｏｒｔｃｏｍｉｎｇ ｏｆ ｔｒａｄｉｔｉｏｎａｌ ｔｈｒｅｅ—ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ ｔｈａｔ ｃａｎｎｏｔ ｄｅｔｅｃｔ ｓｔａｔｉｃ ｇｅｓｔｕｒｅｓ，ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｈａｓ ｂｅｅｎ ｉｍｐｒｏｖｅｄ ａｎｄ ｓｈｏｗｎ ｒｏｂｕｓｔｎｅｓｓ ｏｎ ｒｅｌａｔｉｖｅ ｓｔａｔｉｃ ｇｅｓｔｕｒｅｓ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ｆｏｒ ｄｙｎａｍｉｃ ｈａｎｄ ｇｅｓｔｕｒｅｓ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｉｓ ｓｕｉｔａｂｌｅ ｆｏｒ ｒｅａｌ—ｔｉｍｅ ｓｙｓｔｅｍｓ ｓｕｃｈ ａｓ ｄｙｎａｍｉｃ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ． Ｋｅｙ ｗｏｒｄｓ：ｄｙｎａｍｉｃ ｇｅｓｔｕｒｅ ｓｅｇｍｅｎｔａｔｉｏｎ；ｔｈｒｅｅ—ｆｌａｍｅ ｄｉｆｆｅｒｅｎｃｅ；ｓｋｉｎ—ｃｏｌｏｒ ｅｌｌｉｐｔｉｃ ｂｏｕｎｄａｒｙ ｍｏｄｅｌ；ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍｓ
０ 引 言 随着计算机的普及，人与计算机之间的信息交互技术备受关注。手势识别是人机交互技术中占据重要 地位的研究课题。手势识别可简单概括为三个部分：分割、跟踪、识别［”。手势分割作为第一步工作，为 后续两个部分提供操作对象，分割的效果直接决定着整个工程的成败，是手势识别的关键所在。手势分割
收稿日期：２０１５－０６ ２９；收到修改稿日期：２０１５－１１ １４ 基金项目：国家自然科学基金（６１３０３２０３）；沪江基金（Ｂｌ４ｏ０２／Ｄ１４０Ｏ２）；上海高校青年教师培养计划资助 作者简介：袁敏（１９９２一），男（汉族），安徽安庆人。硕士研究生，主要研究图像处理与计算机视觉。Ｅ－ｍａｉｌ：ｙｕａｎｍｉｎ２０１３＠１２６．ｃｏｒｎ。
ｈｔｔｐ：／／ｗｗｗ ｇｄｇｃ ａＣ ｃｎ ５２ 光电工程 ２０１６年６月 即提取手势特征从而将其与周围环境区分出来。手势特征包括肤色、轮廓、指尖、运动和纹理等。由于光 照、形变和复杂背景环境等因素的影响，手势分割方法的精确度和稳定性受到极大挑战。围绕这一问题， 研究人员展开了大量的研究工作，提出了多类手势分割方法。阈值模型［２１给定各参数一个阈值，在范围内 判定为肤色目标。边界模型对肤色分布进行建模从而检测肤色，如椭圆边界模型 和高斯模型 等。此两 种方法分割时间复杂度最优，但分割准确度非常低，对背景要求较高。基于Ｍｅａｎｓｈｉｆｔ算法的分割方法 Ｊ， 需预先获得分割目标颜色直方图，且随搜索迭代次数增加而分割时间大大增加。基于训练分类器的方法Ｌｏ√Ｊ， 需要大量的正、负样本，同时训练分类器耗时长。采用Ｋｉｎｅｃｔ深度摄像头获得ＲＧＢ—Ｄ图像，利用深度信 息分割的方法 ，该方法对摄像头要求较高。 本文提出一种改进的结合三帧差分法和肤色椭圆边界模型的动态手势分割方法，用三帧差分法提取手 势运动特征，初步确定目标区域，再利用肤色椭圆边界模型对目标区域进行肤色检测，最终确定目标手势。 实验证明，该方法具有极高的准确率和接近实时的分割效率。
１ 算法思路 动态手势最明显的两个特征分别是运动和肤色。分别提取运动和肤色特征，层次递进确定目标是本文 的基本思想。在文中，对特征提取算法的选择、算法时间复杂度、视频流中手势短暂停留问题，人睑和手 臂等干扰肤色块的去除问题进行了重点研究并提出相应改进算法。 １．１提取运动特征 帧间差分法以其计算复杂度低、时间利用率高等优点成为运动特征提取常用算法之一。三帧差分法 是在常规的两帧差分法的基础上提出的一种改进算法，该算法在相邻三帧之间进行差分，再将差分结果进 行按位逻辑与操作，克服了两帧差分的“双影”现象，对差分后出现的“空洞”现象有一定程度的改善， 同时比两帧差分法对慢速运动的检测具有更强的鲁棒性。三帧差分法流程图如图ｌ所示。
图１三帧差分法流程图 Ｆｉｇ．１ Ｔｈｅ ｆｌｏｗ ｃｈａｒｔ ｏｆｔｈｒｅｅ ｆｌａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ 首先从视频流中取第 ｌ、 和Ｋ＋Ｉ连续三帧图像，分别记作 ｌ、 和ＩＫ＊ｌ。将彩色图像转为灰度图 像后，对相邻两帧分别做逐像素减法，结果取绝对值后与设定阈值 比较，大干阈值置为１，小于置为０。 依此方法，分别得到ｋ１与 的差分图像ＤＫ，和 与 ｌ的差分图像ＤＫ＋１。对Ｄｘ￣（Ｈ Ｊ［） 做形态学处理后 进行按位与运算得到目标轮廓。算法示意简图如图２所示。
ＤＸ ｛ｊｎ１ １［ｈｒｇｅｔ ｃｏｎｔｏｕｒ 图２三帧差分法示意简图 Ｆｉｇ．２ Ｔｈｅ ｓｃｈｅｍａｔｉｃ ｄｉａｇｒａｍ ｏｆｔｈｒｅｅ ｆｌａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ １．２提取肤色特征 肤色椭圆边界模型是基于ＹＣｒＣｂ色彩空间的肤色分割模型。基于此色彩空间的肤色模型包括：阈值边 界模型、高斯模型和肤色椭圆边界模型等。阈值边界模型中，满足１３３＜Ｃｒ＜１７３且７７＜Ｃｂ＜１２７的待判像素 即被认为是肤色，漏检和误检的可能性较大。高斯模型和肤色椭圆边界模型具有相对精确的肤色判断依据，
ｈｔｔｐ：／／ｗｗｗ ｇｄｇｃ ａｃ。ｅ 第４３卷第６期 袁敏，等：结合三帧差分和肤色椭圆模型的动态手势分割 ５３ 然而后者比前者具有更高的分割精度和更低的时间复杂度 ｍ】。因此本文选择肤色椭圆边界模型进行肤色检 测。经大量的统计数据发现，肤色在ＣｂＣｒ子空间上的投影近似一个椭圆 ，只需计算出椭圆相关参数， 拟合该椭圆，就可以成为肤色分割的重要依据。本文选取Ｈｓｕ等人提出的经典椭圆肤色模型 引，如式（１）： （ —ｅＣｘ） ．（ —ｅＣ ） 一１ ｒ１、 一 。 。 ｂ 一
其中： Ｈ：Ｉ ｃｏｓ０ ｓｉｎ０ 一Ｃｘ Ｉ （２） ｌＹｊ ｌ～ｓｉｎ０ ｃｏｓ０ｌＣ￣一Ｃ Ｊ
Ｈｓｕ等人经过大量统计实验，根据肤色点在ＣｂＣｒ子空间的聚类特性计算得出：Ｃｘ＝１０９．３８，Ｃｙ＝１５２．０２， ０＝－２．５３ ｒａｄ，ｅＣｘ＝１．６０，Ｐｃ ２．４１，ａ＝２５．３９，ｂ＝１４．０３。当待判定肤色点的颜色分量ｃ６、 值符合该模型时， 则判定该点为肤色点。 １．３视频流中手势短暂停留丢失问题 在视频流中，手势可能在某一位置作短暂停留，此时三帧差分法由于检测不到运动而不能准确的对该 手势进行分割，从而在手势跟踪时丢失目标。 为了解决这一问题，本文对算法进行以下改进。经过分析，造成目标色块减少的原因有以下三种可能， 手位移出摄像头视野范围、手短暂停留和手被遮挡。记上一次算法分割得目标色块数为 ，初始值置为 ０，记当前帧检测到目标色块数为Ｍ。当眠小于 １时，即至少有一个目标色块丢失，此时对当前帧肤色 检测后结果与上一帧分割结果做按位或操作，最大可能保存肤色块可能存在的区域，再对或运算后的区域 做二次肤色检测，所得结果作为当前帧的最终结果。 １．４人脸及手臂等干扰色块的去除问题 当人体处于摄像头视野中时，手臂、人睑等由于微小的运动被误检为目标色块而被分割出来，对后续 的跟踪和识别造成干扰。三帧差分法公式表示为
