基于Opencv的手势识别系统

• 手势识别是一种简单、直观的新的交互方 式，被越来越多的采用
• 基于手势识别的窗口控制系统，可以应用 在很多方面，比如PC上的鼠标控制、 Android界面控制、图片浏览、音乐播放器 控制等方面。
3
• 本系统目标：
通过读取摄像头信息来识别相应的手势进行鼠标控 制。
• 控制逻辑如下：
手掌（五指全部伸开时）表示鼠标移动（用手掌 中心来对应移动距离），一根手指表示点击（最 好的体验应该是通过指尖来确定位置，但是实现 比较困难的话就先用手掌中心进行代替），拳头 表示鼠标按键弹起
g[i,
j]
ce
(i
2
2
j2
2
)
.
g[i,
j]
e .
(i
2
2
j2
2
)
c
ó2=2，n=7
高斯平滑滤波器-6
（2）放大，取整
i, j
-3 -2 -1
0 1 2 3
-3 -2 -1 0 1 2 3
147 4 12 26 7 26 55 10 33 71 7 26 55 4 12 26 147
10 7 4 1 33 26 12 4 71 55 26 7 91 71 33 10 71 55 26 7 33 26 12 4 10 7 4 1
基于Opencv的手势识别系统分析
指导老师：鲁晓军 作者：毛晓洁 日期：2013.10.18
1
基于Opencv的手势识别系统分析
• 系统研究背景 • 手势识别流程分析 • 系统总体结构 • 系统的设计与实现 • 总结
2
1.系统研究背景及应用
• 人机交互在当今计算机技术迅猛发展的今 天逐渐成为人们日常生活中的重要部分
• 可分离性
降低计算复杂度
高斯平滑滤波器…4
模板设计方法: •直接法
高斯平滑滤波器-5
直接法：
直接根据高斯函数的离散值计算模板权值
（1）计算离散值
i, j
-3 -2 -1
0 1 2 3
-3 -2 -1 0 1 2
3
.011 .039 .082 .105 .082 .039 .011 .039 .135 .287 .368 .287 .135 .039 .082 .287 .606 .779 .606 .287 .082 .105 .368 .779 1.000 .779 .368 .105 .082 .287 .606 .779 .606 .287 .082 .039 .135 .287 .368 .287 .135 .039 .011 .039 .082 .105 .082 .039 .011
直方图修正
灰度均衡
有时也称直方 图均衡
直方图修正 直方图均衡化
图像中的脉冲噪声模型
• 在图像传输过程中，经常会受到各种噪声的干扰， 在进行进一步的边缘检测、图像分割、特征提取、 模式识别等处理前，需要采用适当的方法尽量减 少噪声
• 最常见的图像噪声：脉冲噪声
• 特点：
– 噪声点的取值与图像信号本身无关 – 椒盐噪声 – 随机值脉冲（加性）噪声
（3）规范化，使权值之和为1
1 1 2 2 211 1 2 2 4 221 2 2 4 8 422 2 4 8 16 8 4 2 2 2 4 8 422 1 2 2 4 221 1 1 2 2 211
7X7 高斯滤波模板
22 3 4 5 5 6 6 6 5 5 4 3 2 2 23 4 5 7 7 8 8 ８ 7 ７ 5 4 3 2 3 4 6 7 9 10 10 11 10 10 9 7 6 4 3 4 5 7 9 10 12 13 13 13 12 10 9 7 5 4 5 7 9 11 13 14 15 16 15 14 13 11 9 7 5 5 7 10 12 14 16 17 18 17 16 14 12 10 7 5 6 8 10 13 15 17 19 19 19 17 15 13 10 8 6 6 8 11 13 16 18 19 20 19 18 16 13 11 8 6 6 8 10 13 15 17 19 19 19 17 15 13 10 8 6 5 7 10 12 14 16 17 18 17 16 14 12 10 7 5 5 7 9 11 13 14 15 16 15 14 13 11 9 7 5 4 5 7 9 10 12 13 13 13 12 10 9 7 5 4 3 4 6 7 9 10 10 11 10 10 9 7 6 4 3 23 4 5 7 7 8 8 8 7 7 5 4 3 2 22 3 4 5 5 6 6 6 5 5 4 3 2 2
2.系统总体结构
• 总体结构如下：
5
3.系统实现分析
• 图像（包含手势）的预处理 • 肤色检测与分割 • 手势模板匹配 • 跟踪与预测算法：Camshift算法和Kalman
算法 • 接口部分的设计与实现
6
3.1 图像预处理
预处理目的： 为了改善图像的质量，有两种方法： -- 图像的增强
• 不考虑图像降质的原因，只将图像中感兴趣的特征有选择 的突出，而衰减次要信息
高斯平滑滤波器-1
根据高斯函数选择邻域内各像素的权值
g[i,
j]
e
ຫໍສະໝຸດ Baidu(i
2
2
j2
2
)
高斯平滑滤波器…2
高斯函数具有五个重要的性质: • 旋转对称性
在各个方向上的平滑是一致的
• 单调递减
邻域的影响随着距离的增加而减弱
• 付氏频谱是单瓣的
保留所需信号
高斯平滑滤波器…3
• 参数σ调节平滑程度
在过平滑与欠平滑之间取得平衡
• (a) 原始图像 (b)高斯噪声
• 被高斯噪声所污染的图像
3X3窗口
7X7窗口
• 均值滤波器的效果
（a）原图像 （b）3*3均值滤波 （c）5*5均值滤波 （d）9*9均值滤波 （e）15*15均值滤波 （f）36*35均值滤波
观察6幅图，总结邻 域平均模板大小对滤波结 果的影响。
高斯平滑滤波器
（2）直方图修正
线性：均值滤波器 ，高斯平滑滤波器 （3）滤波
非线性：中值滤波 边缘保持滤波
直接灰度变换
• 灰度级变换的应用之一
– 亮度调整——加亮、减暗图像
255
255
218
32 128 255
128 255
求反
对比度增强 亮度增强
直接灰度变换图例
一个指纹图像增强的实例
直方图修正
直方图的作用
• 特点：能提高图像的可读性，但改善后的图像不一定逼近 原始图像。可用场合：如衰减各种噪声、突出目标的轮廓等
--图像的复原
• 针对图像降质的原因，设法去补偿降质因素，从而使改善后的 图像尽可能的逼近原始图像。
• 图像增强的两大应用
– 改善图像的视觉效果 – 突出图像的特征，便于计算机处理 方法
（1）灰度变换