手势识别技术综述 作者单位：河北工业大学计算机科学与软件学院 内容摘要： 手势识别是属于计算机科学与语言学的一个将人类手势通过数学算法针对人们所要表达的意思进行分析、判断并整合的交互技术。一般来说，手势识别技术并非针对单纯的手势，还可以对其他肢体动作进行识别，比如头部、胳臂等。
但是这其中手势占大多数。本文通过对手势识别的发展过程、使用工具、目的与市场等进行综述，梳理出手势识别发展的思路，让读者对手势识别有一个总体上的认识，同时也可以让读者在此基础上进行合理想象，对手势识别的未来有一个大体印象。 Abstract: Gesture recognition is an interactive technology using mathematical arithmetic to the analysis,judge and assembly meaning that people want to convey which belongs to computer science and Linguistics.In general, gesture recognition technology is not for simple gestures expressed by hands ,it can also aim to other body movement recognition, such as the head, arm and so on. But the gesture accounted for most of the analysis. In this paper, by describing the development process, tools used , objective and market of gesture recognition , we can sort out the ideas of the development of gesture recognition, and let readers have an overall understanding of gesture recognition. At the same time, it can let the reader imagine that on hand gesture recognition based on reason ,and have a general impression of its future. 1.定义 说到手势识别，首先要对手势识别中的手势有一个清晰的认知。手势在不同的学科中有不同含义，而在交互设计方面，手势与依赖鼠标、键盘等进行操控的区别是显而易见的，那就是手势是人们更乐意接受的、舒适而受交互设备限制小的方式，而且手势可供挖掘的信息远比依赖键盘鼠标的交互模式多。在学术界，人们试图对手势定义一个抽象、明确而简洁的概念以为手势及其应用的研究提供依据。1990年Eric Hulteen和Gord Kurtenbach曾发表的题为“Gestures in Human-Computer Communication”中定义：“手势为身体运动的一部分，它包括一部分信息，而且是一种能被观察到的有意义的运动。挥手道别是一种手势，而敲击键盘不是一种手势，因为手指的运动没有被观察，也不重要，它只表示键盘
基于OpenCV识别库的面部图像识别系统的设计 本系统采用J2EE技术并以OpenCV开源计算机视觉库技术为基础，实现一套具有身份验证功能的面部图像识别信息管理系统。系统使用MySQL数据库提供数据支撑，依托于J2EE的稳定性和Java平台的可移植性使得本系统可以在各个操作系统平台中运行，同时提供在互联网中使用面部识别技术的一套较为完备的解决方案。 标签：OpenCV；人脸识别；生物学特征 引言 随着信息技术的飞速发展以及互联网的深入普及，越来越多的行业和领域使用信息技术产品以提高工作效率和管理水平。但是由于人们隐私信息的保护意识薄弱，出现了许多信息安全的问题。在人们对于信息安全越来越重视的情况下，许多技术被应用到信息安全领域中来。较为先进的技术有虹膜识别技术、遗传基因识别技术以及指纹识别技术等。而论文采用的是当前热点的面部图像识别技术。 1 系统实现算法及功能分析 1.1 面部图像的生物学特征模型的建立 本系统是利用面部图形的生物学特征来识别不同的人。由于每个人的面部图像都有各自的特征但又具有一定的通性，需要应用生物学中相关知识加以解决。可以利用已有的生物学测量手段以及现有的算法构建人的面部图像生物学特征模型（简称：面部模型），并应用于系统中，面部模型的建立为面部图像识别的功能提供实现依据。 1.2 知识特征库及面部识别引擎的建立 在前述面部模型建立完成后，需要建立相应的知识库以及面部识别引擎方可进行身份的识别。可经过大量数据的采集和分析后建立知识库，并根据知识库的特点建立相应的识别引擎。此识别引擎对外开放，在本系统中提供其它外来程序的调用接口，其它系统能够通过本接口实现识别引擎的调用实现对于面部图形的识别，从而达到识别引擎的可复用性。在技术条件允许的情况下，提供知识库的智能训练以及半自动构建支持。 1.3 面部图像的采集与预处理 本系统中采用了预留API接口，利用USB图形捕获设备采集数据图像。经过USB设备的捕获，使用JMF（Java Media Framework）来处理已捕获的图像数据，对捕获的图像进行面部图行检测和实时定位跟踪。
简单手势识别
一、背景 随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加易‘引。 手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。
二、手势识别概述 2.1、手势识别的概念 手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的手转化为的手势动作，观察者看到的是手势动作的图像。手势的产生过程如图2-1所示。 图2-1 手势的产生过程 手势识别的过程则找一个从图像V到概念动作G的变换而，如图2-2所示。
2.2、手势识别流程 随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加容易。 手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。
基于2DPCA的人脸识别算法研究 摘要 人脸识别技术是对图像和视频中的人脸进行检测和定位的一门模式识别技术，包含位置、大小、个数和形态等人脸图像的所有信息。由于近年来计算机技术的飞速发展，为人脸识别技术的广泛应用提供了可能，所以图像处理技术被广泛应用了各种领域。该技术具有广阔的前景，如今已有大量的研究人员专注于人脸识别技术的开发。本文的主要工作内容如下： 1)介绍了人脸识别技术的基础知识，包括该技术的应用、背景、研究方向以及 目前研究该技术的困难，并对人脸识别系统的运行过程以及运行平台作了简单的介绍。 2)预处理工作是在原始0RL人脸库上进行的。在图像的预处理阶段，经过了图 象的颜色处理，图像的几何归一化，图像的均衡化和图象的灰度归一化四个过程。所有人脸图像通过上述处理后，就可以在一定程度上减小光照、背景等一些外在因素的不利影响。 3)介绍了目前主流的一些人脸检测算法，本文采用并详细叙述了Adaboost人脸 检测算法。Adaboost算法首先需要创建人脸图像的训练样本，再通过对样本的训练，得到的级联分类器就可以对人脸进行检测。 4)本文介绍了基于PCA算法的人脸特征点提取，并在PCA算法的基础上应用了 改进型的2DPCA算法，对两者的性能进行了对比，得出后者的准确度和实时性均大于前者，最后将Adaboost人脸检测算法和2DPCA算法结合，不仅能大幅度降低识别时间，而且还相互补充，有效的提高了识别率。 关键词：人脸识别 2DPCA 特征提取人脸检测
2DPCA Face Recognition Algorithm Based on The Research Abstract：Face recognition is a technology to detect and locate human face in an image or video streams,Including location, size, shape, number and other information of human face in an image or video streams.Due to the rapid development of computer operation speed makes the image processing technology has been widely applied in many fields in recent years. This paper's work has the following several aspects: 1)Explained the background, research scope and method of face recognition,and introduced the theoretical method of face recognition field in general. 2)The pretreatments work is based on the original ORL face database. In the image preprocessing stage, there are the color of the image processing, image geometric normalization, image equalization and image gray scale normalization four parts. After united processing, the face image is standard, which can eliminate the adverse effects of some external factors. 3)All kinds of face detection algorithm is introduced, and detailed describing the Adaboost algorithm for face detection. Through the Adaboost algorithm to create a training sample,then Training the samples of face image,and obtaining the cascade classifier to detect human face. 4)This paper introduces the facial feature points extraction based on PCA ,and 2DPCA is used on the basis of the PCA as a improved algorithm.Performance is compared between the two, it is concluds that the real time and accuracy of the latter is greater than the former.Finally the Adaboost face detection algorithm and 2DPCA are combined, which not only can greatly reduce the recognition time, but also complement each other, effectively improve the recognition rate. Key words：Face recognition 2DPCA Feature extraction Face detection
目录 摘要................................................................ I Abstract ............................................................. II 第一章引言.. (1) 1.1 研究背景及意义 (1) 1.2 国内外研究现状 (1) 1.3 处理平台的选择 (3) 1.4 主要研究内容及结构安排 (4) 第二章系统相关知识介绍 (6) 2.1 图像预处理 (6) 2.2 图像分割 (8) 2.2.1 颜色空间的选取 (8) 2.2.2 建立肤色模型及二值化 (10) 2.2.3 数学形态学处理 (10) 2.3 提取特征值 (12) 2.3.1 Hu不变矩 (12) 2.3.2 周长及面积 (14) 2.4 边缘检测算法 (14) 2.5 匹配识别算法 (15) 2.6 本章小结 (16) 第三章系统总体设计 (17) 3.1 FPGA概述 (17) 3.1.1 FPGA设计流程 (17) 3.1.2 硬件平台介绍 (18) 3.1.3 图像传感器 (19) 3.1.4 软件平台介绍 (19) 3.2 总体设计方案 (19) 3.3 图像采集模块设计 (20) 3.4 显示模块设计 (20) 3.4.1 VGA显示原理 (21) 3.4.2 ADV7123编码芯片原理 (22) 3.5 SDRAM存储模块 (23) 3.6 本章小结 (25) 第四章手势识别系统的设计与实现 (27)
4.1 图像采集与显示的设计实现 (27) 4.1.1 采集模块 (27) 4.1.2 VGA显示模块 (30) 4.2 快速中值滤波算法的设计与实现 (32) 4.2.1 模板生成模块 (32) 4.2.2 快速中值滤波算法模块 (33) 4.3 手势图像分割 (34) 4.3.1 肤色模型及二值化 (34) 4.3.2 形态学处理的实现 (35) 4.4 边缘检测的设计与实现 (35) 4.4.1 Sobel算子实现原理 (35) 4.4.2 Sobel边缘检测的实现 (36) 4.5 特征提取的FPGA实现 (38) 4.6 识别算法的FPGA实现 (39) 4.6.1建立样本库 (39) 4.6.2识别算法的FPGA实现 (40) 4.7 识别率测试 (40) 第五章总结与展望 (43) 5.1 总结 (43) 5.2 展望 (43) 参考文献 (45) 致谢 (48) 作者简介 (49) 攻读学位期间发表的论文 (49)
关于计算机视觉的手势识别综述 蒋指挥 （江苏科技大学江苏镇江 213022） 摘要：计算机技术的高速发展也产生了许多新领域，在此对以计算机视觉为基础的手势检测识别技术展开综述。主要阐述该技术的发展历程、实现方法、研究现状以及其存在的不足之处和发展方向。结果表明简单的可穿戴设备的手势识别和深度视觉传感器的手势识别和多方法交叉融合的手势识别是未来该领域的发展方向。 关键词：计算机视觉；手势识别；人机交互 A survey of gesture recognition in computer vision//Jiang Zhi Hui Abstract;With the rapid development of computer technology, a lot of new fields have been developed. In this paper, the technology of gesture detection and recognition based on computer vision is reviewed. This paper describes the development of the technology, the realization method, the research status and its shortcomings and development direction. The results show that the simple wearable device for hand gesture recognition and depth vision sensor for hand gesture recognition and multi method cross fusion for gesture recognition is the future direction of the development of the field. Key words:Computer vision; gesture recognition; human-computer interaction 计算机在我们的生活中越来越不可或缺，我们同时也对计算机提出了更高的要求，计算机视觉的手势识别正是对计算机应用拓展的重要途径，例如现在的VR技术，就是应用了手势识别才实现的。ABIResearch公司高级分析师约书亚·弗拉德（JoshuaFlood）指出：“免提操作或手势识别很快将成为高端旗舰智能手机、媒体平板电脑和智能眼镜区别于其他同类产品的一个关键因素。三星电子最新推出银河S4已经将这项技术用于其手机中，并以其全新的用户体验获得用户交口称赞。此外，在一系列新型智能眼镜产品即将发布之时，不难想象这类技术将被采用。”其实手势识别技术涵盖了许多领域，比如物理学、生物学等，实现手势识别的方式有很多种从一开始的二维手型识别、二维手势识别到后来的三维手势识别，正是计算机视觉技术的发展使得手势识别的实现方式更加多样。但目前的技术仍然很繁琐，冗杂的可穿戴设备就直接影响了使用者的舒适感，其还有很大的发展空间。 1、手势识别的发展历程及其实现方法
基于opencv 对图像的预处理 1.问题描述 本次设计是基于opencv 结合c++语言实现的对图像的预处理，opencv 是用于开发实时的图像处理、计算机视觉及模式识别程序；其中图像的预处理也就是利用opencv 对图像进行简单的编辑操作；例如对图像的对比度、亮度、饱和度进行调节，同时还可以对图像进行缩放和旋转，这些都是图像预处理简单的处理方法；首先通过opencv 加载一幅原型图像，显示出来；设置五个滑动控制按钮，当拖动按钮时，对比度、亮度、饱和度的大小也会随之改变，也可以通过同样的方式调节缩放的比例和旋转的角度，来控制图像，对图像进行处理，显示出符合调节要求的图像，进行对比观察他们的之间的变化。 2.模块划分 此次设计的模块分为五个模块，滑动控制模块、对比度和亮度调节模块、饱和度调节模块、缩放调节模块、旋转调节模块，他们之间的关系如下所示： 图一、各个模块关系图 调用 调用 调用 调用 滑动控制模块 对比度和亮度调节模块 饱和度调节模块 缩放调节模块 旋转调节模块
滑动控制模块处于主函数之中，是整个设计的核心部分，通过createTrackbar创建五个滑动控制按钮并且调用每个模块实现对图像相应的调节。 3.算法设计 （1）滑动控制： 滑动控制是整个设计的核心部分，通过创建滑动控制按钮调节大小来改变相应的数据，进行调用函数实现对图像的编辑，滑动控制是利用createTrackbar()，函数中包括了滑动控制的名称，滑动控制显示在什么窗口上，滑动变量的地址和它调节的最大围，以及每个控制按钮应该调用什么函数实现什么功能； （2）对比度和亮度的调节： 对比度和亮度的调节的原理是依照线性理论，它的公式如下所示：g(x)=a* f(x) +b，其中f(x)表示源图像的像素，g(x)表示输出图像的像素，参数a（需要满足a>0）被称为增益（gain），常常被用来控制图像的对比度，参数b通常被称为偏置（bias），常常被用来控制图像的亮度； （3）饱和度的调节： 饱和度调节利用cvCvtColor( src_image, dst_image, CV_BGR2HSV )将RGB 颜色空间转换为HSV颜色空间，其中“H=Hue”表示色调，“S=Saturation”表示饱和度，“V=Value ”表示纯度；所以饱和度的调节只需要调节S的大小，H 和V的值不需要做任何的改变； （4）旋转的调节： 旋转是以某参考点为圆心，将图像的个点（x，y）围绕圆心转动一个逆时针角度θ，变为新的坐标（x1,y1）,x1=rcos(α+θ)，y1=rsin(α+θ)，其中r是图像的极径，α是图像与水平的坐标的角度的大小； （5）缩放的调节： 首先得到源图像的宽度x和高度y，变换后新的图像的宽度和高度分别为x1和y1，x1=x*f，y1=y*f，其中f是缩放因子； 4.函数功能描述 （1）主函数main（）用来设置滑动控制按钮，当鼠标拖动按钮可以得到相应的数据大小，实现手动控制的功能，当鼠标拖动对比度和亮度调节是，主函数调用
基于卷积神经网络的简单背景手势识别方法概述 摘要在手勢识别研究方法日益成熟的今天，研究人员把主要精力放在新算法的研究以及旧方法的改进上，均取得了很好的成果。本文利用时下流行的卷积神经网络训练方法，避开大量的算法研究工作，把主要工作放在手势数据的获取以及处理上，在一定的数据范围内取得了很好的结果。在一定程度上给手势识别工作提供了新的思路。 关键词手势识别；手势数据；卷积神经网络 Abstract Today，as gesture recognition research methods become more and more mature，researchers have made great efforts to focus on the research of new algorithms and the improvement of old methods. In this paper，we use the popular Convolutional Neural Network （CNN）training method to avoid a lot of algorithm research work. The main work is on the acquisition and processing of gesture data，and it has achieved good results in a certain data range. To a certain extent，it provides a new idea for gesture recognition. Keywords Gesture recognition；Gesture data；Convolutional neural network 前言 以输入数据来区分，手势识别可以分为静态手势识别和动态手势识别。动态手势识别是基于视频流数据，实现手势动作捕捉，本质上是把视频流分为每一帧图像数据，处理每一帧图像之间的关系，从而识别出动态手势的含义。静态手势识别也称为手型识别，其输入数据是一副静态的手势图像，计算机系统通过前期对大量手势图像的训练学习，熟知手势图像的特征，从而识别出这一副静态手势图像的含义。本文的主要工作是通过卷积神经网络方法对简单背景的手势图像进行训练，得到训练模型，利用该训练模型对新采集的手势图像数据进行识别，达到预期的识别率。 1 研究方法 手势识别的研究方法有很多种，例如利用SIFT特征提取配合SVM训练的方法[1]，利用HOG特征提取的研究方法[2]等。但这些研究方法对于图像质量太多依赖，如SIFT方法太过依赖局部梯度主方向，而获取局部梯度主方向往往都会有偏差，因此图像质量不佳容易导致特征提取的错误。且SIFT是一种只利用到灰度性质的算法，忽略了色彩信息，对于彩色图像的识别无能为力。 而本文采用的卷积神经网络方法则不存在该问题，卷积神经网络对于图像的容错性较强，可以不考虑图像质量、色彩等影响，关键是训练的样本量足够大，就可以得到相对理想的结果。且卷积神经网络的算法通用性强，对于识别任何类型的静态图像，都可以用几乎相同的训练模型进行，区别仅仅在于某些参数的调
基于OpenCV与深度学习框架Caffe的物体图像识别 摘要：本文主要介绍深度神经网络中的卷积神经的相关理论与技术。研究采用OpenCV深度学习模块DNN与深度学习框架Caffe进行物体识别。采用OpenCV 中的DNN模块加载深度学习框架Caffe模型文件，对物体图像进行识别。实验结果表明，卷积神经网络在物体的识别方面具有较高的准确率。 一．概述 1.1 OpenCV简介 OpenCV于1999年由Intel建立，如今由Willow Garage提供支持。OpenCV 是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效——由一系列C 函数和少量C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。其最新版本是3.2，于2016年12月23日发布。OpenCV致力于真实世界的实时应用，通过优化的C代码的编写对其执行速度带来了可观的提升，并且可以通过购买Intel的IPP高性能多媒体函数库(Integrated Performance Primitives)得到更快的处理速度。在其最新版3.2版本中，已经添加了深度神经网络模块，并支持深度学习框架Caffe模型（Caffe framework models）。 1.2 深度学习框架Caffe简介 Caffe（Convolutional Architecture for Fast Feature Embedding）是一个清晰而高效的深度学习框架，其作者是博士毕业于UC Berkeley的贾扬清，曾在Google 工作，现任Facebook研究科学家。Caffe是纯粹的C++/CUDA架构，支持命令行、Python和MATLAB接口；可以在CPU和GPU直接无缝切换。Caffe的优势
手势识别对于我们来说并不陌生，手势识别技术很早就有，目前也在逐渐成熟，现在大部分消费类应用都在试图增加这一识别功能，无论是智能家居，智能可穿戴以及VR 等应用领域，增加了手势识别控制功能，必能成为该应用产品的一大卖点。手势识别可以带来很多的好处，功能炫酷，操作方便，在很多应用场合都起到了良好的助力功能。 手势识别技术的发展 说起手势识别技术的发展，可以粗略分为两个阶段：二维手势识别以及三维手势识别。 早期的手势识别识别是基于二维彩色图像的识别技术，所谓的二维彩色图像是指通过普通摄像头拍出场景后，得到二维的静态图像，然后再通过计算机图形算法进行图像中内容的识别。二维的手型识别的只能识别出几个静态的手势动作，而且这些动作必须要提前进行预设好。 相比较二维手势识别，三维手势识别增加了一个Z轴的信息，它可以识别各种手型、手势和动作。三维手势识别也是现在手势识别发展的主要方向。不过这种包含一定深度信息的手势识别，需要特别的硬件来实现。常见的有通过传感器和光学摄像头来完成。 手势识别的关键技术 手势识别中最关键的包括对手势动作的跟踪以及后续的计算机数据处理。关于手势动作捕捉主要是通过光学和传感器两种方式来实现。手势识别推测的算法，包括模板匹配技术（二维手势识别技术使用的）、通过统计样本特征以及深度学习神经网络技术。
根据硬件实现方式的不同，目前行业内所采用的手势识别大约有三种： 1、结构光（Structure Light），通过激光的折射以及算法计算出物体的位置和深度信息，进而复原整个三维空间。结构光的代表产品有微软的Kinect一代。不过由于以来折射光的落点位移来计算位置，这种技术不能计算出精确的深度信息，对识别的距离也有严格的要求。 2、光飞时间（TIme of Flight），加载一个发光元件，通过CMOS传感器来捕捉计算光子的飞行时间，根据光子飞行时间推算出光子飞行的距离，也就得到了物体的深度信息。代表作品为Intel带手势识别功能的三维摄像头。 3、多角成像（MulTI-camera），现在手势识别领域的佼佼者Leap MoTIon使用的就是这种技术。它使用两个或者两个以上的摄像头同时采集图像，通过比对这些不同摄像头在同一时刻获得的图像的差别，使用算法来计算深度信息，从而多角三维成像。 简单介绍两个手势识别解决方案： 1、基于NXP LPC824 和Vishay VCNL4020 的手势识别方案 推出基于NXP LPC824 和Vishay VCNL4020 的手势识别方案，可以判断手势运动的
基于手势识别的人机交互综述 摘要：近年来，得益于虚拟现实、人机界面技术、计算机视觉等领域的发展，基于手势识别的人机交互技术得到大力的推动。本文就基于手势识别的人机交互技术展开综述。首先概括手势交互的涉及领域，回顾其发展史和国内外研究现状。接着阐明它的基本界定和分类，并在此基础上分析其热点关键技术。然后实例讨论了几种类型手势交互的典型应用。最后给出了结论。 关键词：虚拟现实；手势交互；计算机视觉；手势识别；特征跟踪 1．引言 人机交互技术通过输入、输出设备，以有效的方式实现交互主体与交互客体的对话。当前的人机交互技术已经从过去交互主体适应交互客体，发展为交互客体不断地适应交互主体的习惯和以交互主体为中心的新阶段[1,2,3,4]。以用户为中心的，新型、自然的人机交互技术逐渐成为开发者和科研工作者的关注重点。这类交互方式要求输入与输出能够最大限度地符合交互主体的行为习惯，并能够在交互主体的脑中顺利构建交互环路。由于手势具有极强的信息表述功能，加之人手操作行为本身就是人与世界相互作用的主要方式，因此，基于手识别的人机交互技术相关研究有着重要的理论价值和应用价值。基于手势识别的人机交互技术涉及计算机科学、认知心理学、行为学等诸多方面的知识。本文不能面面俱到，仅就手势交互的基本问题：手势语义的分类，以及当前发展概况、研究热点技术和典型系统应用等相关问题进行综述。 2．研究现状 目前，基于视觉的手势交互已被广泛的研究，由于手势本身的多义性及时空差异性，加之手形变的高维度及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的究课题[5]。需要解决的核心问题是对手形的识别，对手势的跟踪等。传统的方法主要分为两大类：（1）基于模型（model-base）的方法；（2）基于表征(appearance-based)的方法[6]。这些方法及其衍生算法极大程度地依赖于计算机科学中虚拟现实、机器视觉、模式识别、人机交互等多个领域的交流与合作。相关的国际会议：CHI、ICCV、CVPR、ICAT、IEEE VR 为研究者提供了一个能充分交流的空间，并吸引了越来越多的研究人员共同参与合作。此外，学科之间的交流也吸引了心理学研究人员的共同参与。他们以从用户为中心出发，为基于手势交互研究和开发提出了宝贵意见[7]。纵观手势交互的发展历程，其研究重点也从早期简单的系统框架、低层特征提取[8]、手形模板匹配[8]等问题转变到关节式物体跟踪[9,10, 11]、跟踪性能评价[12]、操作型手势解析[14]等问题上。我国在基于手势识别的人机交互领域的研究近年来得到了长足的发展。研究机构集中在国内的研究所和高校的科研单位。目前国内手势交互的研究成果主要有：中国科学院软件研究所[15]的研究中，对二阶自回归过程动力学模型（Auto-Regressive Process, ARP）进行训练和学习，进而建立基于ARP 的预测模型，实现了人手运动的鲁棒性跟踪，在出现跟踪丢失的情况下在后续序列中可以自动恢复正确跟踪。中国科学院自动化研究所模式识别实验室提出一种基于区域的多连接体(手指)的三维运动跟踪算法[13]，用多约束融合的方法以及手指的运动特性，建立多刚体的三维运动描述，通过三类基本约束条件，把跟踪问题归结为一个约束误差优化问题。清华大学的崔锦实博士，提出一种基于回归－优化方法的关节式物体的姿态估计方法[16]。该方法把回归分析与全局优化搜索相结合，保证了估计的精度和连续性；针对现有滤波器在高维非线性多峰
目录：OpenCV学习笔记 最近也在玩手势识别，资料找了很多，基本可以分为静态手势识别和动态手势识别，先弄个简单的静态手势识别给大家看看。 基本流程如下： 先滤波去噪-->转换到HSV空间-->根据皮肤在HSV空间的分布做出阈值判断，这里用到了inRange函数，然后进行一下形态学的操作，去除噪声干扰，是手的边界更加清晰平滑-->得到的2值图像后用findContours找出手的轮廓，去除伪轮廓后，再用convexHull函数得到凸包络。 结果如下： 源代码： 控制台版本main.cpp： 1. 2.// #include "stdafx.h" 3.//#include "cv.h" 4. 5.#include
15.int pmsf_value = 5;//均值飘逸分割平滑系数 16.int MopEx_value = 2;//开运算 17.int Hmatch_value = 25;//模板匹配系数 18. 19.//亮度 20.int V_low = 30; 21.int V_high = 250; 22.//饱和度 23.int S_low = 10; 24.int S_high = 170; 25.//色相 26.int H_low_max = 40; 27.int H_high_min = 100; 28.int if_high_light = 1; //是否高光补偿 29. 30.IplImage *src = 0; 31.IplImage *srcResize = 0; 32. 33.IplImage *img_YCrCb = 0; 34.CvSize newSize; 35.CvSize sz; 36. 37.IplImage *tmp1; 38.IplImage *tmp2; 39.IplImage *tmp3; 40.IplImage *src2; 41.IplImage *src1; 42. 43./////////////////////////////////////////////////////////////////////// ///////////////////////////////////////// 44.IplImage *YCrCb; 45.IplImage *YCrCb_mask;
安徽工业大工商学院 毕业学士论文 基于OpenCV的人脸识别算法 姓名：陈滔 申请学位级别：学士专业：测控技术与仪器 指导教师：方挺
摘要 人脸在社会交往中扮演着十分重要的角色，是人类在确定一个人身份时所采用的最普通的生物特征，研究人脸跟踪识别及其相关技术具有十分重要的理论价值和应用价值。彩色图像序列的人脸检测、跟踪与识别技术是随着计算机技术的高速发展和视频监控等应用的需要在近几年才逐渐成为一个研究热点。本文着重构建一套人脸跟踪识别系统，致力于精确实时地对彩色视频中的人脸图像检测跟踪，并可以将跟踪到的人脸图片传输到识别端进行身份识别。系统分为客户端和服务器两部分。针对传统Camshifl跟踪算法进行形态学处理、分配多个跟踪器等改进后的算法应用于客户端进行多人脸的跟踪。服务器端首先将人脸图像按其主要特征进行分块，再对分块图执行Eigenface算法实现人脸身份的识别。这套系统完成了对多人脸的跟踪效果，可广泛的应用于各种安防系统之中如：ATM机监控系统，门禁系统等。
Abstract Human face is 0111"primary focus of attention in social intercourse playingamajor rolei conveying dentity and emotion．Researchonthe face tracking，recognition technology has great theoreticaland practical value．This paper focusesOilbuildingasetofhumanface recognition and trackingsystem tocommitted toaccurate and real-timecolorvideoimages，andcalltransmit the tracked human face image to the recognition part to identify the person’S status．Thesystem is divided into client and server parts．Thetracking algorithm whichcarrieson morphology processing after traditional track algorithm Camshifl and assignments severaltrackingdevices is applied to the client for duplex facetracking．Theserver—side first divides the person face image into blocksaccording to its chief feature，then the blocksuses the Eigenfacealgorithm separately to realize the person’S status recognition．The system implementation for multiple face trackingcallbe widelyused among the various security systems，suchas：ATM machine monitoring system，accesscontrol system．Keywords：Face DetectionFace TrackingFace Recognition Eigenface Camshift
科技信息 教学中不断探索的课题。 参考文献 ［1］陈祝军.分析化学实验专业化初探［J ］.安徽职业技术学院学报,2004,3(1):39-40. ［2］李祥,黄宁选.无机与分析化学实验课改革探讨［J ］.大学化学,2003,18(7):16-18. ［3］黄斌.对工学结合人才培养模式若干问题的探究［J ］.教育探索, 2008,(3):79-80. ［4］沈萍.高职有机化学实验课程改革初探［J ］.职业教育研究，2005,(10):143. ［5］沈萍.高职有机化学实验课程改革初探［J ］.职业教育研究，2005,(10):143. ［6］李克安，赵风林.分析化学教学的探讨与实践［J ］.大学化学，2003,28(1)：26-28. （上接第218页） OpenCV 的全称是Open Source Computer Vision Library ，是一个跨平 台的计算机视觉库。OpenCV 是由英特尔公司发起并参与开发， 以BSD 许可证授权发行，可以在商业和研究领域中免费使用，并且源代码是公开的。OpenCV 由一系列C 函数和少量C++类构成，实现了图像处理和 计算机视觉方面的很多通用算法,可用于开发实时的图像处理、 计算机视觉以及模式识别程序，极大方便了图像和视频处理研究者进行二次开发。 １、ＯｐｅｎＣＶ的历史与特点 OpenCV 主要创作人员是Intel 的Performance Library Team 和Intel 俄国的一些专家，OpenCV 的第一个测试版本于2000年的IEEE 机器视 觉和模式识别会议上公布， 2001年到2005年间又发布了5个测试版本。2006年，OpenCV1.0版本正式发布。2009年10月，OpenCV2.0版本发布，功能大幅度增强。 OpenCV 在计算机视觉领域得到广泛应用，与其突出的优点是密不可分的： ●跨平台，可移植性好，无论Windows 、Linux 还是M ac OS 都可以运行； ●支持大多数C ／C++编译器，如：VC6.0、https://www.doczj.com/doc/565787184.html,2008、https://www.doczj.com/doc/565787184.html,2005及C++Builder 等，可以轻易在不同平台之间进行移植； ●对个人及商业开发免费，源代码公开；●提供方便灵活的用户接口，采用C 、C++编写，包括300多个C ／C++函数，代码效率高；支持中、高层API ；可以使用外部库，也可以独立使用； ●具备强大的图像和矩阵运算能力，减少开发者的工作量，有效提高开发效率和程序运行的可靠性； ●针对Intel 的处理器进行了优化。２、ＯｐｅｎＣＶ的结构和应用 OpenCV 的程序构成了一个完整的系统，并有着自己独特的数据结构。目前OpenCV 主要包含如下几个子库： ●CxCore ：该库提供了所有OpenCV 运行时的一些最基本的数据结构，包括矩阵，数组的基本运算，包括出错处理的一些基本函数； ●Cv ：图像处理和计算机视觉功能（图像处理、结构分析、运动分析、 物体跟踪、模式识别、摄像机定标）；●机器学习：用于分类、回归和数据聚类的类和函数；●CvAux ：包括一些三维跟踪、PCA 、HMM 等函数；●HighGUI ：用于用户交互（GUI 、图像视频的输入输出）。OpenCV 主要面向图像和视频处理，其主要应用包括：二维和三维 特征提取工具包(2D and 3D feature toolkits)、自运动估计(Egomotion esti-mation ）、人脸识别(Face Recognition)、手势识别(Gesture Recognition)、人机 交互(Human-Computer Interface)、 移动机器人(M obile robotics)、运动理解(Motion Understanding)、目标识别(Object Identification)、分割与识别(Seg mentation and Recognition)、 立体视觉(Stereopsis Stereo vision:depth percep-tion from 2cameras)、 运动估计结构(Structure from motion)、运动跟踪(Mo-tion Tracking)等。 另外，OpenCV 包含一些机器学习库，主要有Boosting 、决策树(De-cision Trees)、期望最大化算法(Expectation M aximization)、k-最近邻算法(k-nearest neighbor algorithm)、朴素贝叶斯分类器(Naive Bayes classifier)、 人工神经网络(Artificial neural networks)、随机森林(Random forest)、支持向量机(Support Vector Machine)。 ３、利用ＯｐｅｎＣＶ进行人脸检测下面就以人脸检测为例，介绍OpenCV 的应用。人脸检测属于人脸识别(Face Recognition)第一步，人脸大体可以分为以下几种方法：基于神经网络的检测，基于特征的检测，基于颜色的检测等。基于神经网络的检测，需要大量的真假人脸图像来训练神经网络；基于特征的方法是利 用人脸的一些特征，比如眼睛、 鼻子等来检测；基于颜色的方法是通过人脸的颜色如黄色、棕色来检测。 OpenCV 中已经提供了训练好的Haar 级联分类器，使得人脸检测可以很方便的实现。OpenCV 中的Haar 特征的级联表中包含的是boost 分类器。所谓Harr 级联分类器是指由若干个简单boost 分类器级联成的一个大的分类器，被检测的目标依次通过每一个分类器，可以通过所有分类器的即可判定为人脸区域。OpenCV 中的人脸检测主要分为四步，其具体过程如下所示： 利用Harr 级联分类器进行人脸检测的实验图片如下，结果证明利用OpenCV 的Harr 分类器实现人脸检测，速度快、效率高，虽然检测率 不能达到100%， 存在误判现象，但是效果已经很不错了。４、总结 除了OpenCV ，目前比较有代表性的计算机视觉库/软件还有Intel 公司的IPP ，微软公司的visDSK ，MathWorks 公司的Matlab 等。IPP 是Intel 的图像、信号处理的集成开发库，收费并且源代码不公开。Microsoft 公司的visDSK 图象处理库，免费，开源，与OpenCV 功能相似。Matlab 功 能丰富，算法实现方便简单，适合研究、 仿真和演示，但是在开发产品方面效率低，而且软件费用高。 相比之下，跨平台的OpenCV 图象处理库，免费，源代码公开，功能强大，有着突出的优点，使用人数众多，资源丰富，其必将会成为图像视频处理领域的强有力的工具。 参考文献［1］李振伟等.基于OpenCV 的运动目标跟踪及其实现［J ］.科学计 算及信息处理， 2008年20期［2］陈健等.一种基于Haar 小波变换的彩色图像人脸检测方法［J ］.微计算机信息，2005.1 基于OpenCV 的图像处理 南京信息职业技术学院 阴法明 ［摘要］OpenCV 是Intel 公司推出的开源、免费的计算机视觉程序库，利用OpenCV 可以很方便地实现图像和视频处理。本文介绍 了OpenCV 的历史、 特点以及结构和应用，并以人脸检测为例介绍了OpenCV 在图像处理中的应用。［关键词］OpenCV 人脸检测计算机与网络 220——