总第244期2010年第2期
计算机与数字工程
Co mputer&Dig ital Eng ineering
V ol.38N o.2
124
基于S URF算法和O penC V的人脸特征检测技术研究*
时 磊 谢晓方 乔勇军
(海军航空工程学院兵器科学与技术系 烟台 264001)
摘 要 人脸检测和人脸跟踪[1]技术已成为计算机视觉领域研究的热点。针对SU RF算法的优点,首先将SU RF算法应用于人脸特征检测与跟踪,阐述了人脸跟踪系统设计方法,首先使用OpenCV技术实现了基于SU RF算法的人脸特征跟踪系统。实验结果表明,基于SU RF算法和O penCV技术的人脸跟踪系统匹配识别效果和实时性较好,对人脸旋转、尺寸变化和环境光照变化具有较好鲁棒性[2]。
关键词 快速鲁棒特征;OpenCV;人脸检测;人脸跟踪
中图分类号 T P391.41
Research on Face Features Detecting Technique
Based on SURF A lgorithm and OpenCV
Shi L ei X ie X iao fa ng Qiao Y ong jun
(Weapon Science and T echnolo gy Department,N aval A eronautical and Astr onaut ical U niv ersity,Y anta i 264001)
Abstract F ace detecting and t racking technique has become po pular in computer v isio n field.Because SU RF algo rithm have many g ood features,so t he ex pirement make an applicatio n o f SU RF alg or ithm to f ace detecting and face tracking.E labor ated to the design metho d of face t racking system,and make use o f O penCV technique car ried out the ex per iment al sys tem of face tr acking based on SU RF alg o rithm fir st.Experiment result ex pr ess that the face t racking system based on SU RF algo rithm and O penCV technique effective in matching,ident ifying,r eal time and ro bust featur e.
Key Words SU RF,OpenCV,face det ecting,face tr acking
Class Numb er T P391.41
1 引言
智能人机交互[3]技术和机器视觉领域中,人脸跟踪是一项十分重要的技术,它是指在视频流中提取人脸位置或角度变化信息。近年来,人脸跟踪已经成为机器视觉与模式识别领域的研究热点之一。目前,人脸检测的方法可以分为四类:基于知识的方法,特征不变方法,模板匹配方法和基于外貌的方法。在基于特征不变的方法中,由D.G.Low e[4]提出的SIFT算法是目前效率较高的一种算法,在此基础上,H erber t Bay[5]等人提出了SU RF(Spee ded U p Ro bust Featur es)算法,该算法改进了SIFT算法,进一步提高了算法性能。本文提出基于SURF算法的人脸跟踪系统设计方法,在VC6.0中调用OpenCV图像处理库中的SURF函数实现人脸特征检测跟踪系统。
2 SU RF算法
2.1 构建H essian矩阵
H essian矩阵是SURF算法的核心,为了方便运算,假设函数f(x,y),H essian矩阵H是由函数f偏导数组成:
*收稿日期:2009年10月24日,修回日期:2009年11月27日作者简介:时磊,男,硕士研究生,研究方向:图像处理与模式识别。
2010年第2期计算机与数字工程125
H (f (x ,y ))= 2f x 2 2f x y 2
f x y
2
f y 2(1)
H 矩阵判别式:
det (H )= 2
f x 2 2
f y
2- 2
f x y
2(2)
判别式的值是H 矩阵的特征值,可以利用判定结果的符号将所有点分类,根据判别式取值正负,来判别该点是或不是极值点。在SU RF 算法中,用图像像素I (x ,y )代替函数值f (x ,y ),选用二阶标准高斯函数作为滤波器,通过特定核间的卷积计算二阶偏导数,这样便能计算出H 矩阵的三个矩阵元素L xx 、L yy 、L xy ,从而计算出H 矩阵:
H (X ,t)=
L xx (X ,t)L xy (X ,t)L xy (X ,t)
L yy (X ,t)
(3)L (X ,t)=G(t)*
I (X )
(4)
L xx (X ,t)是一幅图像在不同解析度下的表示,可以利用高斯核G(t)与图像函数I (X )在点X =(x ,y)的卷积来实现,核函数G(t)具体表示如式(5),g(t)为高斯函数,t 为高斯方差,L yy 与L xy 同理。通过这种方法可以为图像中每个像素计算出其H 行列式的决定值,并用这个值来判别特征点。为方便应用,H erbert Bay 提出用近似值D xx 代替L xx ,为平衡准确值与近似值间的误差引入权值w ,权值w 随尺度变化,则H 矩阵判别式可表示为:
G(t)=
2g (t)
x 2
(5)det (H opp rox )=D xx D yy -(w D xy )2
(6)
2.2 构建尺度空间
图像的尺度空间是这幅图像在不同解析度下的表示,由式(4)知,一幅图像I (X )在不同解析度下的表示可以利用高斯核G (t)的卷积来实现,图像的尺度大小一般用高斯标准差 ( =t 1/2
)来表
示
[6]
。在计算视觉领域,尺度空间被象征性的表述
为一个图像金字塔,其中,输入图像函数反复与高斯函数的核卷积并反复对其进行二次抽样,这种方法主要用于SIFT [7]算法的实现,但每层图像依赖于前一层图像,并且图像需要重设尺寸,因此,这种计算方法运算量较大,而SU RF 算法申请增加图像核的尺寸,这也是SIFT 算法与SURF 算法在使用金字塔原理方面的不同。算法允许尺度空间多层图像同时被处理,不需对图像进行二次抽样,从而
提高算法性能。图1(a )是传统方式建立一个如图
所示的金字塔结构,图像的尺寸是变化的,并且运
算会反复使用高斯函数对子层进行平滑处理,图
1(b )说明SU RF 算法使原始图像保持不变而只改变滤波器大小。
图1 图像滤波金字塔
2.3 精确定位特征点
所有小于预设极值的取值都被丢弃,增加极值使检测到的特征点数量减少,最终只有几个特征最
图2 检测特征点
强点会被检测出来。检测过程中使用与该尺度层图像解析度相对应大小的滤波器进行检测,以3 3的滤波器为例,该尺度层图像中9个像素点之一与自
身尺度层中其余8个点和在其
之上及之下的两个尺度层9个点进行比较,共26个点,图2中标记 X !的像素点的特征值若大于周围像素则可确定该点为该区域的特征点。2.4 主方向确定
为保证旋转不变性[8]
,首先以特征点为中心,计算半径为6s(s 为特征点所在的尺度值)的邻域内的点在x 、y 方向的H aar 小波(H aar 小波边长取4s)响应,并给这些响应值赋高斯权重系数,使得靠近特征点的响应贡献大,而远离特征点的响应贡献小,其次将60?范围内的响应相加以形成新的矢量,遍历整个圆形区域,选择最长矢量的方向为该特征点的主方向。这样,通过特征点逐个进行计算,得到每一个特征点的主方向。
3 OpenCV 图像开发库
OpenCV [9](Open Source Com puter V ision Library)是一种用于数字图像处理和计算机视觉的函数库,由Intel 微处理器研究实验室(Intel s Microprocessor Research Lab)的视觉交互组(The Visual Inter activ ity Gro up)开发。OpenCV 由一系列C 函数和少量C++类构成,实现了图像处理和计算机视觉方面的很多通用算法。
OpenCV 也为Intel 公司的Integ rated Per for mance Prim itives(IPP)提供了透明接口。这意
126 时 磊等:基于SU RF 算法和OpenCV 的人脸特征检测技术研究第38卷
味着如果有为Intel 处理器优化的IPP 库,OpenCV 将在运行时自动加载这些库。只需调用OpenCV 的基础函数库并添加自己编写的程序,即可完成十分复杂的庞大的开发任务,达到事半功倍的效果。
4 实验
系统首先提取模板图像,利用SURF 算法检测出模板图像的特征点,
并记录特征点描述信息。通
图3 系统流程图
过摄像头捕捉视频帧,对提取的每一帧图像,使用SU RF 算法提取该帧图像特征点信息与模板图像相比较,得到最终匹配结果后用矩形窗表示人脸区域,图3给出该系统流程图。
验证系统以M i
crosoft Visual C ++ 6.0
为开发平台,调用OpenCV 的cvsurf.cpp 文件中的函数实现SU RF 算法,其中包括Fast H essian 检测、H aar 小波变换等核心算法。系统通过在主程序m ain.cpp 中调函数SURF_M AT CH ()实现模板匹配:
vo id SU RF_M A T CH(IplImag e*frame ){
IplImag e*object=cvL oadImag e();//载入模板图像 image =(I plImag e*)cvCreateImag e();//载入搜索图像 cvSetImag eROI();//设置感兴趣区域 findPair s();//找到匹配对 cvL ine(),//连接匹配的关键点 cvShow Image();//显示综合图像}
验证系统硬件设备使用Intel Core22.33GH z CPU,2Gb 内存,ANC 数字摄像头,
进行一次匹配处
图4 特征点检测效果
理的时间为130~150ms,SURF 算法是进行快速鲁棒特征提取的有效方法,且正确率高于90%,图4描述了通过SURF 算法对模板图像进行特征提取的
结果,经计算共提取309个特征
描述信息。
通过实验,图5展示了人脸在不同角度变化下
的匹配情况,实验通过不规则外接矩形表示头部的空间位置变化和人脸区域,具有良好透视效果,分别为人脸正面、俯视、左摆和左转的实验结果,结果
显示SURF 算法匹配效果良好,在#15?范围内变化中表现出良好的鲁棒性和较好实时性。图5从左到右分别为头部正面、俯视的、左摆、左转的SU RF
匹配效果。
图5 匹配识别效果
5 结语
本文提出了一种基于SU RF 算法和OpenCV 的人脸跟踪技术,使用OpenCV 函数库以提高编程效率。系统通过摄像头提取视频帧,对每一帧图像使用SURF 算法进行快速鲁棒特征检测,再通过模板匹配技术找到特征点匹配对,在画面中用特征点的外接矩形表示人脸区域。实验结果表明,该方法具有复杂度低、实时性好和良好鲁棒性等特点。
参考文献
[1]汪孔桥.面向头肩序列图象的人脸检测、跟踪与编码技
术的研究[D].中国科技大学博士论文,1999
[2]Bastian L eibe,A les L eonardis,Bernt Schiele.Robust
O bject Detectio n with Int er leav ed Categ or izat ion and Segmentatio n[J].IJCV Special Issue on L earning for V isio n and Vision fo r L earning ,2005,9r evised ver sion,2007,8
[3]李华胜.人机交互中人脸识别系统的研究[D].北京:北
方交通大学硕士学位论文,2001
[4]Dav id G.L ow e.Object R eco gnition fr om Lo cal Scale
Invar iant Features[J].Pr oc.of the International Con ference o n Com puter V isio n,1999(9)
[5]Her ber t Bay ,A ndr eas Ess,T inne T uytelaars,et a l.
Speeded U p Ro bust Featur es (SU RF )[J].P reprint submit ted to Elsevier ,2008(9)
[6]高健,黄心汉,彭刚,等.一种简化的SIFT 图像特征点提
取算法[J].计算机应用研究,2008,25(7):2213~2215[7]周志铭,余松煜,张瑞,等.一种基于SIFT 算子的人脸识别
方法[J].中国图象图形学报,2008,13(10):1882~1885[8]张锐娟,张建奇,杨翠.基于SU RF 的图像配准方法研
究[J].红外与激光工程,2009,38(1):160~165[9]黎松,平西建,丁益洪.开放源代码的计算机视觉类库
O penCv 的应用[J].计算机应用与软件,2005,22(8):134~136
#include "cv.h" #include "highgui.h" #include
摘要 人脸检测主要是基于计算机识别的一项数字化技术，用以准确获取人的脸部大小和位置信息，在进行人脸检测时，突出主要的脸部特征，淡化次要的环境、衣着等因素。对于某些情况下，人脸检测也可以计算出人脸，如眼睛，鼻子和嘴等精确的微妙特征。由于在安全检测系统，医学，档案管理，视频会议和人机交互等领域人脸检测系统都有光明的应用前景，因此人脸检测逐渐成为了两个跨学科领域研究的热门话题:人工智能和当前模式识别。本文基于OpenCV视觉库具体的设计并开发了对数字图像中的人脸检测的程序，所采用的人脸检测的原理主要是分类器训练模式(Adaboost算法)提取Haar特征的方法。它在整个软件极其重要的作用，图像中人脸的准确定位和识别都受图像处理好坏的直接影响。本次所设计的软件在图像处理部分所采用的方法是基于Adaboost算法进行Haar特征的提取，在此之上加以通过积分图方法来获取完整的级联分类器结构，进行人脸检测时，OpenCV级联分类器通过Adaboost人脸检测算法进行训练，此后采用不同情况下的实验样本完成精确定位以及检测试验。经过代码的设计和调试，在最后的测试中针对数字图像进行的人脸检测和定位达到了较好的效果，提高了定位和识别的正确率。 关键词：人脸检测，AdaBoost，分类器，OpenCV
Abstract Face detection is mainly based on computer recognition of a digital technology,face size and location information to accurately obtain the person,during face detection, highlight the main facial features,dilute the secondary environment,clothing,and other factors.For some cases,face detection can also calculate a person's face,such as eyes, nose and mouth,and other subtle features accurate.Because in the field of human security detection systems,medical records management,video conferencing,and human-computer interaction face detection system has bright prospects,and therefore face detection is becoming a two interdisciplinary research fields hot topic:artificial intelligence and The current pattern recognition.This article is based.penCV vision library designed and developed specifically for digital image face detection process,the principles used face detection methods are mainly classifier training mode(Adaboost algorithm)to extract Haar features.It is in the vital role of the software,the image of the human face accurately locate and identify all that is good or bad a direct impact on the image processing.This software is designed image processing method used in part based Haar Adaboost algorithm to extract features,on top of this to be to get the full cascade classifier structure by integrating the diagram method for face detection,OpenCV cascade classifier is trained by Adaboost face detection algorithm,then the use of the experimental sample under different circumstances for accurate positioning and testing.Through design and debugging code,face detection and location in the final test for digital images to achieve better results and improve the accuracy of positioning and recognition. Keywords:face detection;AdaBoost;classifier;openCV
基于Opencv的人脸检测程序 我的电脑上是用visual studio 2015，配置opencv2.4.9，visuanl studio加载opencv的方法百度上可以找到很多，按照要求配置好后以后进行一下操作： 第一步：新建win32应用程序的工程，在该工程以下程序复杂被覆盖win32的几行程序， #include"stdafx.h" #include"opencv2/objdetect.hpp" #include"opencv2/videoio.hpp" #include"opencv2/highgui.hpp" #include"opencv2/imgproc.hpp" #include
1．打开Microsoft Visual Studio 2008，新建一个Win32控制台项目； 2．配置好项目的包含文件和库文件； 3．将……\OpenCV\data\haarcascades中的haarcascade_frontalface_alt.xml拷贝到所建项目的文件夹中； 4．然后添加代码： #include"stdafx.h" #include"cv.h" #include"highgui.h" #include
摘要 基于生物特征识别的身份认证方法和系统研究一直以来都是计算机图形学和模式识别领域研究的热点，其中，由于人脸的稳定性和可见性，针对人脸识别的算法研究和系统应用最为广泛，本文针对校园内实验室和宿舍安全管理需求，设计和实现了一套针对监控视频的基于OpenCV的人脸识别原型系统，开发语言选用C++，全文内容包括： （1）构建了基于OpenCV的视频人脸识别的技术框架。针对实验室和宿舍安全管理需要，构建了基于OpenCV的视频人脸识别的技术框架，能够完成基于视频的实时人脸识别和身份认定； （2）设计了基于OpenCV的视频人脸快速检测算法。人脸检测是人脸识别的前提，本文采用基于OpenCV的快速人脸检测算法实现视频图像中人脸的快速定位和提取； （3）设计了基于AdaBoost算法的视频人脸识别方法。应用AdaBoost算法实现了针对视频流的快速人脸定位和身份识别，能够实现实时身份认定。 系统基于.NET平台设计，使用C++语言进行实现，完成了基于视频的实时人脸身份认定。 关键词：人脸检测； OpenCV；人脸识别； C++； 1
Abstract Based on the research of identity authentication method and system of biometric recognition has been a hot research field of computer graphics, pattern recognition and the stability and visibility, the face, the algorithm research and system applications of face recognition is the most widely, according to the laboratory and dormitory safety management needs of the campus, designed and implemented. A face recognition system based on OpenCV in surveillance video, development language is C++, the main content of this thesis includes: （1）Constructed the technical framework for video based face recognition based on OpenCV. According to the laboratory and the dormitory safety management needs, establishes a framework for video based face recognition based on OpenCV, which can complete real-time face recognition and identity based on video identification; （2）Design of a fast face detection algorithm in video based on OpenCV. Face detection is the precondition of face recognition, this paper uses OpenCV fast face detection algorithm to locate face in video image and extraction based on;The design use application of OpenCV to provide strong support, based https://www.doczj.com/doc/5f5350048.html, platform design. （3）Design of video based face recognition method based on AdaBoost algorithm. Application of AdaBoost algorithm for fast face location and recognition of video stream, which can realize real-time identification. System based https://www.doczj.com/doc/5f5350048.html, platform design, implementation is carried out using C++ language, completed the real-time face identity recognition based on video Key word：Face detection；OpenCV；Face recognition；C++；
摘要 人脸检测（Face Detection）是一种在任意数字图像中找到人脸的位置和大小的计算机技术。它可以检测出面部特征，并忽略诸如建筑物、身体和其他任何东西。人脸检测技术不仅仅是人脸跟踪、人脸识别、表情识别等技术的重要条件，同时在人机交互、模式识别、视频检索、智能监控等领域也引起了广泛的重视。 在通过对人脸检测相关知识进行学习的基础上，本文首先对国内外的人脸检测发展进行了相关分析，阐述了本课题的研究背景及意义；第二章介绍基于Opencv实现人脸检测的相关方法和检测原理；第三章指出了基于QT平台，人脸检测界面如何开发，需要用到的相关技术知识和操作流程。第四章设计了基于opencv的人脸检测程序，采用了QT开发工具并结合opencv技术对程序界面进行设计实现。 关键词：人脸检测；QT开发；Opencv；
Abstract Face detection is a computer technology that identifies human faces in digital images. It can detect facial features and ignore something like buildings,bodies and any other things.Face detection technology is not just an important condition for face recognition, also attracting wide attention in the human-computer interaction, pattern recognition, video retrieval, intelligent monitoring and other fields. Firstly in this paper, through the study of relevant technology of face detection recognition, and face detection to identify relevant experience in the domestic and abroad are analyzed,indicating the background and the significance of the topic.Based on opencv,the second chapter introduces how to realize the design.Then the third chapter points out how to develop face detection’s interface based on the QT platform; The fourth chapter based on opencv face detection procedures, using opencv, the QT development tools,achieve the design. Key Words：Face detection; QT development; Opencv;
第8卷第3期 2009年8月 淮阴师范学院学报(自然科学版)JOURNA L OF HUAIYIN TE ACHERS CO LLEGE (NAT URA L SCIE NCE E DITION ) V ol 18N o 13Aug.2009 基于OpenCV 的人脸检测算法研究 齐金山 (淮阴师范学院计算机科学与技术学院,江苏淮安 223300) 摘 要:介绍了一种开放源代码的计算机视觉类库OpenCv ,阐述了该软件的特点及结构,并对 其在Visual C ++2005开发环境下的配置作了详细的说明.然后提出了一个基于OpenCv 的人 脸检测算法.实验结果表明,该算法具有识别效果、实时性好,检测速度快的特点. 关键词:OpenC V ;人脸检测;I pIImage 中图分类号:TP391.41 文献标识码:A 文章编号:167126876(2009)0320216205 收稿日期:2009205222 作者简介:齐金山(19772),男,湖南株洲人,讲师,硕士,研究方向为数字图像处理. 0 引言 人脸的检测是一类具有很大挑战性的问题[1] ,其主要难点在于:人脸是一类高度非刚性的目标,存在相貌、表情、肤色等差异;人脸上可能会存在一些附属物如眼镜、胡须等;人脸的姿态变化万化,并且可能存在遮挡物;待检测图像性质的差异,比如:待检图像的分辨率、摄录器材的质量等.针对以上难点,各国的科研人员作了很多的研究,每年在国际国内的相关期刊和会议上都有大量的关于人脸检测的论文, 如Chellappa 、Zhao 等人分别于1995和2003年发表的两篇人脸识别的综述论文[2,3].人脸检测的算法也 很多,Boosting 算法[4]是其中的一种,但Boosting 算法十分复杂.本文提出了基于OpenC V 进行人脸检测 将比较容易实现,实验结果表明该算法具有识别效果好、实时性好、检测速度快的特点.1 OpenCv 简介 OpenC V (Open S ource C om puter Vision Library )是指Intel 计算机视觉库[5].它由一系列C 函数和少量 C ++类构成,实现了图像处理和计算机视觉方面的很多通用算法.OpenC V 主要用于对图像进行一些高级处理,比如说特征检测与跟踪、运动分析、目标分割与识别以及3 D 重建等.由于OpenCv 的源代码是完全开放的,而且源代码的编写简洁而高效,特别是其中大部分的函数都已经通过汇编最优化,以使之能高效而充分地利用英特尔系列处理芯片的设计体系,对于Pentium M MX 、Pentium 、Pentium HI 及Pentium 4这些处理器而言,OpenCv 的代码执行效率是非常高的,所以近年来在国外的图像处理相关领域中被广泛地使用,成为一种流行的图像处理软件. 111 OpenCv 的特点 相对于MAT LAB 等其它常用的图像处理软件来说,OpenCv 有其显著的不可比拟的优点,主要体现在如下几个方面: 1)OpenCv 是一个包含了超过300个C 函数的应用编程接口,它不依赖于外部库,既可以独立运行,也可在运行时使用其它外部库. 2)高性能:OpenCv 中所有的算法都是基于封装于IP L 的具有很高灵活性的动态数据结构,而且其中有一半以上的函数在设计及汇编时被Intel 公司针对其所生产的处理器优化. 3)提供了一些与诸如E iC 、Ch 、MAT LAB 等其它语言或环境的接口,这些接口在其安装完之后位于安装目录opener/interfaces 下. 4)开放性:不管对于商业的还是非商业的用途,OpenCv 都是完全免费的,其源代码完全开放,开发
西安电子科技大学 人工智能学院暑期夏令营科研实践《基于OpenCV的人脸识别系统》 实践报告 姓名：XXX 学校：XXXX 院系班级：XXXXXXXXX 联系方式：XXXX
目录 1 项目背景 (1) 2 项目目标 (1) 3 项目方案 (2) 3.1 人脸采集 (2) 3.2 人脸训练 (3) 3.3 人脸识别 (4) 4 项目调试 (6) 4.1 采集调试 (6) 4.2 训练调试 (6) 4.3 识别调试 (7) 5实践总结 (8)
如何创造一个安全的、数字现代化的、智能化的宿舍门禁系统有着十分重要的意义。然而，在日常管理中我们经常会碰到这样的问题：外来人员混入宿舍带来的安全隐患、夏天未带校园卡而在公寓楼前苦等、宿舍出入口必须有人盯守、晚归被困公寓楼外等等。 在当今计算机普及与急剧增长的状况下，应该实施一些高效率的系统，不仅省钱，省事，而且便捷，针对以上情况，十分有必要建立一个全面、高效、人性化、智能的高校宿舍出入管理系统。 因此，做一个人脸识别系统就非常地有必要！ 2 项目目标 本项目拟完成人脸采集、人脸训练和人脸检测与识别的功能。 人脸采集程序主要完成以下功能： 1. 建立新的文件夹：用户根据提示输入自己姓名的简称，程序会在工程目录下建立该用户的文件夹，用以存放拍摄的照片； 2. 打开摄像头和写入图像：调用笔记本摄像头，当P键按下时，显示当前帧的图像，经处理后，保存图像；当q键按下时，立即退出采集程序 3. 人脸检测与裁剪：在当前帧识别出人脸后将其裁剪至ORL人脸数据 库大小即92x112。 人脸训练程序主要完成以下功能： 1. CSV文件读取：CSV文件对应的图像数据和对应的标签； 2. 样本训练：包括ORL人脸数据库的样本和自己的样本。 人脸训练样本取自ORL人脸数据库，共40个人，每人10张照片。照片在不同时间、不同表情(睁眼闭眼、笑或者不笑)、不同人脸细节(戴眼镜或者不戴眼镜)下采集，所有的图像都在一个黑暗均匀的背景下采集的，正面竖直人脸(有些有轻微旋转)。此外，增加自己的样本，并以相同尺寸拍摄20张左右图像。 人脸识别与检测程序主要完成以下功能： 1. 人脸检测：识别出当前帧是否有人脸； 2. 人脸预测：根据训练结果判断当前帧中人脸是否属于样本集； 3. 姓名显示：若属于样本集则显示姓名缩写，否则，显示“0”。
基于OpenCV的人脸识别设计方案 导读: 本文提出了一种在Linux 平台下开发脸识别系统的方案，通过QT 来开发用户界面，调用OpenCV 图像处理库对相机进行采集和处理采集图像， 从而实现了人脸检测、身份识别、简单表情识别的功能。 人脸识别的研究可以追溯到上个世纪六、七十年代，经过几十年的曲折发展 已日趋成熟，构建人脸识别系统需要用到一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等。而人脸识别在基于 内容的检索、数字视频处理、视频检测等方面有着重要的应用价值，可广泛应 用于各类监控场合，因此具有广泛的应用前景。OpenCV 是Intel 公司支持的开 源计算机视觉库。它轻量级而且高效--由一系列 C 函数和少量C++ 类构成， 实现了图像处理和计算机视觉方面的很多通用算法，作为一个基本的计算机视觉、图像处理和模式识别的开源项目，OpenCV 可以直接应用于很多领域，其 中就包括很多可以应用于人脸识别的算法实现，是作为第二次开发的理想工具。 1 系统组成 本文的人脸识别系统在Linux 操作系统下利用QT 库来开发图形界面，以OpenCV 图像处理库为基础，利用库中提供的相关功能函数进行各种处理：通 过相机对图像数据进行采集，人脸检测主要是调用已训练好的Haar 分类器来 对采集的图像进行模式匹配，检测结果利用PCA 算法可进行人脸图像训练与 身份识别，而人脸表情识别则利用了Camshift 跟踪算法和Lucas–Kanade 光流算法。 2 搭建开发环境 采用德国Basler acA640-100gc 相机，PC 机上的操作系统是Fedora 10，并
基于OpenCV的人脸识别算法研究 摘要:通过对基于Adaboost人脸检测算法的研究，利用该算法与计算机视觉类库openCV进行人脸检测系统的设计，实现了对出现在视频或图像中的人脸检测。此外，在VC++6.0环境下实现了对一个简单的人脸检测系统软件的界面开发，该系统对人脸检测的速度较快，检测结果较为准确，可以作为其他人脸检测或人脸模式识别的系统的开发基础。 关键词：人脸检测；openCV；Adaboost；系统 Face detection system design based on openCV Abstract: According to the research of Adaboost algorithm of Face Detection，people made use of the algorithms and computer vision class library openCV for the design of face detection system and achieved the target of detecting faces showing up in videos and pictures. What’s more，in the environment of VC++6.0，it achieved the development of simple Face Detection. The speed of Face Detection is very fast and the test results are accurate. It can be used as the development foundation of other face detection or face pattern recognition system. Key words: face detection；openCV；Adaboost；system 1.引言 随着计算机与数字信号处理技术的高速发展，人脸检测技术在众多领域得到广泛应用。人脸检测技术是指在视频或图像中检测出现人脸位置、大小的过程。作为人脸信息处理中的一项关键技术，人脸检测技术已经超出了其它人脸识别模式的应用范畴，在视频处理、图像处理、身份验证、安全监测等方面有着重要的应用价值。随着计算机语言算法的发展，近年来出现了大量的人脸检测的算法，其中能够较好的解决人脸的检测速度与检测效果的算法，是在2001年由Paul Viola和Michael Jones首先提出的Adaboost算法。openCV是由Intel 提供的一系列包括C与C++的提供计算机视觉和图像处理的开源软件包，它为视频或图像处理搭建了很好的软件平台。本系统就是基于openCV利用Adaboost算法设计的一个简单的人脸检测系统#该系统能够快速&准确的检测到图像或视频中的人脸。 2.AdaBoost人脸检测算法 对人脸检测的研究最初可以追溯到20世纪70年代，早期的研究方向与现在的研究方向与方法不同。目前在实际中应用的人脸检测方法较为普遍的是基于Adaboost算法的方法。 Viola的人脸检测方法是一种基于积分图、级联分类检测器和Adaboost算法的方法，方法框架可以分为以下3大步骤： 1）使用Haar-like特征表示人脸，使用“积分图”实现特征数值的快速计算； 2）使用Adaboost算法挑选出一些最能代表人脸的矩形特征（弱分类器），按照加权投票的方式将弱分类器构造为一个强分类器； 3）将得到的若干强分类器串联组成一个级联结构的层叠分类器，训练得到的强级联结构能有效地提高分类器的检测速度。
怎样使用OpenCV进行人脸识别 本文大部分来自OpenCV官网上的Face Reconition with OpenCV这节内容 (https://www.doczj.com/doc/5f5350048.html,/modules/contrib/doc/facerec/facerec_tutorial.html)，小弟我尝试翻译一些重要内容。这部分内容是Philipp Wagner写的，他的github：https://https://www.doczj.com/doc/5f5350048.html,/bytefish，他的网站http://www.bytefish.de/，应该是个德国人。下面应该是他的照片。 友情提示，要看懂代码前，你得先知道OpenCV的安装和配置，会用C++，用过一些OpenCV函数。基本的图像处理和矩阵知识也是需要的。[gm:我是箫鸣的注释]由于我仅仅是翻译，对于六级才过的我，肯定有一些翻译错的或者不当的地方，所以请大家纠错。 1.1.介绍Introduction 从OpenCV2.4开始，加入了新的类FaceRecognizer，我们可以使用它便捷地进行人脸识别实验。本文既介绍代码使用，又介绍算法原理。(他写的源代码，我们可以在OpenCV的 opencv\modules\contrib\doc\facerec\src下找到，当然也可以在他的github中找到，如果你想研究源码，自然可以去看看，不复杂) 目前支持的算法有 Eigenfaces特征脸createEigenFaceRecognizer() Fisherfaces createFisherFaceRecognizer() Local Binary Patterns Histograms局部二值直方图createLBPHFaceRecognizer() 下面所有的例子中的代码在OpenCV安装目录下的samples/cpp下面都能找到，所有的代码商用或者学习都是免费的。
安徽工业大工商学院 毕业学士论文 基于OpenCV的人脸识别算法 姓名：陈滔 申请学位级别：学士专业：测控技术与仪器 指导教师：方挺
摘要 人脸在社会交往中扮演着十分重要的角色，是人类在确定一个人身份时所采用的最普通的生物特征，研究人脸跟踪识别及其相关技术具有十分重要的理论价值和应用价值。彩色图像序列的人脸检测、跟踪与识别技术是随着计算机技术的高速发展和视频监控等应用的需要在近几年才逐渐成为一个研究热点。本文着重构建一套人脸跟踪识别系统，致力于精确实时地对彩色视频中的人脸图像检测跟踪，并可以将跟踪到的人脸图片传输到识别端进行身份识别。系统分为客户端和服务器两部分。针对传统Camshifl跟踪算法进行形态学处理、分配多个跟踪器等改进后的算法应用于客户端进行多人脸的跟踪。服务器端首先将人脸图像按其主要特征进行分块，再对分块图执行Eigenface算法实现人脸身份的识别。这套系统完成了对多人脸的跟踪效果，可广泛的应用于各种安防系统之中如：ATM机监控系统，门禁系统等。
Abstract Human face is 0111"primary focus of attention in social intercourse playingamajor rolei conveying dentity and emotion．Researchonthe face tracking，recognition technology has great theoreticaland practical value．This paper focusesOilbuildingasetofhumanface recognition and trackingsystem tocommitted toaccurate and real-timecolorvideoimages，andcalltransmit the tracked human face image to the recognition part to identify the person’S status．Thesystem is divided into client and server parts．Thetracking algorithm whichcarrieson morphology processing after traditional track algorithm Camshifl and assignments severaltrackingdevices is applied to the client for duplex facetracking．Theserver—side first divides the person face image into blocksaccording to its chief feature，then the blocksuses the Eigenfacealgorithm separately to realize the person’S status recognition．The system implementation for multiple face trackingcallbe widelyused among the various security systems，suchas：ATM machine monitoring system，accesscontrol system．Keywords：Face DetectionFace TrackingFace Recognition Eigenface Camshift
#include"cv.h" #include"highgui.h" #include
?Introduction 网上存在很多人脸识别的文章，这篇文章是我的一个作业，重在通过摄像头实时采集人脸信息，进行人脸检测和人脸识别，并将识别结果显示在左上角。 利用OpenCV 实现一个实时的人脸识别系统，人脸库采用ORL FaceDatabase (网上下载) ，另外在数据库中增加了作业中自带的20张照片和自己利用摄像头采集到的10张照片，系统利用摄像头实时的采集到场景图像，从中检测出人脸用方框标出，并利用提供的数据库进行人脸识别，并在图像左上角显示相匹配的数据库图片。 ?Method 算法流程分两步，分别是人脸检测和人脸识别。人脸检测使用的是ViolaJones 人脸检测方法，利用样本的Haar-like 特征进行分类器训练，得到级联boosted 分类器，加载训练好的人脸分类器，利用分类器在视频帧中查找人脸区域；人脸识别利用了局部二进制模式直方图。 ?Haar-like 特征 Haar-like 特征如下图所示 图1 Haar-like 特征 ?LBPH 人脸识别常用的方法有三种，Eigenfaces、Fisherfaces 和LBPH；对于高维的图像空间，我们首先应该进行降维操作。LBP 不把图像看做高维的矢量，而是通过物体的局部特征来描述。 将每个像素和其相邻像素对比形成局部的结构，把该像素看做中心，并以该值对邻接像素做阈值处理，如果临界像素的亮度大于该像素则为 1 否则为0，这样每个像素点都可以用一个二进制数来表示，比如一个使用3*3 临界点的LBP 操作如下图所示： 图2 LBP
?Implementation ?识别训练 利用准备好的数据库进行识别训练：首先我们利用Opencv安装文件中的python脚本 create_csv.py建立CSV文件，文件中每条记录如：orl/s13/2.pgm;12，分号之前是图片所存路径，而分号之后是图片的标签号，每一组图片对应着唯一的标签号；之后利用代码中的train_data和read_csv函数对数据集进行训练。使用到的OpenCV 类和函数有： FaceRecognizer，createLBPHFaceRecognizer ?人脸检测 运用Opencv安装文件中的haarcascade_frontalface_alt.xml文件，使用分类器在视频帧中查找人脸区域，并用绿色方框标出。用到的OpenCV 类和函数有： CascadeClassifier,detectMultiScale。 ?人脸识别 读取训练好的yaml文件，对每个监测到的区域的图像分类，并在视频帧人脸区域上方显示分类结果（分类结果显示为标签和可信度），在左上角显示缩略图。用到的OpenCV 函数主要有:predict. ?Code 1/*头文件：*/ 2 #include "opencv2/core/core.hpp" 3 #include "opencv2/contrib/contrib.hpp" 4 #include "opencv2/highgui/highgui.hpp" 5 #include "opencv2/imgproc/imgproc.hpp" 6 #include "opencv2/objdetect/objdetect.hpp" 7 8 #include