下载文档原格式
人脸识别算法中的常见问题解析人脸识别技术作为一种生物特征识别技术，已经广泛应用于安全领域、智能设备以及人脸支付等场景中。
然而，人脸识别算法也存在一些常见问题，本文将对这些问题进行解析和探讨。
一、光线条件对人脸识别的影响光线条件是影响人脸识别算法准确性的一个重要因素。
在低光环境下，由于图像噪声增加和图像细节丢失，人脸图像质量较差，从而导致人脸识别算法的准确率下降。
一些算法使用降噪和图像增强技术来改善低光条件下的人脸特征提取。
另外，强光条件下的反光和阴影也会对人脸图像的质量造成影响。
某些算法通过采用抗光反射和阴影削弱技术来提高人脸图像的质量，从而增加人脸识别的准确性。
二、角度和姿态变化对人脸识别的挑战角度和姿态变化是人脸识别算法中常见的问题之一。
部分算法通过引入三维人脸模型和姿态估计技术来解决这一问题。
三维人脸模型可以对人脸进行重建，从而使得算法可以更好地处理姿态变化。
姿态估计技术可以根据人脸图像中的特征点位置推断出人脸的角度和姿态，进而进行相应的人脸对齐和特征提取操作。
三、表情变化对人脸识别的挑战人脸表情变化是人脸识别算法中另一个常见的问题。
表情变化会改变人脸图像的纹理和特征点位置，从而导致人脸识别算法的准确性下降。
一些算法通过引入表情不变性特征提取技术来解决这个问题。
表情不变性特征可以在不同表情下保持相对不变，从而提高算法对表情变化的鲁棒性。
此外，一些算法也通过引入动态人脸表情数据来提高算法的准确性。
动态人脸表情数据包括人脸的动作单位和时间序列信息。
这些数据可以帮助算法更好地理解人脸的表情变化，并进行相应的识别和匹配操作。
四、遮挡对人脸识别的影响人脸遮挡是人脸识别算法中常见的问题之一。
遮挡会改变人脸图像的特征以及纹理信息，从而影响算法对人脸的识别和匹配性能。
一些算法通过引入部分可见性特征和遮挡检测技术来解决这个问题。
部分可见性特征指在遮挡情况下仍然可见的人脸特征。
算法可以通过提取这些特征来进行识别和匹配操作。
面向复杂场景的人物视觉理解技术及应用人物视觉理解技术是指通过计算机视觉和机器学习等技术，对图像或视频中的人物进行识别、分析和理解的能力。
针对复杂场景的人物视觉理解，需要综合利用多种技术来解决不同的问题。
下面将介绍几种面向复杂场景的人物视觉理解技术及其应用。
1.人脸检测与识别人脸检测是指通过计算机视觉技术来检测图像或视频中的人脸，而人脸识别则是在检测到人脸的情况下，对人脸进行识别和认证。
这项技术被广泛应用于安防领域，如人脸门禁系统、人脸支付等场景。
2.行人检测与跟踪行人检测与跟踪是指通过计算机视觉技术来检测和跟踪图像或视频中的行人。
这项技术被广泛应用于交通监控、智能安防、自动驾驶等领域，可以用于行人计数、行人轨迹分析等应用。
3.动作识别与行为分析动作识别与行为分析是指通过计算机视觉技术来识别和分析人物的行为。
通过对人物的动作进行识别和分析，可以实现行为识别、异常检测等应用，广泛应用于智能视频监控、体感游戏、虚拟现实等领域。
4.姿态估计与动作生成姿态估计是指通过计算机视觉技术来估计人物的姿态，即人物的关节角度和身体姿势。
而动作生成则是在估计到人物的姿态后，根据姿态生成相应的动作。
这项技术被广泛应用于虚拟人物的动作生成、运动捕捉等领域。
5.人群行为分析与异常检测人群行为分析与异常检测是指通过计算机视觉技术对人群的行为进行分析和检测，识别异常行为并进行报警。
这项技术被广泛应用于公共安全领域，如监控视频中的人群聚集、恐慌逃散等场景。
6.社交分析与情感识别社交分析是指通过计算机视觉技术来分析人物之间的社交关系，如人物的互动、面部表情等。
而情感识别则是在社交分析的基础上，通过计算机视觉技术来识别人物的情感状态，如喜怒哀乐等。
这项技术被广泛应用于社交媒体、情感识别等领域。
以上是面向复杂场景的人物视觉理解技术及其应用的简要介绍。
随着计算机视觉和机器学习等技术的不断发展，人物视觉理解技术将在更多的领域得到应用，并为人们的生活带来更多的便利和安全保障。
复杂背景的人脸检测方法
马松岩;杜天苍
【期刊名称】《北京石油化工学院学报》
【年(卷),期】2010(018)001
【摘要】由于原始的Adaboost方法在复杂图片上检测人脸效果不够理想,所以提出了一种能够处理复杂背景图片的人脸检测方法,即基于肤色的Adaboost检测方法.该方法具有肤色分割的检测率高、适应性强和AdaBoost算法检测速度快等优点.首先,通过人脸肤色的统计特征对图像进行肤色分割,得到候选人脸区域;然后使用经过训练的AdaBoost算法级联分类器对候选人脸区域进行检测,最终得到精确定位的人脸.经过实验证明,基于肤色分割的Adaboost人脸检测方法比原始的Adaboost方法在鲁棒性上有了很大提高.
【总页数】5页(P46-50)
【作者】马松岩;杜天苍
【作者单位】北京化工大学信息科学与技术学院,北京,100029;北京石油化工学院自动化系,北京,102617;北京石油化工学院自动化系,北京,102617
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.复杂背景下的人脸检测方法研究 [J], 宋宪芹;王冬霞
2.一种复杂背景下的人脸检测方法 [J], 张云龙;谢泽奇;张会敏;董承廷
3.复杂背景和光照多变的人脸检测方法 [J], 李全彬;孙巧榆;刘锦高;李明
4.复杂背景下的人脸检测方法研究 [J], 田文雅;李迎辉;阚洪权
5.复杂背景下的多人脸检测方法 [J], 苑玮琦;韩春霞
因版权原因，仅展示原文概要，查看原文内容请购买。
第40卷第5期 2006年5月上海交通大学学报J OU RNAL OF SHAN GHA I J IAO TON G UNIV ERSIT YVol.40No.5 May 2006 收稿日期:2005205222基金项目:上海市科委资助项目(03DZ14015)作者简介:李 冯(19822),男,硕士生,河南沁阳人,主要研究方向为人脸检测与跟踪.姚莉秀(联系人),副教授,电话(Tel.):021*********;E 2mail :lxyao @. 文章编号:100622467(2006)0520778205复杂背景下的彩色图像人脸检测李 冯, 姚莉秀, 杨 杰, 戈新良(上海交通大学图像处理与模式识别研究所,上海200240)摘 要:提出了一种复杂背景下使用肤色模型检测人脸的方法.该方法首先对图像进行光照补偿,然后对肤色模型处理后的二值图像进行分割与合并,并结合先验知识提取出人脸候选区域,最后验证人脸轮廓、眼睛和嘴等特征来判断人脸候选区域是否包含人脸.对1010幅变光照和复杂背景情况下拍摄的彩色人脸图像进行验证,其检测率达到89.7%.关键词:人脸检测;特征提取;区域分割合并;光照补偿;肤色模型中图分类号:TP391.41 文献标识码:AThe Face Detection in Color Images with Complex EnvironmentsL I Fen g , YA O L i 2x i u , YA N G J ie , GE X i n 2li ang(Inst.of Image Processing &Pattern Recognition ,Shanghai Jiaotong Univ.,Shanghai 200240,China )Abstract :This paper presented a new algorit hm for face detection in complex environment f rom images.The algorit hm works by first doing lighting compensation on inp ut image ,t hen it segment s and combines skin regions obtained t hrough applying skin model ,and ext ract s face candidates wit h t he aid of heuristic information.Finally ,it evaluates t he existence of facial feat ures ,such as face boundary ,eyes and mout h ,in t ho se face candidates.The detection rate has achieved 89.7%when t he algorit hm is employed to detect 1010color face images containing face rotations wit h complex environment and lighting variances.Key words :face detection ;feat ure ext raction ;region segmentation and combination ;lighting compensa 2tion ;skin color 2based model 人脸检测不仅是自动人脸识别系统的第一步,而且也在监控系统、人机接口、图像检索中有重要的应用.近些年提出的人脸检测算法大致可以分为4类[1]:①基于知识的方法,这类算法只对简单背景下的正面人脸检测有较好的效果;②模板匹配方法,该类算法不能有效地处理人脸尺度、姿态和形状等方面的变化;③基于外观形状的方法,该类方法主要通过统计学习的方法进行人脸检测,Viola 等[2]提出的Adaboost 方法具有精度高、实时等优点,但误检率高、训练时间长,且只是对正面人脸比较有效;④基于特征的方法,这类方法主要使用人脸特征、肤色或纹理等信息,只在限定环境下才有效.本文提出了一种针对复杂背景,通过减轻光照等影响并使用肤色信息和人脸特征进行多侧面人脸检测的新算法.与Hsu 等[3]的特征验证算法不同的是,文中提出的算法先检测出人脸轮廓,然后只在人脸轮廓内验证眼睛和嘴部特征是否存在,从而节省了运算时间提高了检测速度;与Abdel 2Mottaleb等[4]的肤色区域分割与合并算法不同的是,本文采用Canny 算子来迅速有效地进行区域分割,并提出有效的肤色区域合并算法;本文还对Hsu 等[3]所提出的光照补偿算法做了适当的改进.实验表明,该人脸检测算法对光照、尺度、姿态、旋转和表情等方面的变化具有较强的适应性和较高的检测率.1 人脸检测算法流程本文提出了一种从粗到精,逐步细化的人脸检测算法,该算法先使用整体特征(肤色、形状等)检测出人脸候选区域,然后使用局部特征(眼睛、嘴等)进行人脸特征的验证,从而检测出人脸.算法流程如图1所示.图1 人脸检测验证算法Fig.1 The flowchart of face detection2 人脸候选区域2.1 光照补偿在复杂环境中很难将肤色与非肤色区域分割开,这就需要进行光照补偿.通常要求所建立的肤色模型的取值范围应尽量宽,但这不利于后续检测过程.本文先对输入图像进行Gamma 矫正,再灰度拉伸,从而尽量压缩肤色模型的取值范围,达到了光照补偿的目的.由文献[5]可知,出于显示器的物理特性和人的感知特性,需要对图像进行Gamma 矫正,即new_pixel_value =old_pixel_value 1/C G(1)式中,C G 为Gamma 常数,取为2.22.本文采用的灰度拉伸思想是:把图像中黑色或接近于黑色的像素点都标定为黑色,即R GB 值为(0,0,0);类似地标定出白色像素点;然后将非黑色和非白色的像素点的R ,G,B 3个分量分别拉伸到(0,255)整个区间.像素点接近于白色的定义为:其在YC b C r 色彩空间中亮度分量Y 的值要在[225,235)内,即属于5%最大的数值;一个像素点接近于黑色的定义类似.光照补偿后的图像如图2(b )所示.与Hsu 等[3]光照补偿算法不同的是,此算法相当于同时定义了参考白和参考黑,因而光照补偿后的图像更有助于肤色区域的判别.实验表明,经过光照补偿后的图像进行肤色辨别比直接进行肤色辨别更有效(见图2(c )、(d )).图2 光照补偿与二值化Fig.2 Lighting compensation and binary images2.2 肤色颜色空间本文采用Hsu 等[3]提出的肤色模型,即(x -ecx )2a 2+(y -ecy )2b 2=1(2)x y = cos θsinθ-sin θcos θC ′b -cx C ′r -cy(3)参数含义参见文献[3].主要思路是:在YC b C r 空间中,如果一个像素的C b 、C r 分量经过式(3)运算后落到如式(2)所表示的椭圆肤色模型内,就判定该像素点为肤色点.此外还要进行非线性变换来拉伸肤色模型.2.3 肤色区域分割图2(c )的肤色区域只是对YC b C r 空间的C b 和C r 分量进行处理,因此造成了人脸区域和周围部分非人脸区域连接在一起,这就需要进行肤色区域分割.Abdel 2Mottaleb 等[4]的对亮度方差图像进行迭代分割的算法通过不断降低方差阈值,从而将部分肤色点分类成非肤色点.由于使用迭代方法因而该方法计算量大且不是很有效.用Canny 算法检测边缘更有可能检测到真正的边缘而很少受噪声的影响,故本文采用Canny 算法,并把对输入图像亮度分量的分割结果叠加到图2(c )所示的肤色二值图像上.对叠加后图像进行形态学开运算,可以去除图像中很多孤立的像素点或很小的肤色区域,从而得到肤色区域分割图,如图3(a )所示.977 第5期李 冯,等:复杂背景下的彩色图像人脸检测 图3 启发式产生候选区域Fig.3 The procedure of generating face candidates2.4 肤色区域合并由于面部经常有遮挡物、经过2.3节的处理后面部肤色区域经常被分裂成若干个肤色区域,故有必要进行区域合并.本文提出的区域合并算法是计算任意2个区域之间的距离,如果该距离小于一个阈值,则将这2个区域合并.计算公式如下:D ij=D c,ij-R i-R j(4)R k=(R c,k+R e,k)/2, k=i,jR c,k=(S k/π)1/2R e,k=[σ2kx+σ2ky+(σ2kx-σ2ky)2+4σ2kx y]/2式中:D c,ij为第i个和第j个区域重心之间的欧氏距离;R k为第k个区域的有效半径;S k为第k个肤色区域的面积;σ2kx,σ2kx,σkx y为第k个肤色区域的二阶中心矩;R e,k为肤色区域协方差矩阵较大的特征根.经区域合并后的图像如图3(b)所示,可见其中有很多非人脸区域,故需要采取措施去除这些区域.2.5 去除误检区域可以通过一些简单的形状特征和先验知识排除大部分2.4节得到的非人脸区域,从而形成人脸候选区域.本文使用的形状特征有:①包含肤色区域的矩形框面积;②包含肤色区域的矩形框长宽比;③肤色区域面积与矩形框面积之比;④矩形框中心与肤色区域重心之间的距离;⑤肤色区域中具有较高方差的像素个数与肤色区域面积之比(这是由于面部特征的存在,比如眼睛、眉毛等,人脸区域在YC b C r 空间Y分量上的方差较其他区域的要大一些[4]).去除误检区域后得到的图像如图3(c)所示.3 人脸验证算法3.1 检测人脸轮廓人脸检测过程中人脸的轮廓、眼睛和嘴是最明显的3个特征,因此可以使用这些信息来排除大部分候选区域,从而定位出真正的人脸.图4(b)所示的肤色二值图像是在图3(c)的基础上提取一个完整的肤色连通区域,其对应的亮度图像为图4(a).由第2节知,图4(b)是综合应用图像的色彩和亮度信息得到的,恰当处理后就可以找出人脸边缘轮廓.图4 人脸验证流程Fig.4 The procedure of face validation 本文提出以下算法来获得人脸的轮廓信息. 先对图4(b)进行形态学闭运算,然后对图4(c)使用Suzuki等[6]的边缘轮廓算法提取区域最外层边缘,进行凸凹性检测,并条件填充凹进去的区域.本文定义条件填充为:(1)被最外围轮廓包围的空洞应该被填充;(2)凹进去区域的深度与区域的宽度之比要大于一定阈值.填充后的图像如图4(d)所示.其肤色区域在内部是连续的,结合人脸是椭圆的先验信息,可以使用椭圆的结构元素来探测连通区域的形状.结构元素半径定义为:R min=18min(w,h)R max=12(R c1+R e1)(5)R c1=Sπ1/2R e1=12[σ2x+σ2y-(σ2x-σ2y)2+4σ2xy]式中:w,h对应于包含肤色区域矩形框的宽与长;S 为肤色区域面积;R e1为肤色区域协方差矩阵小的特征根.可使用从大到小的结构元素来检测人脸轮廓,算法如下:087上 海 交 通 大 学 学 报第40卷 (1)使用半径为R i 的结构元素对填充后的二值图像I i 进行腐蚀操作,得图像T i ;(2)如果图像T i 为空,则表示完成并退出;(3)否则,对图像T i 进行膨胀操作得图像I ′i ,保存结果I ′i ;(4)降低结构元素的半径为R i +1,并作图像I i与I ′i 的差为图像I i +1;(5)如果R i +1>R min ,则跳到(1)继续运算,否则运算结束并退出.经该算法处理后可以得到若干个大小不一且不相互包含的椭圆区域,即人脸的轮廓,如图4(e )所示.可以发现定位出的人脸矩形比整个肤色区域的矩形要小很多,因而更精确.3.2 检测眼睛与嘴在图4(e )所示的人脸轮廓内如果可以找到眼睛和嘴,就认定该人脸轮廓内存在一个人脸.这里使用Gargesha 等[7]提出的眼图(eye map )和嘴图算法来判断是否包含眼睛和嘴部特征.并使用“塔式下采样”降低一定维数从而找出主导特征点,然后再进行“塔式上采样”并结合阈值处理,找出眼睛和嘴部特征点,如图4(f )、(g )所示.结合图4(e ),可以得出特征验证结果,如图4(h )所示,整幅图像的人脸检测结果如图3(d )所示.由图4(h )可见,眼睛和嘴等人脸特征定位并不是很精确,但这并不影响人脸检测的结果.本文采用对所有特征赋权值的方法,挑出权值最大的一组眼睛和嘴特征来构成该人脸轮廓内的面部特征.假设同一个人脸轮廓内有i =1,2,…,m 个眼睛特征,j =1,2,…,n 个嘴部特征,则:(1)根据图5(a )计算每个特征对应的权W s =exp -(R -2σ)28σ2(6)式中:R 为图5(b )中点P e 与P c 之间的欧氏距离,点P c 为矩形的中心,点P e 为特征点;σ为点P c 与点P b 之间欧氏距离的1/4,点P b 为点P c 与点P e 之间线段延长线与矩形边框的交点.(2)j =1.(3)根据下式计算每2个眼睛特征点P i 1、P i 2与第j 个嘴特征点P j 组合时的权值 W t =W s ,P i1W s ,P i 2W s ,P j ×1-|D e ,P i 1P j -D e ,P i 2P j |max (D e ,P i 1P j ,D e ,P i 2P j )(7)式中:W s ,P i 1,W s ,P i 2,W s ,P j 分别为点P i 1、P i 2、P j 的Ws 权值;D e ,P i 1P j ,D e ,P i 2P j 分别为点P i 1、P i 2与点P j 之间的欧式距离.(4)如果j ≤n ,则转到(3).(5)找出在所有眼睛和嘴特征点组合中权值最大的一组,保存并退出.图5 计算W sFig.5 Calculating W s4 实验结果目前大多数用于人脸检测的数据库(如CMU人脸库)都只包含灰度图像,因此,本文创建了一个具有变光照和复杂背景的彩色人脸数据库(图片分辨率为800×640).该数据库中包含大量旋转角度较大的人脸图片,也包含尺度、姿态和表情变化.实验在IntelXeon TM 2.8GHz 的PC 机上进行,人脸总数为1015,检测率达到89.75%,误检人脸46个,每幅平均耗时200ms.这表明该人脸检测算法具有快速、有效、鲁棒性强等特点.由图6可见,该人脸检测算法可以检测出同一幅图片中不同尺度下的多个人脸,对光照的变化不很敏感,并能精确地定位出人脸位置,同时也能检测出偏转角度较大的人脸.但是由于数据库中包含大量旋转角度较大的人脸图片,并且有些人脸面部特征并不是完全可见,因此也产生了一些误检情况.图6 检测结果图Fig.6 The detection results187 第5期李 冯,等:复杂背景下的彩色图像人脸检测 5 结 语本文提出了一种在复杂背景下使用肤色模型检测人脸的方法.与传统的基于肤色模型的检测算法相比,本文提出的面部特征提取与验证算法具有速度快、检测率高等特点.提出了有效的区域分割与合并算法,并对已有的光照补偿算法做了改进.实验表明,该人脸检测算法对光照、尺度、姿态、旋转和表情等方面的变化具有较强的鲁棒性,对1010幅变光照和复杂背景情况下拍摄的彩色人脸图像进行验证,其检测率达到89.7%.参考文献:[1] Yang Ming2Hsuan,Kriegman D,Narendra A.Detec2ting faces in images:A survey[J].IEEE T rans on P at2 tern Analysis and Machine I ntelligence,2002,4(1):34-58.[2] Viola P,Michael J.Rapid object detection using aboosted cascade of simple features[C]//Proc ConfComputer Vision and P attern R ecognition.Kauai,HI, USA:IEEE,2001:511-518.[3] Hsu Rein2Lien,Mohamed,Jain Anil K.Face detec2tion in color images[J].IEEE T rans on P attern Analy2 sis and Machine I ntelligence,2002,24(5):696-706. [4] Abdel2Mottaleb M,Elgammal A.Face detection incomplex environments f rom color images[C]//ProcIEEE I nt’l Conf Im age Processing.K obe,Japan:IEEE,1999:622-626.[5] Charles P.A technical introduction to digital video[M].[s.l.]:John Wiley&Sons,1996.[6] Suzuki S,Abe K.Topological structural analysis ofdigital binary images by border following[J].Comput2 er Vision,G,and Im age Processing(CVGIP), 1985,30(1):32-46.[7] G argesha M,Panchanathan S.A hybrid technique forfacial feature point detection[C]//Fifth IEEE Proc Southw est Symposium on Im age Analysis and I nterpreta2 tion.Santa Fe,New Mexico:IEEE,2002:134-138. (上接第774页)[5] Morris A,Kasper G,Adams D.The effects and limi2tations of automated text condensing on reading com2 prehension performance[J].I nform ation Systems R e2 search,1992,3(1):17-35.[6] G oldstein J,Kantrowitz M,Mittal V,et al.Summa2rizing text documents:Sentence selection and evalua2 tion metrics[C]//Proceedings of the22nd Annu al I n2 ternational ACM SIGIR Conference on R esearch and De2 velopment in I nform ation R etrieval.Berkeley,CA:ACM,1999:121-128.[7] 王建会,胡运发,李荣陆.自适应确定摘要长度[J].计算机研究与发展,2004,41(3):399-406. WAN G Jian2hui,HU Yun2fa,L I Rong2lu.Determi2 ning the Length of Textual Summarization Adaptively [J].Journal of Computer R esearch and Development,2004,41(3):399-406.[8] Jing H,Barzily R,Mc Keown K,et al.Summarizationevaluation methods experiments and analysis[C]//AAAI Intelligent T ext Summarization Workshop.Stan2 ford,CA:AAA I,1998:60-68. (上接第777页)[3] Cho J H,Shivakumar N,Garcia2Molina H.Findingreplicated web collections[C]//Proceedings of the ACMI nternational Conference on Management of the Data.USA:ACM Press,2000,29(2):355-366.[4] Shivakumar N,G arcia2Molilna H.Finding near2repli2cas of documents on the Web[C]//Proceedings ofWorkshop on Web Datab ases.Spain:Springer Press, 1998:204-212.[5] Cho J H,G arcia2Molina H.Parallel crawlers[C]//Proceedings of the11th ACM International Conference on World Wide Web.Hawaii:ACM Press,2002:124-135.[6] Bharat K,Broder A Z.Mirror,mirror,on the Web:A study of host pairs with replicated content[J].Com2puter N etw orks,1999.31(11216):1579-1590.[7] Nam G W,Park J H,K im T Y.Dynamic managementof U RL based on object2oriented paradigm[C]//Pro2 ceedings of the I nternational Conference on P arallel and Distributed Systems.Taiwan,China:IEEE ComputerSociety Press,1998:226-230.[8] 李晓明,凤旺森.两种对URL的散列效果很好的函数[J].软件学报,2004,15(2):179-184.L I Xiao2ming,FEN G Wang2sen.Two effective f unc2 tions on hashing U RL[J].Journal of Softw are,2004, 15(2):179-184.287上 海 交 通 大 学 学 报第40卷 。
