基于 OpenCV的口唇检测研究 - 四川理工学院学报

基于肤色差异性嘴巴状态检测方法的研究王冬梅;王海鹏【期刊名称】《计算机工程与应用》【年(卷),期】2015(000)004【摘要】This paper analyses problem of mouth state detection and this problem is great significance in facial expression studies, and driving state research areas. The precise positioning human face is given by using HSV color model and the face area is caculated. Then threshold value is given based on R-B color different between the lip portion and the skin portion and binarization of the photo is given by the determined threshold. Using the ratio of the lip portion and the facial skin area can accurately determine the state of the mouth. The experimental results show that using this methodology can enhance the computing speed compared with single red method and the result will not affected by the distance changes from head to the camera.%嘴巴状态的检测对于人脸的表情研究，驾驶员驾驶状态的研究等领域都有着重要的意义。

基于DT—CWT和PCA的唇部特征提取方法引言：唇部是人脸的重要组成部分之一，具有丰富的生物特征信息，如颜色、纹理、形状等。

因此，唇部特征在人脸识别、嘴唇表情识别等领域具有重要的应用价值。

本文提出了一种基于二维离散小波变换（DT-CWT）和主成分分析（PCA）的唇部特征提取方法，该方法能够有效地提取唇部的关键特征，提高唇部识别的准确率。

一、二维离散小波变换（DT-CWT）DT-CWT是一种基于小波变换的信号分析方法，具有良好的时频局部性和多分辨率特性。

它可以将一个二维离散信号分解为一组具有不同尺度和不同方向的子带信号，用于提取图像的局部特征。

在本方法中，我们采用DT-CWT对唇部图像进行变换，以获取唇部的局部特征信息。

首先，将彩色唇部图像转换为灰度图像，然后对灰度图像进行DT-CWT变换。

通过选择适当的小波滤波器和分解层数，可以得到一组具有不同方向和尺度的唇部子带图像。

二、主成分分析（PCA）PCA是一种常用的降维方法，它能够将高维数据映射到低维空间，保留最重要的特征。

本方法采用PCA对DT-CWT得到的唇部子带图像进行特征降维，以减少计算复杂度和提高唇部识别的准确率。

具体步骤如下：1.对输入的唇部图像进行预处理，包括图像的归一化、平滑处理等。

这样可以去除图像中的噪声和不必要的细节，提高后续处理的效果。

2.将预处理后的唇部图像转换为灰度图像。

3.对灰度图像进行DT-CWT变换，得到一组唇部子带图像。

选择适当的小波滤波器和分解层数，以获取唇部的局部特征信息。

4.对得到的唇部子带图像进行PCA降维。

将每个子带图像拉伸为一维向量，然后将所有子带图像的向量组合成矩阵，作为PCA的输入。

通过计算输入矩阵的协方差矩阵和特征值，可以得到特征向量。

选择最大的特征值对应的特征向量作为主成分，即提取的唇部特征。

5.对提取的唇部特征进行分类或识别。

可以使用支持向量机（SVM）等机器学习方法进行分类训练和识别。

实验结果：在实际的唇部识别任务中，我们采用了包含大量唇部图像的数据集进行实验，并与其他常用的特征提取方法进行了对比。

前沿科技数码世界 P .6基于AdaBoost 算法的嘴唇检测与提取李思潼 冯彦婕 杜帅 朱从亮 东北林业大学摘要：唇语识别技术主要通过讲话时嘴唇形状的动态变化来识别讲话内容，可以提高语音识别在噪声较大环境下的准确率。

本文提出了一种利用Haar-like 特征和AdaBoost 算法对人脸和嘴唇区域进行检测及分割并使用色彩空间对分割出的嘴唇区域进行嘴唇提取的方法。

关键词：唇语识别 嘴唇提取 Haar-like 特征 AdaBoost 算法引言近几年，人机交互技术的应用越来越广泛，唇语识别作为人机交互中的关键技术，也越发受到关注。

谷歌DeepMind 实验室提出了一种新的唇语识别技术LipNet。

目前唇语识别技术主要是针对语音识别在噪声较大环境下的识别率问题，作为对语音识别的补充和纠正。

关于唇语识别研究的热点主要在嘴唇特征提取以及唇动特征跟踪上，但如何从静态图片或动态视频流中检测出人脸和嘴唇区域并将嘴唇提取出来，对之后的嘴唇特征提取有着至关重要的影响。

文献提出了使用RGB 色彩空间对嘴唇区域进行提取，利用唇色与肤色在G、B 分量上的差异对嘴唇进行提取。

本文使用开源的计算机视觉库（OpenCv）中预先训练好的Harr Cascada 分类器对人脸区域和嘴唇区域进行检测，之后对分割出来的嘴唇区域利用色彩空间进行嘴唇提取。

1 Haar-like 特征Paul Viola 提出了一种快速的人脸检测算法，该算法是一种基于Haar-like 特征和AdaBoost 自适应增强算法的人脸检测算法，OpenCv 中给出了该算法的实现。

Haar 特征首先由Papageorgiou 提出，用于对物体和人脸的快速检测，之后Rainer Lienhart 在文献对其进行了补充，形成了Haar-like 矩形特征库。

本文所使用的OpenCv 中的Harr Cascad 分类器便是基于此特征库编写的。

由于使用Haar 特征进行检测的特征数目过大，往往使用积分图的方式对矩形特征值进行计算。

本文由我司收集整编，推荐下载，如有疑问，请与我司联系基于YCbCr色彩空间的口/唇检测，openCv 基于YCbCr色彩空间的口/唇检测，openCv[英]Mouth/lip detection based on YCbCr color space, in openCv Hello I’m trying to detect the area of the mouth or lips. To do this I am trying to use the the method described in these papers: Paper1,Paper2. (Could only post two of the papers) 你好,我正试图检测嘴巴或嘴唇的区域。

为此,我尝试使用这些论文中描述的方法:Paper1,Paper2。

(只能发表两篇论文) They use a method where you utilize the colorspace YCbCr because the lips have a strong red component and a weaker blue then the rest of the face. Because of this you can use this color space like this: 他们使用的方法是使用色彩空间YCbCr,因为嘴唇有一个强烈的红色成分,而蓝色则比脸部的其他部分弱。

因此,您可以像这样使用此颜色空间: LipMap = (CrCr)((CrCr)-n(Cr/Cb))((CrCr)-n*(Cr/Cb)) LipMap =(CrCr)((CrCr)-n(Cr / Cb))((CrCr)-n *(Cr / Cb)) n = 0.95*((sum(Cr*Cr)/m)/(sum(Cr/Cb)/m)) n = 0.95 *((总和(Cr * Cr)/ m)/(总和(Cr / Cb)/ m)) The problem is that all these sources dont really explain how the calculation is made. I know how to get the values of Cr and Cb but I am not 100% sure in what range they should be [0,1] or [0,255], the sources state both. Also after that I’m not sure how to get the correct values from the n calculation as well as the LipMap one. Are the numbers supposed the be normalized before or after the calculation has been made. Also how do you get the correct value from Cr/Cb and the normalized value, i just cant seem to get that one right. 问题是所有这些来源都没有真正解释如何进行计算。

基于图像处理的口腔疾病检测与分类技术一、引言随着社会发展和人民生活水平的提高，口腔健康已经成为越来越受关注的健康问题之一。

对于口腔疾病的检测和分类技术，已经成为目前研究的热点之一。

针对这一问题，基于图像处理的口腔疾病检测与分类技术，得到了广泛的研究和应用。

本文将介绍基于图像处理的口腔疾病检测与分类技术的现状和发展趋势。

二、口腔疾病检测技术随着图像处理技术的发展，口腔疾病检测技术也得到了极大地发展。

传统的口腔疾病检测技术主要依赖医生的目测和经验，存在着诊断的主观性和不可靠性。

而基于图像处理的口腔疾病检测技术可以自动分析、提取和诊断口腔疾病的信息，特别是人工智能技术的发展，使得口腔疾病检测技术更加准确和方便。

目前，基于图像处理的口腔疾病检测技术主要分为两种：传统的基于规则的方法和基于深度学习的方法。

其中，基于规则的方法主要是将口腔疾病的特征进行手动提取和规则定义，再通过分类器进行分类。

而基于深度学习的方法则是通过卷积神经网络（CNN）对口腔疾病图像进行特征学习和分类。

三、口腔疾病分类技术基于图像处理的口腔疾病分类技术主要是将不同类型的口腔疾病进行分类，便于进行诊断和治疗。

传统的口腔疾病分类技术主要包括基于规则的方法和基于机器学习的方法。

而随着基于深度学习的口腔疾病分类技术的出现，口腔疾病分类技术的准确性和自动化程度得到了极大地提高。

目前，基于深度学习的口腔疾病分类技术主要包括卷积神经网络（CNN）、循环神经网络（RNN）、自编码器（AE）等方法。

这些方法在口腔疾病分类方面取得了良好的效果，且在不断得到优化和改进。

四、实验结果分析为了验证基于图像处理的口腔疾病检测与分类技术的有效性，本文设计了一组实验，将传统的基于规则的方法和基于深度学习的方法进行比较。

首先，在数据集的收集和预处理方面，我们使用了公开的口腔疾病数据集，并进行了数据增强和规范化处理，提高了数据集的可用性。

然后，在分类效果方面，我们将数据集分成训练集和测试集两个部分，并选择准确率和召回率两个指标进行评估。

基于嘴角约束的嘴部轮廓检测#冯晓毅;谭方;彭进业;吴俊【期刊名称】《新型工业化》【年(卷),期】2013(000)011【摘要】由于嘴部轮廓的多样性，传统的基于ASM的嘴部轮廓检测方法并不能够准确的获得期望的轮廓，本文提出了一种基于嘴角约束的嘴部轮廓检测算法，该方法首先使用MeanShift聚类对嘴部灰度图进行处理，得到两个嘴角的位置，之后在这两个点的约束下使用改变的ASM 算法来检测嘴部轮廓。

该方法对不同口型的轮廓都具有较好的检测结果，与传统的基于ASM的嘴部轮廓检测方法相比有更高的适用性和鲁棒性。

%Due to the diversity of the mouth contours in face, The traditional mouth contour detection method based on ASM is not effective,this paper proposes a mouth contour method, Firstly, we use MeanShift clustering to processed mouth grayscale image, and get the location of the mouth corners, then under the constraint of the mouth corners ,we using the traditional mouth contour detection method based on ASM to detect mouth contour. The method has high accuracy to different mouth. Compared with the traditional mouth contour detection method this method has more applicability and robustness.【总页数】6页(P70-75)【作者】冯晓毅;谭方;彭进业;吴俊【作者单位】西北工业大学电子信息学院，西安 710129;西北工业大学电子信息学院，西安 710129;西北工业大学电子信息学院，西安 710129;西北工业大学电子信息学院，西安 710129【正文语种】中文【中图分类】TP391.4【相关文献】1.基于Horn-Schunck光流法的多目标反刍奶牛嘴部自动监测 [J], 宋怀波;李通;姜波;吴倩;何东健2.基于嘴部特征对聋哑人情感识别方法 [J], 王降泽堃;3.基于改进Faster R-CNN的嘴部检测方法 [J], 魏文韬; 刘飞; 秦常程; 喻洪流; 倪伟4.基于嘴部几何形状和头部运动的疲劳监测系统 [J], 杨从健;吴婷;黎佳兴;王礼震;种甜颖;郭琴(指导);张弛(指导)5.基于多尺度卷积网络的司机嘴部异常检测 [J], 寿博;朱明因版权原因，仅展示原文概要，查看原文内容请购买。

基于2DPCA的人脸识别算法研究摘要人脸识别技术是对图像和视频中的人脸进行检测和定位的一门模式识别技术，包含位置、大小、个数和形态等人脸图像的所有信息。

由于近年来计算机技术的飞速发展，为人脸识别技术的广泛应用提供了可能，所以图像处理技术被广泛应用了各种领域。

该技术具有广阔的前景，如今已有大量的研究人员专注于人脸识别技术的开发。

本文的主要工作内容如下：1)介绍了人脸识别技术的基础知识，包括该技术的应用、背景、研究方向以及目前研究该技术的困难，并对人脸识别系统的运行过程以及运行平台作了简单的介绍。

2)预处理工作是在原始0RL人脸库上进行的。

在图像的预处理阶段，经过了图象的颜色处理，图像的几何归一化，图像的均衡化和图象的灰度归一化四个过程。

所有人脸图像通过上述处理后，就可以在一定程度上减小光照、背景等一些外在因素的不利影响。

3)介绍了目前主流的一些人脸检测算法，本文采用并详细叙述了Adaboost人脸检测算法。

Adaboost算法首先需要创建人脸图像的训练样本，再通过对样本的训练，得到的级联分类器就可以对人脸进行检测。

4)本文介绍了基于PCA算法的人脸特征点提取，并在PCA算法的基础上应用了改进型的2DPCA算法，对两者的性能进行了对比，得出后者的准确度和实时性均大于前者，最后将Adaboost人脸检测算法和2DPCA算法结合，不仅能大幅度降低识别时间，而且还相互补充，有效的提高了识别率。

关键词：人脸识别 2DPCA 特征提取人脸检测2DPCA Face Recognition Algorithm Basedon The ResearchAbstract：Face recognition is a technology to detect and locate human face in an image or video streams,Including location, size, shape, number and other information of human face in an image or video streams.Due to the rapid development of computer operation speed makes the image processing technology has been widely applied in many fields in recent years. This paper's work has the following several aspects:1)Explained the background, research scope and method of face recognition,and introduced the theoretical method of face recognition field in general.2)The pretreatments work is based on the original ORL face database. In the image preprocessing stage, there are the color of the image processing, image geometric normalization, image equalization and image gray scale normalization four parts. After united processing, the face image is standard, which can eliminate the adverse effects of some external factors.3)All kinds of face detection algorithm is introduced, and detailed describing the Adaboost algorithm for face detection. Through the Adaboost algorithm to create a training sample,then Training the samples of face image,and obtaining the cascade classifier to detect human face.4)This paper introduces the facial feature points extraction based on PCA ,and 2DPCA is used on the basis of the PCA as a improved algorithm.Performance is compared between the two, it is concluds that the real time and accuracy of the latter is greater than the former.Finally the Adaboost face detection algorithm and 2DPCA are combined, which not only can greatly reduce the recognition time, but also complement each other, effectively improve the recognition rate.Key words：Face recognition 2DPCA Feature extraction Face detection目录第1章前言 (1)1.1 人脸识别的应用和研究背景 (1)1.2 人脸识别技术的研究方向 (2)1.3 研究的现状与存在的困难 (3)1.4 本文大概安排 (4)第2章人脸识别系统及软件平台的配置 (4)2.1 人脸识别系统概况 (4)2.1.1 获取人脸图像信息 (5)2.1.2 检测定位 (5)2.1.3 图像的预处理 (5)2.1.4 特征提取 (6)2.1.5 图像的匹配与识别 (6)2.2 OpenCV (6)2.2.1 OpenCV简介 (6)2.2.2 OpenCV的系统配置 (7)2.3 Matlab与图像处理 (8)第3章图像的检测定位 (8)3.1 引言 (8)3.2 人脸检测的方法 (8)3.3 Adaboost算法 (9)3.3.1 Haar特征 (10)3.3.2 积分图 (10)3.3.4 级联分类器 (11)第4章图像的预处理 (13)4.1 引言 (13)4.2 人脸图像库 (13)4.3 人脸预处理算法 (14)4.3.1 颜色处理 (14)4.3.2几何归一化 (15)4.3.3直方图均衡化 (16)4.3.4灰度归一化 (18)4.4 本章小结 (19)第5章图像的特征提取与识别 (19)5.1 引言 (19)5.2 图像特征提取方法 (20)5.2.1基于几何特征的方法 (20)5.2.2基于统计的方法 (20)5.2.3弹性图匹配(elastic graph matching) (21)5.2.4神经网络方法 (21)5.2.5支持向量机(SVM)方法 (22)5.3 距离分类器的选择 (22)5.4 PCA算法的人脸识别 (24)5.5 二维主成分分析（2DPCA） (25)5.5.1 2DPCA人脸识别算法 (25)5.5.2 特征提取 (27)5.5.3 分类方法 (27)5.5.4 基于2DPCA的图像重构 (28)5.6 实验分析 (28)第6章总结与展望 (33)6.1 本文总结 (33)6.2 未来工作展望 (33)致谢 (34)参考文献： (35)第1章前言1.1 人脸识别的应用和研究背景随着社会科学技术的发展进步，特别是最近几年计算机的软硬件技术高速发展，以及人们越来越将视野集中到快速高效的智能身份识别，使生物识别技术在科学研究中取得了重大的进步和发展。

唇动信息的特征检测与提取技术研究唇动信息是指人类在说话或者发出声音的过程中，嘴唇的运动所携带的信息。

通过分析和提取唇动信息，可以实现语音识别、情感分析、虚拟角色表情生成等众多应用。

因此，研究唇动信息的特征检测与提取技术具有重要的理论和实际意义。

首先，唇动信息的特征检测与提取需要从视频或者图像中分析唇部区域。

传统的方法通常基于颜色、纹理或者形状等特征进行唇部区域的提取，但存在着光照变化、背景干扰等问题。

近年来，基于深度学习的方法得到了广泛应用。

通过使用卷积神经网络等深度学习结构，可以有效地提取唇部区域，从而为后续的唇动信息提取奠定基础。

其次，唇动信息的特征检测与提取在语音识别中具有重要作用。

通过分析唇部运动的频率、幅度等特征，可以辅助语音识别系统进行声音的识别和理解。

在嘈杂环境中，唇动信息可以提供额外的视觉线索，增强语音识别系统的鲁棒性和准确性。

此外，唇动信息还可以用于情感分析。

人类在表达情感时，面部表情和唇部运动紧密相关。

通过分析唇部运动的速度、频率、幅度等特征，可以识别出不同情感状态下的唇动模式。

这对于人机交互、情感识别等领域具有重要的应用价值。

最后，唇动信息的特征检测与提取技术还可以用于虚拟角色表情生成。

通过分析人类的唇部运动，可以生成与之相匹配的虚拟角色的唇部运动，从而增强虚拟角色的真实感和表达能力。

这对于游戏、动画制作等领域具有重要的意义。

综上所述，唇动信息的特征检测与提取技术在语音识别、情感分析、虚拟角色表情生成等领域具有广泛的应用前景。

通过深入研究和探索，我们可以进一步提高唇动信息的提取准确度和实时性，为相关应用领域的发展提供有力的支持。