【CN109766868A】一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法【专利】

摘要随着人工智能和计算机硬件的发展，行人检测技术被应用于自动驾驶、智能视频监控、智能机器人等领域。

其中基于卷积神经网络的目标检测算法YOLOv3具有检测实时性较好、检测准确度较高等优点，被广泛应用于行人检测领域。

但是依旧存在密集场景下行人互相遮挡导致YOLOv3难以准确检测出被遮挡的行人，以及行人被物体遮挡导致YOLOv3难以准确提取行人全身特征从而出现漏检的问题。

针对行人间互相遮挡导致YOLOv3难以准确检测出被遮挡的行人的问题，本文提出基于边框排斥损失函数以及改进非极大值抑制（Non-Maximum Suppression,NMS）的YOLOv3行人检测算法。

一、在训练过程中，YOLOv3使用边框定位损失函数计算行人先验预测框与标记框之间的定位误差，在回归过程中修正误差，使得YOLOv3能够准确定位行人。

但是当行人互相遮挡时，行人先验预测框与标记框互相重叠导致算法将两个互相遮挡的行人判定为单行人，影响边框定位损失函数，从而使得网络无法准确识别出互相遮挡的行人。

为此，本文加入一组损失函数代表目标行人与邻近行人之间的误差，在训练过程中减小邻近行人对目标行人的影响，使得网络能够准确识别出互相遮挡的行人。

二、在密集场景下的行人检测中，当行人互相遮挡时，置信度得分较低的行人先验预测框会被NMS判定为虚假行人预测框，从而造成漏检现象。

基于此，本文使用线性函数改进NMS中的置信度得分函数，使用权值来衰减邻近先验预测框的置信度得分，将置信度得分相对较高的行人预测框保留在NMS的循环列表中，从而减少漏检现象。

除去行人间互相遮挡，在行人检测中存在大量的行人被物体遮挡，导致YOLOv3难以提取行人全身特征从而造成行人被漏检。

基于此，本文在YOLOv3主干网络后加入一个预测网络分支用于检测在实际场景中难以被遮挡的头肩部位，利用头肩预测结果增强行人全身预测结果的鲁棒性，提高行人被物体遮挡下的检测准确度。

同时由于YOLOv3的多尺度检测能力不足加大了行人被物体遮挡场景下的检测困难度，因此本文通过加深YOLOv3的主干网络、增加特征输出网络的层级、增加锚框尺度的多样性的方法来强化网络对不同距离下被遮挡行人的检测能力，提高算法的多尺度检测能力。

《结合场景理解的遮挡人脸识别算法的研究》篇一一、引言随着科技的不断进步，人脸识别技术在公共安全、智能安防、身份验证等领域得到了广泛应用。

然而，在现实生活中，人脸常常因各种原因被遮挡，如口罩、围巾、墨镜等，这给传统的人脸识别技术带来了巨大的挑战。

因此，结合场景理解，研究遮挡人脸识别算法，对提升人脸识别技术的鲁棒性和实用性具有重大意义。

二、问题陈述与重要性传统的人脸识别技术通常基于正面无遮挡的图像进行训练和识别。

然而，在现实生活中，由于各种环境因素和用户行为习惯，人脸往往会被遮挡物所覆盖。

这种遮挡不仅影响了人脸识别的准确率，也限制了其在实际场景中的应用。

因此，研究结合场景理解的遮挡人脸识别算法，对于提高人脸识别技术的实用性和适应性具有重要意义。

三、算法研究现状及发展趋势目前，针对遮挡人脸识别的研究已经取得了一定的成果。

这些研究主要通过改进传统的卷积神经网络、深度学习等算法，来处理遮挡带来的图像特征提取困难问题。

同时，基于图像处理技术，研究人员开发出了各种遮罩和恢复技术来弥补遮挡造成的图像信息损失。

此外，还有基于3D信息的多模态识别方法，利用多个视角的信息来增强对遮挡的容忍度。

随着技术的不断进步，这些方法将越来越完善和高效。

四、本文研究的场景理解与算法设计（一）场景理解本文提出的算法基于场景理解的思想。

首先，通过分析不同的场景特征，如光照条件、背景复杂度、遮挡物的类型和位置等，来为后续的图像处理提供有效的指导信息。

其次，结合人脸检测和姿态估计技术，对图像中的人脸进行准确的定位和姿态分析。

（二）算法设计针对遮挡人脸识别问题，本文设计了一种基于深度学习的多阶段识别算法。

该算法首先通过卷积神经网络提取图像中的多尺度特征。

然后，结合场景理解的结果，利用注意力机制和特征融合技术来突出重要区域的特征信息。

在后续的分类阶段，采用基于相似度匹配的方法来提高识别的准确率。

此外，我们还设计了损失函数来平衡遮挡区域和非遮挡区域的特征学习过程。

《基于深度学习的口罩遮挡人脸识别系统的设计与开发》一、引言随着科技的飞速发展，深度学习在人工智能领域的应用日益广泛。

在公共安全、身份验证、疫情防控等多个领域，人脸识别技术发挥着重要作用。

然而，在疫情期间，人们佩戴口罩成为常态，这给传统的人脸识别系统带来了挑战。

因此，设计并开发一个基于深度学习的口罩遮挡人脸识别系统显得尤为重要。

本文将详细阐述该系统的设计与开发过程。

二、系统需求分析1. 功能需求：系统应能在用户佩戴口罩的情况下，准确识别出人脸，并进行身份验证或信息记录。

2. 性能需求：系统应具备高识别率、低误报率，以及良好的响应速度。

3. 用户界面需求：系统应具备友好的用户界面，方便用户操作。

三、系统设计1. 硬件设计：系统主要由摄像头、计算机等硬件组成。

摄像头负责捕捉人脸图像，计算机负责运行深度学习算法。

2. 软件设计：软件部分主要包括图像预处理、深度学习模型、人脸识别算法等模块。

图像预处理模块负责对捕捉到的人脸图像进行预处理，如去噪、增强等。

深度学习模型模块是系统的核心部分，负责实现人脸特征提取和识别。

四、深度学习模型的选择与优化1. 模型选择：本系统采用卷积神经网络（CNN）作为核心模型，其具有强大的特征提取能力，适用于人脸识别任务。

2. 数据集：为了训练模型，需要大量带标签的人脸图像数据集。

数据集应包含不同角度、光照、表情、遮挡（包括口罩遮挡）的人脸图像。

3. 模型优化：通过调整网络结构、增加训练轮次、使用正则化等技术手段，提高模型的泛化能力和识别率。

五、人脸识别算法的实现1. 人脸检测：利用预训练的人脸检测算法，从图像中检测出人脸区域。

2. 人脸特征提取：将检测到的人脸区域输入到深度学习模型中，提取出人脸特征。

3. 人脸匹配与识别：将提取的人脸特征与数据库中的特征进行比对，找出最相似的结果，实现人脸识别。

六、系统实现与测试1. 实现过程：根据系统设计和算法实现方案，进行编程和开发。

利用Python等编程语言和TensorFlow等深度学习框架，实现系统的各项功能。

人体关键点检测是一种基于目标检测算法并应用在人体关键点信息捕捉上的智能算法，具有能将空间中的人体信息通过摄像头转化为可量化处理的数据信息的功能。

传统目标检测方法对于人体关键点检测问题的研究由于应用场景繁多的干扰因素与不稳定性一直进度缓慢，如特征点匹配算法[1]、基于梯度特征的目标检测算法[2]、K均值聚类算法等[3]。

近年来深度学习的兴起对于人体关键点检测问题的解决提供了新的思路，但是复杂的网络模型往往意味着需要较高硬件水平的支持与较长的计算时间，多数深度学习网络模型需要耗费大量的人力物力与计算成本。

人体关键点的检测算法也从局限于单人关键点检测发展到多人情况下的人体关键点检测。

而多人情况下的人体关键点检测往往伴随着更复杂的网络结构，意味着更高的计算成本与更长的训练时间。

在这个移动终端普及化与倡导智能自动化的今天，一个良好的适用于人体关键点检测问题的网络模型应该具有较强鲁棒性、较低的计算成本、较好的识别精度、能容纳多名使用者等的特点。

区域卷积神经网络（Regions with Convolution Neu-ral Network，R-CNN）[4]系列网络模型是近年目标检测算法中的一直在发展的较为成熟的网络结构，通过构建数个甚至数十上百个卷积层-激活层-池化层的卷积结构来对图像进行特征提取，把目标检测问题拆分为回归与分类两个问题的集合，并使用大样本下有监督的预训⦾模式识别与人工智能⦾人体关键点检测的Mask R-CNN网络模型改进研究宋玲，夏智敏广西大学计算机与电子信息学院，南宁530004摘要：由于在现有的人体关键点检测问题中，深度学习解决方案采用的掩膜区域卷积神经网络Mask R-CNN存在参数量大导致计算成本过高、迭代次数多导致训练时间过长等问题，提出了一种基于重组通道网络ShuffleNet改进Mask R-CNN网络模型。

通过引入ShuffleNet的网络结构，使用分组逐点卷积与通道重排的操作与联合边框回归和掩膜分割的计算结果对Mask R-CNN进行轻量化改进。

《基于深度学习的口罩遮挡人脸识别系统的设计与开发》一、引言随着科技的飞速发展，深度学习在人工智能领域的应用日益广泛。

在疫情防控的背景下，口罩遮挡人脸识别系统成为了一个重要的研究方向。

本文将详细介绍基于深度学习的口罩遮挡人脸识别系统的设计与开发过程，包括系统架构、算法选择、模型训练和优化等关键环节。

二、系统需求分析本系统主要面向公共安全、医疗健康、智能安防等领域，要求在用户佩戴口罩的情况下，实现准确的人脸识别。

因此，系统需要具备以下功能：1. 能够在不同光照、角度和背景条件下进行人脸识别；2. 能够识别佩戴口罩的人脸特征，实现准确的人脸匹配；3. 具有较高的识别速度和较低的误识率。

三、系统架构设计本系统采用深度学习技术，以卷积神经网络（CNN）为基础，结合人脸检测、特征提取和人脸比对等技术，实现口罩遮挡下的人脸识别。

系统架构主要包括以下几个部分：1. 数据预处理模块：对输入的人脸图像进行预处理，包括灰度化、归一化等操作；2. 人脸检测模块：采用基于深度学习的人脸检测算法，实现对佩戴口罩的人脸的准确检测；3. 特征提取模块：利用卷积神经网络等深度学习算法，从检测到的人脸图像中提取出有效的人脸特征；4. 人脸比对模块：将提取的特征与人脸库中的特征进行比对，实现人脸识别。

四、算法选择与模型训练1. 人脸检测算法：本系统采用基于深度学习的目标检测算法，如MTCNN（Multi-task Cascaded Convolutional Networks）等，实现对佩戴口罩的人脸的准确检测。

2. 特征提取算法：采用卷积神经网络（CNN）进行特征提取。

通过训练大量的数据集，使模型能够从人脸图像中提取出有效的人脸特征。

3. 模型训练与优化：采用深度学习框架（如TensorFlow、PyTorch等），对模型进行训练和优化。

通过调整模型参数、学习率等超参数，提高模型的准确率和识别速度。

同时，采用数据增强技术，扩充训练数据集，提高模型的泛化能力。

基于机器视觉的人体关键点检测技术研究与应用人体关键点检测技术在计算机视觉领域起着重要的作用。

随着机器学习和深度学习的快速发展，越来越多的方法被提出来解决这一问题。

本文将对基于机器视觉的人体关键点检测技术进行研究与应用，探讨其原理、方法和应用领域。

一、人体关键点检测技术的原理人体关键点检测是指通过计算机视觉技术对人体姿势进行分析和理解，从而定位身体的关键点，例如头部、肩膀、手肘、手腕等，进一步探测身体的姿势和动作。

该技术在人体动作识别、人体姿态估计、人脸识别等领域有着广泛的应用。

基于机器视觉的人体关键点检测技术通常通过以下几个步骤来实现：1. 图像预处理：对输入的图像进行预处理，包括图像的缩放、裁剪、滤波等操作，以提高后续关键点检测算法的性能。

2. 特征提取：从预处理后的图像中提取特征，常用的特征包括边缘、纹理、颜色等信息，以便后续的人体关键点检测算法能够更好地理解图像。

3. 关键点检测：根据提取的特征，利用机器学习或深度学习算法来检测人体的关键点。

常用的方法包括基于模型的方法（如随机森林、支持向量机等）和基于深度学习的方法（如卷积神经网络、循环神经网络等）。

4. 姿态估计：通过关键点的位置信息，进一步估计人体的姿态和动作。

这一步骤通常结合机器学习算法，如隐马尔可夫模型、条件随机场等，来对关键点进行建模和推理，从而实现对人体姿态的估计。

二、人体关键点检测技术的方法1. 基于机器学习的方法：基于机器学习的人体关键点检测方法主要依赖于手工设计的特征和模型。

常见的方法包括AdaBoost、随机森林和支持向量机等。

这些方法通常需要人工提取特征，并使用训练样本来构建模型。

2. 基于深度学习的方法：基于深度学习的人体关键点检测方法利用深度神经网络模型来自动学习特征和模型。

常用的方法包括卷积神经网络（CNN）、循环神经网络（RNN）和注意力机制等。

这些方法通过大规模数据集的训练，可以自动学习更丰富的特征表示，并实现更准确的关键点检测。

专利名称：一种结合人体关键点热图特征的人像景别识别方法专利类型：发明专利
发明人：沈思成,孔彦,吴富章,武延军
申请号：CN202210137627.6
申请日：20220215
公开号：CN114529944A
公开日：
20220524
专利内容由知识产权出版社提供
摘要：本发明公开了一种结合人体关键点热图特征的人像景别识别方法。

本发明首先通过人体检测器检测出人体区域，然后基于深度学习的特征提取器和卷积姿态机分别提取人体的特征和人体骨骼关键点热图特征，将这两个特征进行通道融合得到融合特征；将融合特征分别送入两个分支网络，其中分类网络用于分类当前的景别类型；另一个分支回归网络则是对人体骨骼关键点的预测，在L2loss 损失函数的监督下，对景别分类网络起到正反馈的作用，有利于分类网络能够学习到与人体骨骼关键点相关的强特征。

这种输入输出双监督的机制，能够有效监督网络重点学习有利于判断景别的人体骨骼关键区域；本发明提供的方法能够较为稳定的识别景别，并且鲁棒性很好。

申请人：中国科学院软件研究所
地址：100190 北京市海淀区中关村南四街4号
国籍：CN
代理机构：北京君尚知识产权代理有限公司
代理人：司立彬
更多信息请下载全文后查看。

《基于深度学习的遮挡人脸检测研究》一、引言随着科技的发展，人脸识别技术在各个领域得到了广泛的应用。

然而，在现实生活中，人脸往往被各种物品如口罩、围巾、手等遮挡，这给人脸识别带来了很大的困难。

因此，遮挡人脸检测成为了近年来研究的热点问题。

本文旨在探讨基于深度学习的遮挡人脸检测研究，为解决这一问题提供新的思路和方法。

二、研究背景及意义近年来，深度学习在计算机视觉领域取得了显著的成果，其中包括人脸识别、目标检测、图像分类等任务。

然而，当人脸被部分或完全遮挡时，传统的人脸识别算法往往无法准确地进行识别。

因此，研究遮挡人脸检测具有重要的现实意义。

通过深度学习技术，可以提高人脸识别的准确性和鲁棒性，为安全监控、智能门禁、人脸支付等应用提供更好的技术支持。

三、相关技术研究综述目前，针对遮挡人脸检测的方法主要分为两大类：基于传统算法的方法和基于深度学习的方法。

传统算法主要依靠手工设计的特征进行检测，如HOG、SIFT等。

然而，这些方法在处理复杂场景和多种遮挡情况时效果不佳。

随着深度学习的发展，卷积神经网络（CNN）在人脸检测领域取得了显著的成果。

通过训练大量的数据，CNN可以自动学习到人脸的特征，从而实现对遮挡人脸的准确检测。

四、基于深度学习的遮挡人脸检测方法本文提出了一种基于深度学习的遮挡人脸检测方法。

该方法主要采用卷积神经网络进行训练和识别。

首先，我们构建了一个深度卷积神经网络模型，该模型可以自动学习到人脸的特征。

其次，我们利用大量的人脸数据集进行训练，包括正常的人脸、被遮挡的人脸等。

在训练过程中，我们采用了多种损失函数和优化算法，以提高模型的准确性和鲁棒性。

最后，我们利用训练好的模型对输入的图像进行检测，判断其中是否存在遮挡的人脸。

五、实验与分析为了验证本文提出的方法的有效性，我们进行了大量的实验。

首先，我们使用了公开的人脸数据集进行训练和测试。

其次，我们比较了不同模型在遮挡人脸检测任务上的性能。

实验结果表明，本文提出的基于深度学习的遮挡人脸检测方法具有较高的准确性和鲁棒性。

专利名称：融合人体关键点与可见部位注意力特征的行人检测方法
专利类型：发明专利
发明人：薛彦兵,董翔超,蔡靖,王志岗,温显斌
申请号：CN202111294660.1
申请日：20211103
公开号：CN114067359A
公开日：
20220218
专利内容由知识产权出版社提供
摘要：一种融合人体关键点与可见部位注意力特征的行人检测方法，通过引入人体关键点注意力机制和可见部位注意力机制来对严重遮挡的行人特征进行优化，在抑制遮挡物的特征信息的同时使更多的特征信息聚集在行人上，减少遮挡物对模型的干扰，使得模型能够较好地检测处于严重遮挡状态的行人目标，同时为了提升检测框的质量，本方法通过衰减低质量样本的置信度来提升检测的精准度。

基于本方法的行人检测在Citypersons数据集上的漏检率为40.59%，相比其他方法有更低的漏检率，对于严重遮挡的行人检测任务具有一定的实用价值。

申请人：天津理工大学
地址：300384 天津市西青区宾水西道391号
国籍：CN
代理机构：天津市君砚知识产权代理有限公司
代理人：程昊
更多信息请下载全文后查看。