【CN109978914A】人脸追踪方法及装置【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910393403.X(22)申请日 2019.05.13(71)申请人 睿视智觉（厦门）科技有限公司地址 361000 福建省厦门市中国（福建）自由贸易试验区厦门片区象屿路97号厦门国际航运中心D栋8层03单元G(72)发明人 刘晨曦　洪少华　李超　阮铃通　吴琦　(51)Int.Cl.G06K 9/00(2006.01)G06T 7/00(2017.01)G06N 3/04(2006.01)

(54)发明名称一种人脸图像过滤方法及装置(57)摘要本申请提供一种人脸图像过滤方法及装置。其中，方法包括：将待检测图像输入至预先训练完成的图像预测模型，通过所述图像预测模型确定所述待检测图像的属性；根据确定的所述图像的属性判断所述图像是否满足预设的阈值条件，如果是，将所述待检测图像确定为满足人脸场景内应用的图像；其中，所述待检测图像的属性包括：人脸图像拍摄角度、人脸图像的尺寸、图像模糊度、光照强度和是否被遮挡中的任意一种或多种。如此，可以提高人脸图像过滤的准确率和效

率。

权利要求书2页 说明书5页 附图1页CN 110188627 A2019.08.30

CN 110188627

A1.一种人脸图像过滤的方法，其特征在于，包括：将待检测图像输入至预先训练完成的图像预测模型，通过所述图像预测模型确定所述待检测图像的属性；根据确定的所述图像的属性判断所述图像是否满足预设的阈值条件，如果是，将所述待检测图像确定为满足人脸场景内应用的图像；其中，所述待检测图像的属性包括：人脸图像拍摄角度、人脸图像的尺寸、图像模糊度、光照强度和是否被遮挡中的任意一种或多种。2.根据权利要求1所述的方法，其特征在于，所述预先训练完成的检测模型为卷积神经网络模型；在所述将待检测人脸图像输入至预先训练完成的检测模型之前，所述方法还包括：获取训练样本集，将所述训练样本集中的各图像样本的属性进行标注；所述属性包括：人脸图像拍摄角度、人脸图像的尺寸、图像模糊度、光照强度和是否被遮挡中的任意一种或多种。基于标注完成的训练样本，进行卷积神经网络模型的训练，确定所述卷积神经网络模型包含的各卷积层和各批归一化batch normalization层的参数，得到训练完成的卷积神经网络模型。3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络模型，包括：14个空洞卷积层、13个深度卷积层、13个批归一化层、5个最大池化层、1个平均池化层和1个sigmoid层。4.根据权利要求2所述的方法，其特征在于，所述通过所述图像预测模型确定所述待检测图像的属性，包括：根据所述卷积神经网络模型计算输出所述图像的属性的置信度。5.根据权利要求4所述的方法，其特征在于，所述根据预测的所述图像的属性判断所述图像是否满足预设的阈值条件，包括：将输出的所述图像的属性的置信度与预设的置信度阈值进行比较，当所述图像的属性的置信度大于预设的置信度阈值时，确定所述图像满足预设的阈值条件。6.一种人脸图像过滤装置，其特征在于，包括：确定模块，用于将待检测图像输入至预先训练完成的图像预测模型，通过所述图像预测模型确定所述待检测图像的属性；判断模块，用于根据确定的所述图像的属性判断所述图像是否满足预设的阈值条件，如果是，将所述待检测图像确定为满足人脸场景内应用的图像；其中，所述待检测图像的属性包括：人脸图像拍摄角度、人脸图像的尺寸、图像模糊度、光照强度和是否被遮挡中的任意一种或多种。7.根据权利要求6所述的装置，其特征在于，所述预先训练完成的检测模型为卷积神经网络模型；所述装置还包括：样本标注模块，用于获取训练样本集，将所述训练样本集中的各图像样本的属性进行标注；所述属性包括：人脸图像拍摄角度、人脸图像的尺寸、图像模糊度、光照强度和是否被遮挡中的任意一种或多种；模型训练模块，用于基于标注完成的训练样本，进行卷积神经网络模型的训练，确定所述卷积神经网络模型包含的各卷积层和各批归一化batchnormalization层的参数，

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910117372.5(22)申请日 2019.02.15(71)申请人 东北大学地址 110819 辽宁省沈阳市和平区文化路三巷11号(72)发明人 孟琭　李诚新　(74)专利代理机构 大连东方专利代理有限责任公司 21212代理人 姜玉蓉　李洪福(51)Int.Cl.G06K 9/00(2006.01)G06K 9/46(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)

(54)发明名称一种基于双模型自适应核相关滤波追踪方法(57)摘要本发明提供一种基于双模型自适应核相关滤波追踪方法，包括：初始化预估计目标的位置，计算高斯标签，建立主特征模型和辅助特征模型；提取HOG特征作为主特征模型的特征，提取深度卷积特征作为辅助特征模型的特征，设置初始化参数；利用主特征模型计算预估计目标的响应层，将所述响应层经过牛顿迭代法得到预估计目标的最优位置和最优尺度；若最优尺度对应的响应层的最大置信响应值max大于经验阈值u，则确定预估计目标位置，更新主特征模型；若max小于等于经验阈值u，则停止对主特征模型更新，扩大搜索区域，提取目标预选区域的CNN特征，并且用PCA技术对深度CNN特征降维，使用降维的CNN特征，预估新的目标位置，并更新辅助特征模型；直

到视频序列结束。

权利要求书2页 说明书5页 附图10页CN 109858454 A2019.06.07

CN 109858454

A1.一种基于双模型自适应核相关滤波追踪方法，包括以下步骤：步骤S1：初始化预估计目标的位置，计算高斯标签，建立主特征模型和辅助特征模型；步骤S2：在初始化帧，提取预估计目标的HOG特征作为主特征模型的特征，提取预估计目标的深度卷积特征作为辅助特征模型的特征，设置主特征模型初始化参数，设置辅助特征模型的初始化参数；步骤S3：利用所述主特征模型计算预估计目标的响应层，将所述响应层经过牛顿迭代法得到预估计目标的最优位置和最优尺度；其中，所述最优尺度对应的响应层的最大置信响应值为max；所述最优尺度即为预估计目标的预估尺度；步骤S4：若所述最大置信响应值max大于经验阈值u，则可以确定预估计目标位置，更新所述主特征模型；若所述最大置信响应值max小于等于经验阈值u，则停止对主特征模型更新，扩大搜索区域，提取目标预选区域的CNN特征，并且用PCA技术对深度CNN特征降维，使用降维的CNN特征，预估新的目标位置，并更新辅助特征模型；步骤S5：重复上述步骤S3、步骤S4，直到视频序列结束。2.根据权利要求1所述的基于双模型自适应核相关滤波追踪方法，所述步骤S1中计算高斯标签的过程是使用高斯分布的软标签，负样本通过目标位置的循环位移获得，根据生成的循环样本距离正样本位置远近，生成高斯分布的标签，即高斯分布的峰值位置对应着原始目标块。3.根据权利要求1所述的基于双模型自适应核相关滤波追踪方法，其特征在于，所述步骤S2中主特征模型初始化参数包括第一核函数、第一学习速率、第一正则化系数、尺度因子以及原始核带宽；所述辅助特征模型初始化参数包括第二核函数、第二学习速率以及第二正则化系数。4.根据权利要求1所述的基于双模型自适应核相关滤波追踪方法，其特征在于，所述步骤S3具体包括：步骤S31：所述主特征模型对预估计目标进行裁剪后，将裁剪后的预估计目标送入第一滤波器中，采用5个不同尺度的模板对预估计目标送进行缩放处理，通过第一滤波器计算5个不同尺度的置信响应，比较5个不同尺度下预估计目标的响应值，将响应值最大的模板对应的尺度作为所述预估计目标的预估尺度；步骤S32：通过牛顿迭代法对步骤S31中主特征模型得出的5个不同尺度的置信响应，行50次迭代，求解响应值最优解，确定预估计目标位置。5.根据权利要求1所述的基于双模型自适应核相关滤波追踪方法，其特征在于，所述主特征模型通过求解脊回归的高维空间系数来求解最大置信响应值max，第一滤波器的核空间采用高斯核函数训练基于HOG主特征模型；所述辅助特征模型通过求解线性空间的系数来求解最大置信响应值，第二滤波器的核空间采用线性核函数训练基于CNN辅助特征模型。6.根据权利要求1所述的基于双模型自适应核相关滤波追踪方法，其特征在于，所述步骤S4中更新辅助特征模型的具体过程如下：步骤S41：将预估计目标的深度卷积特征的原始图像尺寸M×N，特征通道数512维，转换成尺寸为S×512单通道图像，且S＝M×N；其中S表示转换成的单通道图像的宽度，M，N分别表示原始图像的的宽度和高度；再对高维原始特征降维进行特征归一化处理，量化后的特征z分布在[-1,

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910146533.3(22)申请日 2019.02.27(71)申请人 浙江工业大学地址 310014 浙江省杭州市下城区潮王路18号(72)发明人 陈晋音　林翔　杨东勇　俞山青　宣琦　(74)专利代理机构 杭州天勤知识产权代理有限公司 33224代理人 曹兆霞(51)Int.Cl.G06K 9/62(2006.01)G06K 9/46(2006.01)G06K 9/00(2006.01) (54)发明名称一种基于K-means和MMD的人脸图像深度聚类方法(57)摘要本发明公开了一种基于K-means和MMD的人脸图像深度聚类方法，包括：1)设计自动编码器结构并训练，使用自动编码器提取人脸图像的隐层信息；2)使用K-means聚类方法对隐层信息进行聚类，确定K个聚类中心点，并计算每个样本点被划分至K个类簇的概率p和每个类簇中该样本点应该被该类簇吸引的概率q；3)计算p分布和q分布的MMD距离，并将MMD加入自动编码器的loss函数中去，对自动编码器进行训练；4)训练完成后，使用该自动编码器提取测试集的深层次信息，再使用K-means对深层次信息进行聚类，输出聚类结果。该人脸图像深度聚类方法能够提高聚

类算法对图像数据集的聚类准确率。

权利要求书2页 说明书5页 附图2页CN 109948662 A2019.06.28

CN 109948662

A1.一种基于K-means和MMD的人脸图像深度聚类方法，包括以下步骤：(1)采用预训练的自动编码器提取人脸图像的特征信息；(2)采用K-means聚类方法对特征信息进行聚类，并计算每张人脸图像对应的特征信息被划分至K个类簇的概率p和每个类簇中该特征信息应该被该类簇吸引的概率q；(3)将概率p和概率q之间的MMD距离作为自动编码器中编码器部分的损失函数，并构建自动编码器的损失函数，对自动编码器进行训练，采用反向梯度传播算法优化自动编码器的模型参数；(4)当loss函数趋于稳定时，将人脸图像再次输入步骤(3)训练得到的自动编码器中，并对自动编码器输出的特征信息再进行K-means聚类，重复步骤(2)和步骤(3)，直至满足终止条件时，停止循环，得到训练好的自动编码器；(5)使用训练好的自动编码器提取待处理的人脸图像的特征信息，再使用K-means聚类方法对特征信息进行聚类，输出聚类结果。2.如权利要求1所述的基于K-means和MMD的人脸图像深度聚类方法，其特征在于，自动编码器包括编码器和解码器，其中，编码器包括依次连接的第一卷积层、池化层、第二卷积层、第三卷积层、第一全连接层以及第二全连接层；解码器的结构与编码器对称，依次包括第一全连接层、第二全连接层，第三反卷积层、第二反卷积层、反池化层以及第一反卷积层；预训练自动编码器时，损失函数L为：

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日

(21)申请号 201910157377.0

(22)申请日 2019.03.01

(71)申请人 北京视甄智能科技有限公司地址 100039 北京市海淀区永定路乙1号院14号楼1层106号

(72)发明人 安玉山　

(74)专利代理机构 北京知呱呱知识产权代理有限公司 11577代理人 丁彦峰　贺亚明

(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)

(54)发明名称一种基于关键点区域特征融合的人脸识别方法及装置(57)摘要本发明实施例公开了一种基于关键点区域特征融合的人脸识别方法及装置，所述方法包括：对训练集或测试集进行数据预处理；构建卷积神经网络模型；使用预处理后的训练集对所述卷积神经网络模型进行训练，提取出人脸关键点区域特征并进行融合；使用预处理后的测试集对所述卷积神经网络模型进行测试。利用卷积神经网络对提取的人脸关键点区域的特征进行融合，克服了传统人脸识别方法对光照差异、面部表情、有无遮挡等多种不确定干扰的敏感性的缺点，综合考虑人脸的全局特征和不变性特征，识别模型更具有鲁棒性和准确性，加强了不同特征之间的联系，使得提取的特征更加完善和完整，能够更加准确地描述人脸信息，提高了分类器的

分类能力。

权利要求书2页 说明书5页 附图1页CN 109858467 A2019.06.07

CN 109858467

A1.一种基于关键点区域特征融合的人脸识别方法，其特征在于，所述方法包括：

对训练集或测试集进行数据预处理；

构建卷积神经网络模型；

使用预处理后的训练集对所述卷积神经网络模型进行训练，提取出人脸关键点区域特

征并进行融合；

使用预处理后的测试集对所述卷积神经网络模型进行测试。

2.根据权利要求1所述的一种基于关键点区域特征融合的人脸识别方法，其特征在于，

所述对训练集或测试集进行数据预处理包括：