【CN110047090A】基于演化特征学习的RGBD目标跟踪方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010373510.9(22)申请日 2020.05.06(66)本国优先权数据201911028303.3 2019.10.28 CN(71)申请人 北京大学地址 100871 北京市海淀区颐和园路5号(72)发明人 黄铁军　郑雅菁　余肇飞　田永鸿　(74)专利代理机构 北京辰权知识产权代理有限公司 11619代理人 付婧(51)Int.Cl.G06T 7/20(2017.01)G06N 3/04(2006.01)H04N 5/14(2006.01)(54)发明名称一种目标检测方法、目标跟踪方法、装置及可读存储介质(57)摘要本发明公开了一种目标检测方法、目标跟踪方法、装置及可读存储介质。

目标检测方法包括：生成被监测区域的第一脉冲阵列，将第一脉冲阵列送入输入层，输出层的每个神经元接受输入层的多个神经元的输入，当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列，利用第二脉冲阵列进行目标检测；目标跟踪方法包括确定在不同时刻的同一运动目标的步骤；目标检测装置包括脉冲阵列生成模块、脉冲阵列输入模块、脉冲阵列输出模块及目标信息检测模块；目标跟踪装置包括目标检测装置和目标跟踪模块；可读存储介质在被处理器执行时用于实现上述的方法或装置。

本发明能够实现对高速目标的检测与跟踪，实时性好且成本低。

权利要求书2页 说明书7页 附图2页CN 111709967 A 2020.09.25C N 111709967A1.一种目标检测方法，其特征在于，该检测方法包括：生成被监测区域的第一脉冲阵列；将所述第一脉冲阵列送入脉冲神经网络中的输入层，所述脉冲神经网络包括相连接的输入层和输出层，所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接；输出层的每个神经元接受输入层的多个神经元的输入，当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列；利用所述第二脉冲阵列进行目标检测。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201810080582.7(22)申请日 2018.01.28(71)申请人 北京工业大学地址 100124 北京市朝阳区平乐园100号(72)发明人 李嘉锋　张时雨　卓力　张辉　马春杰　(74)专利代理机构 北京思海天达知识产权代理有限公司 11203代理人 沈波(51)Int.Cl.G06T 7/246(2017.01)G06T 7/223(2017.01)G06T 7/262(2017.01)G06K 9/62(2006.01)(54)发明名称一种基于跟踪-学习-检测的视觉目标跟踪方法(57)摘要本发明公开了一种基于跟踪-学习-检测的视觉目标跟踪方法，属于计算机视觉领域。

首先，本发明从深度特征和核相关滤波的角度出发，建立了一种基于跟踪-学习-检测的视觉目标跟踪方法，可完成复杂场景下长时间目标跟踪的任务；其次，本发明针对卷积神经网络的特征图进行了研究和测试，并分析了不同卷积层的特征图对视觉目标跟踪的影响。

最后，本发明融入目标检测的思想，可以进行跟踪失败后对目标进行再检测，从而实现对单目标的长时间跟踪。

本方法将相关滤波跟踪方法与深度学习相结合，从而提高目标在复杂场景下目标跟踪的鲁棒性。

权利要求书4页 说明书7页 附图6页CN 108346159 A 2018.07.31C N 108346159A1.一种基于跟踪-学习-检测的视觉目标跟踪方法，其特征在于：本方法将相关滤波跟踪方法与深度学习相结合，从而提高目标在复杂场景下目标跟踪的鲁棒性，同时加入检测机制以应对目标消失在视场后再次出现在视场内的情况，从而实现长时间目标跟踪；整体流程：获取一帧图像后采用ImageNet预训练好的VGG-19卷积神经网络中的卷积层提取特征，然后通过相关滤波计算出响应图，进行多峰值检测，确定目标的所在位置；当平均峰值能量APCE与峰值均大于历史均值时，判定跟踪成功，然后更新模型，并在线训练检测器；当APCE与历史均值的差大于特定值时，判定跟踪失败，然后不更新模型，同时调用检测器对跟踪器进行初始化；学习部分：学习器利用深度学习中卷积神经网络的卷积层提取目标特征，其中卷积神经网络的卷积层采用ImageNet预训练好的VGG-19中的三个卷积层；跟踪部分：跟踪器包含四个相关滤波器，其中三个是用来检测目标的位置，另一个为尺度滤波器用来检测目标的的尺度变化；检测部分：检测器由三个级联分类器构成，分别为方差分类器，随机森林分类器和最近邻分类器；其中随机森林分类器和最近邻分类器需要在线训练所述的整体流程，具体步骤如下：步骤1在视频的第一帧手工标定或者从文档中读取目标的位置信息和尺度信息，并初始化检测器；位置信息和尺度信息以跟踪框的形式呈现；步骤2将跟踪框的1.5倍大小提取的图像块送入VGG-19卷积神经网络，运算完成后提取Conv5-4,Conv4-4和Conv3-4产生的特征图；步骤3利用三个深度特征初始化三个核相关滤波器；步骤4在下一帧图像，通过前一帧跟踪框的位置，步骤2进行特征提取，利用三个相关滤波器分别进行相关滤波，得到三个响应图，将三个响应图进行线性加权求和得到一张响应图，查找响应的最大值f max以及最大值的坐标作为新的目标位置；然后进行目标尺度估计，获取尺度响应最大值的作为新的目标尺度；计算APCE值，当此时的f max和APCE与历史均值的差都小于某一值时，判定跟踪成功，在新的跟踪框位置和大小按照步骤2提取特征，然后更新滤波器模型，并训练检测器；步骤5当此时的fmax和APCE与历史均值的差都大于某一值时，判定跟踪失败，不进行滤波器模型更新，用检测器重新初始化跟踪器，返回步骤4；步骤6重复步骤4、步骤5直至视频最后一帧。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201811210882.9(22)申请日 2018.10.17(71)申请人 龙马智芯（珠海横琴）科技有限公司地址 519031 广东省珠海市香洲横琴新区创意谷20栋417室(72)发明人 郑权　李睿　张峰　聂颖　(74)专利代理机构 广东朗乾律师事务所 44291代理人 闫有幸(51)Int.Cl.G06T 7/246(2017.01)G06T 7/90(2017.01)(54)发明名称一种目标跟踪方法(57)摘要本发明公开一种目标跟踪方法，主要是在跟踪步骤过程中进行遮挡发生检测，当目标被遮挡情形发生时则进入重新检测目标的步骤，否则继续跟踪；重新检测目标的步骤主要是抽取所述视频中遮挡发生后的帧图片，由抽取的帧图片通过超像素算法获得与目标图像块大小相同的比对图像块，通过图像特征匹配的方式，找到与目标图像块最匹配的比对图像块，将所述最匹配的比对图像块作为目标位置，并从最匹配的比对图像块的所在帧，沿视频的时间轴正方向和视频时间轴的负方向继续跟踪。

本发明通过引入遮挡发生检测步骤，避免了现有技术不断重新检测目标的盲目检测行为。

本发明重新检测目标的步骤相对于现有技术，可以降低需要重新检测的帧数，降低了计算量。

权利要求书2页 说明书5页 附图2页CN 109584269 A 2019.04.05C N 109584269A1.一种目标跟踪方法，包括：跟踪步骤：跟踪视频中所述目标出现的首帧图片并训练出一个跟踪器，由所述跟踪器得到下一帧图片的目标位置，继续跟踪并根据跟踪结果更新所述跟踪器；其特征在于，还包括：遮挡发生检测步骤：根据预设的遮挡发生检测条件判断所述跟踪步骤中当前跟踪结果是否有目标被遮挡情形的发生，是则进入重新检测目标的步骤，否则继续跟踪；重新检测目标的步骤：抽取所述视频中遮挡发生后的帧图片，由所述抽取的帧图片通过超像素算法获得与目标图像块大小相同的比对图像块，通过图像特征匹配的方式，找到与所述目标图像块最匹配的比对图像块，将所述最匹配的比对图像块作为目标位置，并从所述最匹配的比对图像块所在的帧继续跟踪。

专利名称：一种基于RGB-D图像的视觉语义关系检测方法专利类型：发明专利
发明人：甘明刚,刘晓舟,陈杰,窦丽华
申请号：CN202010126145.1
申请日：20200228
公开号：CN111368829A
公开日：
20200703
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于RGB‑D图像的视觉语义关系检测方法，首先提取图像的RGB特征向量的同时估计出图像的深度图并提取对应的深度特征向量，将RGB特征向量与深度特征向量相融合；将融合的特征向量输入视觉语义关系分类器，所述视觉语义关系分类器设计为同时处理RGB特征向量与深度特征向量并弱化深度特征向量部分，得到视觉语义关系检测结果。

能够提高复杂视觉场景中视觉语义关系的检测精度和泛化能力。

申请人：北京理工大学
地址：100081 北京市海淀区中关村南大街5号
国籍：CN
代理机构：北京理工大学专利中心
代理人：温子云
更多信息请下载全文后查看。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201911393936.4(22)申请日 2019.12.30(71)申请人 华中科技大学地址 430074 湖北省武汉市洪山区珞喻路1037号(72)发明人 秦淮　高常鑫　桑农　(74)专利代理机构 华中科技大学专利中心42201代理人 李智(51)Int.Cl.G06T 7/246(2017.01)G06K 9/46(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)G06K 9/62(2006.01)(54)发明名称一种基于目标检测的目标跟踪方法及系统(57)摘要本发明公开了一种基于目标检测的目标跟踪方法及系统，模式识别技术领域，包括：为待跟踪目标建立包括主干网络和推理网络的目标跟踪模型，主干网络为目标检测模型中已训练好的特征提取网络；在目标视频中的第一帧F 1上创建多个正样本，通过模型训练初始化推理网络；依次获取目标视频中的帧作为当前帧，利用目标跟踪模型获得当前帧中的多个候选区域及其检测得分和目标位置坐标；根据空间约束对检测得分进行修正，得到跟踪得分；若跟踪得分最高的目标区域的跟踪得分Score>Th S ，则跟踪成功，并创建正、负样本，加入到样本库中；若Th F ≤Score≤Th S ，则判定跟踪成功；若Score<Th F ，则判定踪失败，并利用样本库中推理网络进行在线更新。

本发明能够实现对目标的持续、准确的跟踪。

权利要求书2页 说明书8页 附图1页CN 111192294 A 2020.05.22C N 111192294A1.一种基于目标检测的目标跟踪方法，其特征在于，包括：为待跟踪目标建立目标跟踪模型，所述目标跟踪模型包括主干网络和推理网络；所述主干网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；所述推理网络，用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；所述主干网络为目标检测模型中用于提取特征的网络，且已训练好；获取待处理的目标视频中的第一帧F1，在其上通过数据增强的方式创建多个正样本，并利用所得到的正样本训练所述目标跟踪模型，以初始化所述推理网络；在所述推理网络初始化之后，依次获取所述目标视频中的帧作为当前帧，并按照如下步骤对各帧进行目标跟踪：(S1)利用所述目标跟踪模型获得所述待跟踪目标在当前帧中的多个候选区域，以及各候选区域的检测得分和目标位置坐标；(S2)根据空间约束对检测得分进行修正，以得到各候选区域的跟踪得分，并将跟踪得分最高的候选区域确定为目标区域；(S3)若目标区域的跟踪得分Score>Th S，则判定当前帧跟踪成功，并根据当前帧创建正、负样本，加入到样本库中；若Th F≤Score≤Th S，则判定当前帧跟踪成功；若Score<Th F，则判定当前帧跟踪失败，并利用所述样本库中的样本对所述目标跟踪模型进行重新训练，以对所述推理网络进行在线更新；其中，Th S为预设的成功阈值，Th F为预设的失败阈值；所述样本库用于在目标跟踪过程中存储正、负样本，初始时刻，其中样本数量为0；所述空间约束与待跟踪目标在当前帧及前一帧中的空间位置和尺度的变化相关。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201810379134.7(22)申请日 2018.04.25(71)申请人 杭州海康威视数字技术股份有限公司地址 310051 浙江省杭州市滨江区阡陌路555号(72)发明人 虞抒沁　谭文明　(74)专利代理机构 北京柏杉松知识产权代理事务所(普通合伙) 11413代理人 马敬　项京(51)Int.Cl.G06T 7/269(2017.01)G06K 9/00(2006.01)(54)发明名称一种目标检测跟踪方法、装置及计算机设备(57)摘要本发明实施例提供了一种目标检测跟踪方法、装置及计算机设备，其中，目标检测跟踪方法包括：从获取的视频中提取关键帧，关键帧为连续的多个视频帧中的第一个视频帧；利用预设目标检测方法，对关键帧进行目标检测，得到关键帧中目标所处检测框的位置信息；将当前帧与关键帧进行融合，并对融合后的图像进行光流分析，得到当前帧相对于关键帧的特征位移信息，当前帧为连续的多个视频帧中除关键帧以外的任一个视频帧；根据检测框在关键帧中的位置信息，以及特征位移信息，确定当前帧中预测框的位置信息；基于预测框的位置信息，对目标进行跟踪。

通过本方案，可以在降低计算量、保证目标检测跟踪的实时性前提下，提高目标检测跟踪的准确率。

权利要求书4页 说明书15页 附图5页CN 110400332 A 2019.11.01C N 110400332A1.一种目标检测跟踪方法，其特征在于，所述方法包括：从获取的视频中提取关键帧，其中，所述关键帧为连续的多个视频帧中的第一个视频帧；利用预设目标检测方法，对所述关键帧进行目标检测，得到所述关键帧中目标所处检测框的位置信息；将当前帧与所述关键帧进行融合，并对融合后的图像进行光流分析，得到所述当前帧相对于所述关键帧的特征位移信息，其中，所述当前帧为所述连续的多个视频帧中除所述关键帧以外的任一个视频帧；根据所述检测框在所述关键帧中的位置信息，以及所述特征位移信息，确定所述当前帧中预测框的位置信息；基于所述预测框的位置信息，对所述目标进行跟踪。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201710287617.X(22)申请日 2017.04.27(71)申请人 中国科学院长春光学精密机械与物理研究所地址 130033 吉林省长春市经济技术开发区东南湖大路3888号(72)发明人 朱明　曾冬冬　周同雪　(74)专利代理机构 北京集佳知识产权代理有限公司 11227代理人 罗满(51)Int.Cl.G06K 9/00(2006.01)(54)发明名称一种目标跟踪方法及系统(57)摘要本申请公开了一种目标跟踪方法及系统，该方法包括：对目标对象展开第一阶段跟踪，得到N 帧跟踪图像；提取并保存N帧跟踪图像中每一帧跟踪图像的特征图以及相应的特征图系数，得到相应的特征池；利用特征池，对目标对象展开第二阶段跟踪；其中，在第二阶段跟踪中的任一次跟踪过程均包括：计算本次跟踪过程的帧跟踪图像所对应的频域特征图与特征池中每个特征图之间的响应度，得到相应的N个响应图，然后将N 个响应图中具有最大响应值的位置确定为当前目标对象的最新跟踪位置。

本申请实现了对目标对象的跟踪位置的优化，从而进一步提高了目标跟踪精度。

权利要求书2页 说明书6页 附图1页CN 107122741 A 2017.09.01C N 107122741A1.一种目标跟踪方法，其特征在于，包括：对目标对象展开第一阶段跟踪，得到N帧跟踪图像；其中，N为不小于2的正整数；提取并保存所述N帧跟踪图像中每一帧跟踪图像的特征图以及相应的特征图系数，得到相应的特征池；利用所述特征池，对所述目标对象展开第二阶段跟踪；其中，在所述第二阶段跟踪中的任一次跟踪过程均包括：计算本次跟踪过程的帧跟踪图像所对应的频域特征图与所述特征池中每个特征图之间的响应度，得到相应的N个响应图，然后将所述N个响应图中具有最大响应值的位置确定为当前所述目标对象的最新跟踪位置。

专利名称：基于RGBD相机的目标物体识别与定位方法及移动机器人
专利类型：发明专利
发明人：郝奇,陈智君,伍永健,曹雏清,高云峰
申请号：CN201911410057.8
申请日：20191231
公开号：CN111160280A
公开日：
20200515
专利内容由知识产权出版社提供
摘要：本发明适用于物体识别技术领域，提供了一种基于RGBD相机的目标物体识别与定位方法及移动机器人，该方法包括：S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；S2、在RGB图像查找与模板图像差异度最低的目标区域；S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；S4、计算目标物体点云的重心坐标p及目标物体的形心坐标p；S5、计算重心坐标p与形心坐标p的差值，若该差值小于预设阈值，则判定目标物体成功识别，返回形心坐标p。

基于RGBD相机即可实现对目标物体的识别和精确定位，以进行对目标物体的下一步抓取操作。

申请人：芜湖哈特机器人产业技术研究院有限公司
地址：241000 安徽省芜湖市鸠江区电子产业园E座1层
国籍：CN
代理机构：芜湖安汇知识产权代理有限公司
代理人：钟雪
更多信息请下载全文后查看。

专利名称：一种基于RGB-D信息的人体目标识别与跟随方法专利类型：发明专利
发明人：董辉,王亚男,童辉,康磊,何佳燊,陈志璇,张文安,俞立申请号：CN201810067530.6
申请日：20180124
公开号：CN108469729A
公开日：
20180831
专利内容由知识产权出版社提供
摘要：一种基于RGB‑D信息的人体目标识别与跟随方法，包括如下步骤:第一步，识别目标并得到图像坐标系下目标的位置信息；第二步，得到相机坐标下目标位置信息。

在相机坐标系下，获得移动机器人的跟踪距离d和跟踪偏角θ；第三步，建立模型。

根据移动机器人与目标的运动关系，建立移动机器人跟随模型和系统量测模型。

第四步，采用假设检验的方式引入自适应因子λ，设计自适应KF滤波器。

首先，状态初始化，获取移动机器人的初始跟踪状态；其次，进行时间更新；然后，对量测信息进行更新。

最后，由自适应因子计算得到新的新息协方差，更新移动机器人状态信息。

本发明有效的减小了系统的量测噪声对跟踪系统的影响，稳定性好，能够控制机器人更好的跟随目标。

申请人：浙江工业大学
地址：310014 浙江省杭州市下城区朝晖六区潮王路18号
国籍：CN
代理机构：杭州斯可睿专利事务所有限公司
代理人：王利强
更多信息请下载全文后查看。

专利名称：目标跟踪方法及装置专利类型：发明专利
发明人：黄元捷
申请号：CN201810049002.8申请日：20180118
公开号：CN110059521A
公开日：
20190726
专利内容由知识产权出版社提供
摘要：本发明提供一种目标跟踪方法及装置，应用于存储有各目标对象对应的特征模型的服务器。

所述方法包括：对当前视频帧图像进行目标检测，并根据检测得到的各待检测对象的位置信息提取出对应的CNN特征；根据各待检测对象的位置信息及CNN特征，与上一视频帧图像中各目标对象的位置信息及特征模型，计算得到对应的相似度矩阵；基于相似度矩阵将各待检测对象与各目标对象进行数据关联，得到最优匹配结果；若最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据待检测对象的CNN特征对对应特征模型进行更新，并基于所述待检测对象得到对应的跟踪结果。

所述方法抗干扰能力强，跟踪成功率高，可持续对目标对象进行跟踪。

申请人：浙江宇视科技有限公司
地址：310000 浙江省杭州市滨江区西兴街道江陵路88号10幢南座1-11层、2幢A区1-3楼、2幢B 区2楼
国籍：CN
代理机构：北京超凡志成知识产权代理事务所(普通合伙)
代理人：逯恒
更多信息请下载全文后查看。

专利名称：一种基于RGB-D的SLAM算法的改进方法专利类型：发明专利
发明人：张亮,沈沛意,朱光明,宋娟,刘强强
申请号：CN201510246229.8
申请日：20150514
公开号：CN104851094A
公开日：
20150819
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于RGB-D的SLAM算法的改进方法，分为前端和后端两部分，前端的任务分为特征检测与描述符提取、特征匹配、运动变换估计和运动变换优化；后端的任务利用前端得到的6D运动变换关系初始化位姿图进行闭环检测添加闭环约束条件，利用非线性误差函数优化方法进行位姿图优化，得到全局最优相机位姿和相机运动轨迹，并进行三维环境重建。

本发明使用ORB方法进行特征检测与描述符提取，并对深度信息不合法的特征点进行过滤；使用基于FLANN的KNN方法进行双向特征匹配，使用单应性矩阵变换对匹配结果进行优化；使用改进RANSAC的运动变换估计方法得到更精确的inliers匹配点对；使用基于GICP的运动变换优化方法提高点云配准的速度和精度。

申请人：西安电子科技大学
地址：710000 陕西省西安市雁塔区太白南路2号
国籍：CN
代理机构：北京科亿知识产权代理事务所(普通合伙)
代理人：汤东凤
更多信息请下载全文后查看。