【CN109800689A】一种基于时空特征融合学习的目标跟踪方法【专利】
- 格式：pdf
- 大小：497.93 KB
- 文档页数：9
下载文档原格式
合集下载
一种目标检测方法、目标跟踪方法、装置及可读存储介质[发明专利]
![一种目标检测方法、目标跟踪方法、装置及可读存储介质[发明专利]](https://img.taocdn.com/s1/m/7ccc84653d1ec5da50e2524de518964bcf84d2ab.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010373510.9(22)申请日 2020.05.06(66)本国优先权数据201911028303.3 2019.10.28 CN(71)申请人 北京大学地址 100871 北京市海淀区颐和园路5号(72)发明人 黄铁军 郑雅菁 余肇飞 田永鸿 (74)专利代理机构 北京辰权知识产权代理有限公司 11619代理人 付婧(51)Int.Cl.G06T 7/20(2017.01)G06N 3/04(2006.01)H04N 5/14(2006.01)(54)发明名称一种目标检测方法、目标跟踪方法、装置及可读存储介质(57)摘要本发明公开了一种目标检测方法、目标跟踪方法、装置及可读存储介质。
目标检测方法包括：生成被监测区域的第一脉冲阵列，将第一脉冲阵列送入输入层，输出层的每个神经元接受输入层的多个神经元的输入，当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列，利用第二脉冲阵列进行目标检测；目标跟踪方法包括确定在不同时刻的同一运动目标的步骤；目标检测装置包括脉冲阵列生成模块、脉冲阵列输入模块、脉冲阵列输出模块及目标信息检测模块；目标跟踪装置包括目标检测装置和目标跟踪模块；可读存储介质在被处理器执行时用于实现上述的方法或装置。
本发明能够实现对高速目标的检测与跟踪，实时性好且成本低。
权利要求书2页 说明书7页 附图2页CN 111709967 A 2020.09.25C N 111709967A1.一种目标检测方法，其特征在于，该检测方法包括：生成被监测区域的第一脉冲阵列；将所述第一脉冲阵列送入脉冲神经网络中的输入层，所述脉冲神经网络包括相连接的输入层和输出层，所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接；输出层的每个神经元接受输入层的多个神经元的输入，当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列；利用所述第二脉冲阵列进行目标检测。
【CN109919981A】一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910179594.X(22)申请日 2019.03.11(71)申请人 南京邮电大学地址 210003 江苏省南京市新模范马路66号(72)发明人 韩光 高燕 杜花 (74)专利代理机构 南京正联知识产权代理有限公司 32243代理人 王素琴(51)Int.Cl.G06T 7/277(2017.01)G06T 7/246(2017.01)G06T 7/73(2017.01)G06K 9/00(2006.01)G06K 9/46(2006.01)(54)发明名称一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法(57)摘要一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，首先读取视频帧中的任意两帧图像，将预处理过的图像输入到多目标检测器中，得到视频中各帧的检测结果。
引入了目标遮挡机制，该判断机制根据目标中心点的坐标和目标的大小来判断，若被遮挡部分较小或无遮挡时，检测器将检测框的质心坐标和预处理视频帧输入到预训练的卷积神经网络中，提取目标的浅层和深层的语义信息，并级联起来构成特征矩阵，再将两帧的特征矩阵进行相似性估计，得到最优轨迹。
如果检测到的目标遮挡情况严重，则将检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，用估计的坐标信息和实际检测结果相比对，得出最佳的轨迹。
权利要求书3页 说明书6页 附图1页CN 109919981 A 2019.06.21C N 109919981A权 利 要 求 书1/3页CN 109919981 A1.一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：所述方法包括以下步骤：步骤1，将长视频序列中，最大间隔为δb的任意两帧图像进行预处理；步骤2，将预处理后的图像输入到Faster R-CNN多目标检测器中；步骤3，首先判断Faster R-CNN多目标检测器输出的检测结果的遮挡情况，如果遮挡不严重，将预处理后的两帧图像和检测器所输出的检测框的质心坐标输入到预训练好的卷积神经网络中；如果遮挡严重，将检测器所输出的检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，得到估计的坐标信息即质心坐标预测值；所述卷积神经网络是以ResNet为基础网络，ResNet层之后，通过使用更深层次的卷积层，将超过56×56的feature map的空间维度进行缩减；后使用扩展网络逐渐将feature map缩减到3×3的尺寸，再将提取的feature map进行级联，得到表观特征矩阵；步骤4，如步骤3所述，在目标遮挡不严重或未发生遮挡的情况下，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计，得到表观特征相似度矩阵；在遮挡严重的情况下，利用获取的运动目标的质心坐标检测值和步骤3获取的质心坐标预测值进行指派，得到运动相似度矩阵；步骤5，利用匈牙利算法，分别将表观相似度矩阵和运动相似度矩阵作为代价矩阵进行数据关联；步骤6，根据目标遮挡机制，分别利用数据关联矩阵进行轨迹段匹配；步骤7，利用当前帧完成匹配的检测框更新卡尔曼滤波器，并将当前帧的表观特征矩阵加入到表观特征矩阵集合中，更新表观特征矩阵集合；将未与轨迹段相匹配的检测框初始化一条新的轨迹，设为暂时轨迹段；若连续10帧都能检测到，则将此轨迹段设置为永久轨迹段；将未与检测框相匹配的轨迹段设为暂时状态，继续进行预测，并与下一帧检测结果进行数据关联，并将此轨迹段保留δw帧，若该目标连续δw帧未被关联，则将该未被关联的预测结果对应的目标的轨迹删除。
【CN109800736A】一种基于遥感影像和深度学习的道路提取方法【专利】
权利要求书3页 说明书9页 附图8页
CN 109800736 A
CN 109800736 A
权 利 要 求 书
1/3 页
1 .一种基于遥感影像和深度学习的道路提取方法，其特征在于包括以下步骤： 1)在遥感影像中，确定遥感影像的分辨率并截取，对截取遥感影像进行数据标注； 2) 使 用Canny边缘检测算法对截取的 遥感影像进行预处理 ，通过对图 像边缘进行提取 ， 并将提取得到的图像与原图像叠加，突出道路特征，用以加速学习； 3) 搭建一个图 像分类模型 ，通过在对基础的网络进行分类任务的 训练中 ，在网络的 参 数存留下低级的图 像特征信息 ，将上述图 像特征信息在特征提取模型构建的 流程中 ，传递 给下一级的语义分割模型； 4)搭建一个语义分割模型，用于在遥感影像中分割出道路信息；在经过训练后，提取道 路信息的网络参数将留存在分割模型中。 2 .根据权利要求1所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤 1)中对截取遥感影像进行数据标注为： 101) 观察并 测量遥感影像所覆盖的地理范围 ，结合要提取的 道路实际 情况 ，截取图 像 分类和语义分割任务的原始数据是尺寸为256*256，即0 .23像素每米分辨尺度的RGB遥感的 影像； 102)定义道路为三级以上的公路，即双车道，8 .5米宽以上的公路； 103)像素级的图像标注，在图像上标注道路像素的问题转化为对矩阵元素的二分类问 题； 设图像矩阵M为:
19中华人民共和国国家知识产权局12发明专利申请10申请公布号43申请公布日21申请号201910104050722申请日2019020171申请人东北大学地址110169辽宁省沈阳市浑南区创新路195号72发明人于瑞云乔通汪宇庭74专利代理机构沈阳优普达知识产权代理事务所特殊普通合伙21234代理人李晓光51intclg06k900200601g06k946200601g06k962200601g06n30420060154发明名称一种基于遥感影像和深度学习的道路提取方法57摘要本发明涉及一种基于遥感影像和深度学习的道路提取方法步骤为
一种目标跟踪方法、装置及电子设备[发明专利]
![一种目标跟踪方法、装置及电子设备[发明专利]](https://img.taocdn.com/s1/m/69ed2eebd05abe23482fb4daa58da0116c171ff0.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010315629.0(22)申请日 2020.04.21(71)申请人 北京爱笔科技有限公司地址 100094 北京市海淀区北清路81号二区1号楼12层1202室、13层整层(72)发明人 戴鹏 翁仁亮 崔元建 (74)专利代理机构 北京集佳知识产权代理有限公司 11227代理人 尹秀(51)Int.Cl.G06T 7/246(2017.01)(54)发明名称一种目标跟踪方法、装置及电子设备(57)摘要本发明提供了一种目标跟踪方法、装置及电子设备，在得到由多个轨迹片段依据预设轨迹组合规则组合得到的初始运动轨迹以及初始运动轨迹的轨迹特征之后，通过轨迹分析模型可以得到初始运动轨迹是否是同一运动目标的运动轨迹的分析结果，进一步执行从多个初始运动轨迹中筛选出对应的轨迹纯净度分析结果为预设纯净度分析结果的初始运动轨迹的操作，即可从初始运动轨迹中筛选出属于同一运动目标的待分析运动轨迹，由于同一运动目标的轨迹片段可能存在于多个待分析轨迹中，则对待分析轨迹进行轨迹片段去重操作后，得到的目标运动轨迹仅包括同一运动目标的运动片段，该目标运动轨迹也即为最终需要的目标的运动轨迹。
权利要求书2页 说明书12页 附图4页CN 111524164 A 2020.08.11C N 111524164A1.一种目标跟踪方法，其特征在于，包括：获取多个初始运动轨迹以及所述初始运动轨迹的轨迹特征；所述初始运动轨迹由多个轨迹片段依据预设轨迹组合规则组合得到；调用预先训练的轨迹分析模型对所述初始运动轨迹的轨迹特征进行处理，得到所述初始运动轨迹的轨迹纯净度分析结果；所述轨迹分析模型通过轨迹样本训练得到；所述轨迹样本包括轨迹特征以及轨迹纯净度；所述轨迹纯净度分析结果为所述初始运动轨迹为同一运动目标的运动轨迹的分析结果；从多个所述初始运动轨迹中筛选出轨迹纯净度分析结果为预设纯净度分析结果的初始运动轨迹，并作为待分析轨迹；对所述待分析轨迹进行轨迹片段去重操作，得到目标运动轨迹。
一种融合特征的目标跟踪方法[发明专利]
![一种融合特征的目标跟踪方法[发明专利]](https://img.taocdn.com/s1/m/8f184aff964bcf84b8d57b38.png)
专利名称：一种融合特征的目标跟踪方法专利类型：发明专利
发明人：朱红,望少建
申请号：CN201810295716.7
申请日：20180330
公开号：CN108596951A
公开日：
20180928
专利内容由知识产权出版社提供
摘要：本发明属于视频图像处理领域，公开了一种融合特征的目标跟踪方法，采用将目标的HSV 颜色空间特征和HOG特征进行融合来描述目标，并提出经过判断目标是否遮挡来选择模型是否更新，从而实现更好的跟踪效果。
申请人：西安电子科技大学
地址：710071 陕西省西安市太白南路2号
国籍：CN
代理机构：西安睿通知识产权代理事务所(特殊普通合伙)
代理人：惠文轩
更多信息请下载全文后查看。
【CN109859239A】一种目标追踪的方法及设备【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910365924.4(22)申请日 2019.05.05(71)申请人 深兰人工智能芯片研究院（江苏）有限公司地址 213161 江苏省常州市武进区常武中路18号常州科教城创研港4号楼103(72)发明人 陈海波 (74)专利代理机构 北京同达信恒知识产权代理有限公司 11291代理人 黄志华(51)Int.Cl.G06T 7/20(2017.01)G06T 7/223(2017.01)G06T 7/246(2017.01)G06T 7/277(2017.01)G06T 7/70(2017.01)G06T 5/00(2006.01)(54)发明名称一种目标追踪的方法及设备(57)摘要本发明公开了一种目标追踪的方法及设备，用于针对运动状态突变的商品进行轨迹追踪，实现对用户拿取目标商品的准确追踪。
该方法包括：获取当前图像帧，及所述当前图像帧中的目标对应的预测框及检测框；通过预先训练好的神经网络模型，提取所述预测框区域内目标的第一特征向量及检测框区域内目标的第二特征向量；将检测框与预测框在所述当前图像帧中的位置区域进行匹配，及将所述第一特征向量与第二特征向量进行匹配，根据匹配结果确定当前运动状态；采用与当前运动状态对应的校正方式，利用所述预测框对所述检测框进行校正。
权利要求书2页 说明书12页 附图3页CN 109859239 A 2019.06.07C N 109859239A1.一种目标追踪的方法，其特征在于，该方法包括：获取当前图像帧，及所述当前图像帧中的目标对应的预测框及检测框；通过预先训练好的神经网络模型，提取所述预测框区域内目标的第一特征向量及检测框区域内目标的第二特征向量；将检测框与预测框在所述当前图像帧中的位置区域进行匹配，及将所述第一特征向量与第二特征向量进行匹配，根据匹配结果确定当前运动状态；采用与当前运动状态对应的校正方式，利用所述预测框对所述检测框进行校正。
一种目标跟踪方法及系统[发明专利]
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201710287617.X(22)申请日 2017.04.27(71)申请人 中国科学院长春光学精密机械与物理研究所地址 130033 吉林省长春市经济技术开发区东南湖大路3888号(72)发明人 朱明 曾冬冬 周同雪 (74)专利代理机构 北京集佳知识产权代理有限公司 11227代理人 罗满(51)Int.Cl.G06K 9/00(2006.01)(54)发明名称一种目标跟踪方法及系统(57)摘要本申请公开了一种目标跟踪方法及系统，该方法包括：对目标对象展开第一阶段跟踪，得到N 帧跟踪图像；提取并保存N帧跟踪图像中每一帧跟踪图像的特征图以及相应的特征图系数，得到相应的特征池；利用特征池，对目标对象展开第二阶段跟踪；其中，在第二阶段跟踪中的任一次跟踪过程均包括：计算本次跟踪过程的帧跟踪图像所对应的频域特征图与特征池中每个特征图之间的响应度，得到相应的N个响应图，然后将N 个响应图中具有最大响应值的位置确定为当前目标对象的最新跟踪位置。
本申请实现了对目标对象的跟踪位置的优化，从而进一步提高了目标跟踪精度。
权利要求书2页 说明书6页 附图1页CN 107122741 A 2017.09.01C N 107122741A1.一种目标跟踪方法，其特征在于，包括：对目标对象展开第一阶段跟踪，得到N帧跟踪图像；其中，N为不小于2的正整数；提取并保存所述N帧跟踪图像中每一帧跟踪图像的特征图以及相应的特征图系数，得到相应的特征池；利用所述特征池，对所述目标对象展开第二阶段跟踪；其中，在所述第二阶段跟踪中的任一次跟踪过程均包括：计算本次跟踪过程的帧跟踪图像所对应的频域特征图与所述特征池中每个特征图之间的响应度，得到相应的N个响应图，然后将所述N个响应图中具有最大响应值的位置确定为当前所述目标对象的最新跟踪位置。
目标跟踪方法、装置、电子设备及存储介质[发明专利]
专利名称：目标跟踪方法、装置、电子设备及存储介质专利类型：发明专利
发明人：牟永强,严蕤,段汝湘
申请号：CN201711352448.X
申请日：20171215
公开号：CN108053424A
公开日：
20180518
专利内容由知识产权出版社提供
摘要：本发明提供一种目标跟踪方法，所述方法包括：本发明获取当前帧；基于所述当前帧的上一帧中的目标位置、所述当前帧的上一帧中的目标的尺度及所述当前帧的上一帧中的滤波器，利用核相关滤波算法，确定所述当前帧的目标位置及所述当前帧中目标的尺度；基于所述当前帧的前第一预设帧中的目标位置及所述当前帧的目标位置，计算所述当前帧对应的尺度调整参数；基于所述当前帧中目标的尺度及所述当前帧对应的尺度调整参数，预估所述当前帧的下一帧中目标的尺度；基于所述当前帧的下一帧中目标的尺度，对所述当前帧的下一帧进行目标跟踪。
本发明还提供一种目标跟踪装置、设备及存储介质。
本发明能目标发生尺度变化时，避免造成目标漂移，提高跟踪效率。
申请人：深圳云天励飞技术有限公司
地址：518000 广东省深圳市福田区上步中路1003号深圳科学馆7楼
国籍：CN
代理机构：深圳市赛恩倍吉知识产权代理有限公司
更多信息请下载全文后查看。
目标跟踪方法、装置及录播系统[发明专利]
专利名称：目标跟踪方法、装置及录播系统专利类型：发明专利
发明人：陈晨树,童俊艳,任烨
申请号：CN201610965313.X
申请日：20161104
公开号：CN108022205A
公开日：
20180511
专利内容由知识产权出版社提供
摘要：本发明实施例公开了目标跟踪方法、装置及录播系统，该方法中获取图像对应的三维点云，基于三维点云中三维点的位置信息，确定图像中目标的位置，并不需要基于可见光图像建模，能够避免光照变化导致的跟踪不准确。
该系统中包含两个终端和主机，两个终端分别利用该方法确定出不同场景的图像中的目标位置，该主机根据两个终端确定出的目标位置，进行图像展示，也就是说，该系统结合不同场景中的目标进行图像展示，提高了展示效果。
申请人：杭州海康威视数字技术股份有限公司
地址：310051 浙江省杭州市滨江区阡陌路555号
国籍：CN
代理机构：北京柏杉松知识产权代理事务所(普通合伙)
更多信息请下载全文后查看。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
法 ( 57 )摘要
本发明公开了一种基于时空特征融合学习 的目标跟踪方法，涉及计算机视觉及模式识别技 术领域。首先构建时空特征融合学 习网络 ，时空 特征包括时序特征和空间特征，其中时序特征通 过采用Alexnet与时间递归神经网络相结合的方 式提取 ；空间特征又分为目标对象空间变换特征 和背景空间特征 ，分 别采 用YOLOv3和Alexnet提 取。在网络初始训练过程中 ，使用训练数据集和 随机梯度下降法对时空特征融合学习网络进行 训练，训练完成后网络即可获得对目标对象进行 定位的初始能力。将要跟踪的图像序列输入网络 中进行正向处理 ，网络将输出目标对象包围盒的 位置和置信度，其中置信度决定网络是否进行在 线学 习 ，而 包围 盒的 位 置 实 现 对目 标 对象 的 定 位，从而实现对目标对象的跟踪。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910007818 .9
(22)申请日 2019 .01 .04
(71)申请人 西南交通大学 地址 610031 四川省成都市二环路北一段 111号 何武 陈锦雄
(10)申请公布号 CN 109800689 A (43)申请公布日 2019.05.24 G06N 3/04(2006 .01) G06N 3/08(2006 .01)
权利要求书2页 说明书4页 附图2页
CN 109800689 A
CN 109800689 A
权 利 要 求 书
1/2 页
1 .一种基于时空特征融合学习的目标跟踪方法，包含如下步骤： 步骤一、目标选取： 从初始图像中选择并 确定要跟踪的目标对象 ，目标选取过程通过运动目标检测方法自 动提取或者人机交互方法手动指定； 步骤二、数据集生成： 初始数据集的生成包括两个部分，一个部分为目前公开获得的有标注视频数据集或图 像序列集 ，另一个部分是根据初始图 像来人工合成的 跟踪序列 ；人工合成的 跟踪序列具体 包括两个方面的工作，一方面对初始图像中的目标对象进行图像变换，包括平面内旋转、平 面外旋转或者尺度变化 ，另一方面对目 标对象 在整个场景中进行按行或 列循环移动 ，由 此 获得大量模拟的跟踪序列数据集；具体操作如下： 首先是根据图像序列第一帧目标对象包围盒的真实坐标值将目标对象从背景中裁剪， 对被裁剪的区域位置进行邻域像素填充，得到场景图像，然后对目标对象分别进行平面内 旋转、平面外旋转或者尺度变换，其中，平面内旋转范围为0 °～360 °，单次旋转角度为30 °， 平面外旋转采用仿射变换，设置仿射变换矩阵中透射变换因子权重值变换范围为0 .5～1， 单次变换单位为0 .1，尺度变换比例范围为0 .8～1 .2倍，单次变换比例为0 .1，得到410种目 标对象增强数据集；设置步长为10像素，并分别将这410种目标对象增强数据集在场景图像 中按行循环移动，最终得到41763张图片增强数据集，图片增强数据集中包含的所有图像均 标记其对应的目标对象包围盒的位置信息； 步骤三、时空特征融合学习网络的构建与初始化： 时空特征融 合学 习网 络模型包括三个子网 络 ，分 别为目 标空间特征提取网 络 、背景空 间特征提取网络和时序特征提取网络； 目 标空间特征提取网络采 用YOLOv3网络 ，该网络特征提取层为Da rknet-53结构 ，共有 53个卷积层，其余为残差层；其中卷积层包括1x1卷积层和3x3卷积层，这里采用Darknet-53 的第53层全连接层输出的1000维神经元提取目标的空间特征； 背景空间特征提取网络采 用Alexnet网络模型 ，该网络模型结构是由 8层网络组成 ，包 括5层卷积层和3层全连接层，这里采用第7层全连接层输出的4096维神经元组成的特征提 取背景空间特征； 时序特征提取网络采用Alexnet网络和LSTM相结合的方式提取，先经过Alexnet网络第 7层全连接层输出的 4096维 神经元提取图 像背景的 全局特征 ，然后经过LSTM提取图 像序列 中的时序特征； 构建网络模型后，采用在ImageNet数据集上预先训练好的网络模型参数对所需训练网 络进行参数初始化，该网络模型参数包含神经元之间的连接权重值、偏置值，并采用训练数 据集对网络进行训练；网络训练具体步骤是，先训练空间特征提取网络，再训练时序特征提 取网络 ；当 训练空间特征网络时 ，需要固定时序特征网络的权重 ；空间特征提取网络训练流 程是先进行目标特征提取网络的训练，再在YOLOv3后添加一层LSTM，训练规则是输入2组图 像序列，图像尺寸归一化为224x224像素，第一组序列为{It-1、It-2、It-3、It-4}，第二组序 列为{It-2、It-3、It-4、It-5} ，其中It-1、It-2、It-3、It-4、It-5分别代表t-1、t-2、t-3、t4、t-5时刻的帧图像，5<t<41764，依次按序将第一组图像提取的特征对第二组序列特征进 行 相减运算 ，经过800批次 训练得到目 标对象的 空间变换特征 ；之 后 训练背景特征提取网
2
CN 109800689 A
权 利 要 求 书
2/2 页
络，固定目标特征提取网络模型参数不变，在Alexnet后添加一层LSTM，训练规则是将41763 张图 片输入Alexnet网络中进行 训练 ，经过500批次 训练得到背景特征 ；训练时 序特征网络 时 ，需要固定空间特征网络的权重 ，输入规则与目标特征提取网络相同 ，经过800批次 训练 得到图像序列的时序特征；最后，对整个时空特征融合学习网络进行训练，训练方式采用随
(74)专利代理机构 成都点睛专利代理事务所 (普通合伙) 51232
代理人 葛启函
(51)Int .Cl . G06K 9/00(2006 .01) G06K 9/46(2006 .01) G06K 9/62(2006 .01) G06T 7/246(2017 .01)
( 54 )发明 名称 一种基于时空特征融合学习的目标跟踪方
本发明公开了一种基于时空特征融合学习 的目标跟踪方法，涉及计算机视觉及模式识别技 术领域。首先构建时空特征融合学 习网络 ，时空 特征包括时序特征和空间特征，其中时序特征通 过采用Alexnet与时间递归神经网络相结合的方 式提取 ；空间特征又分为目标对象空间变换特征 和背景空间特征 ，分 别采 用YOLOv3和Alexnet提 取。在网络初始训练过程中 ，使用训练数据集和 随机梯度下降法对时空特征融合学习网络进行 训练，训练完成后网络即可获得对目标对象进行 定位的初始能力。将要跟踪的图像序列输入网络 中进行正向处理 ，网络将输出目标对象包围盒的 位置和置信度，其中置信度决定网络是否进行在 线学 习 ，而 包围 盒的 位 置 实 现 对目 标 对象 的 定 位，从而实现对目标对象的跟踪。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910007818 .9
(22)申请日 2019 .01 .04
(71)申请人 西南交通大学 地址 610031 四川省成都市二环路北一段 111号 何武 陈锦雄
(10)申请公布号 CN 109800689 A (43)申请公布日 2019.05.24 G06N 3/04(2006 .01) G06N 3/08(2006 .01)
权利要求书2页 说明书4页 附图2页
CN 109800689 A
CN 109800689 A
权 利 要 求 书
1/2 页
1 .一种基于时空特征融合学习的目标跟踪方法，包含如下步骤： 步骤一、目标选取： 从初始图像中选择并 确定要跟踪的目标对象 ，目标选取过程通过运动目标检测方法自 动提取或者人机交互方法手动指定； 步骤二、数据集生成： 初始数据集的生成包括两个部分，一个部分为目前公开获得的有标注视频数据集或图 像序列集 ，另一个部分是根据初始图 像来人工合成的 跟踪序列 ；人工合成的 跟踪序列具体 包括两个方面的工作，一方面对初始图像中的目标对象进行图像变换，包括平面内旋转、平 面外旋转或者尺度变化 ，另一方面对目 标对象 在整个场景中进行按行或 列循环移动 ，由 此 获得大量模拟的跟踪序列数据集；具体操作如下： 首先是根据图像序列第一帧目标对象包围盒的真实坐标值将目标对象从背景中裁剪， 对被裁剪的区域位置进行邻域像素填充，得到场景图像，然后对目标对象分别进行平面内 旋转、平面外旋转或者尺度变换，其中，平面内旋转范围为0 °～360 °，单次旋转角度为30 °， 平面外旋转采用仿射变换，设置仿射变换矩阵中透射变换因子权重值变换范围为0 .5～1， 单次变换单位为0 .1，尺度变换比例范围为0 .8～1 .2倍，单次变换比例为0 .1，得到410种目 标对象增强数据集；设置步长为10像素，并分别将这410种目标对象增强数据集在场景图像 中按行循环移动，最终得到41763张图片增强数据集，图片增强数据集中包含的所有图像均 标记其对应的目标对象包围盒的位置信息； 步骤三、时空特征融合学习网络的构建与初始化： 时空特征融 合学 习网 络模型包括三个子网 络 ，分 别为目 标空间特征提取网 络 、背景空 间特征提取网络和时序特征提取网络； 目 标空间特征提取网络采 用YOLOv3网络 ，该网络特征提取层为Da rknet-53结构 ，共有 53个卷积层，其余为残差层；其中卷积层包括1x1卷积层和3x3卷积层，这里采用Darknet-53 的第53层全连接层输出的1000维神经元提取目标的空间特征； 背景空间特征提取网络采 用Alexnet网络模型 ，该网络模型结构是由 8层网络组成 ，包 括5层卷积层和3层全连接层，这里采用第7层全连接层输出的4096维神经元组成的特征提 取背景空间特征； 时序特征提取网络采用Alexnet网络和LSTM相结合的方式提取，先经过Alexnet网络第 7层全连接层输出的 4096维 神经元提取图 像背景的 全局特征 ，然后经过LSTM提取图 像序列 中的时序特征； 构建网络模型后，采用在ImageNet数据集上预先训练好的网络模型参数对所需训练网 络进行参数初始化，该网络模型参数包含神经元之间的连接权重值、偏置值，并采用训练数 据集对网络进行训练；网络训练具体步骤是，先训练空间特征提取网络，再训练时序特征提 取网络 ；当 训练空间特征网络时 ，需要固定时序特征网络的权重 ；空间特征提取网络训练流 程是先进行目标特征提取网络的训练，再在YOLOv3后添加一层LSTM，训练规则是输入2组图 像序列，图像尺寸归一化为224x224像素，第一组序列为{It-1、It-2、It-3、It-4}，第二组序 列为{It-2、It-3、It-4、It-5} ，其中It-1、It-2、It-3、It-4、It-5分别代表t-1、t-2、t-3、t4、t-5时刻的帧图像，5<t<41764，依次按序将第一组图像提取的特征对第二组序列特征进 行 相减运算 ，经过800批次 训练得到目 标对象的 空间变换特征 ；之 后 训练背景特征提取网
2
CN 109800689 A
权 利 要 求 书
2/2 页
络，固定目标特征提取网络模型参数不变，在Alexnet后添加一层LSTM，训练规则是将41763 张图 片输入Alexnet网络中进行 训练 ，经过500批次 训练得到背景特征 ；训练时 序特征网络 时 ，需要固定空间特征网络的权重 ，输入规则与目标特征提取网络相同 ，经过800批次 训练 得到图像序列的时序特征；最后，对整个时空特征融合学习网络进行训练，训练方式采用随
(74)专利代理机构 成都点睛专利代理事务所 (普通合伙) 51232
代理人 葛启函
(51)Int .Cl . G06K 9/00(2006 .01) G06K 9/46(2006 .01) G06K 9/62(2006 .01) G06T 7/246(2017 .01)
( 54 )发明 名称 一种基于时空特征融合学习的目标跟踪方