一体化多目标跟踪算法研究综述

龙源期刊网

基于深度学习的多目标跟踪算法研究

作者：陆平 邓硕 李伟华

来源：《中兴通讯技术》2017年第04期

摘要：提出了一种基于深度学习的多目标跟踪算法。首先，通过GoogLeNet+长短期记忆网络（LSTM）模型进行目标检测，以获得准确的目标检测结果；其次，直接根据目标检测的特征图对检测目标进行深度特征的提取，深度特征相比于传统特征可以更准确地反映检测目标的外观特征，因此可以有效提高跟踪的准确性。此外，还在传统数据驱动马尔科夫蒙特卡洛（DDMCMC）算法的基础上，提出了层次的数据驱动马尔科夫蒙特卡洛（HDDMCMC）算法，可以进一步提高多目标跟踪的准确性。实验结果证明了所提出算法的有效性。

关键词： 多目标跟踪；深度学习；目标检测；MCMC算法

自从深度学习技术出现以来，计算机视觉领域得到了快速发展，深度学习技术最先用于图像分类问题。近年来，基于深度学习的多目标跟踪算法也取得了一定的突破。多目标跟踪是计算机视觉领域一个非常具有挑战性的研究方向，且有着十分广泛的现实应用场景，例如：智能视频监测控制、异常行为分析、移动机器人研究等。传统的多目标跟踪算法往往由于目标检测效果较差，导致跟踪效果不佳；而基于深度学习的检测器可以获得较好的目标检测效果，进而提高目标跟踪的准确度。

因此，文章中我们着重研究了基于深度学习的多目标跟踪算法。首先通过GoogLeNet[1]+长短期记忆网络（LSTM）[2]模型进行目标检测，以获得准确的目标检测结果。在此基础上，提出了直接根据目标检测的特征图对检测目标进行深度特征的提取的方法，深度特征相比于尺度不变特征变换（SIFT）[3]等传统特征可以更准确地反应检测目标的外观特征，因此可以提高目标跟踪算法的准确性。此外，还在基于马尔科夫蒙特卡洛（MCMC）算法的多目标跟踪算法的基础上，提出了层次的数据驱动马尔科夫蒙特卡洛（HDDMCMC）算法。

收稿日期:2009203207;修回日期:2009205221 基金项目:河南省自然科学基金资助项目(0611052900);河南省教育厅自然科学研究计划资助项目(2009A410001);河南省留学人员科技活动择优基金资助项目(豫人留学函[2007]17号) 作者简介:张娟(19852),女,硕士研究生,主要研究方向为计算机视觉;毛晓波(19652),男,教授,硕导,博士研究生,主要研究方向为仿生型机器视觉、复杂系统控制理论及其应用(mail2mxb@);陈铁军(19542),男,教授,博导,博士,主要研究方向为复杂系统控制理论及其应用.运动目标跟踪算法研究综述3

张　娟,毛晓波,陈铁军(郑州大学电气工程学院,郑州450001)摘　要:将运动目标跟踪问题分解为运动检测和目标跟踪分别加以讨论,分类描述了目标跟踪问题的研究现状、研究方法及常用算法,比较了各种方法的优劣及面临的技术难点问题,并对运动目标跟踪算法的研究前景进行了展望。关键词:计算机视觉;运动检测;视觉跟踪;图像序列中图分类号:TP391 文献标志码:A 文章编号:100123695(2009)1224407204doi:10.3969/j.issn.100123695.2009.12.002SurveyofmovingobjecttrackingalgorithmZHANGJuan,MAOXiao2bo,CHENTie2jun(SchoolofElectricalEngineering,ZhengzhouUniversity,Zhengzhou450001,China)Abstract:Thispaperdividedtheissueofmovingobjecttrackingintomovingdetectionandobjecttrackingseparately.First,introducedtheresearchstatus,methodsandcommonalgorithms.Second,bymeansofcomparingtheadvantagesanddisad2vantagesofvariousmethods,discussedthetechnicaldifficultiestheyfaced.Finally,prospectedsomefuturedirectionsofob2jecttrackingmethod.Keywords:computervision;movingdetection;visualtracking;imagesequence 运动目标跟踪作为一门跨学科的前沿技术,融合了图像处理、模式识别、人工智能、自动控制等多种不同领域的理论知识。在军事制导、视觉导航、安全监控、智能交通、视频编码、医疗诊断、气象分析及天文观测等众多领域中有着广阔的应用前景,跟踪算法的研究具有重要的实际意义和理论价值。运动目标跟踪就是在一段序列图像中的每幅图像中实时地找到所感兴趣的运动目标(包括位置、速度及加速度等运动参数)。在运动目标跟踪问题的研究上,总体来说有两种思路:a)不依赖于先验知识,直接从图像序列中检测到运动目标,并进行目标识别,最终跟踪感兴趣的运动目标;b)依赖于目标的先验知识,首先为运动目标建模,然后在图像序列中实时找到相匹配的运动目标。围绕这两种思路,

多目标跟踪数据关联方法综述

摘 要： 多目标跟踪问题在军事和民用方面都有着十分广泛的应用,如在军事方

面的空中预警、空中攻击(多目标攻击)等,民用方面包括空中交通管制

等。多目标跟踪在军事上的应用受到了各国广泛重视。本文对目前国

内外部分文献上发表的有关多目标跟踪方法进行了综述。并对各种方

法的优缺点进行了比较。

关键字： 多目标跟踪 数据关联 方法综述

1 概述

多目标跟踪（MTT)是当前计算机视觉领域的一个研究热点。多目标跟踪是指利用计算机，在频序列中确定感兴趣的、具有某种显著视觉特征的各个独立运动目标的位置，大小和各个目标完整的运动轨迹。

视频目标跟踪问题之所以引起广泛关注是由于它能够应用于民用和军事等许多领域。例如基于视频目标跟踪的视频监视系统常用于民宅、停车场、公共场合、银行等的监视，以防止偷盗、破坏行为的发生，保障社会的安全。在交通系统中，多目标跟踪研究也具有非常广泛的应用，主要包括交通流量控制、车辆异常行为监测等很多方面。在军事领域对视频监视系统的要求比民用领域要高得多，这主要是由于战场环境远比普通民用环境更加复杂和苛刻。恶劣的战场环境要求视频监视系统具有很强的适应性并能够对快速变化的运动目标实施稳定靠的跟踪。

图 1.1 是一个典型多目标跟踪系统，包括视频采集处理、运动目标检测、多目标跟踪、目标行为分析等主要模块。运动目标检测与多目标跟踪模块处于整个视频跟踪系统的核心模块，是各种后续高级处理的基础。运动目标检测是指从视频中实时提取目标，而运动目标跟踪是通过建立目标关联实现多目标的持续跟踪，并确定多目标运动轨迹。视频采集设备为多目标跟踪系统提供输入视频流，视频监控窗口实时输出多目标跟踪结果，监控场景。目标行为分析理解属于高层次的视觉问题。

2 几种经典的数据关联算法

多目标跟踪实现的关键问题在于如何进行有效的数据关联。而数据关联的目的就是把来源于单个或多个传感器的量测数据Zi(i=1, 2,...,N)与 j 个已知或已经确定的航迹进行相互配对的过程,简单来说，就是使所有的量测数据分为 j 个集合，并且保证每个集合中所包含的量测数据以接近于 1 的概率都来自同一个目标。目标跟踪系统中数据关联是必不可少的关键步骤，原因在于传感器所获得的量测数据不确定性以及多目标跟踪环境的复杂性。实际中的传感器系统总是不可避免的存在着测量的误差，以及缺乏跟踪环境的先验知识，目标的个数往往是不能先验知道的，量测数据是来自真实目标还是由来自虚假目标这些也都是不能先验知道的。上述众多的不确定因素使得量测数据与真实目标之间的对应配对关系很难确定，是导致数据关联是多目标跟踪系统中最关键的一步的原因。

基于多特征融合的机器视觉目标跟踪算法研究

随着人工智能的发展，机器视觉技术在各个领域得到广泛应用。其中，目标跟踪是机器视觉的一个重要分支，它可以在视频流中自动识别和跟踪感兴趣的目标。要实现高效准确的目标跟踪，需要结合多种特征，包括图像亮度、颜色、纹理等。本文将探讨基于多特征融合的机器视觉目标跟踪算法的研究。

一、特征融合在目标跟踪中的应用

在机器视觉的目标跟踪中，用于描述目标特征的参数有很多种。其中，比较常用的参数包括颜色直方图、梯度直方图、纹理信息等。这些参数可以描绘目标在图像中的分布和特性，但是单独使用往往会带来一些问题。比如，颜色直方图适用于描述目标的颜色特征，但不适用于描述运动目标；梯度直方图适用于描述目标轮廓特征，但对于颜色相似的目标，很难进行区分。

因此，为了更加准确地描述目标的特征，在目标跟踪中需要结合多个特征进行融合。一些研究者尝试将多个特征参数组合起来，形成更加全面准确的特征向量，进行分类或匹配。 例如，Zhang等人[1]提出一种基于颜色直方图和梯度直方图的特征融合方法，用于跟踪机器人的移动。他们通过对两种参数进行加权组合，实现了对机器人运动的精确跟踪。

二、多特征融合在目标跟踪中的挑战

尽管使用多个特征进行融合可以提高目标跟踪的精度，但也会带来一些挑战。一方面，需要在不同特征参数之间建立合理的权重关系，才能实现最终融合效果的优化。然而，这一权重关系可能随着目标特征的变化而发生变化，进一步增加了融合问题的复杂性。

另一方面，多维度的特征参数对计算机的计算性能要求也越来越高。这些参数需要实时处理和匹配，对处理器和内存的要求非常高。因此，如何提高目标跟踪的实时性和准确性，成为了多特征融合算法研究亟待解决的问题。

三、机器视觉目标跟踪算法的实现

为了解决多特征融合算法的问题，目前国内外研究者提出了很多种实现方法。例如，基于卡尔曼滤波的跟踪方法可以通过融合颜色、梯度和纹理等多维度信息，实现对目标位置的更加准确预测。还有一些基于神经网络的跟踪方法，通过改进神经网络算法，实现对目标特征的更加全面、动态的描述。