基于kinect摄像机的多运动目标实时跟踪WAN Qin;YU Hong-shan;WU Di;LIN Guo-han【摘要】多运动目标跟踪是视频监控中的关键问题,在目标相互运动发生遮挡时,采用二维摄像头监控容易丢失信息而造成跟踪失败.本文采用kinect摄像机获取目标的RGB图像及深度图像,并分别获取基于RGB图像信息的目标颜色模型和基于深度信息的目标三维空间模型,在视频帧间将颜色、空间模型分别匹配得到目标帧间匹配度,通过Mahalanobis距离算法实现多目标匹配,从而得到多目标识别跟踪结果.实验表明,在RGB-D数据集及拍摄的视频序列上均取得了较好的跟踪结果,实现了kinect三维视觉下的实时多目标的跟踪.【期刊名称】《湖南工程学院学报（自然科学版）》【年(卷),期】2018(028)004【总页数】5页(P1-5)【关键词】多运动目标跟踪;三维视觉系统;Kinect摄像机【作者】WAN Qin;YU Hong-shan;WU Di;LIN Guo-han【作者单位】【正文语种】中文【中图分类】TP3911 概述三维视觉系统能提供三维空间的信息，基于三维视觉系统的跟踪可依靠三维信息，建立三维目标模型，从而实现在复杂情况下(如多目标互相遮挡等)的精确跟踪，大幅提高跟踪的准确性，更可应用到交通、机场、银行等安防领域的视觉监控中，如采用三维视频融合的监控系统，集成空间位置信息，可增强位置感知、辅助应急决策等.同时，三维视觉在环境感知方面的显著特性和巨大应用潜力，近年来引起了世界范围企业巨头和研究机构的普遍关注，如微软、Apple、Intel公司均在近年发布了三维视觉传感器；Google公司也开展了基于三维视觉传感器的场景识别，但利用三维视觉系统进行视觉监控还较少，基于三维视觉的复杂多运动目标跟踪研究是一个充满希望和挑战的方向[1-2].基于kinect的三维视觉跟踪处于起步阶段，多是以RGB和深度信息配准得到三维点云[3-5]，在此基础上进行目标识别跟踪，计算复杂度较高[6-7]，还不能完全应用于实时视频监控中的多目标跟踪[8].为解决上述技术问题，本文采用kinect摄像机提供的二维图像和深度图像，无须建立RGB和深度信息相融合的三维点云，提出一种分别建立RGB和三维深度模型的多运动目标跟踪方法，能在监控场景固定的情况下，准确、有效、实时跟踪多目标.首先建立目标三维模型：对检测到的多个连通目标区域，首先分别建立颜色直方图；然后将该区域外接矩形框的长、宽值作为该目标的形状模型；再对目标区域的外接矩形框划分为上、下两部分，并分别对各部分提取中心点在二维图像中的坐标，和与其对应的深度图像的深度值，构成三维坐标信息.再预测下一帧的目标信息：采用匀速运动模型，由当前帧预测下一帧目标外接矩形框上下部分的中心点位置，再根据形状模型的长、宽值，得到目标在下一帧的预测区域的颜色直方图.然后进行帧间匹配，实现实时多目标跟踪.2 目标模型在采用背景减除方法检测出目标前景连通区域后，用外接矩形框标注检测区域.如目标发生遮挡，则检测算法只能检测到由相互遮挡人体构成的前景连通区域.接下来需要对二维检测区域选取特征，并结合深度图像中的深度信息，分别建立RGB外观颜色模型、形状模型及基于深度信息的空间三维模型，将此模型作为跟踪依据在连续视频帧中识别其对应的人体.因此，检测区域的特征选取及建立的三维模型准确与否，直接影响跟踪结果.将目标外观的颜色特征、形状及三维空间特征结合，进行帧间匹配及实现多目标跟踪.(1)颜色模型：对检测到的多个目标区域，首先建立颜色直方图Ht(下标t为当前帧时刻t)，做为该目标的颜色模型；我们选择了与人类视觉特征具有一致性的HSV颜色空间[9].HSV颜色空间定义彩色信号由三种属性构成：颜色(Hue)、饱和度(Saturation)和亮度(Value)，其中亮度又可用L(Lightness)或I(Intensity)表示，相比于RGB颜色空间更符合人类视觉感知特征，特别适合于人类肉眼对颜色的识别，下面给出在HSV空间建立颜色直方图的主要步骤：将目标检测区域中对应的每个前景像素由RGB空间转换到HSV空间，但是由于HSV空间包含H、S、V三个分量，在实时跟踪中需要将HSV三维分量转换为一维标量表示[9]：h=9H+3S+V(1)则可通过上式得到H、S、V三个分量的一维标量表达，得到h为HSV空间颜色直方图，其位数取值为：[1，2，…，72].(2)形状模型：目标形状模型由二维形状模型及三维深度形状模型构成，为了跟踪准确，我们利用目标遮挡前的最近三帧的平均目标外接矩形框的长、宽值构建目标形状模型如下：S(t)=g(t)/w(t)(2)式中，g(t)、w(t)分别表示第t帧时刻目标外接矩形框三帧内的平均长、宽值. (3)三维空间结构模型：将外接矩形框均分为上、下两部分，记录上半部中心点的二维坐标(xt1,yt1)、深度坐标zt1；下半部中心点的二维坐标(xt2,yt2)、深度坐标zt2.以上模型在每一帧得到跟踪结果后进行更新替换.3 预测目标信息建立目标模型后，需要预测目标在下一帧中各模型的信息，从而为后续匹配跟踪提供依据.首先，对于实时视频序列，每两帧时间间隔比较小，可以认为目标在相邻帧间运动变化缓慢，近似为匀速运动，由动力学公式：xt=xt-1+(Δt)vt-1(3)vt=vt-1其中Δt为两帧时间间隔.在此运动模型基础上，预测目标在下一帧的各模型信息：(1)三维空间位置预测：由当前帧中心点1的二维位置(xt1,yt1)、深度坐标zt1和中心点2的二维位置(xt2,yt2)、深度坐标zt2，根据运动学公式，分别得到两个中心点在下一帧的预测位置(xt+1,1，yt+1,1，zt+1,1)、(xt+1,2，yt+1,2，zt+1,2)；(2)外观颜色模型预测：根据当前帧长Lt、宽Wt，预测下一帧外接矩形框长Lt+1、宽Wt+1，根据两个中心点在下一帧的二维位置点(xt+1,1,yt+1,1)、(xt+1,2，yt+1,2)预测下一帧目标外接矩形框，则可得到目标在下一帧的预测颜色直方图Ht+1；同样可得形状模型预测值St+1.4 帧间匹配在得到当前帧目标各模型和其在下一帧的预测值后，进行当前帧目标检测区域各模型和对应的预测信息之间的匹配，从而确定各检测区域对应的跟踪目标，实现多目标实时跟踪.(1)位置匹配：针对目标运动模型，采用Mahalanobis距离得到目标预测值(xt+1,1，yt+1,1，zt+1,1)、(xt+1,2，yt+1,2，zt+1,2)、和当前帧测量值(xt,1，yt,1，zt,1)、(xt,2，yt,2，zt,2)之间的相似度：δ=(z-u)T(Z+U)-1(z-u)(4)其中，z是测量值，Z是测量值的协方差矩阵；u表示预测值，U是预测值的协方差矩阵.δ称为u和z之间的Mahalanobis距离，可将其看成u和z的欧氏距离平方被它们的协方差矩阵之和的倒数加权，可见δ服从自由度为n的卡方(χ2)分布，n即为测量向量的维数(当向量的各分量互相独立)或其协方差矩阵的秩，如果Mahalanobis距离比较小，即：δ≤ε时，那么u和z没有显著差异，认为u、z代表同一特征，互相匹配；否则它们很可能不代表同一特征.通过查χ2分布表，可选取适当的阈值ε，通常设真假设被接受的概率为95%，通过查卡方分布表，可得ε=3.8.根据Mahalanobis距离得到运动模型匹配度为：(5)上式使Mij取值范围在0到1，δij表示当前帧目标i的测量值与上一帧目标j在当前帧的预测值之间的Mahalanobis距离.分别对上一帧和当前帧矩形框两个中心点分别匹配：上一帧的矩形框中心点1(xt,1，yt,1，zt,1)与当前帧矩形框中心点1(xt+1,1，yt+1,1，zt+1,1)之间的Mahalanobis距离M1,上一帧矩形框中心点2(xt,2，yt,2，zt,2)，与当前帧矩形框中心点2(xt+1,2，yt+1,2，zt+1,2)之间的Mahalanobis距离M2：(2)外观颜色匹配：对当前帧目标的颜色直方图Ht,i和预测目标颜色直方图Ht+1,j，每两个颜色直方图计算颜色直方图相似度Lij：,Ht,i}(6)上式i,j表示颜色直方图位数(在一维HSV直方图中，为72位).(3)形状模型匹配：对当前帧目标形状模型St,i、和预测目标形状模型St+1,j求形状模型匹配度：(7)则上一帧和当前帧每两个目标之间的匹配度为：α=(M1+M2+Lij+Sij)/4(8)(4)根据匹配度，确定跟踪结果：首先建立匹配矩阵，行代表当前帧目标，列代表上一帧目标，矩阵元素是各行代表的当前帧目标与各列代表的上一帧目标的匹配度，分为三种情况：(1)如行、列数一致，则跟踪正常，无需改变行列数；(2)如行数少于列数，表明列所对应的上一帧目标发生了在当前帧消失的情况，用0补齐行，使得行、列数相同；(3)如列数少于行数，表明行所对应的当前帧目标是新出现目标，用0补齐列，使得行、列数相同；再求该匹配矩阵的最佳匹配，即为获得匹配矩阵的最大匹配度，用求解指派问题的匈牙利算法计算[10]，得到行、列元素的最大匹配结果，当前帧目标与上一帧目标对应匹配，得到跟踪结果；匹配结果中全为0的行列，则其对应为如上面所列出的目标消失、或目标新出现的跟踪情况.5 实验与结果本文提出的方法在公开的Kinect RGB-D数据集和我们用Kinect拍摄的视频序列上分别进行了测试.实验一是在公开的Kinect RGB-D数据集视频序列上完成，如图1所示，分别是第262、504、540帧原图，图2是目标区域检测图，用蓝色外接矩形框表示目标前景区域；图3对应的是Kinect三维深度图，可获取各像素点在三维空间中的深度值(即z坐标值)，像素的灰色值大小对应像素在空间中距离摄像机的前后距离值. 图4是二维RGB中的预测信息，红、黄、绿色虚线矩形框分别表示上一帧目标在当前帧中的预测位置；图5是三维深度中的预测信息，根据当前帧检测结果和预测信息匹配后得到跟踪结果，如图6所示.实验二是在实验室用kinect拍摄的RGB-D视频序列，采用本文的方法得到如图7所示的跟踪结果.实验采用的计算机处理器为Intel(R) Core(TM)i5-4200U，CPU为1.60 GHz 2.30 GHz,内存8.00 GB，在实验一、二中的运算速度均可达到18帧/s，达到了实时跟踪的处理速度.可见本文提出的方法在Kinect提供的RGB-D视频序列中可有效实现多运动目标实时跟踪.6 总结本文提出了一种基于Kinect提供的RGB-D视频序列中的多运动目标跟踪方法，无须将RGB和深度信息融合，分别针对二维RGB图像和三维深度图像建立目标模型，并预测下一帧中目标信息，和当前帧匹配得到多目标跟踪结果，在公开的数据集及实验室拍摄视频序列上的实验表明，本方法能有效地实现多目标实时跟踪.不仅能应用于大多数Kinect监控场景，还可推广应用于机器人目标识别避障、智能交通等领域，具有较好的应用前景.下一步将继续研究基于Kinect的RGB-D信息的三维目标建模及跟踪方法，扩大视频监控范围，分析复杂情况下的跟踪.参考文献【相关文献】[1] 陈宝权.基于三维视频融合的监控分析系统[C].ITS 2013深圳国际智能交通展览会，2013.5.26-5.28，深圳会展中心.[2] 赵科，余洪山，王耀南，等.基于视觉映射的三维相机信息可视化改善方法[J].电子测量与仪器学报，2012,26(6)：529-534.[3] Jun Liu, Ye Liu, Guyue Zhang, et al. Detecting and Tracking People in Real Time with RGB-D Camera[J]. Pattern Recognition Letters, 2015,53:16-23.[4] Jungong Han, Eric J. Pauwels, Paul M. de Zeeuw, and PeterH.N.de With, Employing a RGB-D Sensor for Real-Time Tracking of Humans Across Multiple Re-Entries in a Smart Environment, IEEE Trans[J]. On Consumer Electronics, 2014,58(2):255-263.[5] Hao Zhang, Christopher Reardon, Lynne E. Parker. Real-time Multiple Human Perception with Color-depth Cameras on a Mobile Robot[J]. IEEE Trans on Cybernetics, 2013,43(5):1429-1440.[6] Zhao Yang, Liu Zicheng, Cheng Hong. RGB-Depth Feature for 3D Human Activity Recognition[J]. China Communications, 2013(7):93-103.[7] Shan Gao, Zhenjun Han, Ce Li, et al. Real-Time Multipedestrian Tracking in Traffic Scenesvia an RGB-D-Based Layered Graph Model[J]. IEEE Trans OnIntelligentTransportation Systems,2015,16(5):2814-2825.[8] 杨晗芳，张国山，王欣博,等.基于Snake算法的深度图像人体目标跟踪[J].天津理工大学学报，2014，30(5): 41-45.[9] 李国辉，柳伟，曹莉华.一种基于颜色特征的图像检索方法[J].中国图象图形学报，1999，4(3):248-251.[10]韩中庚.用“匈牙利算法”求解一类最优化问题[J].信息工程大学学报，2004,35(1)：60-62.。
