基于稀疏光流算法的运动目标检测研究稀疏光流算法是一种用于计算图像序列中像素位移的计算方法，它可以用于运动目标检测。
本文将重点研究基于稀疏光流算法的运动目标检测方法。
我们需要对稀疏光流算法进行介绍。
稀疏光流算法基于图像亮度变化的假设，通过计算相邻帧之间像素的位移来估计物体的运动。
该算法将图像中的像素分为两类：稠密采样点和稀疏采样点。
稠密采样点是指图像中的每个像素点，而稀疏采样点则是选取的一些重要像素点。
在运动目标检测中，我们需要根据物体的运动状态对连续帧之间的光流进行计算。
我们需要选择一些关键帧，然后计算这些关键帧之间所有像素点的光流。
这些光流可以用于判断物体的运动状态，例如静止、运动或者消失。
针对稀疏光流算法的运动目标检测，我们还可以采取一些改进的方法。
我们可以使用多尺度分析的方法来提高检测的准确性。
多尺度分析可以通过在不同尺度上计算光流来估计目标的运动状态。
我们还可以使用图像金字塔的方法来对图像进行降采样，从而进一步提高计算效率。
我们还可以利用稀疏光流算法的特性进行目标跟踪。
通过跟踪物体在连续帧中的光流，我们可以预测物体的移动轨迹，从而实现目标的实时追踪。
在实际应用中，基于稀疏光流算法的运动目标检测方法已经得到了广泛的应用。
它可以用于交通监控系统中的车辆检测和追踪，也可以用于视频监控系统中的人体检测和追踪。
它还可以应用于虚拟现实中的手势识别和动作捕捉。
基于稀疏光流算法的运动目标检测方法在计算效率和准确性方面具有优势，因此在实际应用中具有很大的潜力。
通过进一步的研究和改进，它可以在各种视觉应用中发挥更大的作用。
第33卷第10期 光电工程 Vol.33, No.10 2006年10月 Opto-Electronic Engineering Oct, 2006文章编号1003－501X(2006)10－0013－05基于光流场技术的复杂背景下运动目标跟踪李宏1杨廷梧1, 2任朴舟1李朝晖1( 1. 中国飞行试验研究院陕西西安 7100892. 西安电子科技大学陕西西安 710072 )摘要针对光电经纬仪在飞机起飞着陆段跟踪角速度大背景复杂的情况根据小波多分辨率技术提出利用小波分层组成低频图像金字塔利用光流技术进行匹配解算实现由粗到精的特征点匹配跟踪通过对飞行试验视频图像进行事后自动跟踪试验结果表明该算法能够稳定可靠跟踪多特征点目标具有鲁棒性关键词特征点跟踪图像金字塔小波多分辨率分析光流场目标跟踪中图分类号V248 文献标识码 AMoving target tracking based on optical flow field analysis in complexbackgroundLI Hong1YANG Ting-wu1, 2REN Pu-zhou1LI Zhao-hui1( 1. Chinese Flight Test Establishment, Xi’an 710089, China;2. Xidian University, Xi’an 710072, China )Abstract: A novel automated method is developed to track aircraft takeoff and landing in a complex background. It involves three processes. Firstly, low frequency image pyramid is represented based on Wavelet multi-resolution and hierarchical theory. Then, an optical flow approach is used for matching of the pyramid representation. Finally the tracking method is completed through coarse-to-fine matching of feature point tracking. This method is evaluated by tracking flight video and found to track multiple targets with stability, reliability and robustness.Key words: Feature points tracking; Image pyramid representation; Wavelet-based multi-resolution rate analysis; Optical flow field; Target tracking引言在飞行试验中飞机的起飞着陆性能是飞机基本性能的重要参数通常利用光电经纬仪通过电视跟踪或激光跟踪对飞机起飞着陆性能参数进行精确测量电视跟踪对于空中背景单一的目标通过简单的形心跟踪即可实现可靠跟踪而在起飞着陆段背景复杂目标快速运动在可见光波段目前只能应用图像匹配的方法图像匹配是在两幅图像中寻找对应于相同物理区域的像素之间最佳匹配过程在运动图像序列中实现运动目标的自动匹配对实现精确制导自主式导航和智能跟踪都具有重要意义它要求自动匹配的方法准确和鲁棒性目前大都采用基于特征的方法当图像序列中的背景有一定的运动对机动性很大的运动目标特征的自动匹配是个很复杂的问题而目前对这方面的研究工作相对较少收稿日期2005－11－15收到修改稿日期2006－04－24基金项目航空基金资助项目(03I30003)作者简介李宏(1971－)男(汉族)陕西临潼人工程师硕士主要从事光电测试及图像处理研究E－mail:******************光电工程 第33卷第10期14 本文提出了一种基于图像小波金字塔分层光流分析的图像自动匹配解算方法该方法主要分为三个过程第一是通过灰度偏差修正消除光线变化或摄像头自动调光造成序列图像灰度变化对光流解算的影响第二是通过角检测技术提取目标上的特征点人工选择其中的一个特征点作为设备跟踪点第三步通过小波金字塔分层在每一层进行光流迭代计算实现由粗到精的跟踪过程最后通过计算出的光流解算出特征点在序列图像中的运动位移通过对飞机起飞和着陆段的飞行试验表明该方法可以准确自动完成图像的特征点跟踪并具有很好的鲁棒性1 特征点跟踪1.1 特征点自动提取特征点提取在第一帧图像中进行定义一个2×2矩阵如下∑∑∈∈≈ωωx y y y x y x x I I I I I I 22G (1) 式中 ω 为选取的一个较小的希望获得特征点的区域其中 I x , I y 分别表示图像A 在x , y方向上的一阶偏导I x 和I y在计算时可用中心差分代替微分I x 和Iy 其计算方法为2)1,()1,(),(),(2),1(),1(),(),(−−+=∂∂=−−+=∂∂=y x A y x A y y x A y x I y x A y x A xy x A y x I y x (2)特征点可以通过矩阵G 确定假设矩阵G 的特征向量值为λ1λ2则当min(λ1, λ2) 时该点即为特征点λT 的计算过程如下1) 在图像A 计算每像素矩阵G 和它的最小特征量值λm 2) 找出整个图像λm 集的最大值λmax3) λT =0.1λmax 选取ω 邻域内特征向量最大的像素作为特征点集或者根据特征向量从大到小原则选取需要数量的特征点集为了得到稳定可靠的特征点要求矩阵G 处于良态既λ1和λ2有相同的数量级此外还要特征值尽量大即角点区域有良好纹理图1是根据特征向量从大到小选取了50个特征点选取时设置特征点最小间隔10个像素特征区域宽和高都为ω=7 1.2 进行小波金字分层对于二维图像来讲利用Mallat 算法通过张量积可由一维正交小波构造二维正交小波基从而得到离散图像的多尺度分解虽然算法复杂但是利于编程数据结构形式也很简单对于二维函数空间L 2(Z ×Z ) 上的任意信号 (图像) f (x , y )将它在子空间)()(Ρj Λ上的正交投影记为),()(y x f Ρj 则它可写成如下正交级数/,3,2,1,0),(),()(,,),()(,,)(==∑×∈Ρy x d y x f Ρq p j ZZ q p q p j Ρj ϑϑ (3)其中 /,3,2,1,0d d ),(),(),,)(,,==∫×Ρyx y x y x f d Z Z p l k j Ρq pj ϑ (4)Mallat 二维小波分解快速算法可写为−−=−−=−−=−−=∑∑∑∑×∈−×∈−×∈−×∈−Z Z q p qp j l k j ZZ q p q p j l k j ZZ q p qp j l k j Z Z q p q p j l k j d l q g k p g d d l q h k p g d d l q g k p h d d l q h k p h d ),(0,,1)3(,,),(0,,1)2(,,),(0,,1)1(,,),(0,,1)0(,,)2()2()2()2()2()2()2()2( (5) 式中 h (n ) 和g (n )分别对应同一小波基的低通和高通滤波器)0(,,l k j d 反映原图像的低频信息也称平滑像)1(,,lk j d 图1 自动特征点提取Fig.1 Automated extraction of feature points2006年10月 李 宏 等基于光流场技术的复杂背景下运动目标跟踪15是垂直方向高频水平方向低频的分量反映原图的水平边缘)2(,,l k j d 是水平方向高频垂直方向低频的分量反映原图的垂直边缘而)3(,,l k j d 是水平方向和垂直方向均为高频分量反映原斜线边缘利用二维Mallat分解算法把一幅图像分解成为一系列子带每个子带是通过对输入进行带通滤波而得到用低频子带构成金字塔灰度图像层这样做的目的主要是滤除了原图像的高频噪声防止在噪声环境进行运动估计时由于存在大量局部极值点导致匹配不准确在试验中取金字塔层数j 最大值L m 为3采用由Symlets 小波进行图像分解的方法Sym4为双正交小波小波的支撑长度为7滤波器长度为8具有近似的对称性由于光流计算使用了微分计算当目标运动速度大时微分误差很大同时对噪声敏感经过小波滤波金字塔分层后的图像在提高匹配速度的同时也解决了目标快速运动和高频噪声影响匹配精度的问题1.3 特征点匹配计算光流法是运动图像分析的重要方法光流表达了图像的变化由于它包含了图像运动的信息因此可以被观察者用来确定目标的运动情况光流场的计算最初是由Horn 和Schunk 提出的它们在图像序列中相邻图像之间的时间间隔不大且图像灰度变化很小的前提下推导出了基本光流约束方程(Optical flowconstraint equation)设I (x , y , t ) 是图像点(x , y )在时刻t 的照度如果νx 和νy 是该点光流的x 和y 分量假定点在t +δt 时运动到(x+δx , y+δy )照度保持不变其中 δx=νx δt δy=νy δt 可得到),,(),,(t y x I t t t v y t v x I y x =+++δδδ (6)如果亮度随x y t 光滑变化将上式用一阶Taylor 公式展开并忽略高阶项可得光流约束方程0=++t y y x x I v I v I (7)式中 (I x , I y )为图像点灰度的空间梯度即图像中空间的灰度变化计算方法见(2)式I t 为图像的灰度随时 间变化率Ty x v v ],[为光流从光流的定义可以看出它包含三方面意思一是速度场这是光流形成的必要条件二是带光学特性的部位(例如有灰度的像素点)它能携带信息三是成像投影(从场景到图像平面)因而能被观察到光流在视觉运动的研究中有很重要的作用设定A 和B 是经过(5)式小波金字塔分离出的相邻两帧低频图像)0(j d ω=(2ω+1)为匹配块ω=[ωx ωy ]T根据实际应用ω 一般取5到7像素ω 在所有金字塔层为常数在金字塔顶层相当于原图有m L ω区域纹理信息参与初匹配L m 为金字塔层数T y x v v ],[=v 为光流T y x g g ],[=g 为预测点在金字塔最顶层开始计算时初始化TL ]0,0[m =g 匹配公式描述为∑∑∈∈++++−==ωωννννενεx y y y x x y x g y g x B y x A 2)],(),([),(( (8)根据式(7)光流约束方程(8)式导数可表示为0/)(=∂∂=optννννε (9)经过对(9)式展开得到0][)],(),([=⋅++−∑∑∈∈ωωννx y y xy x I I y x B y x A (10)对(10)式中),(y x v y v x B ++在]00[=v 用一阶Taylor 展开得到0][)]][),((),([=⋅+−∑∑∈∈ωωx y y x y xI I I I y x B y x A v (11)通过(11)式即可解算出光流v 在计算v 时可通过牛顿迭代法计算在进行迭代时初始值可设定为]00[0=v 当k 次迭代计算到1−−k k v v 小于设定阈值时迭代结束得到L 层光流kv 在物体沿光轴的运动相对于物体到CCD 距离非常小的情况下可以用光流场代替位移场而在光电经纬仪系统中这个条 件完全具备因此kL d v =通过)(21L L L d g g +=−解算出的结果作为下一级预测值最终计算结果得到图A 中特征点在图B 运动位移00d g d +=图2(a)是从飞机起飞图像序列中抽取的相邻两帧光流场图像的大小为720×576其中的场景相对飞行目标向右下方运动飞机向左上方做起飞运动为更好地验证本文的方法抽取该序列的第四帧图作为光流计算的第二幅图像从图(a)中看出背景的光流大目标的光流明显小这是由于目标同CCD 摄像光电工程 第33卷第10期16 机运动方向一致时相对运动量小而背景不动相对于CCD 摄像机运动矢量比目标快从图(b)中可以看出背景光流场明显有向下运动的速度矢量这是由于飞机在相隔四帧时同连续两帧图像相比飞机已经有明显的高度方向运动位移在跟踪过程中跟踪特征点有可能飘逸或丢失这个问题可以通过多点跟踪来解决1) 自动在目标上提取多个跟踪特征点选取一个特征点作为主跟踪点脱靶量u 输出送到经纬仪控制回路进行目标跟踪2) 计算各个特征点位移d i 计算出d i 平均值δ3) 比较主跟踪特征点d 与δ超出阈值时对主特征点用δ 进行修正或重新在主跟踪点小范围区域重新自动提取特征点对主特征点用修正方法在实时交会计算时提高测量精度有帮助在∆t=40ms 时目标可认为刚性目标上的特征点位移d i 比较接近见图3(a)经过试验∆d i 小于1.5个像素因此阈值选取 1.5特征点数目由于在起飞着陆段目标大一般选取i=20经过多次试验跟踪过程中约有2~4特征点丢失退出δ 计算2 应用结果及分析模拟一个在水平方向往返快速运动目标在目标上自动选择三个特征点进行自动跟踪图3(a)是跟踪得到的X 轴运动曲线从数据曲线看运动目标上三个特征点数据曲线具有一致性跟踪稳定精度达到亚像素利用光电经纬仪对飞机在起飞和着陆段进行半自动跟踪通过图像采集卡进行视频图像采集文件记录格式为MPEG4分辨率为720×576通过VC 6.0调用DirectShow 进行多媒体编程进行事后自动判读图3(b)为起飞自动判读曲线图3(c)为着陆自动判读曲线在整个飞行过程中可以稳定可靠地跟踪目标由于录制的视频图像是手动半自动跟踪得到的飞机在整个视场运动从图中看出在帧间像素差最大达图2 光流场分布Fig.2Optical flow field distribution(a) Vector of two consecutive frames in optical flow field (b) Vector at intervals of four frames in optical flow field图3 自动跟踪测量数据曲线Fig.3Automatic tracking measuring curve2006年10月李宏等基于光流场技术的复杂背景下运动目标跟踪17 到6时目标也可稳定跟踪素在实际工作中通过在飞机上加工对三角等人工标志对提高跟踪精度和稳定性有明显帮助由于采用小波金字塔光流解算特征点在跟踪20个特征点的情况下P4 2.0A计算机CPU占用率不足50%3结论本文通过对飞机起飞着陆段飞行试验视频图像运动目标分析采用小波金字塔分层用低频分量进行图像匹配由粗到精有效地解决了光电经纬仪在跟踪飞机时起飞着陆段飞行目标变化速度快经纬仪跟踪电视焦距固定视场中目标成像大小在跑道区域不同轨迹段相差大背景复杂等方面的技术问题通过试验采用本技术方法后具有计算速度快跟踪可靠性高的特点本研究得到的技术成果已经应用到飞机起飞着陆制导炸弹投放等飞行试验图像的事后自动判读中解决了工程中遇到的实际问题已完成了多项飞行试验任务参考文献[1] 王晓卫宁固. 一种改进的基于光流的运动目标的检测算法[J]. 武汉大学学报200328(3)351－353.WAGN Xiao-wei NING Gu. A Modified Object Tracking Algorithm Based on Optical-Flow[J]. Journal of wuhanUniversity200328(3)351－353.[2] 王凌冯华君徐之海等. 一种基于光流场的复杂背景下人脸定位方法[J]. 计算机工程与应用2003(8)68－70.WANG Ling FENG Hua-jun XU Zhi-hai et al. A Method for Human Face Location in a Complex Background Based on the Optical Flow[J]. Computer Engineering And Applications2003(8)68－70.[3] 范瑞霞张俊. 一种基于多分辨率的图像跟踪算法[J]. 计算机工程与应用2002(12)185－186.FAN Rui-xia ZHANG Jun. A Multi-resolution Approach for Image Tracking[J]. Computer Engineering And Applications 2002(12)185－186.[4] 阮秋琦. 数字图像处理学[M]. 北京电子工业出版社2001.RUAN Qiu-qi. Digital Image Processing [M]. Beijing Publishing House of Electronics Industry2001.欢迎订阅2007年影像技术影像技术是经国家科技部批准由中国感光学会与全国轻工感光材料信息中心共同主办的技术性期刊本刊主要报道国内外影像技术影像材料和影像设备的发展状况重点介绍数字成像技术和数字影像材料以及传统感光材料和各种新型影像记录系统的进展和应用技术包括发展动态科研制备应用加工技术等本刊主要栏目综述与发展技术开发与研究数字成像缩微成像冲洗加工印刷制版无损探伤医学影像遥感与航空摄影特种照相喷墨打印广告摄影经营管理与市场调研等并辟有摄影精粹栏目专供刊发优秀摄影作品本刊为双月刊大16开版本正文64页彩版8页铜版纸印刷国内外发行邮局订阅邮发代号6—121定价每期10元全年60元地址天津市河西区洞庭路20号邮编300220联系人吕洪娜电话022******** 传真022********E-mail***************。
基于分层光流场的运动车辆检测与跟踪
聂小燕
【期刊名称】《实验技术与管理》
【年(卷),期】2012(029)011
【摘要】针对LK(Lucas Kanade)算法不能稳定跟踪快速移动目标的局限性,采用一种图像分层光流的跟踪方法,能获得针对目标的大尺度运动的较好预测结果.为了减少计算量,提出一种基于特征角点的光流跟踪技术,首先提取运动车辆的特征角点,计算其光流场,对角点实施跟踪极大地减少了光流计算量,可以满足目标检测实时性的要求.实验表明,当运动车辆转弯和移动时,角点始终稳定可靠,并且跟踪算法能够快速、准确地匹配特征焦点,实现了复杂交通场景下对运动车辆的实时稳定跟踪.【总页数】4页(P50-53)
【作者】聂小燕
【作者单位】电子科技大学成都学院电子信息工程系,四川成都 611731
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.基于自适应轮廓匹配的视频运动车辆检测和跟踪 [J], 杨建国;尹旭全;方丽;李健;王兆安
2.基于光流的运动车辆检测和跟踪技术的研究 [J], 张利平;赵俊梅
3.一种基于帧间差分和光流技术结合的运动车辆检测和跟踪新算法 [J], 王振亚;曾黄麟
4.基于运动检测的多车辆跟踪方法研究 [J], 单玉刚;汪家宝;李世兴;董爽
5.一种基于运动目标检测的视觉车辆跟踪方法 [J], 杨敏;裴明涛;王永杰;董震;武玉伟
因版权原因，仅展示原文概要，查看原文内容请购买。
《基于流场可视化的运动目标检测技术研究》篇一一、引言随着计算机视觉技术的不断发展，运动目标检测技术在多个领域中扮演着越来越重要的角色。
然而，传统的运动目标检测方法在面对复杂背景和动态环境时往往面临诸多挑战。
因此，本研究基于流场可视化技术，提出一种新型的运动目标检测方法，以提高检测精度和鲁棒性。
二、流场可视化技术概述流场可视化技术是一种用于分析和研究流体运动的技术。
它通过对流体运动的数值模拟结果进行可视化处理，使得流体运动的规律和特征能够以直观的图像形式呈现出来。
在运动目标检测领域，流场可视化技术可以帮助我们更好地理解和分析运动目标的轨迹和运动规律。
三、基于流场可视化的运动目标检测技术1. 算法原理本研究所提出的基于流场可视化的运动目标检测技术，主要通过捕捉和跟踪流场中的运动信息，实现对运动目标的检测。
具体而言，我们首先通过图像处理技术提取出流场信息，然后利用流场可视化技术对流场进行可视化处理，最后通过分析处理后的流场图像，实现对运动目标的检测和跟踪。
2. 技术实现在技术实现方面，我们采用了基于光流法的流场提取技术。
光流法是一种通过分析图像序列中像素的运动信息来提取流场的方法。
我们首先对连续的图像帧进行光流估计，得到每个像素点的运动矢量，然后通过将这些运动矢量进行空间聚合，得到整个流场的分布情况。
接下来，我们利用流场可视化技术将流场信息进行可视化处理，使得我们可以直观地观察到流场的分布和变化情况。
最后，我们通过分析处理后的流场图像，实现对运动目标的检测和跟踪。
四、实验结果与分析为了验证本研究所提出的方法的有效性，我们进行了多组实验。
实验结果表明，基于流场可视化的运动目标检测方法在面对复杂背景和动态环境时，具有较高的检测精度和鲁棒性。
与传统的运动目标检测方法相比，我们的方法在检测速度和准确性方面均有显著提高。
此外，我们还对不同场景下的实验结果进行了分析，发现我们的方法在不同场景下均能取得较好的检测效果。
