基于可见光图像的地面飞机目标识别
- 格式:doc
- 大小:3.86 MB
- 文档页数:75
第46卷第1期应㊀㊀㊀用㊀㊀㊀科㊀㊀㊀技Vol.46ɴ.12019年1月AppliedScienceandTechnologyJan.2019DOI:10.11991/yykj.201811015网络出版地址:http://kns.cnki.net/kcms/detail/23.1191.U.20181224.1838.002.html基于视觉显著性的空中目标检测算法刘鲁涛,王晓,李欣雨哈尔滨工程大学信息与通信工程学院,黑龙江哈尔滨150001摘㊀要:可见光低慢小飞行目标检测技术在军用民用领域有着特殊的意义,当视频背景中包含动态干扰㊁复杂云像等复杂情况时,检测诸如民用无人机等低慢小飞行目标十分困难,为此本文提出了一种基于视觉显著性的飞行目标智能检测算法,该算法首先通过帧间差分法提取运动信息,再利用改进SR算法对运动目标周边进行检测,检测时,首先通过局部复杂度分类模块对运动信息进行分类,排除地面的动态干扰信息,再提取目标邻域LAB空间中B通道图像,再对该图像进行云㊁天边缘部分提取,随后将其与SR算法的输出进行归一化做差获取最终检测结果㊂实验结果表明该算法在地空背景㊁复杂云像背景㊁过曝光背景中可以良好工作,并能达到实时处理需求㊂关键词:空中目标;运动目标检测;局部复杂度分类;显著性检测;无人机;动态干扰;复杂背景;边缘提取中图分类号:TP391.41㊀㊀㊀㊀㊀㊀文献标志码:A㊀㊀㊀㊀㊀㊀文章编号:1009-671X(2019)01-0088-06AnaerialtargetdetectionalgorithmbasedonvisualsignificanceLIULutao,WANGXiao,LIXinyuCollegeofInformationandCommunicationEngineering,HarbinEngineeringUniversity,Harbin150001,ChinaAbstract:Thedetectiontechnologyofsmallflyingobjectwithlowspeedandlowaltitudehasspecialmeaninginthemilitaryandcivilfields.Whenthebackgroundofthevideoincludescomplicatedsituationslikedynamicinterferenceontheground,complexcloudimageandoverexposurearea,thedetectionofsmallflyingobjectwithlowspeedandlowaltitudesuchascivilunmannedaerialvehiclewillbecomeverydifficult.Tosolvethisproblem,thispaperpropo⁃sesanintelligentflyingobjectdetectionalgorithmbasedonvisualsaliency.Firstly,thealgorithmextractedmotionin⁃formationbyinter⁃framedifferencemethod,andthenusedtheimprovedspectralresidual(SR)algorithmtodetectthemarginofthemovingtarget.Whendetecting,firstly,themotioninformationwasclassifiedbythelocalcomplexityclassificationmoduletoeliminatethedynamicinterferenceinformationoftheground,andthentheimageinBchan⁃nelintheneighborhoodLabcolorspace(LAB)spacewasextracted,andfurther,theimagewasextractedfromthecloudandtheskyedgeportion,andnext,theimagewasnormalizedwiththeoutputoftheSRalgorithmtoobtainthefinaldetectionresult.Theexperimentalresultsshowthatthealgorithmcanworkwellintheground⁃spacebackground,complexcloudimagebackground,over⁃exposurebackground,achievingreal⁃timeprocessingrequirements.Keywords:aerialtarget;movingtargetdetection;localcomplexityclassification;saliencydetection;UAV;dy⁃namicinterference;complexbackground;edgeextraction收稿日期:2018-11-19.㊀㊀网络出版日期:2018-12-24.基金项目:国家自然科学基金项目(61201238).作者简介:刘鲁涛,男,副教授,博士.通信作者:王晓,E⁃mail:438948460@qq.com.㊀㊀伴随着小型无人机技术的快速发展,无人机在军用㊁民用方面都展现了巨大价值,随之而来的针对小型无人机的监管拒止技术也具有十分重大的实际意义㊂通过光学手段对无人机进行检测跟踪识别是反无人机技术的重要一环,而其中对无人机等低空慢速小型目标的检测技术十分重要,并影响着整体系统的性能㊂在运动目标检测领域,经典的检测方法包括帧间差法㊁背景建模和光流法,这些方法在光照变化㊁镜头抖动㊁动态干扰下表现不佳㊂近年来一些基于视觉显著性的方法和一些基于深度学习的方法被提出用以解决此类问题,Hou等[1]于2007年提出了显著性SR算法,在频域上得到图像的显著性并以此检测目标,此类方法在天空背景下效果较好,但在天地混合背景中不能有效检测㊂基于深度学习的方法往往用于目标分类㊂在飞行目标检测方向上,王茂森等[2]提出的基于帧差法改进的无人机运动检测研究,利用水平分级的方法很好地提取了目标轮廓信息㊂张荣刚等[3]提出了改进的Vibe算法,提高Vibe算法的鬼影消除速度,并消除了阴影问题,但在面临光照变化㊁动态干扰等问题时效果不佳㊂王晓华等[4]通过视觉显著性对无人机目标进行检测,结合AdaBoost进行学习训练,可以针对较明显无人机目标进行检测,但对于无人机目标极小的情况难以达到良好的效果㊂通过研究发现传统算法中帧间差分法可以检测极小的目标,这个特点可以很大程度上提高检测性能,但在实际场景下往往会出现多种动态干扰,如行人㊁车辆㊁建筑物边缘㊁噪声点㊁飘动的云等,这些干扰为检测带来了很大困难㊂另外帧间差分难以获取目标的具体轮廓位置,仅能提供目标大致方位,这就为之后的跟踪带来了一定的影响[5]㊂针对上述问题,在帧间差分的基础上,本文提出了一种分类排除的思想,将可能存在的干扰信息分为地面干扰与空中干扰2种情况,地面干扰主要指地面背景下一些行人㊁车辆等动态干扰;空中干扰主要是飘动的云[6]㊂改进SR算法中排除地面动态干扰是通过局部复杂度分类的方法,其工作原理在于地面干扰所处的地面背景相比于天空背景更加复杂[7],其背景复杂度较高,通过阈值对背景复杂度进行分类可以排除地面动态干扰㊂经过此步之后,剩下的就是空中干扰与目标㊂为此本文将原图像分解成LAB三通道图像,并取其B通道数据通过自行设计的滤波器进行滤波获取云与天的边缘位置图,再将其与原SR算法输出进行归一化做差,得到的图像数据中有效地排除了大量云与天的边缘干扰㊂从而利用改进后的视觉显著性检测器可以排除云等动态干扰,仅保留目标数据㊂实验表明本文改进视觉显著性SR算法中的局部复杂度分类模块可以有效地去除地面干扰信息,在存在动态干扰的地空背景㊁天空背景中表现出良好的检测效果,相比于常规算法具有更好的检测性能,在对比了其他几种视觉显著性算法后证明本文使用的改进视觉显著性SR算法具有更好的检测效果,总体上来说,本文算法相对于对比算法具有更好的检测效果,在处理速度上也可以达到实时的要求,有较强的应用价值和实际意义㊂1㊀关键算法原理1.1㊀帧间差分法㊀㊀如果将图像序列中某一帧图像可以分为背景和前景,前景是我们应该检测出的目标和一些可能的干扰因素,背景则是相对于前景来说慢变的一部分,帧差法利用这样的特点区分前景和背景㊂帧间差法可由式(1) (2)表示,本算法中帧差法阈值为Th㊂Df(x,y,t)=If(x,y,t)-If(x,y,t-1)(1)MDf(x,y,t)=255,Df(x,y,t)ȡTh0,Df(x,y,t)<Th{(2)1.2㊀视觉显著性SR算法㊀㊀SR算法是一种利用对数光谱残差求取取图像显著性区域的方法[8]㊂该算法具有运行速度快效果好的特点㊂作者提出大量图像的log振幅谱都差不多趋近一条直线,一幅图像的log振幅谱减去平均log振幅谱就是图像中具有显著性部分㊂该方法的公式如(3) (7):A(f)=R(F(I[x]))(3)P(f)=S(F(I[x]))(4)L(f)=log(A(f))(5)R(f)=L(f)-hn(f)∗L(f)(6)S(x)=g(x)∗F-1[exp(R(f)+P(f))]2(7)式中:I(x)为输入图像,对其傅里叶变换,并且求出振幅谱为A(f),P(f)是其相位谱,Lf()是log振幅谱㊂hn(f)是一个nˑn均值滤波的卷积核,用原图像的log振幅谱图像减去经平滑后的log振幅谱图像可以得到频谱残差图,利用Rf()+Pf()求出自然指数exp,最后求取傅里叶逆变换回到时域得到的就是显著性区域㊂经实验证明:SR算法在一些纯天空背景下或云背景下表现出了良好的适应性,但在存在明显云天边缘的图片中处理效果较差,图1是SR算法效果图㊂图1㊀SR算法检测效果2㊀本文设计的检测算法㊀㊀本文检测算法的目的是在多种复杂背景图像中检测低慢小目标,本文算法首先获取当前帧中的运动信息,再将运动信息输入改进SR算法模块进行处理,去除动态干扰信息,获得最终检测结果㊂检测算法流程如图2所示㊂图2㊀检测算法流程㊃98㊃第1期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀刘鲁涛,等:基于视觉显著性的空中目标检测算法㊀㊀㊀㊀㊀㊀㊀2.1㊀运动信息获取通过帧间差分离背景与前景,提取前景信息供给后续算法分析,这其中包括了真正的目标㊁来自地面的干扰信息㊁来自空中的干扰信息,这些前景信息会通过后续算法进行分类㊂2.2㊀视觉显著性SR算法改进由于原SR算法受到显著性算法的局限性,其检测无人机时仅能针对天空背景目标进行检测,针对复杂的地空混合背景该算法难以工作㊂另外云天边缘部分往往会被检测出来造成一定的干扰,本文算法的改进流程如图3所示㊂图3㊀改进SR算法流程㊀㊀局部复杂度分类模块的目的是剔除运动信息中来自地面的动态干扰㊂经研究发现来自地面的动态干扰所处的背景都相对来说较为复杂,如树叶和枝干相连其背景中必然包含着复杂成分㊂基于这样的思想,可以将区别目标与干扰物的问题转化为局部复杂度计算的问题㊂由于Canny算子具有保留强边缘忽略弱边缘的特性[9],故其在天地混合背景的图像中往往保留大量地面建筑的强边缘而忽略空中的弱边缘,从而更有利于达到分类的目的㊂故先对输入图像进行Canny算子边缘提取,获取边缘图像㊂再依次在边缘图像中提取各个运动信息的周边区域作为敏感区域,敏感区域的小为120pixˑ120pix㊂在敏感区域中统计其中灰度值为255的像素点的数量,本算法通过阈值300对其进行分类,数量小于阈值的被判断为空中目标,反之为干扰㊂图4为边缘图像提取样例与对应原始区域图,第1行为原始图像中运动信息周边区域,第2行为边缘信息提取样例㊂图中可以明显看出地面干扰对应的边缘图像较为复杂,空中目标的边缘图像较为简单㊂图4㊀边缘图像提取样例与对应原始区域㊀㊀经过筛选之后,剩余运动目标中除了实际的检测目标外还存在一些飘动的云产生的动态干扰,从图1中可以看到原SR算法在周围背景具有不明显边缘的情况下,可以达到比较好的效果,但面对一些较为复杂的混合背景情况下,算法出现了一些干扰信息㊂原SR算法适用于多种自然场景下[10],但本文中经过之前模块的处理已经将复杂的天地混合的场景简化到天空场景的范围内,天空背景往往是由天空和云两种元素构成,在这种情况下背景具有很强的相关性,通过对这类图片的测试发现通过原SR算法处理的结果中存在的干扰部分是天空与云的明显的边缘,若对该类边缘进行抑制则能使得到的结果更好㊂此部分的步骤如下:1)首先要将原图像从RGB空间转换为LAB空间,并提取LAB图像中B通道的图像㊂在RGB空间中一些亮度信息被掺杂在RGB三个颜色通道中难以区分,而LAB空间中,A㊁B通道中完全不含亮度信息[11],这就为我们确定背景中的蓝天位置与云位置提供了方便,一般情况下背景中蓝天中包含较高的蓝色信息,从而在B通道中获得一个较高的值,相反若排除亮度因素影响,乌云与白云中几乎不含蓝色信息,其在B通道图像中表现出较低的值㊂2)对获取的B通道图像进行7ˑ7的卷积运算以提取其边缘信息位置,这些位置就是天与云的交接位置,式(8)描述了卷积核的构成,H(x,y)描述了卷积核的构成,其取值为卷积中心所对应B通道图像I(x,y)周边7ˑ7邻域中的值最大的一项为1,最小的一项为-1,其余为零㊂然后以该核与原图像卷积获取最后图像,最终结果图像D(x,y)中某一像素的值是I(x,y)图像周边邻域中最大值与最小值的差,该差值越大代表此像素越可能属于天与云的边缘区域㊂㊃09㊃应㊀㊀㊀用㊀㊀㊀科㊀㊀㊀技㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第46卷H7∗7(x,y)=1,I(xn,ym)=maxI(xn,ym)()n,mɪ[0,7]-1,I(xn,ym)=minI(xn,ym)()n,mɪ[0,7]0,其他ìîíïïïï(8)D(x,y)=I(x,y) H7∗7(x,y)(9)㊀㊀3)将原始视频图像输入SR算法,获取检测结果图像,并将结果图像S(x,y)与D(x,y)进行归一化做差,归一化方法如式(10)所示:并以此求得的显著性图像作为改进SR算法输出Q(x,y),Q(x,y)代表了去除云天边缘干扰后的显著图像㊂Q(x,y)=S(x,y)-D(x,y)∗max(S(x,y))max(D(x,y)),x=[0,row]y=[0,col](10)㊀㊀图5第1行为原始图像,第2行为将B通道值提取出来产生的灰度图,第3行是经过式(9) (10)处理的云天干扰图D(x,y),第4行是改进SR算法的输出㊂图5㊀改进SR算法中间结果与最终输出3㊀实验结果与分析3.1㊀局部复杂度分类模块实验结果图6中图片是背景分析过程中的一些图片,其中图6(a)是建筑物的边缘;图6(b)是电塔局部;图6(c)是树枝图像;图6(d)是地面场景的运动行人;图6(e) (h)是无人机不同场景下成像㊂图6㊀局部复杂度分类输入样本㊀㊀表1为图6中各图片局部复杂度计算结果,根据表1可以看出,本文提出的局部复杂度分类方法在多数情况下可以有效地区分天空与地面目标,仅在天空中云干扰较大的情况下出现了误判的情况,该算法可以实现分离天空与地面的目标的功能㊂表1㊀图6中各图片局部复杂度计算结果图6(a)6(b)6(c)6(d)6(e)6(f)6(g)6(h)复杂度值133390067511027126135116分类结果干扰干扰干扰干扰目标目标目标目标3.2㊀改进SR算法实验结果本文选取了6种视觉显著性算法与本文算法作对比,分别是SR[1]㊁AC[12]㊁LC[13]㊁FT[14]㊁SIM[15]㊁CA[16],比较时考虑多种背景情况进行分析比较,具体内容如图7 14所示㊂图7㊀天空背景下存在目标时各算法显著图图8㊀乌云白云背景下各算法显著图图9㊀彩色天空背景下各算法显著图㊃19㊃第1期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀刘鲁涛,等:基于视觉显著性的空中目标检测算法㊀㊀㊀㊀㊀㊀㊀图10㊀浅色天空背景下各算法显著图㊀㊀从图7㊁9中可以比较看出,当背景为纯天空背景时,大部分算法都能对目标进行有效的检测,本文算法可以不受天空中云的影响,其余算法都存在一定的干扰㊂图8㊁10所示含云背景下,LC算法㊁CA算法不能很好工作,SR算法与本文方案都能处理这种环境㊂从图11㊁12中的效果来看,当背景信息的对比极其明显且存在很多明显的边缘信息时,仅有SR算法与本文算法能给出较好的效果,但SR算法结果中包含了大量的背景干扰信息,此类信息对检测性能会产生不利影响,而本文算法几乎不受此类干扰影响,虽然得到的目标强度不高,但很好地抑制了干扰㊂图11㊀蓝天白云背景下各算法显著图图12㊀乌云天空背景下各算法显著图㊀㊀从图13㊁14中可以看出,当复杂背景中无目标时SR算法依然得到了高亮的目标显著区域,而本文算法图像中抑制了大部分干扰,同样情况下含目标时本文算法可以抑制类似的相似干扰区域㊂定性的分析,本文算法的检测效果要好于其他对比算法㊂图13㊀复杂背景下无目标时各算法显著图图14㊀复杂背景下存在目标时各算法显著图㊀㊀从算法用时上分析可见表2,测试输入为大小为256pixˑ256pix的图片,各算法处理百次并取时间均值,并对各个算法的时间进行分析,测试机采用i5-6300CPU,2.3GHz主频的计算机,SIM算法与CA算法采用MATLAB实现㊂其余各个算法都采用VS2010+OpenCv2.4.9的方式进行实现㊂表2㊀时间效率分析㊀㊀㊀㊀s/张LCFTSIMCAACSR本文0.08050.05820.06494.56124.76910.07270.1031㊀㊀从时间的角度来看,本文算法的速度相比于LC算法㊁FT算法㊁SIM算法㊁SR算法存在一定劣势,但综合时间与效果考虑,本文算法在此方向上优于现有方法㊂3.3㊀总体检测性能分析为了验证本文的总体检测性能,本文针对不同环境下的视频进行测试,测试视频选取6000f进行测试㊂主要的测试指标包括误检率㊁漏检率㊁正确率㊁运行速度这4个方面㊂分别对视频中每一帧的目标情况计算,当有且仅有目标被检测出来则为正㊃29㊃应㊀㊀㊀用㊀㊀㊀科㊀㊀㊀技㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第46卷确,若目标未被检测出来则为漏检,若还有其他干扰被检测出来则为误检㊂在比较时选取了目前比较常用的背景差算法Vibe算法㊁与常规的帧间差分法,结果如表3所示㊂表3㊀天地混合背景目标检测情况表性能指标Vibe帧差法本文算法正确率/%83.778.492.6误检率/%10.518.43.3漏检率/%5.83.24.1运行速度/s374.2206.8284.0㊀㊀表4为天空背景目标检测情况表,从表4中可以看出本文算法整体检测准确率最高,相比常规方法有明显优势,但本文算法增加了时间复杂度,在对漏检要求不高的系统中更好工作㊂表4㊀天空背景目标检测情况表性能指标Vibe帧差法本文算法正确率/%90.185.793.9误检率/%7.112.84.0漏检率/%2.81.52.1运行速度/s373.5205.2265.84㊀结论㊀㊀1)经实验发现,本文中改进视觉显著性SR算法在针对空中目标进行检测时比传统检测算法准确率更高,并拥有实时计算的能力;2)本文改进SR算法中的局部复杂度分类模块可以有效地分类地面动态干扰与空中目标;3)本文改进SR算法进行检测时获得的显著性图,相比于其他显著性算法干扰因素更少,检测效果更加准确,更适合在天空背景下工作㊂参考文献:[1]HOUXiaodi,ZHANGLiqing.Saliencydetection:aspectralresidualapproach[C]//2007IEEEConferenceonComputerVisionandPatternRecognition.Minneapolis,USA,2007:1-8.[2]王茂森,陈龙,戴劲松.基于帧差法改进的无人机运动检测研究[J].机械制造与自动化,2016,45(3):165-168.[3]张荣刚,顾强.基于ViBe的动态目标检测算法优化[J].机械与电子,2017,35(4):21-26.[4]王晓华,张聪,李聪,等.基于仿生视觉注意机制的无人机目标检测[J].航空科学技术,2015,26(11):78-82.[5]ZITNICKCL,PARIKHD.Theroleofimageunderstandingincontourdetection[C]//2012IEEEConferenceonCom⁃puterVisionandPatternRecognition.Providence,USA,2012:622-629.[6]林波.基于DSP的多运动目标检测与跟踪技术研究[D].南京:南京理工大学,2014.[7]KEHongchang,SUNHongbin,GAOLei,etal.Avideoimagecompressionmethodbasedonvisuallysalientfeatures[J].Journalofdigitalinformationmanagement,2014,12(5):333-339.[8]丁鹏,张叶,贾平,等.基于视觉显著性的海面舰船检测技术[J].电子学报,2018,46(1):127-134.[9]蒋兆军,成孝刚,彭雅琴,等.基于深度学习的无人机识别算法研究[J].电子技术应用,2017,43(7):84-87.[10]CHANGCheng,ANSARIR.Kernelparticlefilterforvisu⁃altracking[J].IEEEsignalprocessingletters,2005,12(3):242-245.[11]KIMYH,KIMA,JEONGHY.RGBcolormodelbasedthefiredetectionalgorithminvideosequencesonwirelesssensornetwork[J].Internationaljournalofdistributedsen⁃sornetworks,2014,10(4):923609[12]ACHANTAR,HEMAMIS,ESTRADAF,etal.Frequen⁃cy⁃tunedsalientregiondetection[C]//2009IEEEConfer⁃enceonComputerVisionandPatternRecognition.Miami,USA,2009:1597-1604.[13]GOFERMANS,ZELNIK⁃MANORL,TALA.Context⁃a⁃waresaliencydetection[C]//2010IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.SanFrancisco,USA,2010:2376-2383.[14]ACHANTAR,ESTRADAF,WILSP,etal.Salientre⁃giondetectionandsegmentation[C]//InternationalConfer⁃enceonComputerVisionSystems.Santorini,Greece,2008:66-75.[15]ZHAIYun,SHAHM.Visualattentiondetectioninvideosequencesusingspatiotemporalcues[C]//Proceedingsofthe14thACMInternationalConferenceonMultimedia.SantaBarbara,USA,2006:815-824.[16]MURRAYN,VANRELLM,OTAZUX,etal.Saliencyestimationusinganon⁃parametriclow⁃levelvisionmodel[C]//Proceedingsofthe2011IEEEConferenceonCom⁃puterVisionandPatternRecognition.ColoradoSprings,USA,2011:433-440.本文引用格式:刘鲁涛,王晓,李欣雨.基于视觉显著性的空中目标检测算法[J].应用科技,2019,46(1):88-93.LIULuTao,WANGXiao,LIXinYu.Anaerialtargetdetectionalgorithmbasedonvisualsignificance[J].Appliedscienceandtech⁃nology,2019,46(1):88-93.㊃39㊃第1期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀刘鲁涛,等:基于视觉显著性的空中目标检测算法㊀㊀㊀㊀㊀㊀㊀。
国防科技NATIONAL DEFENSE TECHNOLOGY第42卷第2期2021年4月Vol. 42, No. 2Apr. 202]多模态图像智能目标识别对抗攻击拓世英1,孙浩2,林子涵為陈进°(1.国防科技大学电子科学学院,湖南长沙410073;2.国防科技大学电子信息系统复杂电磁环境效应国家重点实验室,湖南 长沙410073;3.国防科技大学前沿交叉学科学院,湖南长沙410074;4.北京市遥感信息研究所,北京100192)[摘 要]基于深度学习模型的新一代智能化多模态(可见光/红外/雷达)图像识别系统已逐步在航空航天 情报侦察、人机交互增强作战系统、无人作战平台自动图像目标识别以及多模复合图像末制导等多个军事场景中得到广泛应用。
然而,由于深度神经网络模型在理论上存在不完备性和对抗脆弱性、多模态图像目标识别深 度网络结构设计与优化在工程上存在迁移性等因素,使得现有识别系统在鲁棒准确性方面评估不足,给系统在未来战场复杂对抗场景中的广泛部署带来极大的安全隐患。
为此,本文通过研究多模态图像智能目标识别系统军事场景应用的风险模型,分析系统存在的潜在攻击面,开展基于深度神经网络的多模态图像识别对抗样本攻 击技术和对抗鲁棒准确性评估等关键技术研究,以期提升系统在复杂电磁环境条件下的鲁棒性和准确性。
[关键词]深度学习模型;智能图像识别;对抗攻击;鲁棒性评估[中图分类号]E919 [文献标志码]A [文章编号]1671-4547(2021 ) 02-0008-06DOI : 10.13943/j.issn 1671-4547.2021.02.021引言以深度神经网络为代表的现代机器学习在各种复杂任务中不断取得新的突破,在许多应用 中已经达到或超越人类的认知水平[旧。
例如,美国密苏里大学研究人员开发的新一代深度学习 智能化图像识别算法仅仅利用42分钟,便在我国南方某地区的遥感卫星影像中以高置信度定 位90多个地对空导弹阵地,图像判读和情报生 成能力远远超过人类水平。
收稿日期:2019-09-30作者简介:王伟男(1988-),男,辽宁朝阳人,在读硕士研究生,主要研究方向:基于多源信息融合的目标识别技术研究;周亮(1981-),男,河南遂平人,工程师,硕士,主要研究方向:装备监造。
基于图像处理技术的军事目标识别方法综述王伟男1,周亮2(1.陆军装甲兵学院,北京100072;2.陆军武汉军代局驻长沙地区军代室,湖南长沙410014)摘要:对国内外当前比较流行的军事目标识别的成像途径、分类方法梳理总结并对几种成像途径的军事目标识别的优劣势进行分析比较,最后对基于图像处理技术的军事目标识别方法与其他识别手段相结合的发展趋势做一简述。
关键词:图像处理;军事目标识别;综述中图分类号:TP391.41文献标识码:AA Survey of Military Target Recognition MethodsBased on Image Processing TechnologyWANG Wei-nan 1,ZHOU Liang 2(1.Army Armored Academy,Beijing 100072,China;2.Changsha Military Representation Office of Wuhan Military Representation Bureau of The Chinese Land Force,Changsha 410014袁China)Abstract :The imaging methods and recognition methods of the current popular military target recognition at home and abroad are summarized and analyzed,and the advantages and disadvantages of military target recognition of several imaging approaches are analyzed and compared.Finally,the military target recognition method based on image processing technology and other identification methods are analyzed.A brief introduction to the development trend.Key words:image processing;military target recognition;review对敌军事目标侦查识别是对敌作战打赢制胜的先行步骤和基础环节,通过对敌可疑目标进行图像处理分析从而判定真伪、类别和实力具有重要研究价值。
外、热红外光谱特征,大大提高了地物的分类和识别能力,在农业、林业、海洋、气象、地质、全球环境及军事遥感等诸多领域显示出巨大的应用前景。
目前,已有许多国家相继研制出或正在研制各具特色的成像光谱仪,数量达四十种之多[3-61。
从第一代AIS的32个连续波段,到第二代高光谱成像仪。
航空可见光、红外光成像光谱仪(AVIRIS)的224个波段,光谱分辨率在不断提高,AVRIS是首次测量全反射波长范围(O.4~2.5run)的成像光谱仪。
美国宇航局在1999年底发射的中等分辨率成像光谱仪(MODIS)和高分辨率成像光谱仪(HIRjS)为人类提供了更多信息。
2001年发射的OrbView卫星能够同时提供更高空间分辨率和光谱分辨率的数据,它能获取】m全色波段影像和4m~5m的多光谱波段以及空间分辨率为8m的200个波段的高光谱数据。
此外,许多具有高空间分辨率和高光谱分辨率的成像光谱仪正在或即将进入实用阶段,例如:美国的HYDICE、SEBAS,加拿大的FLI、CASI和SFSI,德国的ROSIS以及澳大利亚的HYMAP等。
这些传感器有的已经进入了商业运营,技术比较成熟。
特别是美国的HYDICE和AVIRIS多次参与军方的实验,提供了大量的军事应用的第一手资料。
图l—l高光谱图像数据立方体示意我国在这一领域的发展也十分迅速。
中科院上海技术物理研究所于1997年开始研制244波段的推扫式(PHI)和128波段的可见光/近红外、短波红外、热红外模块化成像光谱仪系统(OMIS)并取得了成功,特别是OMIS已经成功转入商业运营。
另外,中科院长春光学精密机械与物理研究所、西安光学精密机械研究所也在这一领域取得了重要的研究成果。
高光谱数据除了拥有图像数据的几何信息外,还具有光谱信息,从而构成三维的图像立方体。
如图1.1,光谱维信息可以记录地物所具有的反射、吸收和发射电磁能量的能力,这种能力是由物质的分子和原子结构确定,不同的地物类型对应于不同的谱特征,这就是光谱的“指纹效应”,如图1.2。
基于改进YOLOv5s的航拍红外图像目标识别方法1. 内容概括随着航空摄影技术的迅速发展,红外热成像技术在军事、安防、农业等领域得到了广泛应用。
由于红外图像的特殊性,如低对比度、噪声干扰和目标与背景的温差较大等,使得传统的目标检测算法在红外图像上性能有限。
提高红外图像目标识别的准确性和鲁棒性成为了当前研究的热点。
YOLOv5s作为最新的目标检测算法之一,以其优秀的性能和实时性受到了广泛关注。
本文提出了一种基于改进YOLOv5s的航拍红外图像目标识别方法,旨在解决传统算法在红外图像上的局限性。
我们对YOLOv5s进行了一系列改进,包括网络结构优化、损失函数调整以及处理流程改进等。
针对红外图像的特点,我们引入了一些新的技巧和方法,如自适应阈值分割、多尺度特征融合以及深度可分离卷积等。
在多个公开数据集上的实验结果表明,所提方法在航拍红外图像目标识别方面具有较高的准确性和鲁棒性,为相关领域的研究和应用提供了有价值的参考。
1.1 研究背景随着遥感技术的飞速发展和航拍数据的日益丰富,航拍图像目标识别已成为计算机视觉领域的重要研究方向之一。
特别是在军事侦察、环境监测、城市规划等多个领域,航拍图像目标识别的准确性和实时性要求越来越高。
红外图像由于其独特的成像原理,能够在夜间或恶劣天气条件下提供有效的目标信息,研究基于航拍红外图像的目标识别技术具有重要意义。
基于深度学习的目标识别方法已成为研究热点。
YOLO(You Only Look Once)系列算法以其快速、准确的特性受到广泛关注。
特别是YOLOv5s模型,作为该系列的最新改进版本,其在目标检测领域的性能表现卓越。
将YOLOv5s应用于航拍红外图像目标识别仍面临一些挑战,如红外图像中的目标特征提取、背景干扰、尺度变化等问题。
研究基于改进YOLOv5s的航拍红外图像目标识别方法,旨在提高目标识别的准确性和实时性,具有重要的科学研究价值和实践意义。
1.2 相关工作在计算机视觉领域,目标检测作为核心研究方向之一,近年来得到了广泛的关注和研究。
光学图像海面舰船目标智能检测与识别方法研究一、本文概述随着遥感技术的快速发展,光学图像作为其中的一种重要数据源,广泛应用于海面舰船目标的检测与识别。
光学图像海面舰船目标的智能检测与识别方法研究,不仅有助于提升海洋安全监管的自动化和智能化水平,也对军事侦察、民用船舶监控等领域具有重要意义。
本文旨在探讨和研究基于光学图像的海面舰船目标智能检测与识别的相关技术和方法。
本文将对光学图像海面舰船目标检测与识别的研究背景和意义进行阐述,分析当前国内外的研究现状和发展趋势。
接着,文章将详细介绍基于光学图像的海面舰船目标检测与识别所涉及的关键技术,包括图像预处理、特征提取、目标检测和识别等步骤,并对各种方法的优缺点进行比较分析。
在此基础上,本文将提出一种基于深度学习的海面舰船目标智能检测与识别方法,该方法能够充分利用光学图像中的多尺度、多特征信息,实现对海面舰船目标的快速、准确检测与识别。
文章将详细阐述该方法的实现过程,包括模型的构建、训练、优化和测试等步骤,并通过实验验证该方法的有效性和鲁棒性。
本文将对研究成果进行总结,并对未来研究方向进行展望。
通过本文的研究,旨在为光学图像海面舰船目标智能检测与识别技术的发展提供理论支持和实践指导,推动相关领域的科技进步和应用发展。
二、相关理论和技术随着光学成像技术的不断进步,海面舰船目标的智能检测与识别已成为当前研究的热点。
在这一领域中,涉及的理论和技术众多,主要包括图像处理、机器学习、深度学习等。
图像处理技术是海面舰船目标检测的基础。
常用的图像处理技术包括图像增强、滤波、边缘检测等。
这些技术可以有效地提高图像质量,减少噪声干扰,突出目标特征,为后续的目标识别提供基础。
机器学习算法在舰船目标识别中发挥着重要作用。
通过训练大量的样本数据,机器学习模型可以学习到舰船目标的特征表示,从而实现自动的目标分类和识别。
常见的机器学习算法包括支持向量机(SVM)、随机森林(Random Forest)等。
檪檪檪檪殏 控制工程文章编号: 2095 - 1248( 2015) 01 - 0023 - 09基于光学遥感图像的目标检测与分类识别方法姬晓飞,秦宁丽( 沈阳航空航天大学 自动化学院,沈阳 110136)摘要: 基于光学遥感图像的目标检测与分类识别是遥感图像处理与分析领域备受关注的课题,其核心任务是判断遥感图像中是否存在目标,并对其进行检测、分割、特征提取与分类识 别。
遥感图像的目标检测是大范围地面信息获取的重要途径,目标分割是对遥感图像进行进 一步处理和应用的基础,提取特征能否有效描述目标区域将直接影响后期检测和识别的结 果,识别算法的选取对于目标的正确识别至关重要。
因此从以下四个方面对这一研究领域进 行介绍: 1) 目标检测; 2) 图像分割; 3) 特征提取; 4) 分类识别,并对研究难点及未来的发展趋 势作较为详细的分析。
关键词: 光学遥感图像; 目标检测; 图像分割; 特征提取; 分类识别 中图分类号: TP 751文献标志码: Adoi: 10. 3969 / j . i ss n . 2095 - 1248. 2015. 01. 005T a r ge t detection and classified r e c og n it ion m e th o dbased on optical r e m o t e sensing ima geJI Xi ao -f ei ,Q I N N i ng -li( C o ll e g e of A ut o m at i o n ,S heny an g Aerospac e U n i v ers i ty ,Sheny an g 110136,C h i na)Abstract: The m et ho d of targ et detect i o n and cl assified reco g ni t i o n based on o pt i m al remote sens i ng i m ag e is a focus in the fi eld of rem ot e s ens i ng process and analy s i s . The ai m is t o l o cate targets and car - ry o ut detect i o n ,s eg m entat i o n ,f eature ex t ract i o n and cl assified reco g ni t i o n . The target detect i o n of re- m ot e sens i ng i m ag e is an i m po r t ant channel to obtain the ground i nf o rmat i o n in a l ar g e sc al e . The t ar g et s eg mentat i o n is the f o undat i o n of complet i ng the f urther pr o c ess i ng and appl i c at i o n . F eature ex t rac t i o n w ill directly aff ect the res ults of l ater detect i o n and reco g ni t i o n . T he s elect i o n of reco g ni t i o n al g o r i t hm i s v ital for the correct reco g ni t i o n of t he t ar g et . S o w e w ill i ntr o duce the research field from the f o ll o w i ng four aspects : 1) target detect i o n ; 2) i m ag e s eg mentat i o n ; 3) feature ex t ract i o n ; and 4 ) classifi ed reco g ni - t i o n . F ur t herm o re ,a detai l ed analysis of t he diffic ulti es and the f uture dev elopm ent trends in this re- s earc h field are li s t ed . 收稿日期: 2014 - 10 - 17基金项目: 国家自然科学基金青年基金( 项目编号: 61103123) ; 教育部留学回国人员启动基金资助( 项目编号: 2013693) 作者简介: 姬晓飞( 1978 - ) ,女,辽宁鞍山人,副教授,主要研究方向: 视频分析与处理、模式识别理论。
摘要遥感科学是随着现代科学技术的进步而发展起来的一门新兴学科,现已广泛应用于农业、林业、水利、气象、测绘、地质勘探、环境监测以及军事侦查等领域,并取得了很好的经济效益和社会效益。
其中,从可见光遥感图像中自动获取有用信息一直是军事侦查领域的重要课题。
在高技术条件下的局部战争中,飞机发挥着十分重要的作用,高效快速的飞机目标识别算法有利于作战指挥员实时把握敌方动态、进行分析决策进而赢得战争的胜利。
因此,飞机目标的识别研究在军事应用上意义重大。
本文研究了可见光图像中地面飞机目标的识别算法。
其中包括可见光图像的预处理和目标图像的区域分割,目标区域的特征选取和提取以及目标识别三个方面。
在可见光图像的预处理和目标图像的区域分割方面,本文提出了基于模糊差影法的自适应阈值分割算法进行图像分割。
在特征选取和提取算法的研究方面,提出了目标区域所占面积比这一特征量,并采用该特征量和紧凑度、七阶Hu不变矩对分割后的飞机目标区域进行了分析,消除了目标位置、方向、大小等对特征提取的干扰。
最后,利用模糊模式识别算法进行飞机目标的识别,并标记出目标飞机。
用本文提出的算法对搜集到的100幅图像进行处理,实验结果表明,识别率可达85%以上。
本文提出了基于模糊差影法的自适应阈值分割算法,并在识别过程中提出了目标区域所占面积比这一特征量,实现了可见光遥感图像中飞机目标的自动识别,并取得了较好的效果。
关键词:可见光图像;图像分割;目标特征提取;模糊模式识别Aircraft Onground Recognition From Visible ImagesAbstractRemote sensing is a newly academic discipline which develops with modern science and technology. Now it is widely applied to the fields of agriculture, forestry, water conservancy, weather, measurement and mapping, the geology exploration, environment monitor and military investigation and so on, and it has obtained good economic benefits and social efficiency. As is known to all, it is important to obtain useful information automatically from visual images in the field of military investigation. In the local war under the high technique conditions, aircraft is of great importance. The efficient and high rapid algorithms of airplane target recognition have a great advantage for chief officers to obtain information from enemy and thus win the war. Therefore, the research of aircraft target recognition is of great significance in military affairs.In this paper, methods of aircraft recognition of visible images are discussed. Image preprocessed and image segment, target characteristic extraction and airplane target recognition are included. In the aspect of preprocessed and image segment, faintness difference and adaptive threshold value means are used to distill target section. In the aspect of target characteristic extraction, Hu’s seventh order invariant moment、compactness and square rate are used to analyze the target section after segment. At last, we use fuzzy pattern recognition to recognize the airplane.In this paper, faintness difference and adaptive threshold value means and target square rate are put forward and aircrafts in visible images can be recognition automatically..Key Words:visible images ; image segment ; characteristic extraction ; fuzzy pattern recognition目录摘要 (1)Abstract (2)引言........................................................................................................... 错误!未定义书签。
1绪论.. (2)1.1课题意义 (2)1.2课题研究现状 (2)1.2.1 国外研究现状 (3)1.2.2国内研究现状 (4)1.3课题主要工作 (5)1.3.1本课题主要研究内容 (5)1.3.2本课题预期达到的目的 (5)2可见光图像中地面飞机目标自动识别程序的设计 (6)2.1程序总体框架 (6)2.1.1图像输入部分 (6)2.1.2 图像分割和提取部分 (6)2.1.3图像飞机目标特征选取和提取部分 (6)2.1.4 飞机目标识别部分 (6)3 可见光图像获取 (8)3.1飞机目标图像获取 (8)3.2 Google Earth (8)3.3图像采集结果 (8)4地面飞机目标区域提取和分割 (10)4.1概述 (10)4.2 阈值分割法 (11)4.2.1直方图阈值双峰法 (11)4.2.2迭代阈值法分割技术 (12)4.2.3改进的阈值分割法 (13)4.2.4实验结果 (18)5地面飞机目标特征选取和提取 (22)5.1概述 (22)5.2七阶Hu不变矩 (23)5.3 紧凑度 (25)5.4目标所占区域面积比例 (26)6地面飞机目标识别 (27)6.1概述 (27)6.2模糊模式识别 (28)6.3 实验结果 (28)6.4 识别效果评价 (32)结论 (34)参考文献 (36)附录A 翻译原文 (38)附录B 翻译译文 (47)附录C 程序清单 (64)在学取得成果 (70)致谢 (71)引言利用可见光图像进行飞机目标识别在军用和民用领域中具有重要的研究价值和应用价值,尤其在现代高技术战争中,研究可见光图像飞机目标的自动识别算法显得更加重要。
目前国内外已经开展了大量飞机识别方面的研究,通过提取飞机的目标特征和建立相应的数据库,实现对飞机的识别。
本文主要研究自动、快速地从大量的图像中识别飞机目标,从而减少判读时间,提高信息获取的效率。
在可见光图像的预处理和飞机目标图像区域分割方面,重点分析和比较了直方图阈值双峰法、迭代阈值分割法、和基于模糊差影法的自适应阈值分割法这三种阈值分割方法,提出了基于模糊差影法的改进自适应阈值分割算法作为图像分割方法。
根据可见光图像中飞机目标的特点以及人工判读原理,在特征选取和提取方法的研究方面,为了消除目标位置、方向、大小等对特征提取的影响,本文提出了目标区域所占面积比这一特征量,并利用该特征量以及紧凑度、七阶Hu不变矩对分割后的飞机目标区域进行了特征提取。
最后,利用模糊模式识别法对满足各种特征量与模板飞机相似的飞机进行标记,找出可见光图像中的飞机并且用红色方框将图像中的飞机目标标记出来。
1绪论本章主要介绍课题的研究意义,研究现状,以及本人在课题研究中所作的工作,对全文的章节安排做了简要的说明。
1.1课题意义飞机作为重要的军事目标,在高科技技术背景下的战争中发挥着相当重要的作用。
高水平的战术侦察需要运用计算机智能控制的方法和手段,将航空侦察到的可见光图像实时传输并输入计算机,由计算机自动采集并进行图像处理,如图像增强、提取边缘、去除噪声等预处理过程,提取各种有效的目标特征并确定目标的坐标,最后由计算机进行智能判读。
从而提高航空侦察系统的自动化水平[1]。
因此,利用计算机技术建立军事目标自动识别系统对航空侦察实时图像或航空侦察后冲洗的照片进行处理,在计算机上快速、可靠地检测出目标,进行遥感图像的军事目标自动识别,将判读人员从枯燥的工作中解脱出来,将会对于提高未来战争的情报分析、目标识别定位以及战场形势评估的速度,提高情报的时效性和准确率,提高快速、准确的军事情报的提供能力和作战效能具有十分重要的意义[2-4]。
本文针对这一军事应用的需求,对可见光图像中的地面飞机目标的识别算法进行了研究,该项研究是自动目标识别技术的一个具体应用,对于充实和发展自动目标识别算法具有重要的意义。
1.2课题研究现状图像目标识别就是利用从图像中提取到的目标特征,实现对目标的检测,定位和分类。
通常,分类是在有监督的条件下进行的,也就是用模型匹配的方法实现的。
因此,图像识别系统主要分两大板块:第一,建立目标的参数模型;第二,依据参数模型对待识别图像进行分析,理解从而解译出图像中所包含的目标信息。
就识别过程而言,可分为图像的预处理,图像的特征提取,对检测出的目标图像分类识别。
图像拍摄的过程是随机的,在拍摄的过程中会由于气候条件、拍摄系统的原因加入一些噪声,并且在成像的过程会产生一些几何畸变,另外,每次拍摄到的目标图像的几何位置、形状会不完全相同。
所以要实现图像目标的识别,就要求寻找目标图像在上述变化过程中能够保持恒定不变或受这些变化影响不大的某些特征参数来建立该类目标的表述模型。