基于能量积累和形态重构开的红外图像序列小目标检测方法
- 格式:pdf
- 大小:243.55 KB
- 文档页数:4
基于多模态图像分析的目标检测方法研究随着计算机技术的发展,人工智能成为当前研究的热点之一。
其中,目标检测是人工智能领域中的一个重要问题。
多模态图像分析方法在目标检测中发挥着越来越重要的作用。
本文将介绍基于多模态图像分析的目标检测方法。
一、多模态图像分析概述多模态图像分析是指将不同的图像模态组合在一起来分析图像。
常见的图像模态包括:RGB彩色图像、红外图像、3D激光雷达图像等。
这些不同的模态从不同的角度描述同一个场景或对象,将它们组合在一起能够提供更为完整的信息,从而对于目标检测等任务有更高的准确度。
二、基于多模态图像分析的目标检测方法目标检测是指从图像中找出特定的目标,并标出其位置和大小。
传统的目标检测方法通常是基于单一模态的图像分析,如使用RGB彩色图像进行分析。
但是,这种方法往往会受到环境光线、天气等因素的影响,检测结果不够准确。
因此,基于多模态图像分析的目标检测方法应运而生。
在基于多模态图像分析的目标检测方法中,先将多种不同模态的图像进行融合处理,得到综合信息。
然后,利用深度学习的技术进行目标检测。
深度学习是一种基于神经网络的机器学习方法,该方法可以在给定的数据集上进行训练,最终得到具有良好泛化性能的模型。
在目标检测中,通常使用卷积神经网络(Convolutional Neural Network,CNN)进行建模。
具体而言,基于多模态图像分析的目标检测方法具有以下步骤:1. 数据预处理:将不同模态的图像进行预处理,使其能够在同一坐标系中对齐。
通常采用特征点匹配和变换等方法。
2. 多模态图像融合:将不同模态的图像进行融合,得到综合信息。
常用的融合方法包括级联法、加权平均法等。
3. 深度学习模型训练:使用融合后的多模态图像数据进行深度学习模型的训练。
常用的目标检测模型包括 Faster R-CNN、YOLO、SSD等。
4. 目标检测:使用训练好的深度学习模型对新的图像进行目标检测。
通常采用滑动窗口或区域提议等方法,得到图像中目标的位置和大小。
基于多传感器融合的目标检测算法研究随着人工智能技术的快速发展,目标检测技术已成为图像处理和计算机视觉领域的热门研究方向之一。
目标检测算法主要用于从图像、视频等多源数据中自动识别和定位特定目标,已广泛应用于智能监控、自动驾驶、人脸识别等领域。
然而,由于物体表现形式的多样性和复杂性,单一传感器的数据往往不足以提供完整的目标信息,因此多传感器融合的目标检测算法日益受到关注。
本文将介绍多传感器融合的目标检测算法研究的现状和未来发展趋势。
一、多传感器融合方案传感器融合是指将不同传感器的信息进行整合和优化,以提高系统准确性和可靠性的方法。
多传感器融合的目标检测算法通常涉及红外传感器、雷达、激光雷达等多个传感器,利用这些传感器的互补性,实现更准确、更全面的目标检测。
1.特征级传感器融合特征级传感器融合是利用不同特征描述子,如颜色、形状、纹理等,将不同传感器的目标信息进行整合的方法。
这类算法主要利用众多传感器所具有的纹理、颜色、物体形状、大小和轮廓等多种特征,将这些特征融合在一起,生成具有更丰富特征的目标描述,从而提高检测准确度。
2.决策级传感器融合决策级传感器融合是通过将多个传感器的分类输出结果进行合并的方式,提高目标检测的准确性和鲁棒性。
这类算法主要利用各传感器之间的互补性,将分别由各个传感器得出的目标检测结果进行综合,形成最终的目标检测结果。
二、多传感器融合的应用现状1.智能监控多传感器融合的目标检测技术在智能监控领域的应用最为广泛。
利用不同种类的传感器对监控行为进行全面监控和实时定位。
例如,多传感器结合应用可实现对违禁品、危险品、运动物体等的自动识别和报警,提高了安全性。
2.自动驾驶多传感器融合的目标检测技术在自动驾驶中发挥了关键作用。
例如,在传统单一摄像头与激光雷达标定中,仅通过摄像头获取的图像往往不能利用地面特征准确定位。
而通过加入激光雷达,可以创建点云图像,并进行自动检测和定位。
三、多传感器融合的未来发展趋势1.深度学习与多传感器融合近年来,深度学习技术的发展已经取得了巨大的成功。
基于多尺度特征融合的遥感图像小目标检测马梁;苟于涛;雷涛;靳雷;宋怡萱【期刊名称】《光电工程》【年(卷),期】2022(49)4【摘要】本文提出了一种鲁棒的基于多尺度特征融合的遥感图像小目标检测方法。
考虑到常用的特征提取网络参数量庞大,过多的下采样可能导致小目标消失,同时基于自然图像的预训练模型直接应用到遥感图像中可能存在特征鸿沟。
因此,根据数据集中所有目标尺寸的分布情况(即:先验知识),首先提出了一种基于动态选择机制的轻量化特征提取模块,它允许每个神经元依据目标的不同尺度自适应地分配用于检测的感受野大小并快速从头训练模型。
其次,不同尺度特征所反应的信息量各不相同且各有侧重,因此提出了基于自适应特征加权融合的FPN(feature pyramid networks)模块,它利用分组卷积的方式对所有特征通道分组且组间互不影响,从而增加图像特征表达的准确性。
另外,深度学习需要大量数据驱动,由于遥感小目标数据集匮乏,自建了一个遥感飞机小目标数据集,并对DOTA数据集中的飞机和小汽车目标做处理,使其尺寸分布满足小目标检测的任务。
实验结果表明,与大多数主流检测方法对比,本文方法在DOTA和自建数据集上取得了更好的结果。
【总页数】17页(P47-63)【作者】马梁;苟于涛;雷涛;靳雷;宋怡萱【作者单位】中国科学院光电探测技术研究室;中国科学院光电技术研究所;中国科学院大学【正文语种】中文【中图分类】TP751【相关文献】1.基于多尺度特征融合的红外图像小目标检测2.基于多尺度特征稠密连接的遥感图像目标检测方法3.基于多尺度融合特征卷积神经网络的遥感图像飞机目标检测4.基于多尺度特征融合的红外小目标检测方法5.采用多尺度特征融合SSD的遥感图像小目标检测因版权原因,仅展示原文概要,查看原文内容请购买。
基于YOLO模型的红外图像行人检测方法谭康霞;平鹏;秦文虎【摘要】针对基于传统特征提取方法的远红外图像行人检测存在准确率和实时性不足的问题,本文研究了一种基于改进YOLO模型的远红外行人检测方法,通过改进其深度卷积神经网络的输入分辨率,然后在基于实际道路采集的红外数据集上进行训练,得到检测效果最佳的检测模型,并提出基于车速的自适应图像分辨率模型,以提高车载系统的行人检测性能.在基于实际道路的红外数据集上的对比实验表明,该方法与传统方法相比,准确率从76.5%提高到89.2%,每秒传输帧数从0.01259 f/s提高到40.5 f/s,满足车载情况下的实时性需求.【期刊名称】《激光与红外》【年(卷),期】2018(048)011【总页数】7页(P1436-1442)【关键词】红外图像;行人检测;深度卷积神经网络;YOLO【作者】谭康霞;平鹏;秦文虎【作者单位】东南大学仪器科学与工程学院,江苏南京210096;东南大学仪器科学与工程学院,江苏南京210096;东南大学仪器科学与工程学院,江苏南京210096【正文语种】中文【中图分类】TP3911 引言基于机器视觉的行人识别技术作为车辆辅助驾驶系统的重要部分,可以辅助机动车驾驶员及时预见事故的发生[1]。
针对传统可见光摄像机在夜间识别率低、易受光线变化以及其他光源影响等问题,利用远红外夜视摄像头[2]的夜间行人识别技术,可以有效地提高夜间驾驶和行人的安全性。
针对红外图像中的行人检测,传统的研究方法主要有基于阈值分割的方法[3],基于模板匹配的方法[4],基于帧间差的方法[5],但这些方法都存在鲁棒性不好的问题,在复杂场景下红外图像行人的识别率较低。
因此,一些学者将特征提取方法与机器学习结合来进行行人检测,在Dalal[6]等提出的梯度方向直方图(Histograms of Oriented Gradient,HOG)特征基础上,Kim[7]等针对远红外图像的单调灰度级变化特性,提出局部强度差异直方图(Histogram of Local Intensity Differences,HLID)特征,然后用支持向量机(Support Vector Machine,SVM)对该特征进行分类学习。
基于能量积累和形态重构开的红外图像序列小目标检测方法Ξ
任获荣,张 平,王家礼(西安电子科技大学机电工程学院,西安710071)
摘要: 对多帧红外序列图像膨胀后累加,去除图像随机噪声,提高目标信噪比。使用重构开等形态学算子并结合红外小目标帧内亮度、空间信息和帧间运动信息,消除背景,提取运动小目标。实验结果证明算法可以有效地自动检测小目标。关键词: 能量积累; 自动检测, 形态重构开, 红外图像序列中图分类号:TN216 文献标识码:A 文章编号:100128891(2003)0620028203
引言红外弱小目标的检测是精确制导、防空预警等领域的一个重要课题。一般来讲,红外图像目标与背景对比度差,目标边缘模糊,图像背景复杂,信噪比低,使得提取红外图像小目标变得十分困难。对红外小目标的检测已有很多研究[5~8],传统方
法对目标和背景进行建模,以实现目标的检测,其前提是目标和背景特征可知或可估计,而这是比较困难的。P.Salembier[1]提出了一种基于二值颗粒开的形态连通算法,采用截集分解的方法对灰值红外序列图像进行自动小目标检测与跟踪。由于形态连通算法不会引入新的边缘或改变图像边缘,该算法具有较好的性能。本文提出基于能量积累和灰度形态重构开的红外图像序列小目标自动检测方法。对多帧原始序列图像膨胀后累加,以去除图像中随机噪声,提高信噪比。使用重构开形态滤波器,并结合红外小目标帧内亮度、空间信息和帧间运动信息,有效地消除了图像背景,提取出运动小目标。算法不需要对目标和背景建模,避免了繁杂的目标特征估计和对图像背景的预测。1 形态重构开首先简单回顾一下与本文相关的数学形态学概念,具体见参考文献[2,3,4]。定义1:灰值形态腐蚀、膨胀、开、闭分别定义为:(fΘg)(x)=min{f(z)-gx(z)|z∈D[gx]}(1)(fg)(x)=max{f(z)+gx(z)|z∈D[f]}(2)f.g=(fΘg)g(3)f・g=(fg)Θg(4)式中:f(z)是灰值图像,g(z)是结构元素。形态膨胀以结构元素为模板,搜寻图像在结构元素范围内灰值和极大值。腐蚀以结构元素g(z)为模板,搜寻图像在结构元素范围内的灰值差的极小值。开运算可消除正向脉冲,增强负向脉冲,闭运算可消除负向脉冲,增强正向脉冲。
定义2:对一般连通定义,重构开γrec(A)可以用
下式实现[2]:
γrec(A)=ρB(A|AΘS)(5)
式中:“Θ”是形态腐蚀。对4连通和8连通,
γ
x(A)可
用腐蚀和条件膨胀实现:
γx(A)=ρB(A|AΘS)
=ρB(A|M)=min(…min(min((MB),A)B,A)…,A)(6)M是一个集合,称为标记;“”是形态膨胀。B是结构元素。重构开删除小于结构元素B的亮脉冲,而不会模糊或改变图像边缘,这是重构开运算的优点。
2
自动目标检测与跟踪算法
算法分为三步:(1)对连续多帧序列图像膨胀后进行能量累积,消除随机噪声,提高目标信噪比;(2)结合红外小目标帧内亮度及空间信息,对各帧累积后图像
82
第25卷 第6期2003年11月 红外技术InfraredTechnology Vol.25 No.6Nov.2003
Ξ收稿日期:2003207225两次使用形态重构开滤波,提取图像背景,并从累积后图像中消除背景;(3)结合目标帧间运动信息,得到目标位置和尺寸信息,并在原始图像中提取小目标。2.1 图像增强红外图像普遍存在目标与背景对比度差,图像边缘模糊,信噪比低等缺点。对信噪比极低的红外图像,用多帧序列图像进行能量累积是一种消除噪声,提高信噪比的有效方法。设M帧运动图像序列,记为:Di(x,y)=S(x,y)+Ni(x,y)(7)式中:S(x,y)为目标,Ni(x,y)是噪声,假定噪声为均值等于零的高斯白噪声。则一帧图像的功率信噪比为:Pi=S2(x,y)E{N2i(x,y)}(8)可以证明[9]其M帧累积平均后的功率信噪比为Pi=M2S2(x,y)ME{N2i(x,y)}=MPi(9) 即平均后图像的功率信噪比增加了M倍。由于目标是运动的,不能直接使用该方法。根据红外小目标运动的特点,相邻几帧目标位置不会突变,将相邻各帧进行形态膨胀后累积,则各帧目标将会部分重叠,平均后的目标中心信号强度不会发生太大的变化,但噪声强度会降低,从而提高图像信噪比。本文对连续3帧图像用3×3强邻接模板进行形态膨胀后平均。图像信噪比定义为SNR=(s-m
)
/
σ,s为单帧图像目标平均灰度值,m为图像均值,σ为
图像标准差。某一帧原始图像信噪比为1.1420,经过3帧图像能量积累,理论上,其幅度信噪比应改善3倍,实际经过能量积累后图像的信噪比为1.7126,改善约为1.499倍,与理论上值接近。需要指出的是,能量积累对抑制高斯白噪声非常适合,但对固定干扰并无作用。对其它各帧进行能量积累后幅度信噪比平均改善约为1.5倍。表1给出了一帧图像增强前后各种参数,同时给出了用直方图增强后的图像信噪比作为对比,可以看出,能量积累算法比直方图增强有效。图1为图像增强效果图,从左至右分别为一帧原始图像,直方图增强后图像,能量积累后图像,可以看到能量积累效果最显著。
表1 图像增强方案比较Tabel1 Acomparisonofdifferentimageenhancementmethods
图像参数目标参数均值标准差最大值均值标准差最大值(幅度)
信噪比
原始图像65.8434.74173105.5217.621551.1422
直方图增强127.3374.96255213.5221.852551.1498
能量累积70.6536.11174132.4822.78156.331.7123
图1 图像增强结果比较Fig.1 Imagesafterenhancement
2.2 背景消除2.2.1 背景消除I背景估计方法很多,有自适应LMS,中值滤波等方法。本文通过对各帧累积图像进行扁平灰值开运算,删除小于最大目标尺寸的区域,并不断用条件膨胀以恢复背景,然后从原始图像中减去背景得到符合尺寸要求的目标特征区域。算法可以有效消除图像背景,而且恢复的背景边界不会发生移动或产生新的边界。这里取S1为半径是5的圆盘,从而得到比S小的亮特征成分。2.2.2 形态滤波背景消除后的图像灰度值较低,需进行直方图均衡化处理。因为目标比背景亮,故用图像最大灰度值的95%作为门限二值化,提取候选目标。然后用3×3
方形结构元素对其进行形态闭运算,以消除毛刺,平滑图像。
2.3 目标检测与跟踪通过以上各步得到的图像中仍然包含了大量的非目标点,这些目标点分为两大类,一类是二值化是将背景错误分割为目标;另外一类则是与目标特征相似的噪声点。2.3.1 背景消除II对第一类非目标点,由于是背景错分而成,这些非目标点相互邻近,且大部分相互连接。而且,由于各帧采用同样处理方法,在相邻几帧中这些非目标点出现情况类似,将各帧先用5×5方形结构元素进行膨胀,
使这些非目标点相互连通,然后将相邻3帧合并,使背景大面积连通。再次运用二值重构开运算,结构元素S2
取半径为8的圆盘,原始合并图像减去二值重构开
输出的背景图像,可以得到比S2小的亮特征成分,在各帧提取这些连通成分(侯选目标点),删除其它连通成分(非目标点),这样就可以去除第一类非目标点。
92
第25卷 第6期2003年11月 任获荣等:基于能量积累和形态重构开的红外图像序列小目标检测方法 Vol.25 No.6Nov.20032.3.2 边界目标消除边界附近由于背景发生截断,情况比较复杂,认为在图像边界周围不存在目标。当然,这对实际应用是满足的。将合并帧中那些距离图像边界少于6个像素的连通区域,在各帧中消除。2.3.3 目标点分离对第二类非目标点,其特征是随机出现,故它们在时空中不会形成连续轨迹,而目标则至少在相继的m帧中出现,形成连续的运动轨迹。对剩下的可疑点进行分析,如果该可疑点在相邻2帧图像同一位置的某一邻域仍然出现,则予以保留,否则剔除之。邻域的范围与目标速度有关,红外系统探测的高速目标在红外传感器上移动,一般不会超过4个像素。通过实验,邻域取5×5区域。具体实现时,可以对以上处理后的各帧用半径为5的结构元素膨胀后合并,由于目标构成连续轨迹,膨胀相加后目标会连通起来,而非目标点不会连通,所以可以根据膨胀相加前后连通区域的面积变化作为阈值以删除非目标点。3 实验结果对外场实测的云层中小目标飞行红外图像序列进行实验,经过裁剪后红外图像大小为128×128。实验结果如图2所示。为了表示方便,用形态学梯度边缘检测算法检测被提取的目标轮廓,并将其标记在原始图像中。图2 实验结果Fig.2 Experimentalresults 图2第一行是连续三帧原始图像,第二行是能量累积后图像,很明显,信噪比得到提高,为后续处理奠定了很好的基础。第三行是第一次背景消除后经过直方图修正后的结果图像,第四行为第二次背景消除后的二值结果图像。第五行是标记了目标形态梯度轮廓的原始图像。实验结果表明,算法可以正确地检测目标。对500帧图像进行自动检测,错误检测率约为8%。检测结果图像序列中偶尔出现目标丢失,可再次利用目标轨迹连续的性质,通过将前后两帧或多帧目标位置进行内插,得到目标丢失帧中目标的可能位置,
重点考察该点某个范围的图像,此时,全图背景噪声不再考虑,只需计算该点某个范围的情况,以确认该邻域是否存在目标,从而提高目标的检测准确率。
4
总结
算法使用形态膨胀的方法对红外图像序列进行能量积累,提高了信噪比;使用形态重构开等形态学变换工具处理能量累积后图像序列,结合红外序列图像小目标帧内亮度、空间信息和帧间运动信息,有效地消除背景,提取运动小目标。实验结果证明算法可以有效地自动检测红外序列图像中运动小目标。由于算法仅涉及形态运算,算法具有可并行、易于硬件实现的特点。
参 考 文 献[1] P.Salembier,M.Pardas.Hierarchicalmorphologicalsegmentationforimagesequencecoding[J],IEEETransonImageProcessing,1994.3(5):639~651.[2] P.SalembierandJ.Serra,Flatzonesfiltering,connectedoperators,andfiltersbyreconstruction[J],IEEETransactionsonImagePro
2
cessing,1995.4(8):1153~1160.[3] J.Serra(editor),ImageAnalysisandMathematicalMorphology