基于DeepLabv3+的遥感影像语义分割研究

基于DeepLabv3+算法的城市街景语义分割算法研究作者：陈文艺苗宗成来源：《无线互联科技》2024年第09期摘要：在自动驾驶领域，城市街道场景的语义分割对于提升系统的安全性和效率至关重要。

针对传统语义分割模型参数过多、泛化性能较差以及分割效果有限等问题，文章提出了一种基于改进DeepLabv3+的解决方案。

此改进模型融合了轻量级MobileNetv2主干网络和SE注意力机制，优化了空洞金字塔池化（Atrous Spatial Pyramid Pooling， ASPP）模块，将其从并行结构改进成串行结构，采用深度可分离卷积结构。

在Cityscapes数据集上，文章的方法取得了75.90%的平均交并比（Mean Intersection over Union， MIoU），显著提升了分割精度与计算效率。

关键词：深度学习；语义分割；ASPP中图分类号：TP389.1文献标志码：A0 引言城市街景的图像分割一直是研究的热点，该技术主要分为以下3种：基于传统的分割方法、混合了传统技术和深度学习的方法以及单一依靠深度学习的策略。

传统分割技术通常涉及阈值设定、边缘检测、聚类和图论方法［1］，这些技术主要依赖于颜色、纹理等简单的低层次特征来执行分割；结合了传统方法和深度学习的分割方法则更为多样，这种分割方法主要包括基于候选区域的分析、概率图模型和分割掩模的应用［2］；深度学习驱动的图像语义分割则成为当前领域内的主导技术，特别是以卷积神经网络，如全卷积网络（Fully Convolutional Networks， FCN）［3］、循环神经网络（例如ReSeg［4］）和生成对抗网络（如DA［5］）为基础的方法。

虽然DeepLabv3+［6］在PASCAL VOC 2012和Cityscapes等知名数据集上展现了出色的分割能力，但仍有一些局限性。

首先，DeepLabv3+的编码器在提取特征的过程中逐渐减小图像尺寸，这可能导致关键信息的损失，使得在解码阶段难以恢复图像细节。

语义分割之deeplabv3概述之前讲了deeplab v1和v2的内，这次主要讲⼀下v3部分的内容。

简单回顾⾸先我们简单回顾⼀下前边v1和v2部分的内容，先说它们的相同点，⾸先他们主要思想都是将卷积神经⽹络（DCNNs）和概率图模型（DenseCRFs）进⾏结合来做语义分割。

并且两者对图⽚的处理过程也是⼀样的。

都是先对输⼊的图⽚经过DCNN⽹络处理，得到其初步的得分图，然后通过双线性插值，扩⼤图⽚尺⼨，进⽽经过全连接CRF处理之后，最后输出结果图。

但v2较之于v1提升点主要有三个⽅⾯：使⽤多尺度来获得更好的分割效果，建成ASSP，第⼆个区别就是基础层⽹络发⽣了改变，基础层的⽹络由VGG16改成了ResNet。

并且学习率也发⽣来改变。

当然最⼤的区别还是ASPP的引⼊，多尺度主要是为了让算法处理⽬标在图像中表现为不同⼤⼩问题时，仍能够有很好的分割结果。

⽐如同样的物体，在近处拍摄时物体显得⼤，远处拍摄时显得⼩。

具体做法如上图所⽰，就是在处理的时候并⾏的采⽤多个采样率的空洞卷积提取特征，再将特征融合，类似于空间⾦字塔结构，形象的称为Atrous Spatial Pyramid Pooling (ASPP)，图⽚中就是分别采⽤6,12，18，24的采样率进⾏采样，然后将提取到的特征进⾏融合。

v3的提升点V3较之于v1和v2提升可能主要有四点：提出了更通⽤的框架，适⽤于任何⽹络复制了ResNet最后的block，并级联起来是改进了v2引⼊的ASSPP，在ASPP中使⽤BN层，最后⼀点去掉了CRF，这可能是冲击最⼤算法⾸先是空洞卷积模块的改进，之前我们说了空洞卷积主要是对特征图做采样，扩⼤感受野，缩⼩步幅。

在v3中我们以串⾏的⽅式来设计空洞卷积模块。

上⾯这张图就是级联模块的⽰意图，其中上边的是没有加⼊空洞卷积的级联模块，下边是加⼊空洞卷积的级联模块。

我们先简单介绍下，这个级联模块的结构，我们先看上边这个简单的级联模块，⾸先初始的时候，采⽤的是串⾏的残差⽹络，包含的是block1、block2、block3和block4这四个模块，后边的block5、block6、block7就是级联模块，按照论⽂说法，这⼏个级联模块都是对block4的复制。

第41卷第1期2020年1月Vol.41No.1Jan.2020应用光学Journal of Applied Optics文章编号:1002-2082(2020)01-0180-06基于改进DeepLabv3+的无人车夜间红外图像语义分割刘致驿12,孙韶媛12,任正云1'2,刘训华1,2,卜德飞1'2(1.东华大学信息科学与技术学院，上海201620;2.东华大学数字化纺织服装技术教育部工程研究中心，上海201620)摘要：为了增强无人车对夜间场景的理解能力，针对无人车在夜间获取的红外图像，提出了一种基于改进DeepLabv3+网络的无人车夜间红外图像语义分割算法。

由于自动驾驶场景中的对象往往显示出非常大的尺度变化，该算法在DeepLabv3+网络的基础上，通过引入密集连接的空洞卷积空间金字塔模块，使网络生成的多尺度特征能覆盖更大的尺度范围。

此外，该算法将编码器模块的多层结果拼接在译码器模块中，以恢复更多在降采样过程中丢失的空间信息和低级特征。

通过端到端的学习和训练，可直接用于对夜间红外图像的语义分割。

实验结果表明，该算法在红外数据集上的分割精度优于原DeepLabv3+算法，平均交并比达到80.42,具有良好的实时性和准确性。

关键词：深度学习；语义分割;无人车;红外图像中图分类号:TN219文献标志码:A DOI：10.5768/JA0202041.0106002Semantic segmentation of nocturnal infrared images of unmannedvehicles based on improved DeepLabv3+LIU Zhiyi1'2,SUN Shaoyuan1'2,REN Zhengyun1'2,LIU Xunhua1'2,BU Defei1'2(1.College of Information Science and Technology,Donghua University,Shanghai201620,China;2.EngineeringResearch Center of Digitized Textile&Fashion Technology(Ministry of Education),Donghua University,Shanghai201620,China)Abstract：In order to enhance the understanding ability of unmanned vehicle to night scene,a semantic segmentation algorithm based on improved DeepLabv3+network is proposed for infrared images acquired by unmanned vehicles at night.Because the objects in the autopilot scene often show very large scale changes,the algorithm based on DeepLabv3+network can cover a larger scale range by introducing densely connected atrous spatial pyramid pooling module.In addition,the algorithm splices the multi-layer results of the encoder module into the decoder module to recover more spatial information and low-level features lost in the downsampling process.Through end-to-end learning and training,it can be directly used for semantics segmentation of night vision infrared images.The experimental results show that the segmentation accuracy of the algorithm is better than that of the original DeepLabv3+algorithm,and the mean intersection over union reaches80.42,which has good real-time performance and accuracy.Key words：deep learning；semantic segmentation；unmanned vehicle；infrared image引言图像语义分割将图像中每一个像素分类到其所属的语义类别，其在无人车应用领域对场景理解具有重要意义。

面向小目标提取的改进DeepLabV3+模型遥感图像分割郭新;张斌;程坤【期刊名称】《遥感信息》【年(卷),期】2022(37)2【摘要】针对DeepLabV3+模型在遥感影像语义分割中呈现出小尺度地物语义信息丢失、数据类别不均衡引起误差等缺陷,提出了一种面向小目标提取的改进DeepLabV3+语义分割模型。

首先,在模型编码器空间空洞金字塔池化(atrous spatial pyramid pooling,ASPP)中引入多组并行空洞卷积(multiple parallel dilated convolution,MPDC)和感受野融合策略;其次,在模型解码器部分加入特征注意力融合模块(feature attention fusion,FAF);最后,使用加权的Lovasz-softmax loss优化损失函数。

将改进后的模型通过Landcover和CCF2017高分辨率遥感影像数据集进行验证,结果表明,在两个测试数据集上的平均交并比比原始的DeepLabV3+模型分别提高了1.17%~1.24%和0.85%~0.95%,特别地,小目标如建筑物的交并比相比原始模型分别提升了3.51%~3.86%和2.11%~2.38%,改进后的DeepLabV3+模型能更充分表达高分辨率遥感图像细节信息。

【总页数】11页(P34-44)【作者】郭新;张斌;程坤【作者单位】中国地质大学(武汉)地理与信息工程学院;武汉工程大学计算机科学与工程学院【正文语种】中文【中图分类】TP753【相关文献】1.基于改进小波域隐马尔可夫模型的遥感图像分割2.基于DeepLabv3+模型的高分辨率遥感影像建筑物提取3.面向遥感图像小目标检测的改进YOLOv3算法4.基于图像分割的无人机遥感影像目标提取技术5.一种改进DeepLabV3+网络的高分辨率遥感影像道路提取方法因版权原因，仅展示原文概要，查看原文内容请购买。