字符图像的分割与识别(刘万春)

㊀收稿日期:２０２２－１１－０８基金项目:安徽省教育厅高等学校科学研究项目(自然科学类)(２０２２ＡＨ０５２９２０)作者简介:王玉堂(１９８３－)ꎬ男ꎬ安徽涡阳人ꎬ硕士ꎬ副教授ꎬ研究方向:大数据及人工智能.㊀㊀辽宁大学学报㊀㊀㊀自然科学版第５０卷㊀第３期㊀２０２３年ＪＯＵＲＮＡＬＯＦＬＩＡＯＮＩＮＧＵＮＩＶＥＲＳＩＴＹＮａｔｕｒａｌＳｃｉｅｎｃｅｓＥｄｉｔｉｏｎＶｏｌ.５０㊀Ｎｏ.３㊀２０２３基于深度学习的车辆前方障碍物距离估测王玉堂(安徽信息工程学院大数据与人工智能学院ꎬ安徽芜湖２４１１９９)摘㊀要:随着科技进步ꎬ自动驾驶系统的应用在未来必形成一种趋势ꎬ而车辆与障碍物之间的距离估测是自动驾驶系统中一个非常重要的技术.为了达到距离估测的目的ꎬ目前开发的自动驾驶系统大都需要依靠各式各样的距离传感器ꎬ例如激光雷达㊁雷达及超音波等ꎬ这些传感器在距离量测上通常具有高精度ꎬ但同时也伴随着高昂价格ꎬ这使自动驾驶系统的推广及普及变得越来越困难.本文提出了一个结合语义分割与深度估测的深度神经网络模型ꎬ其包含有相同卷积层数的编码器与解码器网络ꎬ将本文所提之网络架构在ＫＩＴＴＩ及Ｃｉｔｙｓｃａｐｅｓ资料集上进行训练ꎬ并在最后结合语义分割与深度估测等方法进行距离估测ꎬ实验结果证实ꎬ本文所提方法具有可行性.关键词:人工智能ꎻ深度估测ꎻ语义分割ꎻ深度学习中图分类号:ＴＰ３１１㊀㊀㊀文献标志码:Ａ㊀㊀㊀文章编号:１０００－５８４６(２０２３)０３－０２４８－１０ＤｉｓｔａｎｃｅＥｓｔｉｍａｔｉｏｎｏｆＯｂｓｔａｃｌｅｓｉｎＦｒｏｎｔｏｆＶｅｈｉｃｌｅｓＢａｓｅｄｏｎＤｅｅｐＬｅａｒｎｉｎｇＷＡＮＧＹｕ￣ｔａｎｇ(ＤｅｐａｒｔｍｅｎｔｏｆＢｉｇＤａｔａａｎｄＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅꎬＡｎｈｕｉＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙꎬＷｕｈｕ２４１１９９ꎬＣｈｉｎａ)Ａｂｓｔｒａｃｔ:㊀Ａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇｓｙｓｔｅｍｓａｒｅｔｈｅｗａｖｅｏｆｔｈｅｆｕｔｕｒｅꎻｆｏｒｓｕｃｈｓｙｓｔｅｍｓꎬｔｈｅｅｓｔｉｍａｔｉｏｎｏｆｔｈｅｄｉｓｔａｎｃｅｂｅｔｗｅｅｎｔｈｅｖｅｈｉｃｌｅａｎｄｓｕｒｒｏｕｎｄｉｎｇｏｂｓｔａｃｌｅｓｉｓｋｅｙ.ＭｏｓｔｃｕｒｒｅｎｔｄｉｓｔａｎｃｅｅｓｔｉｍａｔｉｏｎｍｅｔｈｏｄｓｒｅｌｙｏｎａｖａｒｉｅｔｙｏｆｄｉｓｔａｎｃｅｓｅｎｓｏｒｓꎬｓｕｃｈａｓＬｉＤＡＲꎬｒａｄａｒꎬｏｒｕｌｔｒａｓｏｎｉｃｓｅｎｓｏｒｓ.Ａｌｔｈｏｕｇｈｔｈｅｓｅｓｅｎｓｏｒｓｍｅａｓｕｒｅｄｉｓｔａｎｃｅａｃｃｕｒａｔｅｌｙꎬｔｈｅｉｒｈｉｇｈｃｏｓｔｈｉｎｄｅｒｓｔｈｅｐｏｐｕｌａｒｉｚａｔｉｏｎｏｆａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇｓｙｓｔｅｍｓ.Ｔｏｒｅｍｅｄｙｔｈｉｓｐｒｏｂｌｅｍꎬｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ(ＤＮＮ)ｔｈａｔｃｏｍｂｉｎｅｓｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎａｎｄｄｅｐｔｈｅｓｔｉｍａｔｉｏｎ.ＴｈｅＤＮＮｉｎｃｌｕｄｅｓａｎｅｎｃｏｄｅｒａｎｄａｄｅｃｏｄｅｒꎬｂｏｔｈｏｆｗｈｉｃｈｈａｖｅｔｈｅｓａｍｅｎｕｍｂｅｒｏｆｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒｓ.ＴｈｅｐｒｏｐｏｓｅｄｎｅｔｗｏｒｋａｒｃｈｉｔｅｃｔｕｒｅｗａｓｔｒａｉｎｅｄｏｎｂｏｔｈｔｈｅＫＩＴＴＩａｎｄＣｉｔｙｓｃａｐｅｓｄａｔａｓｅｔｓ.Ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｐｒｏｖｉｄｅｄａｃｃｕｒａｔｅｄｉｓｔａｎｃｅｅｓｔｉｍａｔｉｏｎｉｎｅｖａｌｕａｔｉｏｎｔｅｓｔｓꎬｄｅｍｏｎｓｔｒａｔｉｎｇｉｔｓ㊀㊀ｆｅａｓｉｂｉｌｉｔｙ.Ｋｅｙｗｏｒｄｓ:㊀ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅꎻｄｅｐｔｈｅｓｔｉｍａｔｉｏｎꎻｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎꎻｄｅｅｐｌｅａｒｎｉｎｇ０㊀引言人工智能一直是人类向往的终极目标ꎬ而深度学习则是大家公认最接近人工智能的一种技术.近年来ꎬ深度学习在影像辨识㊁语音识别㊁医疗诊断和自动机器翻译等领域都有出色的表现ꎬ这都要归因于类神经网络的深度结构[１].计算机视觉常见的应用有:影像分类[２－３]㊁物体侦测[４－６]以及语义分割[７－１０]等.其中语义分割的任务是在像素等级上对整个影像进行实例分类ꎬ每个实例(或是类别)对应于影像中的物体或表示影像的一部分ꎬ例如人㊁车㊁道路及天空等.该任务也称为密集预测ꎬ该任务目标是用影像中的相应类别标记影像中的每个像素.语义分割对于场景理解非常的关键ꎬ可让深度学习模型更好地学习到环境中的全域视觉背景.对于机器人[１１]㊁自动驾驶[１２]㊁３Ｄ环境重建及增强现实[１３]等ꎬ深度感测是必要的技术.传统上ꎬ有关于道路前方障碍物的侦测与距离的判断ꎬ为了达到更可靠的感知能力ꎬ除了摄影机外ꎬ还需仰赖大量的传感器ꎬ其中包含超音波㊁雷达及激光雷达等.本文认为在这些传感器中ꎬ基于视觉感知的摄影机可提供车辆周遭环境最丰富的信息ꎬ其中包含颜色㊁纹理㊁物体形状以及外观等.这些都是其他形态的传感器所无法提供的.基于这个原因ꎬ本文提出一种基于行车记录仪摄影机的影像感知系统ꎬ利用摄影机所获取的影像来进行车辆前方的障碍物侦测与距离估算.由Ｌｏｎｇ等[１４]所提出的全卷积网络是第一个端到端(Ｅｎｄ￣ｔｏ￣ｅｎｄ)语义分割的网络架构.全卷积神经网络(ＦＣＮ)可使用任何大小的影像作为输入ꎬ并输出具有相同大小的分割影像.Ｌｏｎｇ等首先修改了当前流行的卷积神经网络(ＣＮＮ)架构ꎬ例如ＡｌｅｘＮｅｔ㊁ＶＧＧ１６和ＧｏｏｇＬｅＮｅｔ[１５]等.在文献[１４]中ꎬ他们采用卷积层替换所有的完全链接层ꎬ借以产生多个特征映射图ꎬ因此需要上采样(Ｕｐｓａｍｐｌｉｎｇ)来让输入的特征图产生与输入相同大小的输出.通常上采样是由具有大于１的行跨度(Ｓｔｒｉｄｅ)的卷积层所组成.这种方式通常又称为反卷积或转置卷积ꎬ因为它产生的特征图大小大于输入.在ＦＣＮ中ꎬ为了优化训练器ꎬ文中采用逐像素交叉熵损失来训练网络.此外ꎬ他们还在网络中添加了跳跃式连接的结构以产生更好的输出结果.在文献[１４]中ꎬ他们使用ＩｍａｇｅＮｅｔ资料集来训练语义分割模型ꎬ在２０１１年ＰａｓｃａｌＶＯＣ分类挑战中获得６２.２％平均交并比(ＭｅａｎｉｎｔｅｒｓｅｃｔｉｏｎｏｖｅｒｕｎｉｏｎꎬｍＩｏＵ)的评分.ＦＣＮ虽然具有较高的ｍＩｏＵꎬ但同时伴随着庞大的计算量.近年来ꎬ语义分割任务的成功有赖于大型标记资料集的开源ꎬ其中较知名的有Ｃａｍｖｉｄ资料集[１６]㊁Ｃｉｔｙｓｃａｐｅｓ资料集[１７]㊁ＭＳＣＯＣＯ资料集与ＰａｓｃａｌＶＯＣ２０１２资料集[１８]等.在国内ꎬ百度独创的资料集训练方法ꎬ被广泛应用在自动驾驶系统中ꎬ在一定程度上弥补了数据里程不足的问题.９４２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测㊀㊀语义分割研究基本上可分成以下几个类型.１)基于编码器－解码器的结构ꎬ其中比较著名的语义分割网络有ＦＣＮ㊁ＳｅｇＮｅｔ与Ｆａｓｔ－ＳＣＮＮ[１９]等ꎬ其在ＰａｐｅｒＷｉｔｈＣｏｄｅＢｅｎｃｈｍａｒｋｓ上有关Ｃｉｔｙｓｃａｐｅｓ资料集的ｍＩｏＵ分别为６５.３％㊁５７.０％与６８.０％等.２)基于注意力机制的结构ꎬ比较著名的方法有ＰＳＡＮｅｔ[２０]㊁ＣＡＡ(Ｃｈａｎｎｅｌｉｚｅｄａｘｉａｌａｔｔｅｎｔｉｏｎ)[２１]与ＭｕｌｔｉＳｃａｌｅＳｐａｔｉａｌＡｔｔｅｎｔｉｏｎ[２２]等ꎬ其在前述Ｂｅｎｃｈｍａｒｋｓ上有关Ｃｉｔｙｓｃａｐｅｓ数据库ｍＩｏＵ分别为８１.４％㊁８２.６％与８６.２％ꎬ其中文献[２２]结合多尺度架构ꎬ目前取得第一的佳绩.由此可见ꎬ基于注意力机制与多尺度架构成为未来语义分割研究的趋势.在单目深度估计(Ｍｏｎｏｃｕｌａｒｄｅｐｔｈｅｓｔｉｍａｔｉｏｎ)的研究上ꎬ比较重要的数据集包含有ＫＩＴＴＩ[２３－２４]㊁Ｍａｋｅ３Ｄ[２５]与ＮＹＵ－ＤｅｐｔｈＶ２[２６]等.近年来ꎬ有关深度估计方法ꎬ如运动结构恢复(ＳｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎꎬＳｆＭ)[２７]以及立体视觉匹配(Ｓｔｅｒｅｏｖｉｓｉｏｎｍａｔｃｈｉｎｇ)[２８]ꎬ都是建立在多视点的特征对应(Ｆｅａｔｕｒｅｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ)上.深度估测方法基本上可分成以下几类:１)基于几何的方法:通过几何约束ꎬ从几幅影像中恢复场景３Ｄ结构ꎬ代表的方法有ＳｆＭ[２９]ꎬ可通过影像序列间的特征对应及几何约束来处理稀疏特征的深度估测问题.因此ꎬ前述方法在深度估测的准确性方面ꎬ很大程度上与精确的特征匹配和高质量的影像序列有关.２)基于传感器的方法:关于深度传感器ꎬ如ＲＧＢ－Ｄ相机和激光雷达ꎬ能够直接撷取影像的深度信息.ＲＧＢ－Ｄ相机能够直接撷取ＲＧＢ影像的像素级密集深度图ꎬ其缺点为有限的测量范围与光照敏感性.在自动驾驶应用上ꎬ激光雷达是比较常用的方法ꎬ但仅能产生稀疏的三维地图.３)基于深度学习的方法:这是目前最流行的深度估测方法ꎬ在ＫＩＴＴＩＢｅｎｃｈｍａｒｋｓ的评分排行榜上ꎬＶｉＰ－ＤｅｅｐＬａｂ[３０]在ＳＩＬｏｇ的评分指标上排行第２.ＶｉＰ－ＤｅｅｐＬａｂ是一个深度模型ꎬ其提出主要用来解决视觉中长期存在且具挑战性的反投影问题(Ｉｎｖｅｒｓｅｐｒｏｊｅｃｔｉｖｅｐｒｏｂｌｅｍ)ꎬ透过建模可从透视影像序列中恢复点云ꎬ同时为每个点提供深度信息.１㊀研究方法本文所提的深度神经网络如图１所示ꎬ在所提的网络架构中总共包含有６个主要的卷积区块ꎬ文中用Ｓｔａｇｅ来表示.对于同一个Ｓｔａｇｅꎬ每个卷积层输出的特征图具有相同的大小和通道数.在１－６的Ｓｔａｇｅ中ꎬ它们包含２－２－２－２－２－１层的卷积区块(Ｃｏｎｖ２Ｄｂｌｏｃｋ)ꎬ输出通道的数量分别是３２－６４－１２８－２５６－５１２－１０２４.在本文中ꎬ所有卷积层都使用带有可学习加权参数的卷积核.池化层使用ＭａｘＰｏｏｌｉｎｇ来缩小输出特征图的大小.在卷积层之后ꎬ应用批次正规化(ＢａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎꎬＢＮ)来归一化卷积层输出的数据ꎬ以避免在反向传播中出现梯度消失的现象ꎬ然后再使用ＲｅＬＵ(Ｒｅｃｔｉｆｉｅｄｌｉｎｅａｒｕｎｉｔ)活化函数ꎬ其可以保持正值不变ꎬ但会将负值设为０.现在ꎬ将注意力转向Ｄｅｃｏｄｅｒ网络的细节ꎬ其中每个Ｓｔａｇｅ对应于Ｅｎｃｏｄｅｒ网络的相同Ｓｔａｇｅ.在０５２㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２３年㊀㊀㊀㊀Ｄｅｃｏｄｅｒ网络中ꎬ每个卷积层表示为ＤＣ－Ｃｏｎｖ－ｍ－ｎꎬ其中ＤＣꎬｍ和ｎ分别表示Ｄｅｃｏｄｅｒ㊁Ｓｔａｇｅ和Ｌａｙｅｒ.对于语义分割结构的设计ꎬ大多数编码器网络都是相同的.唯一的区别在于解码器网络架构.在本文中ꎬ修改ＳｅｇＮｅｔ的Ｄｅｃｏｄｅｒ网络ꎬ同时引入跳跃连接的构架.这个想法的灵感主要来自Ｌｉｎ等[３１]提出的特征金字塔网络ꎬ该文确认了使用跳跃式连接结构时像素准确度(Ｐｉｘｅｌａｃｃｕｒａｃｙ)ꎬ具有较好的结果.为了更清楚描述本文所提跳跃连接的细部结构ꎬ以第４个Ｓｔａｇｅ为例来进行说明.首先ꎬ在Ｅｎｃｏｄｅｒ网络中选择第４个Ｓｔａｇｅ的最后一个卷积层ꎬ亦即ＥＣ－Ｃｏｎｖ－４－３ꎬ因为在同一个Ｓｔａｇｅ中最深的卷积层可以提取最具辨识度的特征ꎻ然后ꎬ在Ｄｅｃｏｄｅｒ网络中选择相应的卷积层ꎬ亦即ＤＣ－Ｃｏｎｖ－４－３ꎻ最后ꎬ再将这两个层进行跳跃连接ꎬ如图２所示.最后ꎬ再进行特征图放大以产生Ｕｐｓａｍｐｌｉｎｇ－３层.图１㊀本文所提具有对称Ｅｎｃｏｄｅｒ和Ｄｅｃｏｄｅｒ语义分割的网络构架１５２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测㊀图２㊀本文解码器跳跃连接结构示意图(ａ)串接方法ꎻ(ｂ)相加方法.㊀㊀本文在语义分割解码器的跳跃连接处加入注意力机制ꎬ如图３所示.在图中ꎬ特征图影像Ｘ(维度:ＢＳꎬＨꎬＷꎬＣ)为主干网络Ｓｔａｇｅ－３Ｌａｙｅｒ－３或Ｓｔａｇｅ－４Ｌａｙｅｒ－３的输出特征图.Ｙ(维度:ＢＳꎬＨꎬＷꎬＣ)为经注意力机制区块转换后之输出图ꎬ其大小与Ｘ相同ꎬ其中ＢＳ为批次量大小ꎬＨ与Ｗ分别为特征图的高与宽ꎬＣ为特征图之通道数量.注意力机制的设计理念:变异数与共变异数是统计学与机器学习中常用的统计量ꎬ其中变异数用来衡量随机变量与平均值间的平方偏差量ꎬ然而共变异数则是用来衡量两个随机变量间的相似性.基于此ꎬ随机变量间的分布愈相似ꎬ共变异数就愈大ꎻ相反ꎬ两者间的相似性愈低ꎬ共变异数就愈小.在本文中ꎬ可将特征图中的每一个像素点视为一个随机变量.因此ꎬ针对任一像素点(令为目标点)与所有其他像素点可计算其配对共变异数ꎬ如(ｘ１ꎬｘ２)的配对共变异数为(ｘ１－μ)(ｘ２－μ).图３㊀本文在编㊁解码器的跳跃连接中加入注意力机制内存块㊀㊀设Ｘ为输入特征图ꎬ先将ＸɪＲＨˑＷ的形状重新调整为ａɪＲＮˑ１ꎬ其中Ｎ＝ＨˑＷꎬＨ与Ｗ分别表示特征图的高与宽.令ａ＝ｂ＝ｃ＝[ｘ１ꎬｘ２ꎬ ꎬｘｎ]Ｔꎬ并令μ为平均值ꎬ因此共异变数ＣｏｖＮˑ１＝(ａ－μ)(ｂ－μ)Ｔꎬ进一步可计算注意力机制特征图为ｄＮˑ１＝ＣｏｖＮˑＮ ｃＮˑ１⇒ＹＨˑＷꎬ最终特征图为原特征图与注意力机制特征图相加.２５２㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２３年㊀㊀㊀㊀㊀２㊀结果与讨论本文实验系统采用ＬｉｎｕｘＵｂｕｎｔｕ１８.０４ꎬ开发环境为Ｐｙｔｈｏｎ３.７.０ꎬ安装的函数库ＴｅｎｓｏｒＦｌｏｗ２.３.０和Ｏｐｅｎｃｖ－ｐｙｔｈｏｎ３.２.０.８.本文在Ｃｉｔｙｓｃａｐｅｓ资料集上进行所提深度神经网络在语义分割上的性能评估.而深度估测方面则在ＫＩＴＴＩ资料集上进行训练及评估.本数据集有大量的道路行车记录数据且包含大量的传感器记录的真实数据.在语义分割方面ꎬ本文采用ｍＩｏＵ指标评估影像中各个类别的分割效能.而深度估测评估度量则是采用ＲＭＳＥ(Ｒｏｏｔｍｅａｎｓｑｕａｒｅｅｒｒｏｒ)及准确性.在本文中ꎬ使用ＴｅｎｓｏｒＦｌｏｗ来实现本文所提的深度神经网络架构.本文所提架构在Ｃｉｔｙｓｃａｐｅｓ资料集上进行及ｍＩｏＵ评分分别定义如公式(１)和(２)所示.ＰＡ＝ðＣｉ＝０ＰｉｉðＣｉ＝０ðＣｊ＝０Ｐｉｊ(１)ｍＩｏＵ＝１Ｃ＋１ðＣｉ＝０ＰｉｉðＣｊ＝０Ｐｉｊ＋ðＣｊ＝０Ｐｊｉ－Ｐｉｉ(２)式中:Ｃ是要预测的总类别数ꎬ由于背景也需要考虑进来ꎬ因此总类别数将增加为Ｃ＋１ꎻＰｉｉ表示该像素属于第ｉ个类别ꎬ且被识别为第ｉ类ꎬ因此它是真阳性ꎻＰｉｊ表示像素属于第ｉ个类别ꎬ但却被错误地辨识为第ｊ个类别ꎬ故其属于伪阴性ꎻＰｊｉ则是将第ｊ个类别错误地标示为第ｉ个类别ꎬ故其属于伪阳性.为了评价深度估测网络的性能ꎬ本文采用ＣＮＮ估计单目图像深度[３２]的评价方法ꎬ该评价方法有以下５个评价指标:ＲＭＳＥ㊁ＲＭＳＥｌｏｇ㊁ＡｂｓＲｅｌ㊁ＳｑＲｅｌ及Ａｃｃｕｒａｃｙꎬ其定义分别如下:ＲＭＳＥ＝１ＮðｉɪＩ ｄｉ－ｄ∗ｉ ２(３)ＲＭＳＥｌｏｇ＝１ＮðｉɪＩ ｌｏｇ(ｄｉ＋１)－ｌｏｇ(ｄ∗ｉ－１) ２(４)ＡｂｓＲｅｌ＝１ＮðｉɪＩ｜ｄｉ－ｄ∗ｉ｜ｄ∗ｉ(５)ＳｑＲｅｌ＝１ＮðｉɪＩ ｄｉ－ｄ∗ｉ ２ｄ∗ｉ(６)Ａｃｃｕｒａｃｙ＝％ｏｆｄｉｓ.ｔｍａｘｄｉｄ∗ｉꎬｄ∗ｉｄｉæèçöø÷＝δ<ｔｈｒ(７)式中:ｄｉ与ｄ∗ｉ分别表示图像深度的预测值与真值ꎻＩ为图像ꎻＮ是图像的总点数ꎻｔｈｒ分别采用１.２５㊁１.２５２及１.２５３.以上指标主要用于评价图像深度真实值(Ｇｒｏｕｎｄｔｒｕｔｈ)与预测值(Ｐｒｅｄｉｃｔｅｄｖａｌｕｅｓ)间接近的程度ꎬ其中ＲＭＳＥ㊁ＲＭＳＥｌｏｇ㊁ＡｂｓＲｅｌ及ＳｑＲｅｌ等指标的值愈小代表深度网络的估测性能愈好ꎻ反之ꎬＡｃｃｕｒａｃｙ指标是愈大愈好.表１为在深度神经网络是否加入注意力机制对于语义分割性能的影响.由表可知ꎬ加入一层注３５２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测㊀㊀意力机制内存块优于不加入注意力机制的内存块.同样ꎬ从图４(ｂ)与图４(ｃ)中看出ꎬ加入注意力机制内存块的语义分割性能是优于没有加入注意力内存块的.同时ꎬ由表１中亦可看出ꎬ当加入更多层的注意力机制内存块反而会劣化语义分割性能.表１㊀针对深度神经网络构架中跳跃连接层是否加入注意力机制在Ｃｉｔｙｓｃａｐｅｓ数据集的ｍＩｏＵ和Ｐｉｘｅｌａｃｃｕｒａｃｙ的评分结果ＭｅｔｈｏｄｍＩｏＵＰｉｘｅｌａｃｃｕｒａｃｙＮｏａｔｔｅｎｔｉｏｎ０.７９５８０.８８５６Ａｔｔｅｎｔｉｏｎ/Ｓｔａｇｅ４０.７９６１０.８８８４Ａｔｔｅｎｔｉｏｎ/Ｓｔａｇｅ３＆４０.６８５７０.８１１５图４㊀本文所提构架在解码器增加注意力机制在语义分割方面的视觉结果比较(ａ)原图ꎻ(ｂ)加入注意力机制之语义分割图ꎻ(ｃ)无注意力机制之语义分割图.㊀㊀在语义分割方面ꎬ本文所提出的构架在Ｃｉｔｙｓｃａｐｅｓ数据集上进行了训练与测试ꎬ并对本文提出的深度网络估测结果与文献[７]㊁[１４]和[１９]中相应的数据进行了比较.从表２中可以看出ꎬ本方法的ｍＩｏＵ值为７９.６ꎬ优于ＳｅｇＮｅｔ的５７.０ꎬＦＮＣ的６５.３以及Ｆａｓｔ－ＳＣＮＮ的６８.０.表２㊀本文所提方法与现代语义分割方法的ｍＩｏＵ评分比较ＡｐｐｒｏａｃｈｍｌｏＵ/％Ｆａｓｔ－ＳＣＮＮ[１９]６８.０ＦＣＮ[１４]６５.３ＳｅｇＮｅｔ[７]５７.０Ｐｒｏｐｏｓｅｄ(Ａｔｔｅｎｔｉｏｎ/Ｓｔａｇｅ４)７９.６㊀㊀在深度估测方面ꎬ本文所提出的构架在ＫＩＴＴＩ数据集上进行了训练与测试ꎬ评价图像深度真实值(Ｇｒｏｕｎｄｔｒｕｔｈ)与预测值(Ｐｒｅｄｉｃｔｅｄｖａｌｕｅｓ)间接近的程度.将本文提出的深度网络估测结果与相关文献进行了比较ꎬ其中ꎬ在选用相同Ｄｅｐｔｈ的基础上ꎬ４５２㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２３年㊀㊀㊀㊀ＲＭＳＥꎬＲＭＳＥｌｏｇ指标小于参考文献[３１－３２]中的数据ꎬＡＲＤ(Ａｖｅｒａｇｅｒｅｌａｔｉｖｅｄｅｖｉａｔｉｏｎｓ)ꎬＲＳＤ(Ｒｅｌａｔｉｖｅｓｔａｎｄａｒｄｄｅｖｉａｔｉｏｎｓ)等指标均高于参考文献[３１－３２]中的数据.由表３可看出本文所提出的深度神经网络架构在深度估测的各项评价结果都优于参考文献[３１－３２].表３㊀本文所提方法与相关文献在深度估测性能方面比较ＬｏｗｅｒｉｓｂｅｔｔｅｒＨｉｇｈｅｒｉｓｂｅｔｔｅｒＡｐｐｒｏａｃｈＤｅｐｔｈ/ｍＲＭＳＥＲＭＳＥｌｏｇＡＲＤＲＳＤδ<１.２５δ<１.２５２δ<１.２５３Ｃｏａｒｓｅ[３２]０~８０７.２１６０.２７３０.１９４１.５３１０.６７９０.８９７０.９６７Ｃｏａｒｓ＋Ｆｉｎｅ[３２]０~８０７.１５６０.２７００.１９０１.５１５０.６９２０.８９９０.９６７ＤＣＮＦ－ＦＣＳＰ[３１]０~８０７.０４６ ０.２１７ ０.６５６０.８８１０.９５８Ｐｒｏｐｏｓｅｄ０~８０４.８７９０.２３１０.１５８１.１０１０.７８４０.９３３０.９７３㊀㊀注:测试的数据集为ＫＩＴＴＩＤａｔａｓｅｔ㊀㊀最后本文在车辆与前方障碍物距离估测方面ꎬ从语义分割图像中取得分割目标物ꎬ再对深度图像中取得相应位置的深度数值由小到大进行排序ꎬ取得前２０％深度数值作为该物体的距离估测数值ꎬ如图５所示ꎬ从图５(ａ)中可以看到本文所提方法能有效地估测出本车与前方障碍物间的距离.图５㊀车辆与前方目标物间的距离估测图(ａ)原图ꎻ(ｂ)深度图像图ꎻ(ｃ)目标分割二值图像图.３㊀结论本文提出了一种对称式Ｅｎｃｏｄｅｒ和Ｄｅｃｏｄｅｒ的深度神经网络架构ꎬ并在深度估测方面采用ＫＩＴＴＩ资料集进行训练ꎬ在语义分割方面则是采用Ｃｉｔｙｓｃａｐｅｓ资料集[３３]来进行训练.实验结果显示ꎬ本文所提障碍物距离估测方法具有可行性.本文所提出的网络架构与其他相似的深度估测网络架构ꎬ在相同的训练及测试条件下ꎬ前者在准确率方面也有不错的表现.在未来的工作中ꎬ将研究不同的解码器架构以及更强健的障碍物侦测方法ꎬ以达成目标物的距离估测ꎬ同时持续改善本文所提深度估测网络的准确度.５５２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测㊀㊀参考文献:[１]㊀ＨｏｃｈｒｅｉｔｅｒＳꎬＳｃｈｍｉｄｈｕｂｅｒＪ.Ｌｏｎｇｓｈｏｒｔ￣ｔｅｒｍｍｅｍｏｒｙ[Ｊ].ＮｅｕｒａｌＣｏｍｐｕｔａｔｉｏｎꎬ１９９７ꎬ９(８):１７３５－１７８０.[２]㊀ＫｒｉｚｈｅｖｓｋｙＡꎬＳｕｔｓｋｅｖｅｒＩꎬＨｉｎｔｏｎＧＥ.ＩｍａｇｅＮｅｔｃｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ[Ｃ]//ＮＩＰＳᶄ１２:Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ.ＮｅｗＹｏｒｋ:ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓＩｎｃ.ꎬ２０１２:１０９７－１１０５.[３]㊀ＳｉｍｏｎｙａｎＫꎬＺｉｓｓｅｒｍａｎＡ.Ｖｅｒｙｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｌａｒｇｅ￣ｓｃａｌｅｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ[ＥＢ/ＯＬ].(２０１４－０９－０４)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１４０９.１５５６.[４]㊀ＲｅｄｍｏｎＪꎬＤｉｖｖａｌａＳꎬＧｉｒｓｈｉｃｋＲꎬｅｔａｌ.Ｙｏｕｏｎｌｙｌｏｏｋｏｎｃｅ:Ｕｎｉｆｉｅｄꎬｒｅａｌ￣ｔｉｍｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ[Ｃ]//２０１６ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ.ＬａｓＶｅｇａｓ:ＩＥＥＥꎬ２０１６:７７９－７８８.[５]㊀ＲｅｎＳＱꎬＨｅＫＭꎬＧｉｒｓｈｉｃｋＲꎬｅｔａｌ.ＦａｓｔｅｒＲ￣ＣＮＮ:Ｔｏｗａｒｄｓｒｅａｌ￣ｔｉｍｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｗｉｔｈｒｅｇｉｏｎｐｒｏｐｏｓａｌｎｅｔｗｏｒｋｓ[ＥＢ/ＯＬ].(２０１５－０６－０４)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１５０６.０１４９７.[６]㊀ＳｅｒｍａｎｅｔＰꎬＥｉｇｅｎＤꎬＺｈａｎｇＸꎬｅｔａｌ.ＯｖｅｒＦｅａｔ:Ｉｎｔｅｇｒａｔｅｄｒｅｃｏｇｎｉｔｉｏｎꎬｌｏｃａｌｉｚａｔｉｏｎａｎｄｄｅｔｅｃｔｉｏｎｕｓｉｎｇｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓ[ＥＢ/ＯＬ].(２０１３－１２－２１)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１３１２.６２２９.[７]㊀ＢａｄｒｉｎａｒａｙａｎａｎＶꎬＫｅｎｄａｌｌＡꎬＣｉｐｏｌｌａＲ.ＳｅｇＮｅｔ:Ａｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｅｎｃｏｄｅｒ￣ｄｅｃｏｄｅｒａｒｃｈｉｔｅｃｔｕｒｅｆｏｒｉｍａｇｅｓｅｇｍｅｎｔａｔｉｏｎ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅꎬ２０１７ꎬ３９(１２):２４８１－２４９５.[８]㊀ＨａｒｉｈａｒａｎＢꎬＡｒｂｅｌａｅｚＰꎬＧｉｒｓｈｉｃｋＲꎬｅｔａｌ.Ｈｙｐｅｒｃｏｌｕｍｎｓｆｏｒｏｂｊｅｃｔｓｅｇｍｅｎｔａｔｉｏｎａｎｄｆｉｎｅ￣ｇｒａｉｎｅｄｌｏｃａｌｉｚａｔｉｏｎ[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ.Ｂｏｓｔｏｎ:ＩＥＥＥꎬ２０１５:４４７－４５６.[９]㊀ＨｅＫＭꎬＧｋｉｏｘａｒｉＧꎬＤｏｌｌáｒＰꎬｅｔａｌ.ＭａｓｋＲ￣ＣＮＮ[Ｃ]//２０１７ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ(ＩＣＣＶ).Ｖｅｎｉｃｅ:ＩＥＥＥꎬ２０１７:２９８０－２９８８.[１０]㊀ＫｕｈｎｅｒｔＫＤꎬＳｔｏｍｍｅｌＭ.Ｆｕｓｉｏｎｏｆｓｔｅｒｅｏ￣ｃａｍｅｒａａｎｄＰＭＤ￣ｃａｍｅｒａｄａｔａｆｏｒｒｅａｌ￣ｔｉｍｅｓｕｉｔｅｄｐｒｅｃｉｓｅ３Ｄｅｎｖｉｒｏｎｍｅｎｔｒｅｃｏｎｓｔｒｕｃｔｉｏｎ[Ｃ]//２００６ＩＥＥＥ/ＲＳＪＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｔｅｌｌｉｇｅｎｔＲｏｂｏｔｓａｎｄＳｙｓｔｅｍｓ.Ｂｅｉｊｉｎｇ:ＩＥＥＥꎬ２００６:４７８０－４７８５.[１１]㊀ＨｏｒｎＢＫＰ.Ｒｏｂｏｔｖｉｓｉｏｎ[Ｍ].Ｂｏｓｔｏｎ:ＴｈｅＭＩＴＰｒｅｓｓꎬ１９８６.[１２]㊀ＲｉｂｌｅｒＲＬꎬＶｅｔｔｅｒＪＳꎬＳｉｍｉｔｃｉＨꎬｅｔａｌ.Ａｕｔｏｐｉｌｏｔ:Ａｄａｐｔｉｖｅｃｏｎｔｒｏｌｏｆｄｉｓｔｒｉｂｕｔｅｄａｐｐｌｉｃａｔｉｏｎｓ[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳｅｖｅｎｔｈＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＤｉｓｔｒｉｂｕｔｅｄＣｏｍｐｕｔｉｎｇ(Ｃａｔ.Ｎｏ.９８ＴＢ１００２４４).Ｃｈｉｃａｇｏ:ＩＥＥＥꎬ１９９８:１７２－１７９.[１３]㊀ＭｉｌｇｒａｍＰꎬＴａｋｅｍｕｒａＨꎬＵｔｓｕｍｉＡꎬｅｔａｌ.Ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ:Ａｃｌａｓｓｏｆｄｉｓｐｌａｙｓｏｎｔｈｅｒｅａｌｉｔｙ￣ｖｉｒｔｕａｌｉｔｙｃｏｎｔｉｎｕｕｍ[Ｃ]//ＰｒｏｃＳＰＩＥ２３５１ꎬＴｅｌｅｍａｎｉｐｕｌａｔｏｒａｎｄＴｅｌｅｐｒｅｓｅｎｃｅＴｅｃｈｎｏｌｏｇｉｅｓ.Ｂｏｓｔｏｎ:ＳＰＩＥꎬ１９９５ꎬ２３５１:２８２－２９２.[１４]㊀ＬｏｎｇＪꎬＳｈｅｌｈａｍｅｒＥꎬＤａｒｒｅｌｌＴꎬｅｔａｌ.Ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ[Ｃ]//２０１５ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ).Ｂｏｓｔｏｎ:ＩＥＥＥꎬ２０１５:３４３１－３４４０.[１５]㊀ＳｚｅｇｅｄｙＣꎬＬｉｕＷꎬＪｉａＹＱꎬｅｔａｌ.Ｇｏｉｎｇｄｅｅｐｅｒｗｉｔｈｃｏｎｖｏｌｕｔｉｏｎｓ[Ｃ]//２０１５ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ).Ｂｏｓｔｏｎ:ＩＥＥＥꎬ２０１５:１－９.[１６]㊀ＢｒｏｓｔｏｗＧꎬＦａｕｑｕｅｕｒＪꎬＣｉｐｏｌｌａＲ.Ｓｅｍａｎｔｉｃｏｂｊｅｃｔｃｌａｓｓｅｓｉｎｖｉｄｅｏ:Ａｈｉｇｈ￣ｄｅｆｉｎｉｔｉｏｎｇｒｏｕｎｄｔｒｕｔｈｄａｔａｂａｓｅ[Ｊ].ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＬｅｔｔｅｒｓꎬ２００９ꎬ３０(２):８８－９７.[１７]㊀ＬｉｎＴＹꎬＭａｉｒｅＭꎬＢｅｌｏｎｇｉｅＳꎬｅｔａｌ.ＭｉｃｒｏｓｏｆｔＣＯＣＯ:Ｃｏｍｍｏｎｏｂｊｅｃｔｓｉｎｃｏｎｔｅｘｔ[Ｃ]//ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ–ＥＣＣＶ２０１４.Ｚｕｒｉｃｈ:ＳｐｒｉｎｇｅｒꎬＣｈａｍꎬ２０１４:７４０－７５５.[１８]㊀ＥｖｅｒｉｎｇｈａｍＭ.ＴｈｅＰａｓｃａｌＶｉｓｕａｌＯｂｊｅｃｔＣｌａｓｓｅｓＣｈａｌｌｅｎｇｅ２０１２(ＶＯＣ２０１２)[Ｒ/ＯＬ].(２０１２－０４－０１)[２０２２－１２－１５].ｈｔｔｐｓ://ｐｊｒｅｄｄｉｅ.ｃｏｍ/ｍｅｄｉａ/ｆｉｌｅｓ/ＶＯＣ２０１２＿ｄｏｃ.ｐｄｆ.６５２㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２３年㊀㊀㊀㊀[１９]㊀ＰｏｕｄｅｌＲＰＫꎬＬｉｗｉｃｋｉＳꎬＣｉｐｏｌｌａＲ.Ｆａｓｔ￣ＳＣＮＮ:Ｆａｓｔｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｎｅｔｗｏｒｋ[ＥＢ/ＯＬ].(２０１９－０２－１２)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１９０２.０４５０２.[２０]㊀ＺｈａｏＨＳꎬＺｈａｎｇＹꎬＬｉｕＳꎬｅｔａｌ.ＰＳＡＮｅｔ:Ｐｏｉｎｔ￣ｗｉｓｅｓｐａｔｉａｌａｔｔｅｎｔｉｏｎｎｅｔｗｏｒｋｆｏｒｓｃｅｎｅｐａｒｓｉｎｇ[Ｃ]//ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ.Ｍｕｎｉｃｈ:Ｃｈａｍꎬ２０１８:２７０－２８６.[２１]㊀ＨｕａｎｇＹꎬＫａｎｇＤꎬＪｉａＷＪꎬｅｔａｌ.Ｃｈａｎｎｅｌｉｚｅｄａｘｉａｌａｔｔｅｎｔｉｏｎ￣ｃｏｎｓｉｄｅｒｉｎｇｃｈａｎｎｅｌｒｅｌａｔｉｏｎｗｉｔｈｉｎｓｐａｔｉａｌａｔｔｅｎｔｉｏｎｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ[ＥＢ/ＯＬ].(２０２１－０１－１９)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/２１０１.０７４３４.[２２]㊀ＳａｇａｒꎬＡꎬＳｏｕｎｄｒａｐａｎｄｉｙａｎＲＫ.Ｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｗｉｔｈｍｕｌｔｉｓｃａｌｅｓｐａｔｉａｌａｔｔｅｎｔｉｏｎｆｏｒｓｅｌｆｄｒｉｖｉｎｇｃａｒｓ[ＥＢ/ＯＬ].(２０２０－０６－３０)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/２００７.１２６８５.[２３]㊀ＧｅｉｇｅｒＡꎬＬｅｎｚＰ.Ａｒｅｗｅｒｅａｄｙｆｏｒａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇ?ＴｈｅＫＩＴＴＩｖｉｓｉｏｎｂｅｎｃｈｍａｒｋｓｕｉｔｅ[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ.ＮｅｗＹｏｒｋ:ＩＥＥＥꎬ２０１２:３３５４－３３６１.[２４]㊀ＧｅｉｇｅｒＡꎬＬｅｎｚＰꎬＳｔｉｌｌｅｒＣꎬｅｔａｌ.Ｖｉｓｉｏｎｍｅｅｔｓｒｏｂｏｔｉｃｓ:ＴｈｅＫＩＴＴＩｄａｔａｓｅｔ[Ｊ].ＴｈｅＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＲｏｂｏｔｉｃｓＲｅｓｅａｒｃｈꎬ２０１３ꎬ３２(１１):１２３１－１２３７.[２５]㊀ＳａｘｅｎａＡꎬＳｕｎＭꎬＮｇＡＹ.Ｍａｋｅ３Ｄ:Ｌｅａｒｎｉｎｇ３Ｄｓｃｅｎｅｓｔｒｕｃｔｕｒｅｆｒｏｍａｓｉｎｇｌｅｓｔｉｌｌｉｍａｇｅ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅꎬ２００９ꎬ３１(５):８２４－８４０.[２６]㊀ＳｉｌｂｅｒｍａｎＮꎬＨｏｉｅｍＤꎬＫｏｈｌｉＰꎬｅｔａｌ.ＩｎｄｏｏｒｓｅｇｍｅｎｔａｔｉｏｎａｎｄｓｕｐｐｏｒｔｉｎｆｅｒｅｎｃｅｆｒｏｍＲＧＢＤｉｍａｇｅｓ[Ｃ]//ＥＣＣＶᶄ１２:Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１２ｔｈＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ.Ｆｌｏｒｅｎｃｅ:Ｓｐｒｉｎｇｅｒꎬ２０１２:７４６－７６０.[２７]㊀ＬｉｕＦＹꎬＳｈｅｎＣＨꎬＬｉｎＧＳꎬｅｔａｌ.Ｌｅａｒｎｉｎｇｄｅｐｔｈｆｒｏｍｓｉｎｇｌｅｍｏｎｏｃｕｌａｒｉｍａｇｅｓｕｓｉｎｇｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｆｉｅｌｄｓ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅꎬ２０１６ꎬ３８(１０):２０２４－２０３９.[２８]㊀ＹｏｎｅｄａＫꎬＴｅｈｒａｎｉＨꎬＯｇａｗａＴꎬｅｔａｌ.Ｌｉｄａｒｓｃａｎｆｅａｔｕｒｅｆｏｒｌｏｃａｌｉｚａｔｉｏｎｗｉｔｈｈｉｇｈｌｙｐｒｅｃｉｓｅ３￣Ｄｍａｐ[Ｃ]//２０１４ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍＰｒｏｃｅｅｄｉｎｇｓ.Ｄｅａｒｂｏｒｎ:ＩＥＥＥꎬ２０１４:１３４５－１３５０.[２９]㊀ＶｉｊａｙａｎａｒａｓｉｍｈａｎＳꎬＲｉｃｃｏＳꎬＳｃｈｍｉｄＣꎬｅｔａｌ.ＳｆＭ￣ｎｅｔ:Ｌｅａｒｎｉｎｇｏｆｓｔｒｕｃｔｕｒｅａｎｄｍｏｔｉｏｎｆｒｏｍｖｉｄｅｏ[ＥＢ/ＯＬ].(２０１７－０４－２５)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１７０４.０７８０４.[３０]㊀ＱｉａｏＳＹꎬＺｈｕＹＫꎬＡｄａｍＨꎬｅｔａｌ.ＶｉＰ￣ＤｅｅｐＬａｂ:Ｌｅａｒｎｉｎｇｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎｗｉｔｈｄｅｐｔｈ￣ａｗａｒｅｖｉｄｅｏｐａｎｏｐｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ[ＥＢ/ＯＬ].(２０２０－１２－０９)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/２０１２.０５２５８.[３１]㊀ＬｉｎＴＹꎬＤｏｌｌáｒＰꎬＳｅｒｇｅＪ.ｅｔａｌ.ＦｅａｔｕｒｅｐｙｒａｍｉｄＮｅｔｗｏｒｋｓｆｏｒｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ[Ｃ]//２０１７ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ).Ｈｏｎｏｌｕｌｕ:ＩＥＥＥꎬ２０１６:９３６－９４４.[３２]㊀ＥｉｇｅｎＤꎬＰｕｈｒｓｃｈＣꎬＦｅｒｇｕｓＲ.Ｄｅｐｔｈｍａｐｐｒｅｄｉｃｔｉｏｎｆｒｏｍａｓｉｎｇｌｅｉｍａｇｅｕｓｉｎｇａｍｕｌｔｉ￣ｓｃａｌｅｄｅｅｐｎｅｔｗｏｒｋ[ＥＢ/ＯＬ].(２０１４－０７－０９)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１４０６.２２８３.[３３]㊀ＣｏｒｄｔｓＭꎬＯｍｒａｎＭꎬＲａｍｏｓＳꎬｅｔａｌ.Ｔｈｅｃｉｔｙｓｃａｐｅｓｄａｔａｓｅｔｆｏｒｓｅｍａｎｔｉｃｕｒｂａｎｓｃｅｎｅｕｎｄｅｒｓｔａｎｄｉｎｇ[Ｃ]//２０１６ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ.ＬａｓＶｅｇａｓ:ＩＥＥＥꎬ２０１６:３２１３－３２２３.(责任编辑㊀郭兴华)７５２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测。

长沙学院课程设计说明书题目车牌提取系统设计系(部) 电子与通信工程系专业(班级) 10电子二班姓名学号指导教师起止日期 2013.12.16-2013.12.20长沙学院课程设计鉴定表10级数字图像处理课程设计与仿真课题任务书系(部):电子与通信工程系专业:电子信息指导教师: 2013-9-6目录摘要 (1)1 MATLAB简介 (1)2字符分割的基本原理 (2)1、基本原理 (2)2 车辆图像预处理 (3)2.1 图像灰度化 (3)2.2 图像边缘检测 (3)2.3 图像腐蚀 (3)2.4 删除小面积对象 (4)2.5 车牌定位 (4)2.6 字符分割 (4)3字符分割的仿真 (4)4字符分割源程序 (6)5心得体会 (9)6参考文献 (10)摘要20世纪20年代，图像处理首次得到应用。

20世纪60年代中期，随电子计算机的发展得到普遍应用。

60年代末，图像处理技术不断完善，逐渐成为一个新兴的学科。

利用数字图像处理主要是为了修改图形，改善图像质量，或是从图像中提起有效信息，还有利用数字图像处理可以对图像进行体积压缩，便于传输和保存。

数字图像处理主要研究以下内容：傅立叶变换、小波变换等各种图像变换；对图像进行编码和压缩；采用各种方法对图像进行复原和增强；对图像进行分割、描述和识别等。

随着技术的发展，数字图像处理主要应用于通讯技术、宇宙探索遥感技术和生物工程等领域。

数字图像处理因易于实现非线性处理，处理程序和处理参数可变，故是一项通用性强，精度高，处理方法灵活，信息保存、传送可靠的图像处理技术。

主要用于图像变换、量测、模式识别、模拟以及图像产生。

广泛应用在遥感、宇宙观测、影像医学、通信、刑侦及多种工业领域。

本文针对车牌自动识别系统中关键技术之一的车牌字符分割部分做了深入的研究。

要想将车牌图像正确地分割，必须得到车牌的二值图像，因此本文对车牌字符分割前的预处理进行了较深入研究，尤其是车牌图像二值化后的去噪处理，包括开闭运算、去除边缘等。

Photoshop CS4数码照片处理进修考核大纲刘万春 编兵器工程师进修大学2010年7月《Photoshop CS4数码照片处理》进修考核大纲一、课程性质与基本要求随着数码相机的普及，摄像也变得大众化，由于各种自然因素需要对图像进行处理。

本课程全面介绍了Photoshop CS4的基本功能和图像处理时Photoshop CS4的使用方法。

课程分别介绍了Photoshop CS4特点、界面组成与基本使用方法，在Photoshop CS4中进行对图像的编辑方法，数码照片的色彩调整，数模照片的修补，数模照片的润色，数模照片的特效制作等。

在Photoshop CS4中高手修复和纹理处理高级技巧，数模照片的抠图与合成应用，数模照片的特殊处理等。

通过本课程的学习，学员应掌握如下知识：(1) Photoshop CS4的基本操作和图像处理功能、对象的操作和位图的应用、图像编辑制作的基础知识和操作方法、使用Photoshop CS4高级编辑导出和发布。

高级图像的制作方法，声音的导入与设置，视频的优化与发布。

(2) 使学生掌握Photoshop CS4的基本功能和使用方法。

重点掌握图像编辑制作的交互功能实现、为图像添加声音及输出和发布方法。

课程旨在教授学生基本的设计原理和思路，并能发挥学生的个人创意能力，运用目前最常用的图像编辑制作软件和辅助软件，设计制作网络作品。

(3) 强调学生的创新能力和动手能力。

本课程要求学生在接受课堂理论知识学习之后，能熟练利用相关的动画制作软件和网页设计软件，创作富有表现力的个性化的照片。

本课程对学员的要求：（1）了解：Photoshop CS4的界面介绍、菜单、获取照片、照片分类，批量照片处理。

照片的筛选，复制，移动等（2）熟练掌握： ACDSee使用方法、Adobe Bridge使用方法（3）掌握：Photoshop CS4的基本知识，象素，分辨率，图像文件的文件格式，色差校正，色调调整，对比度调整，曝光度，饱和度，阴影的设定等等，以及各种图像处理工具，（4）加强上机操作的练习及时间二、课程的基本内容和具体要求本课程以中国科学出版集团出版的《Photoshop CS4数码照片处理从新受到高手》作教材，下面分别提出各章中要求掌握和了解的内容。

大连外国语大学翻译专业本科毕业论文（翻译实践报告类）写作规范2016年12月修订目录一、毕业论文的全套材料 (3)二、毕业论文的基本结构 (3)三、论文的字体和字号要求 (3)四、纸张打印格式 (4)五、论文前置部分的格式要求 (4)六、论文主体部分的格式要求 (5)七、英语封面样本 (7)八、英语摘要样本 (9)九、汉语摘要样本 (11)十、英语致谢样本 (1) (2) (12)十一、英语提纲样本 (14)十二、论文的标题标注样本 [含参考文献样本(1)(2)] (16)十三、网上参考文献格式说明 (27)十四、中文参考文献格式说明 (34)十五、MLA论文写作规范简略说明 (36)十六、附录样本 (53)一、毕业论文的全套材料1．论文袋2．《大连外国语大学本科毕业论文（设计）指导手册》（学生用，用黑色签字笔填写）3．表1 中期检查表（教师用,打印签字版）4．表2 指导教师评语表（教师用，打印签字版）5．表3 评阅人评语表（教师用，打印签字版）6．表4答辩记录表（教师用，打印签字版，表格中评语及以下部分用黑色签字笔填写）7．论文打印文本（一式一份，左侧装订）二、毕业论文的基本结构1．前置部分（按以下顺序排列）：中文封面、诚信承诺书、英文封面、英语摘要、汉语摘要、英语致谢、英语目录（以上各项均单独成页）。

2．主体部分：引言、正文、结论、参考文献（以上各项均单独成页）。

3．附录部分：原文和译文、术语表或人名地名表等（以上各项均单独成页，有或无视情况而定）。

三、论文的字体和字号要求1．英语的字体为Times New Roman, 汉语的字体为宋体。

2．英语和汉语的字号均为小四，且不必加粗。

四、纸张打印格式1．论文要求使用激光打印，纸张尺寸为A4，打印1份。

2．行间距：英语为2倍行距，汉语为1.5倍行距。

3．页边距：上2.5厘米，下2.5厘米，左3.5厘米，右2厘米。

4．页脚插入页码，居中。

页码从封面至提纲的最后一页采用罗马字母排列，即i，ii，iii...,封面作为i页，页码不显示。

验证码字符图像分割技术研究作者：兰伟来源：《软件导刊》2014年第10期摘要：验证码字符图像分割质量很大程度上决定机器能否正确识别出验证码。

针对验证码字符图像分割策略不同，通过研究投影分割法、连通域分割法、最短路径分割法3种验证码字符图像分割技术，分别探讨其特点和应用范围，给出了Web验证码3种分割技术的综合应用方法。

关键词：验证码；字符图像；图像分割DOIDOI：10.11907/rjdk.143334中图分类号：TP317.4文献标识码：A 文章编号文章编号：16727800（2014）010013002基金项目基金项目：重庆市职业教育学会立项科研课题（2013-ZJXH-8721）作者简介作者简介：兰伟（1974-），男，重庆荣昌人，重庆科创职业学院信息学院副教授，研究方向为Java应用开发、人工智能。

0 引言验证码技术是一种网络安全技术，是为了防止攻击者编写恶意代码对网站进行自动注册、自动重复登录、暴力破解密码、发广告等攻击。

验证码识别研究能及时发现验证码的安全漏洞。

验证码识别的一般步骤包括：先获取验证码原图，对彩色图像进行灰度化，然后进行二值化，再通过去噪之后，将图像中的单个字符分割出来，进行逐个识别后输出结果[1]。

字符图像分割是将图像划分成若干个互不相交的小区域的过程，每一个小区域是单个的字符图像。

图像字符分割质量直接影响单个字符信息的完整性，影响字符最终能否被正确识别[2]。

对目前常见的3种验证码字符图像分割技术进行研究，探讨各种技术的特点和应用范围，最终给出3种分割技术的综合应用方法。

1 投影分割法投影分割法是利用各行字符之间存在行空白和行内字符之间存在列空白的特征来分割字符[3]。

因此，投影分割法分为垂直投影和水平投影两部分。

在开始投影分割前必须先将字符图像进行灰度化、二值化和去噪处理，图像中灰度值为0的黑色像素点是与字符有关的点，而灰度值为255的白色像素点是与字符无关的背景点。

第8章 图象的检测及模板匹配图象的分割与检测(识别)实际上是一项非常困难的工作。

很难说清楚为什么图象应该分割成这样而不是那样。

人类的视觉系统是非常优越的，它不仅包含了双眼，还包括了大脑，可以从很复杂的景物中分开并识别每个物体，甚至可以毫不费力地跟上每秒好几十帧变化的图象。

举两个例子来说明一下人类视觉系统的优越性。

图8.1 单词THE图8.2 看不见的三角 图8.1是单词THE ，这一点很容易看出来，但仔细观察一下，就会发现，图中少了很多线条。

在我们人类看来很简单的一件事，让计算机来做就很困难了。

图8.2中尽管没有任何线条，但我们还是可以很容易的看出中间存在着一个白色三角形。

计算机却很难发现。

由于人类在观察图象时适用了大量的知识，所以没有任何一台计算机在分割和检测真实图象时，能达到人类视觉系统的水平。

正因为如此，对于大部分图象应用来说，自动分割与检测还是一个将来时。

目前只有少数的几个领域(如印刷体识别OCR)自动识别达到了实用的水平。

也许算是题外话，我们可以憧憬这样一种应用：基于内容的搜索。

在一场足球比赛的录象中，用户可以输入命令，由计算机自动搜索出所有射门的镜头并显示在屏幕上。

目前，我们能从一幅图象中获得的信息只是每个象素的颜色或灰度值，除此以外别无其它，完成上述功能实在是太困难了。

所以说解决图象分割和检测最根本的方法是在编码(成象)时就给予考虑。

这也正是MPEG4及未来的视频压缩编码标准的主要工作。

正因为有上述的困难，所以我们今天要介绍的只是一些最基本，最简单的算法和思想，针对也只能是一些具体(而不是通用)的应用。

算法共有三个：投影法、差影法和模板匹配。

8.1 投影法在介绍投影法之前，我先出一道题目，下面的这幅照片是著名的华盛顿纪念碑(我记得在“阿甘正传”中曾经看到过它)，怎样从图中自动检测到水平方向上纪念碑的位置。

仔细观察，不难发现，纪念碑上象素的灰度都差不多而且与众不同，如果我们选取合适的阈值，做削波处理(这里选175到220)，将该图二值化，如图8.3所示：图8.3 华盛顿纪念碑图8.4 削波处理，将图8.3二值化 由于纪念碑所在的那几列的白色点比起其他列多很多，如果把该图在垂直方向做投影，如图8.5所示。

一种低码率彩色人脸图像编码方法
李倩;朱玉文;刘万春
【期刊名称】《计算机应用》
【年(卷),期】2005(025)003
【摘要】提出了一种适合低码率信道传输的嵌入式彩色人脸图像编码方法,不仅把握了人脸图像的特点,而且充分利用了彩色图像小波变换后的多种相关性.该方法将联合色彩分量矢量量化和零块、零树编码方法巧妙结合,把彩色图像的三个色彩分量单独扫描,单独编码的过程简化为联合扫描和联合编码的过程.实验结果表明该算法在低码率下,相比JPEG,获得了在视觉效果和峰值信噪比方面更好的恢复图像质量.
【总页数】3页(P589-591)
【作者】李倩;朱玉文;刘万春
【作者单位】北京理工大学,计算机科学与工程系,北京100081;北京理工大学,计算机科学与工程系,北京100081;北京理工大学,计算机科学与工程系,北京100081【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.一种基于HSI空间的红外测量图像伪彩色编码方法 [J], 李晓冰
2.基于低码率传输的红外视频编码方法研究 [J], 陈青华;董锋;谢晓方;齐玉东;乔勇军
3.一种彩色图象信号高压缩低码率编码的方案 [J], 梁金山
4.极低码率的图象压缩编码方法 [J], 刘富强
5.一种适合低码率无线视频传输的容错编码方法 [J], 胡振;张正华
因版权原因，仅展示原文概要，查看原文内容请购买。

一种基于支持向量机的专业中文网页分类器
李亮;刘万春;徐泉清;朱玉文
【期刊名称】《计算机应用》
【年(卷),期】2004(024)004
【摘要】文中提出了一种基于支持向量机的专业中文网页分类算法,利用支持向量机对网页进行二类分类,找出所需专业的中文网页;然后利用向量空间模型,对分类好的专业网页进行多类分类.在构造支持向量机的过程中,为了提高分类的召回率,采用了一种偏移因子.该算法只需要计算二类SVM分类器,实验表明,它不仅具有较高的训练效率,同时能得到很高的分类精确率和召回率.
【总页数】4页(P58-61)
【作者】李亮;刘万春;徐泉清;朱玉文
【作者单位】北京理工大学,视觉与智能实验室,北京,100081;北京理工大学,视觉与智能实验室,北京,100081;北京理工大学,视觉与智能实验室,北京,100081;北京理工大学,视觉与智能实验室,北京,100081
【正文语种】中文
【中图分类】TP181
【相关文献】
1.一种基于反馈学习机制的支持向量机网页分类方法 [J], 张琼;封化民;何文才
2.基于决策支持向量机的中文网页分类器 [J], 贺海军;王建芬;周青;曹元大
3.一种基于预分类的高效SVM中文网页分类器 [J], 许世明;武波;马翠;邸思;徐洪
奎;杜如虚
4.基于支持向量机与无监督聚类相结合的中文网页分类器 [J], 李晓黎;刘继敏;史忠植
5.基于支持向量机与主成分相结合的网页分类器 [J], 陆新根
因版权原因，仅展示原文概要，查看原文内容请购买。