全景摄像头之新时代：普捷利全景泊车影像

第４３卷第３期２０２４年６月沈㊀阳㊀理㊀工㊀大㊀学㊀学㊀报ＪｏｕｒｎａｌｏｆＳｈｅｎｙａｎｇＬｉｇｏｎｇＵｎｉｖｅｒｓｉｔｙＶｏｌ ４３Ｎｏ ３Ｊｕｎ ２０２４收稿日期:２０２３－０３－２８基金项目:辽宁省重点科技创新基地联合开放基金项目(２０２１－ＫＦ－１２－０５)作者简介:李东宇(１９９９ )ꎬ男ꎬ硕士研究生ꎻ高宏伟(１９７８ )ꎬ通信作者ꎬ男ꎬ教授ꎬ博士ꎬ研究方向为计算机视觉测量㊁图像处理与识别等ꎮ文章编号:１００３－１２５１(２０２４)０３－００１８－０８基于驾驶场景的高效多模态融合检测方法李东宇ꎬ王绪娜ꎬ高宏伟(沈阳理工大学自动化与电气工程学院ꎬ沈阳１１０１５９)摘㊀要:目标检测是自动驾驶中重要的组成部分ꎮ为解决在弱光条件下单一的可见光图像不能满足实际驾驶场景检测的需求并进一步提高检测精度ꎬ提出一种用于红外和可见光融合图像的交通场景检测网络ꎬ简称ＡＭ￣ＹＯＬＯｖ５ꎮＡＭ￣ＹＯＬＯｖ５中改进的Ｒｅｐｖｇｇ结构可以提升对融合图像特征的学习能力ꎮ此外ꎬ在主干网络末端引入自注意力机制并提出一种新的空间金字塔模块(ＳｉｍＳＰＰＦＣＳＰＣ)充分获取信息ꎻ为提升网络推理速度ꎬ在颈部网络的前端使用一种全新的卷积(ＧＳ卷积)ꎮ实验结果表明ꎬＡＭ￣ＹＯＬＯｖ５在ＦＬＩＲ数据集融合图像上的ｍＡＰ０.５达到了６９.３５％ꎬ与原ＹＯＬＯｖ５ｓ相比ꎬ在没有牺牲推理速度的前提下ꎬ检测精度提升了１.６６％ꎮ关㊀键㊀词:目标检测ꎻ多模态融合ꎻ驾驶场景ꎻ融合图像中图分类号:ＴＰ３９１.４１文献标志码:ＡＤＯＩ:１０.３９６９/ｊ.ｉｓｓｎ.１００３－１２５１.２０２４.０３.００３ＥｆｆｉｃｉｅｎｔＭｕｌｔｉ￣ｍｏｄａｌＦｕｓｉｏｎＤｅｔｅｃｔｉｏｎＭｅｔｈｏｄＢａｓｅｄｏｎＤｒｉｖｉｎｇＳｃｅｎｅｓＬＩＤｏｎｇｙｕꎬＷＡＮＧＸｕｎａꎬＧＡＯＨｏｎｇｗｅｉ(ＳｈｅｎｙａｎｇＬｉｇｏｎｇＵｎｉｖｅｒｓｉｔｙꎬＳｈｅｎｙａｎｇ１１０１５９ꎬＣｈｉｎａ)Ａｂｓｔｒａｃｔ:Ｔａｒｇｅｔｄｅｔｅｃｔｉｏｎｉｓａｎｉｍｐｏｒｔａｎｔｃｏｍｐｏｎｅｎｔｉｎａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇ.ＩｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｔｈａｔａｓｉｎｇｌｅｖｉｓｉｂｌｅｉｍａｇｅｃａｎｎｏｔｍｅｅｔｔｈｅｄｅｍａｎｄｏｆａｃｔｕａｌｄｒｉｖｉｎｇｓｃｅｎｅｄｅｔｅｃｔｉｏｎｕｎｄｅｒｌｏｗｌｉｇｈｔｃｏｎｄｉｔｉｏｎｓａｎｄｔｏｉｍｐｒｏｖｅｔｈｅｄｅｔｅｃｔｉｏｎａｃｃｕｒａｃｙꎬａｔｒａｆｆｉｃｓｃｅｎｅｔａｒｇｅｔｄｅｔｅｃｔｉｏｎｎｅｔｗｏｒｋｆｏｒｆｕｓｅｄｉｎｆｒａｒｅｄａｎｄｖｉｓｉｂｌｅｉｍａｇｅｓｉｓｐｒｏｐｏｓｅｄꎬｗｈｉｃｈｉｓｃａｌｌｅｄＡＭ￣ＹＯＬＯｖ５ｆｏｒｓｈｏｒｔ.Ｔｈｅｉｍ￣ｐｒｏｖｅｄＲｅｐｖｇｇｓｔｒｕｃｔｕｒｅｉｎＡＭ￣ＹＯＬＯｖ５ｃａｎｅｎｈａｎｃｅｔｈｅａｂｉｌｉｔｙｏｆｌｅａｒｎｉｎｇｆｅａｔｕｒｅｓｏｆｆｕｓｅｄｉｍａ￣ｇｅｓ.Ｉｎａｄｄｉｔｉｏｎꎬａｓｅｌｆ￣ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｉｓｉｎｔｒｏｄｕｃｅｄａｎｄａｎｅｗｓｐａｔｉａｌｐｙｒａｍｉｄｍｏｄｕｌｅ(Ｓｉｍ￣ＳＰＰＦＣＳＰＣ)ｉｓｐｒｏｐｏｓｅｄａｔｔｈｅｅｎｄｏｆｔｈｅｂａｃｋｂｏｎｅｎｅｔｗｏｒｋｔｏｏｂｔａｉｎｓｕｆｆｉｃｉｅｎｔｉｎｆｏｒｍａｔｉｏｎ.Ｔｏｉｍ￣ｐｒｏｖｅｔｈｅｉｎｆｅｒｅｎｃｅｓｐｅｅｄｏｆｔｈｅｎｅｔｗｏｒｋꎬａｎｅｗｃｏｎｖｏｌｕｔｉｏｎ(ＧＳｃｏｎｖｏｌｕｔｉｏｎ)ｉｓｕｓｅｄａｔｔｈｅｆｒｏｎｔｏｆｔｈｅｎｅｃｋ.ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔＡＭ￣ＹＯＬＯｖ５ａｃｈｉｅｖｅｓ６９.３５％ｍＡＰ０.５ｏｎｔｈｅｆｕｓｉｏｎｉｍ￣ａｇｅｏｆＦＬＩＲｄａｔａｓｅｔꎬｔｈｅｄｅｔｅｃｔｉｏｎａｃｃｕｒａｃｙｉｓｉｍｐｒｏｖｅｄｂｙ１.６６％ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｏｒｉｇｉｎａｌＹＯＬＯｖ５ｓꎬｗｉｔｈｏｕｔａｎｙｓａｃｒｉｆｉｃｅｉｎｉｎｆｅｒｅｎｃｅｓｐｅｅｄ.Ｋｅｙｗｏｒｄｓ:ｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎꎻｍｕｌｔｉ￣ｍｏｄａｌｆｕｓｉｏｎꎻｄｒｉｖｉｎｇｓｃｅｎｅｓꎻｉｍａｇｅｆｕｓｉｏｎ㊀㊀智能交通㊁物联网和人工智能等科学技术的不断革新推动了自动驾驶的迅猛发展ꎮ自动驾驶车辆需要对周围环境进行实时感知和识别ꎬ以便做出正确的驾驶决策ꎮ目标检测算法从车载摄像头拍摄的可见光图像中提取当前驾驶场景的相关信息ꎬ包括障碍位置㊁其他车辆信息和行人信息等[１]ꎮ在日常驾驶环境中ꎬ通常存在着复杂且实时变化的道路情况ꎬ并且在弱光条件下可见光图像包含的目标信息不足[２]ꎬ依靠单一视觉传感器的信息不能满足全天候检测的需求ꎬ于是针对多模态图像的目标检测任务逐渐受到关注ꎮ可见光图像包含丰富的细节信息但容易受到环境光线影响ꎻ红外图像可以突出目标信息ꎬ抗干扰能力强ꎬ但环境细节信息不足ꎮ而可见光图像和红外图像两种模态融合得到的融合图像同时具有两种模态的特点信息ꎬ对于目标检测任务有很大的增益ꎬ同时相比于可见光－激光雷达的多模态融合方式可以保留更多的视觉信息且方便部署ꎮ然而可见光红外融合图像具有的特征信息比单一可见光图像和红外图像复杂ꎬ对目标检测算法在准确度和推理速度方面提出了更高要求ꎮＲｅｄｍｏｎ等[３]提出的ＹＯＬＯ系列算法ꎬ尤其是ＹＯＬＯｖ５ꎬ在目标检测方面具有优异的性能ꎮＹＯＬＯｖ５的主干网络采用ＣＳＰＤａｒｋｎｅｔ５３结构ꎬ颈部网络部分采用的是ＰＡＮｅｔ结构ꎬ检测头为Ｙｏｌｏｈｅａｄꎮ由于其兼顾了准确性和较快的检测速度ꎬ已成为单阶段目标检测算法的代表ꎬ尽管ＹＯＬＯｖ５性能已经很优秀ꎬ但在处理复杂的交通环境中可见光红外融合图像信息时ꎬ原始网络的特征学习能力不足ꎮ本文选取ＹＯＬＯｖ５作为基础网络并针对日常自动驾驶任务需求进行改进ꎬ简称为ＡＭ￣ＹＯＬＯｖ５ꎬ解决复杂驾驶场景融合图像的目标检测任务ꎮ算法在特征提取和学习方面加入了更高效的结构和模块ꎬ将多分支学习结构与一种改进的空间金字塔模块(ＳｉｍＳＰＰＦＣＳＰＣ)引入到主干网络中ꎬ实现了多分支的学习能力ꎬ在提高特征学习能力的同时不影响推理速度ꎬ提高计算效率ꎮ同时ꎬ对于图片中目标可能被遮挡的问题ꎬ本文将多注意力Ｃ３模块引入到主干网络中ꎬ使网络充分获得全局信息和丰富的上下文信息ꎮ此外ꎬ本文在网络的颈部使用了ＧＳ卷积ꎬ优化网络参数以提高效率ꎬ并使网络能够更好地学习多尺度特征ꎮ１㊀ＡＭ￣ＹＯＬＯｖ５１.１㊀整体网络结构ＡＭ￣ＹＯＬＯｖ５在网络的主干部分将改进的Ｒｅｐｖｇｇ模块(Ｒｅｐｌｉｔｅ)与ＹＯＬＯｖ５整合在一起ꎬ末端引入自注意力机制ꎬ加入了更高效的多注意Ｃ３模块(Ｃ３ＴＲ)和ＳｉｍＳＰＰＦＣＳＰＣꎮ在此基础上ꎬ网络颈部的前端普通卷积被ＧＳ卷积替代ꎮＡＭ￣ＹＯＬＯｖ５算法的结构如图１所示ꎮ１.２㊀高效特征提取主干网络１.２.１㊀改进的Ｒｅｐｖｇｇ模块主干网络设计对于自动驾驶场景多模态融合图像的目标检测至关重要ꎮ多分支结构的训练网络[４]虽然能获得较高的性能提升ꎬ但因为内存占用增加导致推理速度下降ꎮ普通单路径结构的网络由于没有分支ꎬ特征提取能力偏弱ꎬ但在操作完成后可以立即释放输入占用的内存ꎬ通过牺牲性能可实现较高的推理效率ꎮＤｉｎｇ等[５]提出的结构重参数化可有效解决该问题ꎬ如图２(ａ)所示ꎬ训练结构由多个Ｒｅｐｖｇｇ模块组成ꎬ每个Ｒｅｐｖｇｇ模块一般由一个３ˑ３卷积ꎬ一个１ˑ１卷积和一个恒等分支组成ꎮ推理结构如图２(ｂ)所示ꎬ原来的多分支结构经过重参数化操作等价变成了由多个３ˑ３卷积组成的单路经结构ꎮ通常在无重参数化的卷积神经网络算法中ꎬ卷积层参数在训练和推理时不会发生变化ꎬ卷积层参数相关公式如下ꎮＰｃ＝(Ｋ２ˑＣ＋ｂ)ˑＮ(１)Ｗｏｕｔ＝Ｗｉｎ＋２ｐ－ｗｓ＋１(２)Ｈｏｕｔ＝Ｈｉｎ＋２ｐ－ｈｓ＋１(３)Ｄｏｕｔ＝ｋ(４)式中:Ｐｃ是卷积层所有参数量ꎻＫ代表卷积核尺寸ꎻＣ代表输入通道数ꎻＮ代表过滤器数量ꎻＫ２ˑＣ代表权重数量ꎻｂ代表偏置数量ꎻＷｉｎ和Ｈｉｎ是输入层参数ꎻＷｏｕｔ㊁Ｈｏｕｔ和Ｄｏｕｔ是经过卷积后的输出层参数ꎻｋ是卷积核个数ꎻｐ是填充大小ꎻｓ是步长ꎻｗ和ｈ是卷积核参数ꎮ重参数化意味着卷积层参数发生相应改变ꎬ将卷积层与批量归一化(ＢＮ)层融合并对恒等分支转换如下ꎮＷᶄｉ＝γｉσｉＷｉ(５)ｂᶄｉ＝－μｉγｉσｉ＋βｉ(６)式中:Ｗｉ是转换前的卷积层参数ꎻσｉ代表ＢＮ层标卷积准差ꎻμｉ代表ＢＮ层累计平均值ꎻγｉ和βｉ分别代表ＢＮ层学习的比例因子和偏差ꎻＷᶄｉ和ｂᶄｉ分别代表融合后卷积层的权重与偏置ꎬｉ代表操作范围为所有通道ꎮ㊀㊀具有残差和串联连接的层不应存在恒等分支ꎬ会导致不同特征图存在更多的梯度多样性[６]ꎬ所以本研究提出了改进的Ｒｅｐｖｇｇ模块ꎬ去除９１第３期㊀㊀㊀李东宇等:基于驾驶场景的高效多模态融合检测方法图１㊀ＡＭ￣ＹＯＬＯｖ５结构Ｆｉｇ.１㊀ＴｈｅｓｔｒｕｃｔｕｒｅｏｆＡＭ￣ＹＯＬＯｖ５图２㊀Ｒｅｐｖｇｇ在不同任务时的结构Ｆｉｇ.２㊀ＴｈｅｓｔｒｕｃｔｕｒｅｏｆＲｅｐｖｇｇｕｎｄｅｒｄｉｆｆｅｒｅｎｔｔａｓｋｓＲｅｐｖｇｇ模块的恒等分支ꎬ只保留两个卷积分支ꎬ并命名为Ｒｅｐｌｉｔｅ模块ꎬ用其替换ＹＯＬＯｖ５主干网络中末端的两个３ˑ３卷积块ꎬ以实现多分支训练结构与单路径推理结构的转换ꎬ不明显增加推理速度的同时提升网络对于细节特征的学习能力ꎮ训练阶段如图３(ａ)所示ꎬ由３ˑ３卷积和１ˑ１卷积组成的多分支结构可以被看作是多浅层模型的集成ꎬ有利于解决梯度消失问题ꎬ提高模型的准确度和训练时的算法性能ꎮ推理阶段采用与Ｒｅｐｖｇｇ同样的重参数化方法将原来的１ˑ１卷积融入到３ˑ３的卷积中ꎬ变回单路径结构ꎬ如图３(ｂ)所示ꎮ图３㊀带有Ｒｅｐｌｉｔｅ模块的主干网络在不同任务时的结构Ｆｉｇ.３㊀ＴｈｅｓｔｒｕｃｔｕｒｅｏｆｔｈｅｂａｃｋｂｏｎｅｎｅｔｗｏｒｋｗｉｔｈＲｅｐｌｉｔｅｍｏｄｕｌｅｓｕｎｄｅｒｄｉｆｆｅｒｅｎｔｔａｓｋｓ０２沈㊀阳㊀理㊀工㊀大㊀学㊀学㊀报㊀㊀第４３卷１.２.２㊀多注意力Ｃ３模块为使网络能够充分获得全局信息和丰富的上下文信息ꎬ提高对融合图像的检测能力ꎬ本研究受到ＶｉｓｉｏｎＴｒａｎｓｆｏｒｍｅｒ的启发ꎬ将自注意力机制引入ＹＯＬＯｖ５ꎬ以提高在实际场景中检测被遮挡物体的能力[７]ꎮＴｒａｎｓｆｏｒｍｅｒ模块结构如图４所示ꎬ由输入嵌入㊁位置编码㊁Ｔｒａｎｓｆｏｒｍｅｒ编码器组成ꎮ每个Ｔｒａｎｓｆｏｒｍｅｒ编码器[８]包含一个多头注意力模块㊁一个前馈层以及残差连接ꎬ多头注意力模块可以更多地关注像素点并获得上下文信息ꎬ多头注意力处理过程表示如下ꎮＭｕｌｔｉＨｅａｄ(ＱꎬＫꎬＶ)＝Ｃｏｎｃａｔ(ｈｅａｄ１ꎬ ꎬｈｅａｄｈ)ＷＯ(７)ｈｅａｄｉ＝Ａｔｔｅｎｔｉｏｎ(ＱＷＱｉꎬＫＷＫｉꎬＶＷＶｉ)(８)式中:ＭｕｌｔｉＨｅａｄ代表多头注意力操作ꎻＡｔｔｅｎｔｉｏｎ代表注意力操作ꎻＣｏｎｃａｔ代表拼接操作ꎻＷＱｉɪＲｄｍｏｄｅｌˑｄｋꎻＷＫｉɪＲｄｍｏｄｅｌˑｄｋꎻＷＶｉɪＲｄｍｏｄｅｌˑｄｖ(１ɤｉɤｈ)ꎻＷＯ代表权重矩阵且ＷＯɪＲｈˑｄｖˑｄｍｏｄｅｌꎻｄｍｏｄｅｌ代表模型的维度ꎻｄｋ代表内容信息的维度ꎻｄｖ代表信息的维度ꎻＫ㊁Ｖ㊁Ｑ分别代表内容信息㊁信息本身和输入信息ꎻｈ代表头部或平行的注意力层数ꎮ图４㊀Ｔｒａｎｓｆｏｒｍｅｒ模块结构Ｆｉｇ.４㊀ＴｈｅｓｔｒｕｃｔｕｒｅｏｆＴｒａｎｓｆｏｒｍｅｒｍｏｄｕｌｅ㊀㊀位置编码由一个全连接层构成ꎬ以保留位置信息ꎮ输入嵌入通过重塑㊁展开等操作将二维图像处理成一个序列ꎬ输入Ｔｒａｎｓｆｏｒｍｅｒ编码器ꎮ最终的嵌入因子通过位置编码与输入嵌入相加得到ꎬ再送入Ｔｒａｎｓｆｏｒｍｅｒ编码器ꎮ本文将Ｃ３模块与Ｔｒａｎｓｆｏｒｍｅｒ结合提出了多注意力Ｃ３模块(Ｃ３ＴＲ)且只有网络中主干末端的Ｃ３模块被替换成Ｃ３ＴＲꎬ即将Ｃ３模块中Ｂｏｔ￣ｔｌｅｎｅｃｋ模块用Ｔｒａｎｓｆｏｒｍｅｒ模块取代ꎬＣ３ＴＲ结构如图５所示ꎮ通过在分辨率较低的主干网络末端部署Ｔｒａｎｓｆｏｒｍｅｒ模块ꎬ网络可以获得更丰富的上下文信息和更好的全局信息ꎬ以提高大型物体的检测精度并影响所有的检测头ꎮ此外ꎬ部署在主干网络末端不会占用过多内存ꎬ并在提高检测效率的同时降低模型复杂度ꎮ图５㊀Ｃ３ＴＲ结构Ｆｉｇ.５㊀ＴｈｅｓｔｒｕｅｔｕｒｅｏｆＣ３ＴＲ１.２.３㊀改进的空间金字塔模块本研究提出了一个改进的空间金字塔模块ＳｉｍＳＰＰＦＣＳＰＣꎬ其基于ＳＰＰＦ和ＳＰＰＣＳＰＣ[６]的结构ꎬ将两者相结合并针对自动驾驶场景融合图像检测进一步优化以达到更好的特征学习能力ꎬＳｉｍＳＰＰＦＣＳＰＣ的结构如图６所示ꎮ特征在输入ＳｉｍＳＰＰＦＣＳＰＣ模块后被分到两个分支进行处理ꎬ一个分支利用标准卷积对特征进行常规处理ꎬ另一个分支利用快速空间金字塔(ＳＰＰＦ)结构对特征进行处理ꎬ最后合并两个分支ꎬ此结构相比于按序处理减少了计算量并提高了精度ꎮ此外ꎬ在ＳＰ￣ＰＦ分支中使用３ˑ３的最大池化层ꎬ可以在保证学习对象特征的同时节约计算成本ꎬ在一定程度上减轻了过拟合的风险ꎮ图６㊀ＳｉｍＳＰＰＦＣＳＰＣ结构Ｆｉｇ.６㊀ＴｈｅｓｔｒｕｃｔｕｒｅｏｆＳｉｍＳＰＰＦＣＳＰＣ㊀㊀假设ＳｉｍＳＰＰＦＣＳＰＣ模块的输入为ＸɪＲＣˑＷˑＨꎬ模块的输出为ＹɪＲＣˑＷˑＨꎬＣ是特征图的通道数ꎬＷ和Ｈ分别代表特征图的宽和高ꎬ卷积层为Ｃｏｎｖｉ(ｉ＝１ꎬ ꎬ７)ꎬ拼接操作层为Ｃｏｎｃａｔꎬ１２第３期㊀㊀㊀李东宇等:基于驾驶场景的高效多模态融合检测方法则ＳｉｍＳＰＰＦＣＳＰＣ的输出Ｙ可以表示为Ｙ＝Ｃｏｎｖ７(Ｃｏｎｃａｔ(Ｃｏｎｖ２(Ｘ)ꎬＹＳ))(９)ＹＭ＝(ＭＸＰ１(Ｘ１)ꎬＭＸＰ２(Ｙ１)ꎬＭＸＰ３(Ｙ２))(１０)ＹＳ＝Ｃｏｎｖ６(Ｃｏｎｖ５(Ｃｏｎｃａｔ(ＹＭꎬＸ１)))(１１)Ｘ１＝Ｃｏｎｖ４(Ｃｏｎｖ３(Ｃｏｎｖ１(Ｘ)))(１２)式中:ＹＳ是ＳＰＰＦ分支的输出ꎻＸ１是ＳＰＰＦ结构的输入ꎻ最大池化层ＭＸＰｉ(ｉ＝１ꎬ２ꎬ３)的内核尺寸为３ˑ３ꎻＹ１是第一个最大池化层ＭＸＰ１处理的输出ꎻＹ２是第二个最大池化层ＭＸＰ２处理的输出ꎻＹＭ是所有最大池化层分支输出ꎮ１.３㊀性能平衡的颈部网络在自动驾驶场景融合图像目标检测算法的实际应用中ꎬ平衡模型的精度与速度是十分必要的ꎮ为进一步提升网络的速度ꎬ本文考虑了在颈部网络部署当前常用的深度可分离卷积(ＤＳＣ)[９－１０]替换标准卷积以降低模型的参数量ꎮ深度可分离卷积的结构如图７所示ꎮ图７㊀ＤＳＣ结构Ｆｉｇ.７㊀ＴｈｅｓｔｒｕｃｔｕｒｅｏｆＤＳＣ㊀㊀图像的通道在进行卷积的过程中被分离ꎬ每个通道进行单独的运算ꎬ降低了卷积层的参数量ꎮ然而ꎬ各通道之间的信息缺失导致其特征融合能力变弱ꎬ不利于针对融合图像的模型训练和检测ꎮ本文在网络中引入了ＧＳ卷积[１１]ꎬＧＳ卷积的结构如图８所示ꎬＧＳ卷积同时结合了标准卷积与深度可分离卷积中的逐通道卷积(ＤＷ卷积)ꎬ最后采用打乱操作重分配信息ꎬ从而促进了模型对更多正确特征的学习ꎬ使特征信息得到充分利用ꎮ通过使用ＧＳ卷积ꎬ可以在速度和精度之间取得良好的平衡ꎬ减少网络的计算量(ＦＬＯＰｓ)和参数量ꎬ而不牺牲性能ꎮ图８㊀ＧＳ卷积结构Ｆｉｇ.８㊀ＧＳｃｏｎｖｏｌｕｔｉｏｎａｌｓｔｒｕｃｔｕｒｅ㊀㊀假设ＧＳ卷积的输入为ＸＧＳɪＲＣˑＷˑＨꎬ输出为ＹＧＳɪＲＣˑＷˑＨꎬＣ是特征图的通道数ꎬＷ和Ｈ分别代表特征图的宽和高ꎬ普通卷积层为Ｃｏｎｖꎬ逐通道卷积层为ＤＷＣꎬ拼接操作层为Ｃｏｎｃａｔꎬ打乱操作表示为ＳＨＦꎬ则ＧＳ卷积的输出ＹＧＳ可以表示为ＹＧＳ＝ＳＨＦ(Ｃｏｎｃａｔ(Ｃｏｎｖ(ＸＧＳ)ꎬＤＷＣ(ＹＣ)))(１３)式中:ＹＣ是普通卷积的输出ꎬＣｏｎｖ和ＤＷＣ的卷积核参数分别为ＣˑＣᶄˑ１ˑ１和ＣˑＣᶄˑ５ˑ１ꎬ此处Ｃᶄ＝Ｃ/２ꎮ本文将颈部网络部分中ＦＰＮ结构的１ˑ１卷积替换成了ＧＳ卷积ꎬ以努力平衡模型在实际应用中部署时的准确性和速度ꎬ而且ＧＳ卷积的部署仅限于颈部网络部分ꎬ因为在卷积神经网络中ꎬ空间信息是逐渐传输到通道上的ꎬ由于特征图的空间压缩和通道扩展ꎬ传输过程中可能会导致语义信息的丢失ꎬ而ＧＳ卷积可以保留存在通道之间的隐藏连接从而保留部分语义信息ꎬ但是全阶段部署可能会造成数据流阻碍以及推理时间的增加ꎬ为了缓解此问题本文采用了部分部署的策略ꎮ２㊀实验结果和分析２.１㊀数据集ＦＬＩＲ数据集是近年发布ꎬ用于自动驾驶领域神经网络训练ꎬ包含可见光图像和标注过的红外图像的目标检测数据集(拍摄于白天和黑夜情况下)ꎬ共计１４０００张ꎮ本研究为实现多模态自动驾驶场景ꎬ充分验证所提出算法的提升效果ꎬ使用对齐的ＦＬＩＲ数据集[１２](ｈｔｔｐｓ://ｐａｐｅｒｓｗｉｔｈｃｏｄｅ.ｃｏｍ/ｄａｔａｓｅｔ/ｆｌｉｒ￣ａｌｉｇｎｅｄ)ꎬ选取４４８９可见光－红外图像对ꎬ保证了白天和黑夜道路情况的均匀分布ꎮ所有图像对采用基于非下采样剪切波变换(ＮＳＳＴ)图像融合算法[１３]进行融合ꎬ得到ＦＬＩＲ数据集融合图像作为实验的数据集ꎬ３４７６张作为训练集ꎬ１０１３张作为验证集和测试集ꎮ其中只使用三种常用的标注类别:汽车ꎬ自行车和人ꎬ融合图像标注信息与可见光图像和红外图像一致ꎬ数据集中每张图像的大小均为６４０ˑ５１２像素ꎮ２.２㊀评价指标本文对提出的ＡＭ￣ＹＯＬＯｖ５算法与其他目标检测代表算法进行性能对比实验和消融研究ꎬ采用的评价指标包括:平均精度均值(ｍＡＰ)㊁计算量(ＦＬＯＰｓ)㊁参数量和推理时间ꎮｍＡＰ是所包含种类的ＡＰ平均值ꎬ数值越大代表模型准确度越高ꎬＦＬＯＰｓ代表模型的复杂程度ꎬ推理时间代表模型在推理单张图片时所用的时间ꎬ数值越小代表２２沈㊀阳㊀理㊀工㊀大㊀学㊀学㊀报㊀㊀第４３卷推理速度越快ꎮ２.３㊀实验细节在Ｍａｔｌａｂ软件环境下调用ＮＳＳＴ算法得到ＦＬＩＲ数据集融合图像ꎮ在自动驾驶场景融合图像目标检测实验中ꎬ网络的输入为６４０ˑ６４０ˑ３ꎬ本文将ＦＬＩＲ数据集融合图像输入到训练网络进行端对端的权重模型训练ꎬ训练完成后对相应图像进行检测ꎮ所有训练建立在预训练过的ＹＯＬＯｖ５ｓ权重基础之上ꎬ初始学习率设置为０.０１ꎬ设置动量为０.９３７ꎬ训练批次大小为８ꎬ设置权重衰减为０.０００５ꎬ训练的迭代次数为１００次ꎬ其余参数设置遵循ＹＯＬＯｖ５默认的设置ꎮ本研究在Ｉｎｔｅｌｉ７￣１１８００ＣＰＵ㊁３２ＧＢ运行内存㊁ＮＶＩＤＩＡＲＴＸ３０７０ＧＰＵ的硬件环境以及Ｗｉｎ￣ｄｏｗｓ１１㊁ｍａｔｌａｂＲ２０２０ｂ㊁Ｏｐｅｎｃｖ３.４.１０图像处理视觉库和Ｐｙｔｏｒｃｈ１.１０.１软件环境下完成ꎮ２.４㊀与其他检测器性能对比在ＦＬＩＲ数据集融合图像上进行不同检测算法训练ꎬ结果对比如表１所示ꎮ本文算法ｍＡＰ０.５达到了６９.３５％ꎬ比原ＹＯＬＯｖ５ｓ提升了约１.６６％ꎬ同时超越了一些代表性算法ꎬ如ＳＳＤ[１４]㊁ＣｅｎｔｅｒＮｅｔ[１５]和Ｆａｓｔｅｒ￣ＲＣＮＮ[１６]算法的ｍＡＰ０.５ꎬ涨幅都在１４％以上ꎮ同时高于ＹＯＬＯＸｓ的ｍＡＰ０.５ꎬ表明ＹＯＬＯＸｓ对于融合图像效果欠佳ꎮ表１㊀本文算法与其他目标检测算法在ＦＬＩＲ数据集融合图像上的对比实验结果Ｔａｂｌｅ１㊀ＣｏｍｐａｒｉｓｏｎｓｏｆｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｆｔｈｅａｌｇｏｒｉｔｈｍｉｎｔｈｉｓｐａｐｅｒａｎｄｏｔｈｅｒｔａｒｇｅｔｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｓｏｎｆｕｓｅｄｉｍａｇｅｓｏｆＦＬＩＲｄａｔａｓｅｔ检测网络ｍＡＰ０.５/％ＦＬＯＰｓ/１０９ｓ－１参数量/ＭＢＳＳＤ５１.８６６２.８２６.２９Ｆａｓｔｅｒ￣ＲＣＮＮ５２.８４９３９.６２８.４８ＣｅｎｔｅｒＮｅｔ５５.４７６９.９３２.６７ＹＯＬＯＸｓ６６.９９２１.７８.０５ＹＯＬＯｖ５ｓ６７.６９１５.８７.０２ＡＭ￣ＹＯＬＯｖ５６９.３５２１.２１３.４１㊀㊀图９展示了ＹＯＬＯｖ５ｓ和ＡＭ￣ＹＯＬＯｖ５在ＦＬＩＲ数据集融合图像上的可视化检测结果对比ꎬ其中(ａ)列图像中的黄色框代表ＹＯＬＯｖ５ｓ未检测出来的对象ꎬ绿色框代表ＹＯＬＯｖ５ｓ错检出的对象ꎮＡＭ￣ＹＯＬＯｖ５可以检测出ＹＯＬＯｖ５ｓ在远距离以及光线不强的情况下没有检测出的行人㊁自行车和汽车等目标ꎬ同时算法可以检测到被遮挡的物体ꎬ提高了检测精度ꎬ有效减少错检ꎮ图９㊀ＹＯＬＯｖ５ｓ和ＡＭ￣ＹＯＬＯｖ５在ＦＬＩＲ数据集融合图像上的检测结果对比Ｆｉｇ.９㊀ＣｏｍｐａｒｉｓｏｎｓｏｆｄｅｔｅｃｔｉｏｎｒｅｓｕｌｔｓｏｆＹＯＬＯｖ５ｓａｎｄＡＭ￣ＹＯＬＯｖ５ｏｎｆｕｓｅｄｉｍａｇｅｓｏｆＦＬＩＲｄａｔａｓｅｔ２.５㊀消融研究㊀㊀为进一步体现本文算法对于多模态自动驾驶场景图像检测性能的提升ꎬ依然采用ＦＬＩＲ数据集融合图像ꎬ以ＹＯＬＯｖ５ｓ为基础ꎬ添加㊁替换不同组件ꎬ对比结果如表２所示ꎮ１)添加改进的Ｒｅｐｖｇｇ模块的影响ꎮ网络在ＦＬＩＲ数据集上ｍＡＰ０.５由６７.６９％提升到了６８.５０％ꎮ多分支结构会使整体参数量稍微增大ꎬ是由于在推理过程中融合了分支ꎬ检测时的推理时间没有增加反而有所下降ꎬ为增加精确度而采用Ｒｅｐｌｉｔｅ模块是值得的ꎮ２)添加多注意力Ｃ３模块的影响ꎮ单独添加Ｃ３ＴＲ模块ꎬｍＡＰ０.５比原ＹＯＬＯｖ５ｓ提高０.８８％ꎬ参数量和ＦＬＯＰｓ增加很少ꎬ在Ｂ组配置的基础上叠加此模块后精度提升了０.４１％ꎮ因配置此模块的位置恰当ꎬ不会占用过多内存ꎬ参数量没有发生明显变化ꎬＦＬＯＰｓ数减少了０.２ˑ１０９ｓ－１ꎬ推理时间与未添加此模块时极度接近ꎬ检测效率有效提高ꎬ证明添加Ｃ３ＴＲ模块有效ꎮ３)添加改进的空间金字塔模块的影响ꎮ单独添加ＳｉｍＳＰＰＦＣＳＰＣ模块ꎬｍＡＰ０.５比原始模型提高０.６１％ꎬ网络在Ｆ组配置上叠加此模块之后模型的ｍＡＰ０.５提高至了６９.２７％ꎮ因为结合了两个分支ꎬ参数量和ＦＬＯＰｓ数量有了比较明显的上涨ꎮ３２第３期㊀㊀㊀李东宇等:基于驾驶场景的高效多模态融合检测方法表２㊀在ＦＬＩＲ数据集融合图像上消融研究实验结果对比Ｔａｂｌｅ２㊀ＣｏｍｐａｒｉｓｏｎｓｏｆｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｆａｂｌａｔｉｏｎｓｔｕｄｉｅｓｏｎｆｕｓｅｄｉｍａｇｅｓｏｆＦＬＩＲｄａｔａｓｅｔ方法ｍＡＰ０.５/％ｍＡＰ０.５:０.９５/％ＦＬＯＰｓ/１０９ｓ－１参数量/ＭＢ推理时间/ｍｓＡＹＯＬＯｖ５ｓ６７.６９３２.３１１５.８７.０２９.３ＢＡ＋Ｒｅｐｌｉｔｅ６８.５０３３.０２１６.３７.０６７.９ＣＡ＋Ｃ３ＴＲ６８.５７３３.１８１６.１７.０６８.８ＤＡ＋ＳｉｍＳＰＰＦＣＳＰＣ６８.３０３２.４９２１.５１３.４８９.３ＥＡ＋ＧＳＣｏｎｖ６７.９７３３.１５１６.２６.９８８.３ＦＢ＋Ｃ３ＴＲ６８.９１３３.１５１６.１７.０６８.７ＧＦ＋ＳｉｍＳＰＰＦＣＳＰＣ６９.２７３２.７４２１.３１３.４９９.５ＨＧ＋ＧＳＣｏｎｖ６９.３５３２.７７２１.２１３.４１９.１此种结构对于按序处理结构已经降低了计算量且提升了模型精度ꎬ推理时间没有大幅提升ꎬ此模块的增益程度更大ꎮ４)添加ＧＳ卷积的影响ꎮ单独添加ＧＳ卷积ꎬ网络在没有牺牲精度的情况下参数量有所下降ꎬ得益于ＧＳ卷积轻量化的结构以及接近标准卷积效果的特点ꎮ在Ｇ组配置基础上叠加此模块后ꎬ模型的ＦＬＯＰｓ数量降低了０.１ˑ１０９ｓ－１ꎬ参数量也降低了０.０８ＭＢꎬ在ＦＬＩＲ数据集上推理时间有少许降低ꎮ因为局部使用ＧＳ卷积ꎬ特征被充分利用ꎬ语义信息没有过多丢失ꎬ模型准确度有了小幅提升ꎮ上述实验数据表明ꎬ本文网络所引入的模块对于检测性能的提升达到了预期效果ꎮ２.６㊀ＡＭ￣ＹＯＬＯｖ５检测结果分析本文将ＦＬＩＲ数据集可见光灰度图像和融合图像的训练集分别放入ＡＭ￣ＹＯＬＯｖ５网络内进行训练ꎬ保存训练好的权重参数ꎬ并对测试集图像进行检测ꎬ部分结果如图１０所示ꎮ㊀㊀本文列出了具有代表性的四组实验结果ꎬ由第一组结果可以看出ꎬ融合图像因为具有红外图像的优点ꎬ所有行人在图像中被显著高亮且均被检测ꎬ行人被成功识别ꎮ此外ꎬ融合图像可以克服灯光反射造成的过度曝光现象并且削弱闪光影响ꎬ如第二组结果中对向车辆灯光通过地面反射到行人所在区域ꎬ融合图像中行人被成功识别ꎬ可见光图像则相反ꎮ第三组图像是由暗光隧道穿越到日光环境中ꎬ在可见光图像上隧道内的车辆可以被识别ꎬ但是远处道路几乎没有车辆的迹象ꎬ而融合图像中远处强光的目标和环境细节也可见ꎮ最后一组在正常日光条件下ꎬ所有图像均可以表现出良好的检测性能ꎬ但是融合图像上被检测的目标置信度更高ꎮ图１０㊀在ＦＬＩＲ数据集可见光图像和融合图像上目标检测对比结果Ｆｉｇ.１０㊀ＣｏｍｐａｒｉｓｏｎｒｅｓｕｌｔｓｏｆｔａｒｇｅｔｄｅｔｅｃｔｉｏｎｐｅｒｆｏｒｍｅｄｏｎｖｉｓｉｂｌｅｉｍａｇｅｓａｎｄｆｕｓｅｄｉｍａｇｅｓｏｆＦＬＩＲｄａｔａｓｅｔ㊀㊀通过结合可见光和红外图像的优势ꎬ融合图像对目标检测的优势得到了明确的体现ꎬ同时本文提出的算法表现出了良好的检测性能ꎮ３㊀结论本文提出了一种应用于多模态自动驾驶场景４２沈㊀阳㊀理㊀工㊀大㊀学㊀学㊀报㊀㊀第４３卷的高性能目标检测算法ＡＭ￣ＹＯＬＯｖ５ꎮＡＭ￣ＹＯＬＯｖ５的主干网络采用了Ｒｅｐｌｉｔｅ模块ꎬ实现了多分支训练结构和单路推理结构的转换ꎬ在提高精度的同时没有影响速度ꎻＣ３ＴＲ模块和ＳｉｍＳＰ￣ＰＦＣＳＰＣ模块的加入提升了网络的计算效率ꎬ进一步提高了精度ꎻ颈部网络引用的全新卷积较好地平衡了网络的精度和速度ꎮＡＭ￣ＹＯＬＯｖ５在ＦＬＩＲ数据集融合图像上的检测性能相比于原始的ＹＯＬＯｖ５ｓꎬｍＡＰ０.５提升了１.６６％ꎬ整体参数量有些许增加ꎬ但是没有牺牲推理速度ꎬ基本符合预期结果ꎮ参考文献(Ｒｅｆｅｒｅｎｃｅｓ):[１]㊀王麒.基于深度学习的自动驾驶感知算法[Ｄ].杭州:浙江大学ꎬ２０２２.[２]㊀祝文斌ꎬ苑晶ꎬ朱书豪ꎬ等.低光照场景下基于序列增强的移动机器人人体检测与姿态识别[Ｊ].机器人ꎬ２０２２ꎬ４４(３):２９９－３０９.㊀㊀ＺＨＵＷＢꎬＹＵＡＮＪꎬＺＨＵＳＨꎬｅｔａｌ.Ｓｅｑｕｅｎｃｅ￣ｅｎｈａｎｃｅｍｅｎｔ￣ｂａｓｅｄｈｕｍａｎｄｅｔｅｃｔｉｏｎａｎｄｐｏｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎｏｆｍｏｂｉｌｅｒｏ￣ｂｏｔｓｉｎｌｏｗｉｌｌｕｍｉｎａｔｉｏｎｓｃｅｎｅｓ[Ｊ].Ｒｏｂｏｔꎬ２０２２ꎬ４４(３):２９９－３０９.(ｉｎＣｈｉｎｅｓｅ)[３]㊀ＲＥＤＭＯＮＪꎬＤＩＶＶＡＬＡＳꎬＧＩＲＳＨＩＣＫＲꎬｅｔａｌ.Ｙｏｕｏｎｌｙｌｏｏｋｏｎｃｅ:ｕｎｉｆｉｅｄꎬｒｅａｌ￣ｔｉｍｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ[Ｃ]//２０１６ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ).ＬａｓＶｅｇａｓꎬＮＶꎬＵＳＡ:ＩＥＥＥꎬ２０１６:７７９－７８８. [４]㊀ＮＯＲＫＯＢＩＬＳＡＹＤＩＲＡＳＵＬＯＶＩＣＨＳꎬＡＢＤＵＳＡＬＯＭＯＶＡꎬＪＡＭＩＬＭＫꎬｅｔａｌ.ＡＹＯＬＯｖ６￣ｂａｓｅｄｉｍｐｒｏ￣ｖｅｄｆｉｒｅｄｅｔｅｃｔｉｏｎａｐｐｒｏａｃｈｆｏｒｓｍａｒｔｃｉｔｙｅｎｖｉｒｏｎｍｅ￣ｎｔｓ[Ｊ].Ｓｅｎｓｏｒｓꎬ２０２３ꎬ２３(６):３１６１.[５]㊀ＤＩＮＧＸＨꎬＺＨＡＮＧＸＹꎬＭＡＮＮꎬｅｔａｌ.ＲｅｐＶＧＧ:ｍａｋｉｎｇＶＧＧ￣ｓｔｙｌｅＣｏｎｖＮｅｔｓｇｒｅａｔａｇａｉｎ[Ｃ]//２０２１ＩＥＥＥ/ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ).ＮａｓｈｖｉｌｌｅꎬＴＮꎬＵＳＡ:ＩＥＥＥꎬ２０２１:１３７３３－１３７４２. [６]㊀ＪＩＡＮＧＫＬꎬＸＩＥＴＹꎬＹＡＮＲꎬｅｔａｌ.Ａｎａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ￣ｉｍｐｒｏｖｅｄＹＯＬＯｖ７ｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎａｌｇｏｒ￣ｉｔｈｍｆｏｒｈｅｍｐｄｕｃｋｃｏｕｎｔｅｓｔｉｍａｔｉｏｎ[Ｊ].Ａｇｒｉｃｕｌｔｕｒｅꎬ２０２２ꎬ１２(１０):１６５９.[７]㊀于楠晶ꎬ范晓飚ꎬ邓天民ꎬ等.基于多头自注意力的复杂背景船舶检测算法[Ｊ].浙江大学学报(工学版)ꎬ２０２２ꎬ５６(１２):２３９２－２４０２.㊀㊀ＹＵＮＪꎬＦＡＮＸＢꎬＤＥＮＧＴＭꎬｅｔａｌ.Ｓｈｉｐｄｅｔｅｃｔｉｏｎａｌｇｏ￣ｒｉｔｈｍｉｎｃｏｍｐｌｅｘｂａｃｋｇｒｏｕｎｄｓｖｉａｍｕｌｔｉ￣ｈｅａｄｓｅｌｆ￣ａｔｔｅｎｔｉｏｎ[Ｊ].ＪｏｕｒｎａｌｏｆＺｈｅｊｉａｎｇＵｎｉｖｅｒｓｉｔｙ(ＥｎｇｉｎｅｅｒｉｎｇＳｃｉｅｎｃｅ)ꎬ２０２２ꎬ５６(１２):２３９２－２４０２.(ｉｎＣｈｉｎｅｓｅ)[８]㊀ＶＡＳＷＡＮＩＡꎬＳＨＡＺＥＥＲＮꎬＰＡＲＭＡＲＮꎬｅｔａｌ.Ａｔｔｅｎｔｉｏｎｉｓａｌｌｙｏｕｎｅｅｄ[Ｃ]//Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３１ｓｔＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎ￣ｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ.ＬｏｎｇＢｅａｃｈꎬＣａｌｉｆｏｒｎｉａꎬＵＳＡ:ＡＣＭꎬ２０１７:６０００－６０１０. [９]㊀ＣＨＯＬＬＥＴＦ.Ｘｃｅｐｔｉｏｎ:ｄｅｅｐｌｅａｒｎｉｎｇｗｉｔｈｄｅｐｔｈｗｉｓｅｓｅｐａｒａ￣ｂｌｅｃｏｎｖｏｌｕｔｉｏｎｓ[Ｃ]//２０１７ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ).ＨｏｎｏｌｕｌｕꎬＨＩꎬＵＳＡ:ＩＥＥＥꎬ２０１７:１８００－１８０７.[１０]杨小冈ꎬ高凡ꎬ卢瑞涛ꎬ等.基于改进ＹＯＬＯｖ５的轻量化航空目标检测方法[Ｊ].信息与控制ꎬ２０２２ꎬ５１(３):３６１－３６８.㊀㊀ＹＡＮＧＸＧꎬＧＡＯＦꎬＬＵＲＴꎬｅｔａｌ.ＬｉｇｈｔｗｅｉｇｈｔａｅｒｉａｌｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｉｍｐｒｏｖｅｄＹＯＬＯｖ５[Ｊ].Ｉｎｆｏｒｍａ￣ｔｉｏｎａｎｄＣｏｎｔｒｏｌꎬ２０２２ꎬ５１(３):３６１－３６８.(ｉｎＣｈｉｎｅｓｅ) [１１]ＨＵＪＥꎬＷＡＮＧＺＢꎬＣＨＡＮＧＭＪꎬｅｔａｌ.ＰＳＧ￣Ｙｏｌｏｖ５:ａｐａｒ￣ａｄｉｇｍｆｏｒｔｒａｆｆｉｃｓｉｇｎｄｅｔｅｃｔｉｏｎａｎｄｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｄｅｅｐｌｅａｒｎｉｎｇ[Ｊ].Ｓｙｍｍｅｔｒｙꎬ２０２２ꎬ１４(１１):２２６２. [１２]ＺＨＡＮＧＨꎬＦＲＯＭＯＮＴＥꎬＬＥＦＥＶＲＥＳꎬｅｔａｌ.Ｍｕｌ￣ｔｉｓｐｅｃｔｒａｌｆｕｓｉｏｎｆｏｒｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｗｉｔｈｃｙｃｌｉｃｆｕｓｅ￣ａｎｄ￣ｒｅｆｉｎｅｂｌｏｃｋｓ[Ｃ]//２０２０ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒ￣ｅｎｃｅｏｎＩｍａｇｅＰｒｏ￣ｃｅｓｓｉｎｇ(ＩＣＩＰ).ＡｂｕＤｈａｂｉꎬＵｎｉｔｅｄＡｒａｂＥｍｉｒａｔｅｓ:ＩＥＥＥꎬ２０２０:２７６－２８０.[１３]张全.基于ＮＳＳＴ的红外与可见光图像融合算法研究[Ｄ].西安:西安电子科技大学ꎬ２０２０.[１４]ＬＩＵＷꎬＡＮＧＵＥＬＯＶＤꎬＥＲＨＡＮＤꎬｅｔａｌ.ＳＳＤ:ｓｉｎｇｌｅｓｈｏｔＭｕｌｔｉＢｏｘｄｅｔｅｃｔｏｒ[Ｃ]//ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ.Ｃｈａｍ:Ｓｐｒｉｎｇｅｒꎬ２０１６:２１－３７.[１５]ＤＵＡＮＫＷꎬＢＡＩＳꎬＸＩＥＬＸꎬｅｔａｌ.ＣｅｎｔｅｒＮｅｔ:ｋｅｙｐｏｉｎｔｔｒｉｐ￣ｌｅｔｓｆｏｒｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ/ＣＶＦＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ.ＳｅｏｕｌꎬＫｏｒｅａ(Ｓｏｕｔｈ):ＩＥＥＥꎬ２０２０:６５６８－６５７７.[１６]ＲＥＮＳＱꎬＨＥＫＭꎬＧＩＲＳＨＩＣＫＲꎬｅｔａｌ.ＦａｓｔｅｒＲ￣ＣＮＮ:ｔｏ￣ｗａｒｄｓｒｅａｌ￣ｔｉｍｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｗｉｔｈｒｅｇｉｏｎｐｒｏｐｏｓａｌｎｅｔｗｏｒｋｓ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎ￣ｔｅｌｌｉｇｅｎｃｅꎬ２０１７ꎬ３９(６):１１３７－１１４９.(责任编辑:和晓军)５２第３期㊀㊀㊀李东宇等:基于驾驶场景的高效多模态融合检测方法。

应急通信指挥车技术方案目录第一章综述................................................................................................................................ - 1 -1.1 设计思想....................................................................................................................... - 1 -1.2 设计原则....................................................................................................................... - 3 -1.3 建设目标....................................................................................................................... - 3 -1.4 主要功能....................................................................................................................... - 4 -1、通信功能................................................................................................................ - 4 -2、图像采集、处理和传输功能................................................................................ - 4 -3、广播功能................................................................................................................ - 4 -4、照明功能................................................................................................................ - 4 -5、会议功能................................................................................................................ - 4 -6、供配电功能............................................................................................................ - 4 -第二章总体设计........................................................................................................................ - 6 -总体框架和总体拓扑示意图.............................................................................................. - 6 -2.1 无线图像传输系统....................................................................................................... - 7 -2.1.1 TFDM单兵式/密拍式无线图像传输设备传输流程........................................ - 7 -2.1.2 TFDM车载式无线图像传输设备传输流程................................................... - 10 -2.1.3 便携式3G公网无线图像传输设备传输流程 ............................................... - 12 -2.1.3 车载式3G公网无线图像传输设备传输流程 ............................................... - 15 -2.2 照明系统..................................................................................................................... - 18 -2.4 供配电系统................................................................................................................. - 20 -2.4.1 发电机.............................................................................................................. - 21 -2.4.2 APC不间断电源在线式5KV（C3KS）........................................................ - 22 -2.4.3 配电系统设计.................................................................................................. - 23 -2.5 安全警示系统........................................................................................................... - 23 -2.6 其他及辅助系统......................................................................................................... - 23 -2.6.1 广播系统.......................................................................................................... - 23 -第三章车辆改制...................................................................................................................... - 26 -3.1 原车外观与参数......................................................................................................... - 26 -3.2 外观效果图................................................................................................................. - 26 -3.3 总体布局图................................................................................................................. - 27 -3.4 整车配重..................................................................................................................... - 28 -3.5 设备减振..................................................................................................................... - 28 -3.6 系统的可维修性......................................................................................................... - 28 -3.7 设备及人员安全......................................................................................................... - 28 -3.8 电磁干扰（EMC）的解决 ........................................................................................ - 29 -3.9 车内装饰..................................................................................................................... - 29 -3.10 表面处理................................................................................................................... - 30 -3.11 车辆密封................................................................................................................... - 30 -3.12 隔音隔热................................................................................................................... - 30 -第四章设备配置列表......................................................................................错误!未定义书签。

本说明书适用于下列表中各种型号的上汽大众ID.4 X电动版汽车。

用户在使用本公司产品以前，必须认真研读产品使用维护说明书，任何不当的使用、保养和修理都可能导致车辆的损坏及影响质量担保服务。

因此，在使用产品前请认真阅读本使用维护说明书，并对照表中的型号确认您的车型。

上汽大众ID.4 X电动版汽车SVW6461BEV EBN UNP BATTYPV32上汽大众ID.4 X电动版汽车SVW6461AEV EBN UNP BATTYPV30上汽大众ID.4 X电动版汽车SVW6461CEVEBREBNUXJ(前)UNP(后)BATTYPV32本使用维护说明书描述了该车型车辆在当前范围的配置、功能及操作的一般通用信息，但用户车辆的实际配置和功能等信息以具体交付时的为准。

本公司将持续对各种车型进行改进，各车型在外形、配置、功能和结构设计等方面也可能随时会发生变化，故本公司有权在法律法规允许的范围内对本说明书有关版本进行更改、补充，若用户对此有疑义请及时拨打上汽大众客户服务热线400-820-1111予以咨询。

未经本公司书面同意，不得复制、翻译或摘录本使用维护说明书。

上汽大众汽车有限公司依法保留对本说明书有关版本进行更改、补充等的一切权利。

中国印刷。

上汽大众汽车有限公司公司地址：中国上海安亭于田路邮政编码：201805企业标准号：Q/JQAB 339-2020Q/JQAB 348-2021致尊敬的用户尊敬的用户：感谢您对上汽大众的信任与厚爱！在您选择了上汽大众产品的同时，您已经启动了全新的汽车生活之旅。

在整个旅行过程中，上汽大众和旗下1000余家大众品牌特许销售商/特约维修站都将始终陪伴您左右。

衷心希望您的每一天行车生活，都因有上汽大众的同行而更精彩！如果您对车辆使用有任何疑问，上汽大众经销商随时随地为您提供帮助，我们的上汽大众客户服务中心全国统一寻呼400-820-1111也将是您的坚强后盾。

2005年10月18日，上汽大众正式发布了“Techcare”服务品牌。

德赛280升级360环影作业
【实用版】
目录
1.德赛 280 和 360 环影的基本介绍
2.德赛 280 升级 360 环影的原因
3.升级过程的具体步骤
4.升级后的效果和体验
5.总结
正文
德赛 280 和 360 环影是两种不同类型的行车记录仪，德赛 280 是传统的行车记录仪，而 360 环影则是升级版的全景行车记录仪。

德赛 280 可以记录车辆前方的影像，而 360 环影则可以记录车辆四周的影像，为驾驶员提供更为全面的视野。

近期，有人进行了德赛 280 升级 360 环影的作业。

这个升级的原因主要是为了提高行车的安全性。

传统的行车记录仪只能记录前方的情况，而在一些特殊情况下，比如车辆侧面或后方发生的事故，行车记录仪可能无法记录到。

而 360 环影则可以解决这个问题，它可以记录车辆四周的情况，极大地提高了行车的安全性。

升级过程的具体步骤如下：首先，需要将德赛 280 行车记录仪拆卸下来，然后将 360 环影安装在车辆的合适位置。

接下来，需要连接电源，并对 360 环影进行调试，确保它能够正常工作。

最后，将德赛 280 的影像数据导入到 360 环影中，完成升级。

升级后的效果和体验非常出色。

360 环影提供的全景视野让驾驶员可以更全面地了解车辆周围的情况，避免了因为视野盲区而引发的事故。

而且，360 环影还具有夜视功能，即使在夜晚或者光线较弱的环境下，也能
清晰地记录车辆周围的情况。

总的来说，德赛 280 升级 360 环影是一项非常有意义的工作。

这不仅提高了行车的安全性，而且也为驾驶员提供了更为舒适的驾驶体验。

Q5解码360一体机产品使用说明书产品简介规格参数三维立体 360 度全景可视泊车辅助系统通过安装在车身前后左右的 4 个超广角摄像头，同时采集车辆四周的影像，经过图像处理单元矫正和拼接后，形成一幅围绕车辆四周的 360 度三维全景图，实时传送到中控台的显示设备上。

通过 360 度全景可视系统，驾驶员从在车中即可直观的看到车辆所处位置以及车辆周围的障碍物，从容操控车辆泊车入位、通过复杂路面，有效减少刮蹭、碰撞、陷落等事故的发生。

主机工作电压DC12V 摄像头供电电压5.0V 工作电流700mA@12V 工作温度-20℃-70℃ 存储温度-30℃-85℃ 视频输入4路1080P/720PAHD信号输入 视频输出格式CVBS/VGA/AHD/TVI/HDMI 录像存储U盘8GB/16GB/32GB 录像文件格式MP4 CPU4核ARM_Cortex-A53 主频1.5GHZ GPUG31_MP2 FLASH 4G 功能特点产品功能详解菜单界面1、多种视频输出方式：HDMI\CVBS\VGA\AHD\TVI；2、多种视图：包含十几种视图，覆盖客户所有使用场景；3、真 3D：3D 视角可各个方向任意切换；4、多种动态效果：车门开关，车轮转速/方向，前进/后退，3D 立体雷达实时显示；5、内置近百款 3D 车模;6、车牌号码自定义，车模 7 种颜色任意切换；7、内置多种原车风格 UI，多种轨迹线风格；8、雷达启动，自动触发雷达视角；9、停车监控，最长支持 24 小时停车监控；10、兼容多种标定布：全包围布，两大布手工，两大两小手工，两大两小自动；11、3D 视角远近，视角高度，水平拉伸可调；12、支持双 CAN 扣板，插入双 CAN 板秒变双 CAN 3D 一体机；显示界面显示模式有：2D显示、3D显示、窄道限宽模式、前后视广角、车头车尾视图放大等等。

主菜单功能：行车记录、录像设置、控制设置、全景调校、显示设置、系统设置、版本信息1、行车记录1.1 按遥控器的方向键（或上一页和下一页菜单）查找到要播放的时间段录像文件，被选中的录像文件按 OK 键后面会有打“√”。

（/中国平安，王德安、王跟海）汽车抬头显示：从C-HUD到AR-HUD汽车抬头显示：从天空到地面的迁移HUD日渐成为汽车人机交互的重要组成部分。

抬头显示（HUD）是一种光学器件，其工作原理与投影仪基本相同，将需要显示的信息投影到驾驶员前方的透明介质上。

HUD最早被应用在军用飞机上，随着技术的发展，HUD技术逐渐渗透至汽车产业。

HUD 提高了驾驶安全性，缓解驾驶员疲劳，而随着AR技术的应用HUD也逐渐成为汽车人机交互的重要组成部分。

产品形态变迁：车载HUD的技术发展需求驱动下的车载HUD技术发展。

HUD产品根据实现方式和产品形态不同大致可以分为三类：1）C-HUD 由于成像效果差、成像尺寸有限且存在安全隐患，正逐步被淘汰；2）W-HUD 相比 C-HUD 在成像尺寸、成像质量等方面均有所提升，技术相对成熟，是目前主流的HUD方案；3）AR-HUD利用了增强现实技术，极大扩展了HUD的使用场景，比如行车时可以将导航的道路信息显示到HUD上，并融合周围实际的路况场景进行显示，也能结合ADAS功能，提供前向碰撞预警、车道偏离预警及交通标志线识别等提示，及时预告路况和行人预警信息，此外还可将行车电脑中的车辆数据与道路实景有机结合，进行AR呈现。

我们认为ARHUD的使用场景更加丰富，未来HUD将逐步由W-HUD向AR-HUD过渡。

产品形态变迁：从C-HUD到AR-HUDAR-HUD将与智能网联技术深度融合，显示内容极大丰富。

C-HUD 只是车辆仪表信息简单的图形和文本显示，W-HUD 则是简单图形显示；AR-HUD 则是利用增强现实技术，与智能网联数据深度融合，实现虚拟图像与现实的叠加显示。

而未来HOLO HUD结合3D技术和AR显示，可实现内容更加丰富，形式更加生动的全视场显示。

价格方面，根据未来黑科技创始人徐俊峰透露，目前普通的W-HUD大概在1000元区间，2D AR-HUD可能达到2000-3000元。

DatasheetAXIS Q3517-LVE Network CameraOutdoor-ready fixed dome for solid performance in5MPAXIS Q3517-LVE is a vandal-resistant fixed dome for harsh environments with a weathershield protecting against snow, rain and reflections.Thanks to its top-quality image sensor,along with Forensic WDR,Lightfinder technology and OptimizedIR illumination,the camera provides unparalleled video quality in any light conditions.Electronic image stabilization is instrumental for smooth and steady video when subject to vibrations.The camera offers redundancy between Power over Ethernet and DC power.Video analytics,supervised inputs and digital outputs further support the surveillance assignment.>5MP resolution at full framerate>Forensic WDR,Lightfinder and OptimizedIR>Axis Zipstream technology>EIS and vandal resistance with IK10+rating>Power with redundancy and configurable I/O portsAXIS Q3517-LVE Network Camera CameraImage sensor Progressive scan RGB CMOS1/1.8”Lens Varifocal,4.3-8.6mm,F1.5Horizontal field of view:96°–50°Vertical field of view:53°–29°Remote focus and zoom,P-Iris control,IR-correctedDay and night Automatically removable infrared-cut filterMinimum illumination 5MP25/30fps with WDR and Lightfinder:Color:0.12lux at 50IRE,F1.5;B/W:0.02lux at50IRE,F1.54MP50/60fps:Color:0.24lux at50IRE,F1.5,B/W;0.04lux at 50IRE,F1.50lux with IR illumination onShutter speed1/71500s to2sCamera angle adjustment Pan:360°Tilt:±80°Rotation:±175°System on chip(SoC)Model ARTPEC-6Memory1GB RAM,512MB Flash VideoVideo compression H.264(MPEG-4Part10/AVC)Baseline,Main and High Profiles Motion JPEGResolution3072x1728to160x120Frame rate5MP with WDR:25/30fps with power line frequency50/60Hz4MP without WDR:50/60fps with power line frequency50/60HzVideo streaming Multiple,individually configurable streams in H.264and Motion JPEGAxis Zipstream technology in H.264Controllable frame rate and bandwidthVBR/ABR/MBR H.264Multi-viewstreaming8individually cropped-out view areasPan/Tilt/Zoom Digital PTZ,optical zoom,preset positionsImage settings Scene profiles,compression,color,brightness,sharpness,contrast,local contrast,white balance,day/night threshold,exposure control(including automatic gain control),defogging,exposure zones,fine tuning of behavior at different light levels,Forensic WDR:Up to120dB depending on scene,electronicimage stabilization,barrel distortion correction,dynamic textand image overlay,privacy masks,mirroring of images,straightenimage,rotation:0°,90°,180°,270°,auto,including corridorformatAudioAudio streaming Full-duplexAudio encoding24-bit LPCM48kHz,AAC LC8/16/32/48kHz,G.711PCM8kHz,G.726ADPCM8kHz,Opus8/16/48kHzConfigurable bitrateAudio input/output Input for external microphone or line-level device Line outputAutomatic gain controlNetworkSecurity Password protection,IP address filtering,IEEE802.1X(EAP-TLS)network access control a,HTTPS aencryption,digest authentication,user access log,centralized certificate management,brute force delay protection,signed firmwareNetwork protocols IPv4,IPv6USGv6,HTTP,HTTPS a,HTTP/2,TLS a,QoS Layer3DiffServ,FTP,SFTP,CIFS/SMB,SMTP,mDNS (Bonjour),UPnP TM,SNMP v1/v2c/v3(MIB-II),DNS/DNSv6,DDNS, NTP,RTSP,RTP,SFTP,TCP,UDP,IGMPv1/v2/v3,RTCP,ICMP, DHCPv4/v6,ARP,SSH,SIP,LLDP,CDP,MQTT v3.1.1,Syslog, Link-Local address(ZeroConf)System integrationApplication Programming Interface Open API for software integration,including VAPIX®andAXIS Camera Application Platform;specifications at One-click Cloud ConnectionONVIF®Profile G,ONVIF®Profile M,ONVIF®Profile S andONVIF®Profile T,specification at Support for Session Initiation Protocol(SIP)for integration withVoice over IP(VoIP)systems,peer to peer or integrated withSIP/PBXEvent triggers Analytics,supervised external inputs,virtual inputs through API,edge storage events,shock detectionMQTT subscribeEvent actions Record video:SD card and network shareUpload of images or video clips:FTP,SFTP,HTTP,HTTPS,networkshare and emailPre-and post-alarm video or image buffering for recording oruploadNotification:email,HTTP,HTTPS,TCP and SNMP trapOverlay text,external output activation,play audio clip,zoompresetMQTT publishData streaming Event dataBuilt-ininstallation aidsRemote zoom,remote focus,pixel counter,leveling assistant,autorotation,straighten image,traffic wizardAnalyticsApplications IncludedAXIS Motion Guard,AXIS Fence Guard,AXIS Loitering GuardAXIS Video Motion Detection,active tampering alarm,audiodetectionSupportedAXIS Perimeter Defender,AXIS Digital AutotrackingSupport for AXIS Camera Application Platform enablinginstallation of third-party applications,see /acapGeneralCasing IP66-,IP67-,IP6K9K-and NEMA4X-rated,IK10+(50joules)im-pact-resistant casing with polycarbonate hard-coated dome,aluminum base and dehumidifying membraneEncapsulated electronics,captive screwsColor:White NCS S1002-BFor repainting instructions of casing or skin cover and impact onwarranty,contact your Axis partner.Mounting Mounting bracket with holes for junction boxes(double-gang,single-gang,4”square,and4”octagon)and for ceiling and wallmounting¾”(M25)conduit side entrySustainability PVC-freePower Power over Ethernet(PoE)IEEE802.3af/802.3at Type1Class3,typical6.5W,max12.9W8–28V DC,typical6.9W,max14.5WPower redundancyConnectors RJ4510BASE-T/100BASE-TX PoE,terminal block for twoconfigurable supervised inputs/digital outputs(12V DC output,max load50mA),3.5mm mic/line in,3.5mm line out,terminalblock for DC inputIR illumination OptimizedIR with power-efficient,long-life850nm IR LEDsRange40m(130ft)or more,depending on the sceneStorage Support for microSD/microSDHC/microSDXC cardSupport for SD card encryption(AES-XTS-Plain64256bit)Support for recording to network-attached storage(NAS)For SD card and NAS recommendations see Operatingconditions-50°C to60°C(-58°F to140°F)Start-up:-40°C to60°C(-40°F to140°F)Humidity10–100%RH(condensing)Storageconditions-40°C to65°C(-40°F to149°F)Humidity5–95%RH(non-condensing)Approvals EMCEN55032Class A,EN50121-4,IEC62236-4,EN55024,IEC/EN61000-6-1,IEC/EN61000-6-2,FCC Part15,Subpart B,Class A,ICES-003Class A,VCCI Class A,RCM AS/NZS CISPR22Class A,KCC KN32Class A,KN35SafetyIEC/EN/UL62368-1,IEC/EN/UL60950-22,IEC/EN62471,IS13252EnvironmentIEC60068-2-1,IEC60068-2-2,IEC60068-2-6,IEC60068-2-14,IEC60068-2-27,IEC60068-2-78NEMA250Type4X,IEC/EN62262IK10+(50J),ISO20653IP6K9KIEC/EN60529IP66/67NetworkNIST SP500-267Dimensions Height:182mm including weathershieldø183mmWeight 2.0kg(4.4lb)including weathershieldIncluded accessories Installation guide,Windows®decoder1-user license,drill hole template,cable gaskets,I/O and DC connectors,connector guard, weathershield,Axis U-shape conduit adapter,Resistorx®T20L-key,mounting bracketOptional accessories AXIS Q35Smoked Dome A,AXIS Dome Intrusion Switch B,AXIS Multicable B I/O Audio PowerAXIS Q35-VE Skin Cover A Black,AXIS ACI Conduit Adapter3/4"NPS,AXIS T94M01D Pendant Kit including weathershield,AXIS T94M02L Recessed Mount,AXIS T8351Microphone,AxisMounts&CabinetsFor more accessories,see VideomanagementsoftwareAXIS Companion,AXIS Camera Station,video managementsoftware from Axis’Application Development Partners availableat /vmsLanguages English,German,French,Spanish,Italian,Russian,SimplifiedChinese,Japanese,Korean,Portuguese,Traditional ChineseWarranty5-year warranty,see /warrantya.This product includes software developed by the OpenSSL Project for use in theOpenSSL Toolkit.(),and cryptographic software written by EricYoung(*****************).Environmental responsibility:/environmental-responsibility©2017-2022Axis Communications AB.AXIS COMMUNICATIONS,AXIS,ARTPEC and VAPIX are registered trademarks ofAxis AB in various jurisdictions.All other trademarks are the property of their respective owners.We reserve the right tointroduce modifications without notice.T10102805/EN/M22.2/2209。

社会治安一类点监控视频监控系统方案1目录1.概述 (3)1.1系统概述 (5)1.1.1 系统应用概述 (5)1.1.2 实现功能简述 (6)1.2设计目标 (6)1.2.1架构合理 (7)1.2.2稳定性和安全性 (7)1.2.3产品主流 (7)1.2.4低成本低维护量 (8)1.3系统设计原则 (9)1.3.1先进性 (9)1.3.2安全性 (9)1.3.3可扩充性 (9)1.3.4规范性 (9)1.4系统设计依据 (9)2.系统总体设计方案 (10)2.1设计概述 (10)2.1.1前端部分 (11)2.1.2控制部分 (12)2.1.3传输部分 (13)2.1.4显示与记录 (13)2.2设计功能描述 (13)1.1.3 总体设计方案 (14)1.1.4 主控中心机房设计 (14)1.1.5 提出方案 (15)1.1.6 整体系统结构图 (17)1.1.7 前端设备 (18)1.1.8 系统存储 (18)1.1.9 传输方式 (18)3.系统特色功能介绍 (19)3.1集散式监控 (19)3.2编码传输功能 (19)3.3网络视频集中监控系统管理软件 (19)3.4网络并发连接的功能 (20)3.5显示功能 (20)3.6录像功能 (20)3.7智能化检索回放功能 (21)3.8系统分级管理 (22)3.9云台镜头控制功能 (22)3.10主要产品介绍 (23)4.售后服务与人员培训 (33)4.1售后服务 (33)4.2人员培训 (34)5.设备清单 (36)1.概述随着经济的发展、城镇建设速度加快，导致城市中人口密集、流动人口增加，引发了城市建设中的交通、社会治安、重点区域防范等城市管理问题。

尤其是近年来面对城市反恐的新课题，为公安管理工作特别是预防犯罪和执法工作提出了新的挑战。

而公安警力增加远不能满足实际需求的发展速度，于是能将科技手段转化为直接战斗力的城市治安图像监控成为了解决该问题的重要手段。

中国移动OneNET智慧云停车管理解决方案目录一、内容概括 (2)1.1 背景与意义 (2)1.2 面向对象与目标用户 (3)二、方案概述 (5)2.1 整体架构 (6)2.2 核心功能 (7)三、系统组成与功能 (8)3.1 智能停车设备 (9)3.1.1 停车场设备 (10)3.1.2 车辆识别设备 (13)3.1.3 导航设备 (14)3.2 数据处理中心 (15)3.2.1 数据采集与传输 (16)3.2.2 数据存储与管理 (17)3.2.3 数据分析与处理 (18)3.3 用户端应用 (19)四、优势与价值 (20)4.1 优势分析 (21)4.2 价值体现 (23)五、实施步骤与策略 (24)5.1 项目规划与设计 (25)5.2 设备安装与调试 (26)5.3 系统测试与上线 (27)5.4 后期维护与升级 (28)六、总结与展望 (29)一、内容概括中国移动OneNET智慧云停车管理解决方案，是基于物联网、云计算、大数据等技术，为城市停车提供智能化、高效化的管理与服务。

该方案旨在实现停车场资源的优化配置，提升停车场的运营效率和管理水平，为用户提供便捷、舒适的停车体验。

该解决方案通过构建完善的停车管理平台，实现车场资源的实时监控、智能调度、数据分析等功能。

结合移动支付、车牌识别等先进技术，为车主提供便捷的停车缴费、车位查询、反向寻车等智能化服务。

OneNET智慧云停车管理解决方案还可与城市规划、交通管理、公安交警等部门进行数据对接，为政府决策提供支持，推动城市停车管理的智能化、规范化发展。

中国移动OneNET智慧云停车管理解决方案，通过先进的技术手段和管理模式创新，为城市停车管理提供了全新的解决方案，有助于提升城市形象、改善民生福祉，实现经济社会的可持续发展。

1.1 背景与意义随着城市化进程的加速，汽车已经成为人们出行的重要交通工具。

在车辆迅速增多的同时，车位紧张、停车难的问题日益凸显，给城市交通和居民生活带来了诸多不便。

盘点国内外25家车载摄像头企业（含配套客户）作为ADAS传感器技术之一的摄像头在自动驾驶中有着举足轻重的地位，就像人的眼睛一样，摄像头结合图像识别技术，能快速识别车辆、行人和交通标志，可以给现阶段的自动驾驶技术提供足够的环境感知保障。

最近百度AI开发者大会上亮相的两款车都搭载了先进的摄像系统。

一辆是长城新近推出的高端车WEY，仅基于一个单目摄像头，利用端到端的深度学习实现车辆的横向和纵向控制，同时单目摄像头也可用于识别道路标牌。

另一辆则是自动驾驶版林肯MKZ。

除此之外，斯巴鲁的EyeSight以及麦格纳国际ClearView视觉系统都显示出摄像头对自动驾驶系统的重要性。

那么目前有哪些主营摄像头企业呢？小编盘点了25家车载摄像头企业（含主营产品和配套客户），仅供参考。

麦格纳电子（张家港）有限公司省份：江苏省公司分类：外资独资主营产品：控制器，车载电子技术（汽车信息系统和导航系统），电子控制系统的输入（传感器和采样系统）输出（执行器）部件，摄像头，ADAS驾驶辅助系统配套客户：上海通用，上海大众，一汽大众，北京奔驰，华晨宝马，长安福特马自达，广州本田，北京现代等DIGEN株式会社省份：天津市公司分类：外资独资主营产品：车载导航仪，智能中控，全景摄像头，行车记录仪认证：ISO/TS16949，ISO14001配套客户：MOBIS，双龙汽车，TATA，Mahindra安霸半导体技术（上海）有限公司省份：上海市公司分类：外资独资主营产品：安防监控摄像机，车载摄像头，航拍摄像机，运动摄像机，可穿戴式摄像机，超高画质电视广播系统解决方案虹软中国省份：上海市公司分类：外资独资主营产品：单摄像头智能手机解决方案，双摄像头智能手机解决方案，360度全景相机解决方案，深度相机解决方案，智能冰箱解决方案，智能行车记录仪解决方案，投影仪解决方案，互联网视频直播解决方案，暗光高清拍摄技术，防抖技术，全景技术，人脸技术，HDR技术，手势识别技术，场景检测与物体识别技术，体感技术，3D 立体成像技术，AR/VR技术配套客户：三星，佳能，索尼，尼康，奥林巴斯，诺基亚，惠普和联想等惠州市华阳数码特电子有限公司省份：广东省公司分类：合资企业主营产品：车载摄像头，前装摄像头，通用型，前装全景摄像头，行车记录仪，不带屏行车记录仪，原车精品行车记录仪，带屏行车记录仪认证：ISO/TS16949配套客户：日立，深圳索菱，广东天誉飞歌等北京经纬恒润科技有限公司省份：北京市公司分类：民营企业主营产品：自适应前照灯控制系统，电动助力转向系统，360度全景泊车系统，单目前视主动安全摄像头，霍尔式角度传感器，电涡流位移传感器，汽车方向盘转角传感器等认证：TS16949,其他,其他配套客户：GM 通用，SGM 上海通用，FORD 福特，JLR 捷豹路虎，FAW 一汽，SAIC 上汽，Chang An 长安，GAC 广汽乘用车，BAIC 北汽乘用车，Li Fan 力帆汽车，FAW Jie Fang 一汽解放，CNHTC重汽，BBHDTC 包头北奔北京鑫洋泉电子科技有限公司省份：北京市公司分类：民营企业主营产品：360全景摄像头，4G远程监控环视系统，环视自动泊车系统配套客户：广州好帮手集团广州市一谷电子有限公司省份：广东省公司分类：民营企业主营产品：微波雷达盲区检测系统，行车记录仪，轨道偏移预警功能，侧视摄像头，倒车轨迹线，车载百万像素摄像头，第二代3D AVM，半自动泊车，全景泊车影像系统，三视角倒车摄像头，车载摄像头认证：TS16949,ISO 9001,ISO 14001,其他配套客户：东风日产，丰田通商，法国雷诺，福特，华晨，广汽本田，广汽丰田，美国Autovox，印尼现代，合众，江淮，北汽等深圳市卓信伟业科技开发有限公司省份：广东省公司分类：民营企业主营产品：车载后视镜，无线WIFI图像上传，微型MINI摄像头，传感器，倒车雷达配套客户：丰田深圳市顺禾电器科技有限公司省份：广东省公司分类：民营企业主营产品：倒车雷达，摄像头，胎压监测系统，全景系统等认证：ISO 14001,TS16949,其他配套客户：丰田，本田，铃木，江淮，东风，宇通，江铃，吉利等国内外整车厂，国内主机厂，国内一二级配套供应商。

版本号：V1.0BCHV-VLPR立体高清立体高清车牌识别摄像机使用说明书目录目录 (2)第1章概述 (1)1.1 产品特点 (1)1.2 用途 (1)第2章外观及接口 (3)2.1 外观 (3)2.2 前向示意图及说明 (3)2.3 底板示意图及端口定义 (4)2.4 接口说明 (5)第3章输入输出 (6)3.1 输入 (6)3.2 输出 (7)第4章技术参数 (8)4.1 视频参数 (8)4.2 嵌入式车牌识别参数 (8)4.3 产品参数 (9)第5章系统工作流程及安装方法 (10)5.1 系统工作流程 (10)5.2 设备固定安装示意图 (11)5.2.1 抱杆式 (11)5.2.2 立柱式 (12)5.2.3 摄像机调整 (14)5.3典型应用案例 (15)第6章常见故障 (15)6.1 网络连接 (19)6.2 输入输出 (19)第7章注意事项 (20)第8章随机文件及附件 (21)第9章售后服务 (22)附录1 外观尺寸 (23)附录2调整焦距 (24)第1章概述1.1 产品特点BCHV-VLPR立体高清立体高清车牌识别摄像机是专门针对各类停车场车牌识别系统研制的专业立体高清车牌识别摄像机。

立体高清车牌识别摄像机采用先进车牌识别算法，高端嵌入式DSP系统，一体化结构设计，全网络连接等专业系统化设计确保了车牌识别的实用化，高识别率，高可靠性。

式立体高清车牌识别摄像机，可识别车牌的汉字、字母、数字、颜色等各项信息；提供100万、200万、300万的高清图片；可提供H.264、MPEG4、MJPEG 的实时码流，结合高性能的视频压缩算法实时码流流畅播放。

立体高清车牌识别摄像机可脱机工作，工作温度-30摄氏度～+70摄氏度，防水，可在室外恶劣环境下使用。

立体高清车牌识别摄像机调试可结合浏览器（Internet Explore）来完成，操作简单方便。

功能简介如下：●一体化嵌入式车牌识别，不需连接PC（电脑），可脱机工作。

铁路沿线综合视频监控解决方案目录第一章.概述 (5)1.1 引言 (5)1.2 建设原则 (5)1.3 建设目标 (6)1.4 需求分析 (6)1.5 设计标准和依据 (7)第二章.系统总体设计 (10)2.1 系统整体架构 (10)2.1.1 总体架构 (10)2.1.2 系统网络设计 (11)2.1.3 系统安全性设计 (11)2.1.4 系统接入设计 (12)2.2 业务应用设计 (13)第三章.系统建设方案 (14)3.1 前端监控系统 (14)3.1.1 设计思路 (14)3.1.2 前端系统结构.................................................................... 错误!未定义书签。

3.1.3 前端摄像机一般要求 (18)3.1.4 前端摄像机安装原则 (19)3.2 视频存储系统 (20)3.2.1 设计思路 (20)3.2.2 设计原则 (20)3.2.3 存储技术选择 (21)3.2.4 存储数据流 (22)3.2.5 存储容量计算 (23)3.3 大屏显示系统 (24)3.3.1 设计思路 (24)3.3.2 系统设计 (25)3.3.3 功能特点 (29)3.4 智能行为分析系统 (31)3.4.1 设计思路 (31)3.4.2 系统设计 (31)3.5 智能运维系统 (34)3.5.1 设计思路 (34)3.5.2 系统设计 (34)3.5.3 系统核心功能 (35)3.5.4 系统功能模块 (36)第四章.综合管理平台 (39)4.1 总体思路 (39)4.2 技术路线 (40)4.2.1 模块化设计 (40)4.2.2 系统通信协议结构 (40)4.2.3 设备接入设计 (41)4.2.4 软件平台技术 (41)4.2.5 安全性设计 (41)4.2.6 可扩展性的设计 (42)4.2.7可维护性及易用性的设计 (42)4.3 平台架构 (42)4.4 系统运行环境 (44)4.4.1 系统环境 (44)4.4.2 网络环境 (44)4.5 视频综合管理平台功能 (45)4.5.1 视频应用模块 (45)4.5.2 系统管理模块 (57)第五章.重点产品推荐 (62)5.1 前端监控产品 (62)5.1.1 夜鹰系列(200万像素)超宽动态枪型光纤摄像机.......... 错误!未定义书签。