当前位置：文档之家 › 基于全卷积神经网络与条件随机场的车道识别方法

基于全卷积神经网络与条件随机场的车道识别方法

  • 格式：pdf
  • 大小：1.88 MB
  • 文档页数：12

Opto-Electronic Engineering 光 电 工 程 Article

2019年，第46卷，第2期

180274-1 DOI: 10.12086/oee.2019.180274

基于全卷积神经网络与条件

随机场的车道识别方法

叶子豪1,2，孙 锐1,2*，王慧慧1,2

1合肥工业大学计算机与信息学院，安徽 合肥 230009； 2工业安全与应急技术安徽省重点实验室，安徽 合肥 230009

摘要：本文针对传统车道识别方法在复杂路面中自适应能力差的特点，基于图像分割技术提出了一种基于全卷积神经网络与条件随机场的车道识别方法。该方法通过大量数据的训练，使神经网络模型可以识别出车道，并且再通过条件随机场使得分割出来的车道覆盖面积及车道边缘的处理更加完善。同时，本文为了解决高速公路中对检测实时性的高要求，设计了一个全卷积神经网络，该网络结构简单，只有13万个参数，并且做出如下三点改进：采用BN算法提高网络的泛化能力及收敛速度；采用了LeakyReLU激活函数取代了一般使用的relu或者sigmoid激活函数，并且采用Nadam作为网络的优化器使得该网络具有更好的鲁棒性；采用条件随机场作为后端处理解决车道边缘处分割不足并且加大了车道覆盖面积。最后本文为了解决城市道路检测中道路环境复杂的问题，利用FCN-16s网络模型加条件随机场的后端处理实现了复杂城市道路的识别。实验证明，在面对高速公路的高速及车道简单环境下，本文设计的网络模型更具有实时性且足够胜任车道的识别。在面对城市道路的复杂环境下，FCN-16s模型加条件随机场更能精确地识别出车道，并在KITTI道路检测基准上取得不错的结果。 关键词：车道检测；全卷积神经网络；条件随机场；网络优化 中图分类号：TP301.6 文献标志码：A 引用格式：叶子豪，孙锐，王慧慧. 基于全卷积神经网络与条件随机场的车道识别方法[J]. 光电工程，2019，46(2): 180274 Lane recognition method based on fully

convolution neural network and

conditional random fields

Ye Zihao

1,2, Sun Rui1,2*

, Wang Huihui1,2

1School of Computer and Information, Hefei University of Technology, Hefei, Anhui 230009, China; 2Anhui Province Key Laboratory of Industry Safety and Emergency Technology, Hefei, Anhui 230009, China

Abstract: Aiming at the poor adaptability of traditional lane recognition method in complex pavement, this paper proposes a lane recognition method based on full convolutional neural network and conditional random field, ac-cording to image segmentation technology. The method can make the neural network model identify the lanes by

training a large amount of data, and then make the segmentation of the lanes' coverage and the lane edges more

perfect through the conditional random field. At the same time, in order to solve the high requirement of real-time 合成 合成任意大小图片条件随机场 预测结果 FCN

与预测结果相同大小

—————————————————— 收稿日期：2018-05-23； 收到修改稿日期：2018-07-12 基金项目：国家自然科学基金项目(61471154)；安徽省科技攻关科技项目(170d0802181) 作者简介：叶子豪(1993-)，男，硕士研究生，主要从事计算机视觉的研究。E-mail：609833291@qq.com 通信作者：孙锐(1976-)，男，博士，教授，主要从事计算机视觉与机器学习的研究。E-mail：sunrui@hfut.edu.cn 光电工程 DOI: 10.12086/oee.2019.180274

180274-2 detection in expressway, a fully convolution neural network is designed in this paper. The network structure is simple with only 130000 parameters and three improvements are made as follows: BN algorithm is used to improve network generalization ability and convergence rate; LeakyReLU activation function is used to replace the commonly used relu or sigmoid activation function, and using Nadam as the network optimizer makes the network have better ro-bustness; Conditional random field is used as the back-end processing solution insufficient lane segmentation and further to increase lane coverage. Finally, in order to solve the problem of complex road environment in urban road testing, this paper uses the back-end processing of FCN-16s network model and conditional random field to realize the recognition of complex urban roads. Experiments show that the network model designed in this paper is more real-time and sufficient for lane identification in the face of high-speed expressways and simple lanes. In the complex environment of urban road, FCN-16s model plus conditional random field can identify lane more accurately and get good results on KITTI road test benchmarks. Keywords: lane detection; image segmentation; full convolution neural network; condition random field; network optimization Citation: Ye Z H, Sun R, Wang H H. Lane recognition method based on fully convolution neural network and condi-tional random fields[J]. Opto-Electronic Engineering, 2019, 46(2): 180274

1 引 言

近年来随着智能汽车的快速发展，自动驾驶引起

了工业与学术界很大的关注。车道识别是实现自动驾

驶的一项基础工作，具体而言，准确的车道识别不仅

可以使车辆行驶在正确道路还可以提示控制系统的其

他信息，如车道标记，行人和其他异常事件。传统的

车道检测方法一般是通过预处理、边缘检测、霍夫变

换、道线匹配、车道区域分割等环节，这些方法每个

环节之间互相影响，很难做到整体最优，同时在实时

性以及车道变化适应方面明显不足。深度神经网络是

一种强大的视觉分析工具，对比传统的浅层计算结构，

它的主要优势在于根据输入数据具有自学习的能力，

并且具有端到端的统一结构。因此，本文将车道识别

视为一种图像分割任务，设计了一种新颖的全卷神经网络，实现了稳定高效的车道识别。

现阶段主流的车道检测主要是基于车道线的检

测，采用的技术大多都是在霍夫变换的基础上所做的

改进[1]，然而传统的霍夫变换并不能达到实时性的要

求，同时Canny算子中高斯滤波、极大值抑制等过程

耗时都比较大[2]。部分算法使用车道模型来匹配边缘

检测的结果，但是都不能在实时性与准确性之间达到

较好的平衡[3-5]。近几年随着深度学习的广泛应用，国

内外提出了一些结合深度学习的车道检测方法，例如

ANN(2D/3D artificial neural network)[6]算法提出了一

种基于图像分割的道路检测方法，这种分割是将二维

和三维图像处理数据从立体视觉系统中合并而成，最

后道路模式识别是由一个人工神经网络进行的，它经过训练以获得该特征描述符的最终结果，但是这种算

法准确率并不高且运行时间达到了3 s。BM(binary

map from color-based road detection)

[9]算法将一个图像

转换成一个对数色度空间并提供标识，然后样本像素

从假定的“道路”区域随机选择，并且来对图像的像

素进行分类，最后基于立体视觉对三维道路轮廓估计

和增强检测精度。但BM[9]算法的准确性和实时性都只

能达到一般的效果。FCN-LC(fully convolutional neural

network with large context)[7]算法采用一个全卷积神经

网络，实时性与准确性均达到可观的效果，但是整体

效果仍然存在些不足。

本文针对目前车道或车道线检测中对实时性的高

要求以及一般深度学习方法在边缘处检测存在缺陷的

问题，从图像分割的角度出发，采用了全卷积神经网

络。它并不同于传统的卷积神经网络(convolutional

neural network, CNN)，而是将全连接层换成了反卷积

层，从而可以实现端到端输入输出图像的目的。同时

合集下载

语义分割算法分类

语义分割算法分类

语义分割算法分类

语义分割算法可以分为以下几类：

1. 基于全卷积网络（FCN）的语义分割算法：这是最早的语义分割算法之一，它将卷积神经网络（CNN）和像素级别的分类任务相结合，通过上采样操作来获取像素级别的分类结果。

2. 基于条件随机场（CRF）的语义分割算法：条件随机场是一种用于标注序列的模型，可以将像素级别的分类结果进行后处理，进一步提高分割精度。

3. 基于深度学习的语义分割算法：随着深度学习技术的发展，出现了许多基于深度学习的语义分割算法，如DeepLab、RefineNet等。这些算法利用了深度学习技术中的卷积、池化、上采样等操作，提高了像素级别的分类精度。

4. 基于图卷积神经网络（GCN）的语义分割算法：图卷积神经网络是一种处理图结构数据的神经网络，可以利用其节点分类的能力来进行像素级别的分类任务。

5. 基于Transformer的语义分割算法：随着Transformer结构的出现，也出现了基于Transformer的语义分割算法，如TransUNet等。这些算法利用了Transformer中的自注意力机制和卷积操作，提高了像素级别的分类精度。

总之，不同类型的语义分割算法各有其优缺点，在实际应用中需要根据具体需求选择合适的算法。

基于条件随机场的自动化文本分析

基于条件随机场的自动化文本分析

基于条件随机场的自动化文本分析

在当今数字化信息爆炸的时代，文本数据的数量呈指数级增长。如何从海量的文本中快速、准确地提取有价值的信息，成为了一项极具挑战性的任务。自动化文本分析技术应运而生，为解决这一难题提供了有力的手段。其中，条件随机场（Conditional Random Field，简称

CRF）作为一种重要的概率图模型，在自动化文本分析领域发挥着举足轻重的作用。

条件随机场是一种判别式模型，它能够对序列数据进行建模和预测。与传统的生成式模型不同，CRF 直接对条件概率进行建模，即给定输入特征，预测输出标签的概率。这种直接建模方式使得 CRF 在处理序列标注问题时具有更高的准确性和灵活性。

在自动化文本分析中，常见的任务包括词性标注、命名实体识别、信息抽取等。这些任务都可以看作是对文本中的单词或字符进行标注的过程。例如，在词性标注中，需要给每个单词标注其词性，如名词、动词、形容词等；在命名实体识别中，要识别出文本中的人名、地名、组织机构名等实体，并进行相应的标注。

那么，条件随机场是如何应用于这些任务的呢？以命名实体识别为例，我们可以将文本看作是一个单词序列，每个单词都有相应的特征，如单词本身、上下文信息、词性等。CRF 通过学习这些特征与标注之间的关系，建立一个预测模型。在预测时，根据输入的文本特征，计算出每个标注的概率，从而得到最优的标注序列。 为了更好地理解条件随机场的工作原理，我们可以从其数学定义和模型结构入手。CRF 的数学定义基于概率图模型，它通过定义一个能量函数来描述标注序列的概率分布。能量函数通常由特征函数和相应的权重组成，特征函数用于捕捉输入特征与标注之间的关系，权重则通过训练数据学习得到。

在模型结构方面，CRF 可以看作是一个无向图，图中的节点对应于文本中的单词，边表示单词之间的依赖关系。通过在图上进行概率推理，可以计算出标注序列的概率。这种基于图的结构使得 CRF 能够有效地考虑上下文信息，从而提高标注的准确性。

基于BiLSTM-CRF的中文分词和词性标注联合方法

基于BiLSTM-CRF的中文分词和词性标注联合方法

第 54 卷第 8 期2023 年 8 月中南大学学报(自然科学版) Journal of Central South University (Science and Technology)Vol.54 No.8Aug. 2023

基于BiLSTM-CRF的中文分词和词性标注联合方法

袁里驰

(江西财经大学 软件与物联网工程学院，江西 南昌，330013)

摘要：针对中文分词、词性标注等序列标注任务，提出结合双向长短时记忆模型、条件随机场模型和马尔

可夫族模型或树形概率构建的中文分词和词性标注联合方法。隐马尔可夫词性标注方法忽略了词本身到词

性的发射概率。在基于马尔可夫族模型或树形概率的词性标注中，当前词的词性不但与前面词的词性有

关，而且与当前词本身有关。使用联合方法有助于使用词性标注信息实现分词，有机地将两者结合起来有

利于消除歧义和提高分词、词性标注任务的准确率。实验结果表明：本文使用的中文分词和词性标注联合

方法相比于通常的双向长短时记忆模型−条件随机场分词模型能够大幅度提高分词的准确率，并且相比于

传统的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率。

关键词：双向长短时记忆模型；中文分词；词性标注；马尔可夫族模型；树形概率

中图分类号：TP391.1 文献标志码：A

文章编号：1672-7207（2023）08-3145-09

A joint method for Chinese word segmentation and part-of-

speech tagging based on BiLSTM-CRF

YUAN　Lichi

(School of Software and Internet of Things Engineering, Jiangxi University of Finance and Economics,

Nanchang 330013,China)

Abstract: For sequence tagging tasks such as Chinese word segmentation and part-of-speech tagging, a joint

数学建模优秀论文模板

数学建模优秀论文模板

数学建模优秀论文模板

《基于深度学习的图像语义分割方法研究》

摘要：

图像语义分割在计算机视觉领域中占有重要地位，对于图像中的每个像素进行分类，能够为图像理解与分析提供更精确的信息。本文基于深度学习方法，提出了一种高效准确的图像语义分割模型。首先，对于输入图像，我们采用了深度卷积神经网络（DCNN）进行特征抽取，以捕捉图像中的局部和全局信息。接着，我们引入了转置卷积层和跳跃连接，以融合不同尺度的特征并提高细节识别能力。最后，利用全连接的条件随机场（CRF）来对分割结果进行优化，提升边界的准确性。在公开数据集上的实验证明，我们的模型在性能和效率方面均超越了其他经典方法，达到了较好的分割效果。

关键词：深度学习，图像语义分割，卷积神经网络，转置卷积，跳跃连接，条件随机场

1.引言

随着计算机视觉的迅速发展，图像语义分割成为了一个热门的研究领域。传统的图像分割方法通常依赖于手工设计的特征和分类器，这些方法在处理复杂场景时存在一定的局限性。近年来，基于深度学习的图像语义分割方法不断涌现，通过利用深度卷积神经网络（DCNN）对图像进行特征抽取和分类，取得了显著的分割效果。本文旨在研究一种高效准确的图像语义分割模型，通过引入转置卷积层和跳跃连接来提高模型的性能。

2.相关工作 目前，各种基于深度学习的图像语义分割算法已经被提出。例如，FCN（Fully Convolutional Network）算法通过使用全卷积神经网络实现了图像像素级别的分类。SegNet算法引入了编码器-解码器结构，并利用了池化操作的索引来进行上采样。这些方法在一定程度上改善了图像语义分割的效果，但仍然存在一定的局限性，如模型准确性和边界识别能力不足。

3.方法介绍

本文提出的图像语义分割模型主要包括以下几个步骤：（1）使用深度卷积神经网络（DCNN）对输入图像进行特征抽取，以捕捉图像中的局部和全局信息。（2）引入转置卷积层和跳跃连接，以融合不同尺度的特征并提高细节识别能力。（3）利用全连接的条件随机场（CRF）来对分割结果进行优化，提升边界的准确性。