基于单目视觉的车道线分离警告算法研究

微󰀁处󰀁理󰀁机MICROPROCESSORS

基于单目视觉的车道线分离警告算法研究

徐后杰,李会方,缪国锋

(西北工业大学电子信息学院,西安710072)

󰀁󰀁摘󰀁要:车道线检测技术是自动驾驶领域的研究热点。通过对车道线图像基本特征的分析,研

究了一种基于车道线识别的稳健方法。在初始检测部分,图像预处理中采用大津法来适应不同的光照条件,并根据车道线特征进行车道线初始检测。然后,用Hough变换检测车道线。在车道线

跟踪部分,用Kalman滤波器预测参数,动态建立感兴趣区域,在此区域搜索车道线。并根据一定的

失效判决模块,验证跟踪结果。最后,根据交通工具与车道线之间的距离来判决偏离情况。实验证明,该算法具有较高的实时性和稳健性。

关键词:车道线检测与跟踪;感兴趣区域;大津法;哈夫变换;卡尔曼预测器

DOI编码:10.3969/.jissn.1002-2279.2011.03.021

中图分类号:TP391.4󰀁󰀁文献标识码:A󰀁󰀁文章编号:1002-2279(2011)03-0072-03

StudyonLaneDepatureWarningAlgorithmBasedonMonocularVision

XUHou-jie,LIHui-fang,MIAOGuo-feng(SchoolofElectronicsandInformation,NorthwesternPolytechnicalUniversity,Xi󰀁an710072,China)

󰀁󰀁Abstract:Trafficlanedetectiontechnologyhasattractedincreasingattentioninfieldofautonomous

driving.Afterthecharacteristicoftheimagesofthetrafficlanewasanalyzed,arobustapproachwas

studiedbasedonlanerecognition,andtheadaptivethresholdbasedonOtsualgorithmwasusedfor

differentilluminationdemandsduringimagepreprocessing.Lanewasinitiallydetectedbasedonlanerecognition.LaneswerethendetectedbyHoughtransformation.Inlanetracking,theregionofinterest

wasestablishedwithparametersthroughtheKalmanpredictor.Thenlanesweresearchedintheregion.A

judgementmodulethatwasresponsibleforestimatingtrackingresultswasintroduced.Finally,whetherthevehicleisdepartfromthelanedependsonthedistancebetweenthelaneandthevehicle.Experiment

resultsindicatethatthealgorithmhasgoodrobustnessandefficiency.

Keywords:Lanedetectionandtracking;Regionofinteres;tOtsualgorithm;Houghtransformation;

Kalmanpredictor

1󰀁引󰀁言

随着社会的不断发展,人们越来越重视驾驶的

安全性和操作的简单性,世界各国都在积极研究开发汽车辅助驾驶系统。车道线检测问题[1]是实现

智能车辆视觉辅助导航技术的关键。基于机器视觉

的车道线检测与跟踪是智能车辆辅助驾驶系统的关

键技术之一,它是实现车道偏离报警、车道保持等主动安全功能的基础。近年来针对车道检测问题已提

出许多不同算法,并不断提出了一些新的算法[2-5]。

基本上可归纳为两大类:一类是利用车道线固定而明显的颜色特征提取出具有某种特殊颜色的目标,然后通过对车道建模,根据其特殊的几何特征、尺寸

特征、形状特征进行第二次提取,最后得到车道线。

另一类是先将原图像转化为灰度图像,进行图像预处理,然后进行边缘检测,再对车道标识线建模,利

用Hough变换检测到车道标识线。而如何快速、稳

定地检测车道线则是智能车辆导航中的一个重要问

题。针对车道线的基本特征以及对车道线的实时性

和鲁棒性要求,算法实现了将车道线检测和Kalman

预测器相结合的稳健车道线分离警告系统。采用

作者简介:徐后杰(1985-),男,河南信阳人,硕士研究生,主研方向:数字图像处理,智能交通系统。收稿日期:2010-06-17󰀁第3期2011年6月󰀁󰀁No.3Jun.,2011󰀁徐后杰等:基于单目视觉的车道线分离警告算法研究

matlab视频处理工具箱提供的viplanedeparture图像

序列作为测试序列(图片大小为360󰀁240),取得了

不错的效果。

2󰀁图像预处理和车道线识别

图像预处理和车道线识别阶段的好坏,直接影

响后续跟踪算法的效果。

对图像先进行中值滤波,再根据灰度直方图进行灰度变换。由于光照条件不同,在图像预处理阶

段要采用自适应的阈值。算法选择大津法[6]来求

得分割阈值。判断像素值与阈值的大小,分割结果如图1所

示(图中只处理含有感兴趣区域图像的下半部分)。

󰀁(a)原图像󰀁󰀁󰀁󰀁󰀁󰀁󰀁(b)阈值分割结果图1󰀁大津法分割结果图分割完成后,可以通过形态学膨胀算法平滑所

得到的图像。最后用卷积核为[-1,-2,-1;0,0,

0;1,2,1]和[-1,0,1;-2,0,2;-1,0,1]的Sobel

算子检测车道线边缘点。这种卷积核的优点是增强

45󰀁和-45󰀁方向的边界线,同时可以消除其他方向

边界线,减少其他物体边缘对于车道线识别的干扰。车道线检测和跟踪算法基于以下的假设:

(1)车辆大多数时间是行驶在直线车道上,可

近似当做直线车道处理。

(2)假设其间断区域也存在虚拟的边缘点,将

虚线车道当做连续的车道线来处理。

(3)对序列图像进行实时处理,两帧间的偏离

较小,边缘点的位置是可以预测的。

由于Hough变换[7]的抗噪性能较强,对直线断

裂、局部遮挡等缺陷不敏感。它是根据图像空间点

向参数空间对应位置投票累加并搜索空间峰值获得

直线方程的一种方法。在车道线初始检测模块中选

择Hough变换来检测车道线,已取得了很好的效

果。

3󰀁基于Kalman预测器的车道线跟踪算法由于序列图像的时空连续性,连续两帧图像的车道线位置偏差不会太大。利用相邻帧之间车道线

位置具有的相关性,可以用前一帧图像获得的信息,

指导下一帧车道线的检测,提高处理速度和鲁棒性,

这就是车道线跟踪。算法使用Kalman预测器预测出下一帧的ROI。然后在这个区域搜索车道线,就

可以节省大量时间,提高了算法的实时性。

3.1󰀁Kalman滤波及失效判决Kalman滤波方法在20世纪60年代一经提出,

便以其具有递推性、无须存储大量历史信息而减少

计算机存储量、直接将系统状态结合观测量,在估计系统状态参数的同时又能直接给出估计精度滤波等

诸多优点,使其在智能车辆系统中得到广泛应用。

鉴于此,选取Kalman预测器来更新左、右车道参数。Kalman预测器的线性状态和测量等式如下

所示:

x(n+1)=󰀁x(n)+Gu(n)+w(n)(8)z(n)=Hx(n)+v(n)(9)

以右车道线为例,用(kr,br)表示直线的斜率和

截距,用(󰀁kr,󰀁br)表示斜率和截距变化率,则:状态变量为:x(n)=(kr,br,󰀁kr,󰀁br)

观测向量为:zr=(kr,br)

确定这些数据后,就可以利用Kalman预测器更新车道线参数,Kalman预测器的预测方程为:

x^(n,n-1)=󰀁x^(n-1)(10)p(n,n-1)=󰀁P(n-1)󰀁T+Q(11)

x^(n)=x^(n,n-1)+K(n)󰀁󰀁󰀁[z(n)-H(n)x^(n,n-1)](12)K(n)=P(n,n-1)HT(n)[H(n)󰀁󰀁󰀁P(n-1)HT(n)+R]-1(13)󰀁P(n)=P(n,n-1)-K(n)󰀁H(n)P(n,n-1)(14)

其中,对于误差协方差矩阵Q和R,由文献[8],

噪声误差协方差矩阵的对角元素应是以状态变量的初始状态为圆心的一定区域内的值。由于误差协方

差矩阵P(n)可以随图像反复更新,应给以一个较大

的初值。由于P(n)表示ROI区域的不确定范围。在进

入跟踪后,右车道的ROI区域为:󰀁(kru,bru,krd,brd)=(x^r(n)(1)-P(n)(1,1),x^r(n)(2)+󰀁󰀁P(n)(2,2),x^r(n)(1)+P(n)(1,1),x^r(n)(2)-󰀁󰀁P(n)(2,2))

同理,可以得到左车道线的ROI区域:󰀁(klu,blu,kld,bld)=(x^l(n)(1)-P(n)(1,1),x^l(n)(2)-

P(n)(2,2),x^l(n)(1)+P(n)(1,1),x^l(n)(2)+󰀁󰀁P(n)(2,2))󰀁73󰀁󰀁3期微󰀁处󰀁理󰀁机

在得到了车道线的ROI后,可使用扫描线法在

这个区域搜索车道线边界点,最后拟合得到两车道

线参数。

若出现以下情况:前一帧的车道线信息与上一帧比较发生突变;在ROI中检测到的车道线的实际

边界点小于某阈值;如果车道线置信度(包括平行

度、宽度)低于指标。则认为算法失效。

3.2󰀁车道线分离警告判决在得到两条车道线的参数后,可根据交通工具

与车道线之间的距离来判决偏离情况。每条车道线

和交通工具的距离可通过如下方法得到:如果车道线拟合直线和下边框无交点,则此距离为宽度的一

半;否则,左边的距离为图像一半宽度减去左边交点

坐标,右边的距离为右边交点坐标减去图像宽度的

一半。然后设定一个距离阈值T3(本算法中为140),判断分离情况。小于这个阈值的则表示偏

离。结果如图2所示,图中红色线表示到右车道线

的距离,绿色线表示到左车道线的距离,青色线表示阈值。由图可知,右车道线和交通工具之间的距离

为一个常数值,并且这个距离大于阈值;而在40至

160帧之间左车道线和交通工具之间的距离小于阈

值,因此可判定在这个范围内车道线发生了左偏离。

图2󰀁车道线偏离判决图

4󰀁实验结果

车道线检测和跟踪算法实验流程图如图3所示。算法启动时,前几帧图像作为初始值输入到车

道检测模块。然后通过Kalman预测器预测的参数

动态建立ROI。在ROI中搜索车道线,将得到的车

道线参数送入Kalman预测器,预测下一帧车道线参数,再进入判决模块判断算法是否失效。如果没有

失效,则继续用跟踪算法处理下一帧图像,否则要转

到车道线检测部分对全图检测车道线。在得到正确

参数后加入车道线分离警告判决模块,对车道线分离情况进行预警。图3󰀁算法总体流程图车道线检测和跟踪算法仿真实验结果如图4所

示。

图4󰀁车道线识别仿真结果由图可知,跟踪到第7帧时,左边搜索到的点数

较小,这时要重新启动全图检测模块,可以获得很好的效果。跟踪到第80帧时,左边ROI虚线之间的