单目视觉智能车路径识别及控制策略

第43卷第5期自动化学报Vol.43,No.5 2017年5月ACTA AUTOMATICA SINICA May,2017基于道路结构特征的智能车单目视觉定位俞毓锋1,2赵卉菁1,2崔锦实1,2査红彬1,2摘要高精度定位是实现自动驾驶的关键.在城市密集区域,全球定位系统(Global positioning system,GPS)等卫星定位系统受到遮挡、干扰、多路径反射等影响,无法保障自动驾驶所需的定位精度.视觉定位技术通过图像特征匹配进行位置估计,被广泛研究.然而传统基于特征点的方法容易受到移动目标的干扰,在高动态交通场景中的应用面临挑战.在结构化道路场景中,车道等线特征普遍存在,为人类驾驶员的视觉理解与决策提供重要线索.受该思路的启发,本文利用场景中的三垂线和点特征构建道路结构特征(Road structural feature,RSF),并在此基础上提出一个基于道路结构特征的单目视觉定位算法.本文利用在北京市区的典型路口、路段、街道等场所采集的车载视频数据进行实验验证,以同步采集的高精度GPS惯性导航组合定位系统数据为参照,与传统视觉定位算法进行比较.结果表明,本文算法在朝向估计上明显优于传统算法,对环境中的动态干扰有更高的鲁棒性.在卫星信号易受干扰的区域,可以有效地弥补GPS等定位系统的不足,为满足自动驾驶所需的车道级定位要求提供重要的技术手段.关键词单目相机,视觉定位,道路结构特征,三垂线引用格式俞毓锋,赵卉菁,崔锦实,査红彬.基于道路结构特征的智能车单目视觉定位.自动化学报,2017,43(5):725−734 DOI10.16383/j.aas.2017.c160413Road Structural Feature Based Monocular VisualLocalization for Intelligent VehicleYU Yu-Feng1,2ZHAO Hui-Jing1,2CUI Jin-Shi1,2ZHA Hong-Bin1,2Abstract Precise localization is an essential issue for autonomous driving applications,while global positioning system (GPS)-based systems are challenged to meet requirements such as lane-level accuracy,especially in crowded urban envi-ronment.This paper introduces a new visual-based localization approach in dynamic traffic environments,focusing on structured roads like straight roads or intersections.Such environments show several line segments on lane markings, curbs,poles,building edges,etc.,which demonstrate the road s longitude,latitude and vertical directions.Based on this observation,we define a road structural feature(RSF)as sets of segments along three perpendicular axes together with feature points,and propose an RSF based monocular visual localization method.Extensive experiments are conducted on three typical scenarios,including highway,intersection and downtown streets.Results show better accuracy compared with a state-of-the-art visual localization method using feature points.We demonstrate that the proposed method can help improving localization accuracy in GPS restricted area,and discuss the remained challenges leading to future studies. Key words Monocular camera,visual localization,road structural feature(RSF),perpendicular axesCitation Yu Yu-Feng,Zhao Hui-Jing,Cui Jin-Shi,Zha Hong-Bin.Road structural feature based monocular visual localization for intelligent vehicle.Acta Automatica Sinica,2017,43(5):725−734智能车或自动驾驶技术受到广泛的关注,精确的定位技术是其重要环节.面向城市道路环境,车道级定位是实现智能车轨迹规划或决策的关键.全球定位系统(Global positioning system,GPS)被收稿日期2016-05-23录用日期2016-12-27Manuscript received May23,2016;accepted December27,2016国家高技术研究发展计划(863计划)(2012AA011801),国家自然科学基金(61573027)资助Supported by National High Technology Research and Devel-opment Program of China(863Program)(2012AA011801),and National Natural Science Foundation of China(61573027)本文责任编委王飞跃Recommended by Associate Editor WANG Fei-Yue1.北京大学信息科学技术学院北京1008712.北京大学机器感知与智能教育部重点实验室北京1008711.School of Electronic Engineering and Computer Science, Peking University,Beijing1008712.Key Laboratory of Ma-chine Perception(Ministry of Education),Peking University, Beijing100871广泛运用于汽车导航系统.单点GPS定位误差为数米,且受到信号遮挡、干扰、多路径反射等影响,在城市密集区域,无法保障自动驾驶所需的定位精度.而以视觉里程计为代表,通过环境数据匹配进行运动估计的视觉定位方法可以有效提高相对定位精度.但城市环境中来自车辆、行人等动态目标的干扰给传统视觉定位算法带来了巨大挑战.如图1(a)所示,在一帧图像中,共检测了785个特征点,其中有277个在周围车辆上.移动干扰特征点的比率已经超出了视觉定位算法中外点滤除的极限,导致定位结果产生偏差.在人类驾驶员视觉理解过程中,相比于特征点,车道等结构化道路信息起到更重要作用.以图1(b)为例,图像中包括沿道路方向、水平垂直道路方向和竖直方向的三种线特征,这些信息为驾驶员有效定726自动化学报43卷位自身车辆与道路的关系提供重要线索.受该思路启发,本文提出一个基于道路结构特征(Road struc-tural feature,RSF)的智能车单目视觉定位算法,用于解决高动态结构化道路环境下的定位问题.本文结合场景中的三垂线和点特征,定义道路结构特征,并在此基础上建立定位算法,包括道路结构预测、特征提取和车辆运动估计.本文利用安装在智能车平台上的摄像头在北京市区的路口、拥堵路段、密集街道等典型复杂场景进行数据采集,对本文提出的算法进行实验分析,以同步采集的高精度GPS惯性导航组合定位系统(GPS/惯导)数据为参照,与传统视觉定位算法进行比较,验证本文算法的有效性.图1单帧图像的点特征和线特征Fig.1Point feature and Line feature ofone on-road image本文结构如下:第1节围绕近年来国内外视觉定位的前沿研究,分析其在大范围高动态交通场景应用中所面临的关键难点;第2节给出道路结构特征的定义,并概述基于道路结构特征的定位算法;第3节详细描述定位算法中的细节;第4节给出实验结果,并与高精度GPS/惯导和传统视觉定位方法作比较;第5节总结本文算法并给出今后的研究展望.1相关研究基于视觉的定位算法被广泛用于智能车定位系统,视觉里程计(Visual odometry)[1]是其中最重要的领域之一.视觉里程计利用单个或者多个相机的输入信息,通过前后帧特征匹配,估计本体的运动.有关视觉里程计的研究最早可以追溯到1980年.当时,Moravec等[2]利用一个可滑动相机获取视觉信息,并以此作为输入,完成了机器人的室内导航. 1987年,Matthies等[3]提出了利用视觉做定位的概念,设计了包含特征提取、特征匹配与跟踪、运动估计的理论框架.2004年,Nist´e r等[4]首次明确了视觉里程计这一概念,并在2006年详细描述了视觉里程计系统[5].他们设计了一种实时的视觉里程计系统,真正意义上实现了机器人室外运动导航,同时提出了两类视觉里程计的实现途径和流程,即单目视觉和立体视觉的方法,之后的研究大多在此基础上进行改进.通用的视觉里程计以特征点匹配为基础,定位结果受到累计误差和移动物体干扰两方面因素的影响.针对累计误差,光束平差法(Bundle adjust-ment)[6]是一个常用的处理方法,通过最小化三维特征点在不同图像上的重投影误差,同时优化三维特征点和相机位置,提高了定位精度,但计算代价较高.为降低时间复杂度,Mouragnon等[7]使用局部光束平差法,在处理累计误差和计算代价上做了一个平衡.针对移动物体的干扰,传统的方法将移动物体上的特征点当作噪声,利用随机采样一致性方法(Random sample consensus,RANSAC)[8]来滤除噪声,但这只能处理少量干扰问题.Ozden 等[9]建立了一个多模型的定位与场景重建方法,将视频中的特征点进行聚类,提取移动物体,去除干扰.Kundu等[10]将光束平差法与多模型方法结合,有效提高了定位精度,但在移动物体较多的环境下,有效性受到制约.近几年的视觉里程计的研究将定位和建图结合起来,建立视觉SLAM方法,例如lsd-SLAM[11]、Orb-SLAM[12]等.此类方法有效减少了累计误差,但由于需要在定位的同时重建三维场景,导致高动态环境下移动物体的干扰增加.另一类视觉定位算法则采用与地图匹配的方式进行定位.Geiger等[13]利用视觉里程计生成的轨迹和二维地图上的道路进行形状比对,确定车辆实际位置.算法可定位到所处道路,但无法到达车道级精度.Ramalingam等[14−15]直接利用城市的三维模型,将图像中的特征点和线投影到三维模型中,直接获取对应的三维位置,避免了三维重建过程中的误差.算法提高了定位精度,但目前三维模型的可获取性不够广泛,算法的局限性高.另一些研究者则采用智能车预先建立地图进行定位.Achar等[16]利用词袋(Bag-of-words)的方法,在需要定位的街道上预先行驶若干圈采集数据,生成特征地图,在线定位时,将图像特征点和数据库中特征点进行匹配并定位.Ziegler等[17]同时建立了道路的几何地图与特征点云地图,提高了在线匹配的精度.该智能车完成了103千米的自动驾驶,但地图建立存在大量手工操作,人力和时间成本高.传统的视觉定位算法使用特征点进行定位,在高动态交通场景中,特征点易受移动车辆的干扰,导致定位结果出现偏差.Geiger等[18]将图像特征投影到路面上,利用标志线的角点对定位进行优化,适5期俞毓锋等:基于道路结构特征的智能车单目视觉定位727用于低动态场景,但无法处理拥堵环境.考虑到道路场景中线特征的朝向特殊性,Zhang 等[19]利用室外的垂直线特征进行定位,将原三维定位问题转换为二维定位问题,降低了复杂度,但垂直线特征不通用,局限性大.Barinova 等[20−21]则将线段进行聚类,并检测消失点,利用消失点之间的几何约束确定三垂线.该算法只在部分图片中进行测试,缺乏有效性验证,且计算代价高.本文对三垂线的检测进行优化,并将其用于结构化道路场景定位算法,极大地提高了定位估计的朝向稳定性.2系统概述本文提出的定位算法框架如图2所示.以下首先给出道路结构特征的定义,在此基础上简述算法的主要步骤,包含道路结构的预测、道路结构特征提取和基于道路结构特征的位置估计.图2算法框架Fig.2System outline2.1道路结构特征定义道路结构特征是一组带有语意信息,描述典型结构化道路场景特征的基本元素集合.在本研究中,道路结构特征由图像中对应于道路行进方向、水平垂直道路方向和竖直方向的三组线特征L 1,L 2,L 3,以及点特征P 构成,即Z RSF :{L 1,L 2,L 3,P }.其中线特征L 1,L 2,L 3在道路坐标系下相互垂直,在本文中简称三垂线.2.2道路结构预测随着定位服务(Location based services,LBS)技术的发展,地图作为数据基础被广泛建立,部分已开放使用(例如OpenStreetMap).这些地图中包含道路中心线、路口节点等信息,为预测局部道路结构提供依据.如图3所示,对于直道场景,根据智能车当前的定位信息和相机标定参数,可在地图中确定相机的可视区域,结合地图中道路中心线信息,建立局部道路坐标系.利用车辆位置以及相机参数等信息,将局部道路坐标系映射到图像中,预测对应于道路行进方向、水平垂直道路方向和竖直方向的三组线特征L 1,L 2,L 3的方向.对于路口场景,根据地图中道路中心线,将相机可视区域分割为一系列小区域,每个小区域都根据道路中心线定义自身的道路局部坐标系,再映射到图像中,将图像分为相应的区域,并在每个区域中预测对应的三组线特征方向.图3道路局部三垂线结构预测,包含直道和路口两种情况Fig.3Map-based RSF prediction,includingstraightway and intersection2.3道路结构特征提取道路结构特征的提取以线段检测算法和特征点检测算法为基础,实时检测图像中的线段和特征点,构建道路结构特征.对于线特征,定义线和道路坐标系三方向的距离函数,以此将图像中的线段进行分类.通常情况下,路面上的车道线、道路边界、车辆侧面的线段等会被分成第一类L 1;路面上的停止线、车辆后侧的横向线段、路牌上的横向线段会被分成第二类L 2;路灯、路边建筑物、大型车辆等的竖直方向线段会被分为第三类L 3.对于点特征,直接根据通用特征点检测结果,生成特征点集合P .2.4基于道路结构特征的位置估计车辆的位置估计采用随机采样一致性方法(RANSAC).在检测到所有道路结构特征Z RSF 后,基于随机采样构建样本集合{C iRSF }.一个有效的采样C RSF 包含三条线段和两个点.其中三条线段中728自动化学报43卷两条相互平行,并且垂直于第三条.C RSF ={l 1,l 2∈L u ,l 3∈L v ,u =v,p 1,p 2∈P }(1)图4所示为当u =1,v =3的一个样例.l 1和l 2为沿道路方向上的线段,l 3为竖直方向上的线段,p 1和p 2为图像中任意两个特征点.在利用采样C RSF 进行位置姿态x 求解的过程中,使用其中的线特征求解旋转,再使用点特征估计平移,平移尺度的估计则使用车速信息累计求解.位置姿态求解结果使用后验概率p (Z RSF |x i k )p (x ik |x k −1)进行评价.其中p (Z RSF |x i k )为观测模型,p (x ik |x k −1)为车辆运动模型.通过一定次数的随机采样C RSF (本文实验中采样次数为200),最优位置估计结果ˆx k 通过最大化后验概率求得.ˆx k =arg max x i k ∼C iRSF{p (Z RSF |x i k )p (x ik |x k −1)}(2)图4道路结构特征采样样例,包含三条线段和两个特征点Fig.4Sample of RSF candidate,including three linesegments and two points3算法细节3.1坐标系定义车体与相机的坐标系定义如图5所示.定义x v={R v ,s v }为车体在世界坐标系下的位置姿态.其中,R v 为旋转矩阵,s v 为平移向量.车体坐标系定义为右手系准则,其中原点位于车辆后轴中心,x ,y ,z 的方向分别为车辆右侧,前方和上方.相机固定在车顶前侧上方,定义x c ={R c ,s c }为相机的在世界坐标系下的位置姿态.相机坐标系定义为右手系准侧,其中原点为相机中心,x ,y ,z 的方向分别为相机右侧、下方和前方.相机和车体的刚性固定,车体坐标系到图像映射P vc =K [R vc |s vc ]可通过标定得到.其中K 为相机内参数,R vc 和s vc 分别为外参数中的旋转矩阵和平移向量,即车体在相机坐标系下的旋转矩阵和平移向量.图5车体与相机的坐标系定义Fig.5Coordinate frames of the vehicle and the camera3.2道路结构预测定义e 1=(1,0,0)T ,e 2=(0,1,0)T ,e 3=(0,0,1)T 为x ,y ,z 方向的单位向量,车体在世界坐标系下的三个方向可表示为d x d y d z =R ve 1e 2e 3(3)其中,d y =R v e 2为车体朝向.定义{R v,k ,s v,k }为车体在k 时刻的位置姿态,{ˆR v,k ,ˆs v,k }为对应时刻的预测结果.假设车体的运动在朝向上变化均匀,则车辆在k 时刻的旋转矩阵可以通过前一帧的旋转矩阵和前两帧之间的相对旋转求解ˆR v,k =R rel R v,k −1= R v,k −1R T v,k −2 R v,k −1(4)平移的预测则将车辆在两帧间的位移进行求和.在较短的时间内,位移方向近似为前后帧车辆朝向的角平分线的方向,即ˆs v,k ≈s v,k −1+d y,k −1+ˆdy,k 2 t kt k −1v t d t (5)其中,d y,k −1为车体k −1时刻的朝向,ˆdy,k 为车体k 时刻朝向预测结果,v 为车速.相机在k 时刻的位置姿态{R c ,s c }通过车体的位置姿态预测结果和标定参数进行求解.ˆRc,k =ˆR v,k R cv (6)ˆs c,k =ˆs v,k +ˆRv,k s cv (7)世界坐标系下到相机的投影矩阵的预测为ˆP c =K [ˆR T c,k |−ˆR T c,k ˆs c,k ](8)车体和相机的位置预测完成后,道路结构通过相机的投影矩阵变换到图像坐标系下,如图3所示.对于直道环境,只有一条道路线被投影到图像中,生成一个局部道路坐标系;对于路口环境,多条道路线被投影到图像中,将图像分割成不同区域,每个区域包含一个局部道路坐标系;对于弯道环境,用多段线段拟合弯道,再将其投影到图像中,与路口环境类似.对于每一个区域,道路坐标系对应三个朝5期俞毓锋等:基于道路结构特征的智能车单目视觉定位729向d j(j=1,2,3),分别为道路行进方向、水平垂直道路方向和竖直方向.虽然对于二维地图,道路朝向只有一个自由度,但为了系统的统一,以及今后有三维道路地图后算法的可扩展性,使用旋转矩阵R r=[d1d2d3]来描述道路朝向.3.3道路结构特征提取道路结构特征RSF定义为{L1,L2,L3,P},即三垂线和特征点的集合.道路结构特征的提取中最重要的部分为从图像基础特征(线段和点)中建立道路结构特征.对于特征点,直接使用通用特征点检测跟踪结果;对于三垂线特征,利用预测的道路结构,将通用线段特征依照朝向进行分类,关键点在于定义图像线段和道路坐标系三方向的距离函数.图像上的任意线段l i转换到相机坐标系下,构成一个过相机中心的平面πl i=[l T i K0]T,其法线方向为n i=K T l iK T l i(9)定义线段l i到道路方向R r e j的距离函数为线段对应平面法线n i和道路方向R r e j夹角余弦值的平方,即d2(l i,R r e j)=n TiR TcR r e j2=l TiKR TcR r e jK T l i2(10)对于任意线段l i,计算它和局部坐标系下三方向的距离,将其归类为距离最近的方向,并将其朝向记录为d i.当最小距离大于给定阈值 时,该线段则被当作噪声滤除.3.4车体位置姿态估计给定一个道路结构特征的采样C RSF,如式(1)所示.其中l1,l2∈L u为图像上的两条线段,对应两条在道路坐标系下的平行线;l3∈L v为第三条线段,在道路坐标系下垂直于前两条线段.p1,p2∈P 为两个特征点.令ˆd1,ˆd2,ˆd3为三垂线特征l1,l2,l3的朝向估计结果,p1和p2为当前帧检测到的特征点,p 1和p 2为前一帧的跟踪结果.3.4.1旋转矩阵求解根据线特征和对应朝向的距离定义,有l T1KRˆd1=0(11)l T2KRˆd2=0(12)l T3KRˆd3=0(13)从特征采样C RSF中已知l1和l2在道路坐标系下的朝向一致,即ˆd1=ˆd2,则l1和l2在图像上的交点对应于该朝向的消失点,即v1=l1×l2=λKRˆd1(14)根据罗德里格斯矩阵,旋转矩阵可改写为R=(I−S)−1(I+S)(15)S=0−c−bc0−ab a0(16)将式(15)代入式(14)中,可得(I−S)K−1(l1×l2)=λ(I+S)ˆd1(17)结合式(16)和式(17),共有4个参数a,b,c,λ需要求解.式(17)和式(13)共给出4个约束方程,通过联立方程组可求解这4个参数.在求解过程中,最多产生两组可行解,这两组可行解对应l3的方向相反.通过和预测的旋转矩阵ˆR c做比较,可滤除错误解,留下唯一可行解.3.4.2平移向量求解在世界坐标系下,令当前帧相机的投影矩阵为P=K[R|t],前一帧相机的投影矩阵为P = K[R |t ],则相机的相对旋转和平移为R rel=RR T(18)t rel=t−R Trelt (19)根据对极几何约束可得p T F p =0(20)其中,F=K−T[t rel]×R rel K−1(21)由于旋转矩阵已知,式(20)中待求解的只有平移向量t rel,共三个自由度.使用两个特征点,即可通过式(20)求解出归一化的平移向量,尺度因子 t rel 则需要通过其他方式求解.在本文实验中,尺度因子通过车轮编码器所获取的车速信息求解.相对位移求解完成后,通过式(19)求解当前相机的绝对位置,再利用标定参数,得到车体的绝对位置. 3.4.3后验概率估计每一个采样C RSF都可求解出相应的旋转矩阵和平移向量.由于采样的随机性,需要多次采样来得到最优解.而最优解的估计可以通过最大化后验概率p(Z RSF|x i k)p(x i k|x k−1)得到.其中,p(x i k|x k−1)为运动模型,通过车辆的基础运动模型加上高斯噪声求解;p(Z RSF|x i k)为观测模型,需要定义观测值与真值的误差函数来求解.本文误差函数定义为线特征与点特征的误差加权和,即E=E l+λE p(22)730自动化学报43卷对于三垂线特征,误差定义为线段长度的平方乘以它到对应道路朝向的距离,即E l=ilen2(l i)×d2(l i,ˆd i)(23)其中,len(l i)是线段l i的长度,d2(l i,ˆd i)是线段和对应道路朝向的距离,即d2(l i,ˆd i)=l TiKR TcˆdiK T l i2(24)对于点特征,误差定义为点到对应对极线距离的平方,即E p=id2(p,F p )+d2(p ,F T p)(25)其中,距离d(p,F p )是点p到对极线F p 的距离.3.5鲁棒性优化道路结构特征的采样C RSF需要包含三条线段和两个特征点,其中三条线段l1,l2,l3需要满足d1 =d2,d1×d3=0.因此,算法需要检测至少两个主方向上的线段.对于空旷环境,即移动车辆、路灯、建筑物较少的情况,水平垂直道路方向和竖直方向上的线特征均较少,只有道路行进方向的线特征可被稳定检测.在这种情况下,假设路面平整,车辆颠簸不明显,车辆运动只包含三个自由度(x,y, yaw),对应旋转矩阵R退化为一个自由度.利用公式l T1KRd1=0,通过一条线段求解旋转矩阵.同理,当仅能检测到其他两个主方向上的线段时,也将车辆运动退化为二维运动求解.此外,当无法检测到有效数目的主方向线段时,则根据通用的特征点定位算法求解.算法根据当前帧图像所能检测到的三垂线数目动态切换.4实验与分析4.1概述本文利用如图5所示的智能车平台,在北京市区的路口、拥堵路段、密集街道等典型复杂场景进行数据采集和算法验证1.实验中利用PointGray公司的Flea2相机采集图像序列,图像分辨率为640像素×480像素,关键帧采样帧率为3Hz;利用车轮编码器采集车速信息,用于平移尺度的求解.为了对算法的精度进行比较验证,实验中使用一台拥有光纤陀螺的GPS惯性导航组合定位系统对车辆位置方向进行高精度测量.实验中使用线段检测工具包(Line segment de-tector,LSD)[22]进行图像线段检测,参考文献[23]中的算法进行图像特征点检测跟踪.本文算法的实验结果与目前被广泛使用的单目视觉里程计算法libviso2[13]、最新发表的Orb-SLAM算法[12]以及高精度GPS/惯导进行比较.以下分别对路口、拥堵路段和密集街道等三种典型场景的实验结果进行展示,最后给出分析讨论.在路口和拥堵路段场景, Orb-SLAM在初始化时特征点集中于前方移动车辆上,导致定位失败.在密集街道场景中,移动车辆少, Orb-SLAM结果较为稳定.因此本文仅在密集街道场景中加入与Orb-SLAM定位结果的比较.4.2案例分析4.2.1路口实验路口实验场景起始点坐标为(39.9754760, 116.3911050),行驶距离约为600米,时间约为2分钟,采集了共350帧关键帧,车辆行驶过程中包括两次右换道、一次右转和一次靠右并入辅路等驾驶行为,如图6所示.图6路口实验场景与定位结果Fig.6The scenario and localization results ofintersection environment图6中点虚线、虚线和实线分别为本文算法、libviso2和GPS/IMU的定位结果.如图6中B区域所示,在本次实验终点处,虽然实验车沿直线行驶进入辅路,然而由于周边树木建筑物密集,卫星信号受到干扰,GPS定位结果有明显偏移.在B区域以外的其他区域中,卫星信号条件良好,GPS定位有较高的精度,因此本文利用B区域以外的GPS数据作为参照,定量化验证本算法的定位精度,并与libviso2的结果进行比较.实验中,libviso2的结果在车辆右转过程中产生明显偏差,如图6中A区域所示,而本文算法表现良好,轨迹和GPS接近.图7展示了算法对车辆朝向的估计结果.本文算法与GPS/IMU的结果非常接近,而libviso2的结果却存在明显偏差.虽然偏差只有5度,但由此引起的位置偏差非常大,在进入B区域前与GPS相比有1实验相关视频已上传至优酷:/v show/id XMTU4MDIzOTM5Mg==.html?from=y1.7-1.25期俞毓锋等:基于道路结构特征的智能车单目视觉定位731约15米的误差.说明在定位中,朝向的估计精度有着重要的影响,而实验结果表明本文算法在朝向估计上精度明显高于libviso2.需要说明的是,本文算法在朝向结算上只使用了当前帧的信息,导致结果存在局部噪声,呈现轻微锯齿状.这个现象可以通过今后引入前后帧跟踪予以缓解.图7路口场景朝向计算结果Fig.7Yaw results in intersection environment为了使结果更加直观,将图像中的沿道路线方向的线段结合定位结果投影到地平面上,得到如图8所示结果.通过投影结果,可以较清晰地看到斑马线、道路标线、道路边界等信息.结合车体运动轨迹,可以检测出一些高层的运动信息,例如车辆换道等.图8线特征鸟瞰投影结果Fig.8Projected line segments on bird eye view4.2.2拥堵路段拥堵路段实验场景在四环主路,车流量大,行驶速度缓慢,道路笔直,多处有过街天桥.车辆由北向南行驶,起始点坐标为(39.9544800,116.3031370),行驶时间约为2分30秒,全长约1800米,共采集450帧关键帧,期间做了若干次换道.实验中未使用地图信息,而利用前一帧的处理结果,推测当前帧道路结构.实验结果如图9所示,其中点虚线、虚线和实线轨迹分别表示本文算法、libviso2和GPS/IMU 的结果.libviso2的结果在第22帧和第229帧附近有两处较大偏差(如图9中A 区域和B 区域所示),原因是一辆环境车占据了图像中很大区域,且进行换道,即包含相对于车道的横向运动.图像中该车上的特征点为实验车的运动估计带来干扰,特别是在朝向求解上(如图10所示).另外,实验路线中多处经过过街天桥.这些天桥对卫星信号造成遮挡或干扰,使得经过天桥时,GPS 定位结果出现很大偏差.如图9中C 区域所示,GPS 轨迹呈现约10米的偏差.相比之下,本文算法的结果在朝向及位置估计上均稳定可靠,结果优于GPS 和libviso2.图9拥堵路段中的定位结果Fig.9Localization results in high trafficenvironment图10拥堵路段中的朝向计算结果Fig.10Yaw results in high traffic environment4.2.3密集街道密集街道场景在北京上地信息路附近区域.车辆行驶了约6分30秒,全长约2000米,采集了3800帧视频数据,期间做了若干次换道和左右转弯.定位结果如图11所示,其中点虚线、点线和虚线,实线轨迹分别表示本文算法、Orb-SLAM 、libviso2和GPS/IMU 的结果.由于Orb-SLAM 算法存在平移尺度漂移,为了更好地比较结果,利用车速信息将平移尺度修正.图11所示结果中,libviso2的结果在几次转弯后出现明显偏差,而本文算法和Orb-SLAM 误差相对较小.以GPS 值作为参考值计算误差,本文算法精度高于Orb-SLAM (数值对比结果见表1).在本场景中,部分区域没有车道线信息,且由于路边停放的车辆,道路边沿被遮挡,道路结。

《单目视觉辅助的三坐标测量机测量路径规划》篇一一、引言在工业制造、质量控制和精密测量领域，三坐标测量机（CMM）作为一种重要的测量设备，被广泛应用于各种复杂零部件的尺寸和形状测量。

随着科技的发展，单目视觉技术逐渐被引入到三坐标测量机的测量过程中，为提高测量效率和精度提供了新的可能性。

本文将重点探讨单目视觉辅助下的三坐标测量机测量路径规划问题，分析其应用场景、关键技术和实施步骤。

二、应用场景在制造业中，对零部件的精确测量是保证产品质量的重要环节。

传统的三坐标测量机虽然能够完成测量任务，但在面对复杂零部件时，其测量路径规划往往需要耗费大量时间和人力。

单目视觉技术的引入，可以辅助三坐标测量机实现更快速、更准确的测量路径规划，从而提高生产效率。

此外，单目视觉技术还可以用于现场快速检测和装配指导等场景。

三、关键技术1. 单目视觉技术：通过单目相机获取零部件的图像信息，提取出有用的特征点，为三坐标测量机的测量路径规划提供依据。

2. 三坐标测量机：具备高精度的三维测量能力，能够获取零部件的尺寸和形状信息。

3. 路径规划算法：根据单目视觉提取的特征点和三坐标测量机的测量能力，设计合适的路径规划算法，以实现快速、准确的测量。

四、实施步骤1. 图像获取：使用单目相机获取零部件的图像信息。

2. 特征提取：通过图像处理技术，从获取的图像中提取出有用的特征点。

3. 路径规划：根据提取的特征点和三坐标测量机的测量能力，设计合适的测量路径。

4. 路径执行：三坐标测量机按照规划的路径进行测量，获取零部件的尺寸和形状信息。

5. 数据处理与输出：对获取的数据进行处理和分析，得出测量结果，并以合适的方式输出。

五、具体策略与注意事项在实施单目视觉辅助的三坐标测量机测量路径规划时，需要注意以下几点：1. 特征点提取的准确性直接影响到路径规划的效果，因此需要采用合适的图像处理技术提取准确的特征点。

2. 路径规划算法需要根据具体零部件的形状和尺寸设计，以实现快速、准确的测量。

智能车辆自主导航系统的路径规划与控制智能车辆自主导航系统是当今科技领域中备受瞩目的研究方向之一。

随着人工智能和自动驾驶技术的不断发展，智能车辆在道路上的应用前景愈发广阔。

路径规划与控制是智能车辆自主导航系统中核心的两个模块，其准确与否直接影响智能车辆的安全性和性能表现。

本文将探讨智能车辆自主导航系统的路径规划与控制技术。

路径规划是指智能车辆根据环境信息和任务要求，确定到达目标位置的最佳路径的过程。

在路径规划中，智能车辆需要根据当前车辆状态、环境地图、交通规则等信息，进行高效的路径选择。

常见的路径规划算法一般分为全局路径规划和局部路径规划。

全局路径规划主要关注整个行车过程，将目标位置和当前车辆位置作为输入，通过搜索算法或优化算法找到避开障碍物、遵循交通规则的最短路径。

局部路径规划主要处理车辆在行进过程中的动态避障和规划修正的问题，确保车辆能够平稳地行驶。

基于搜索算法的路径规划算法常用的有A*算法和Dijkstra算法。

A*算法利用启发式函数来评估每个节点的估计代价，以选择具有最小代价的路径。

该算法在寻找目标位置时的效率较高，并且能够比较好地避开障碍物。

Dijkstra算法是一种广义上的搜索算法，在不考虑启发式函数的情况下，计算所有节点之间的最短距离。

该算法适用于道路网络较为简单的场景。

除了搜索算法，优化算法也被广泛应用于路径规划中。

常见的优化算法有遗传算法、粒子群算法等。

优化算法通过迭代更新，不断优化路径规划结果，以实现更加高效和准确的路径选择。

路径控制是指智能车辆根据路径规划结果，自主地控制车辆的转向、加减速等动作，以完成路径规划过程中的具体行驶操作。

路径控制涉及到车辆动力学、动力传输系统、车辆操纵系统等多个方面的知识和技术。

在路径控制中，车辆的转向控制通常通过转向系统来实现。

转向系统可以由传统的机械操纵挂钩、传动杆和转向机构组成，也可以采用电动转向系统。

电动转向系统通过电控单元实时根据车辆的转向角度要求完成转向操作，使得转向更加灵活和精确。

单目视觉导航智能车系统研究与实现的开题报告1. 研究背景及意义智能车作为新一代车辆，集成了多种新技术，能够实现自主行驶、自适应速度等多种功能。

其中，视觉导航技术是智能车发展的重要方向之一。

单目视觉导航技术被广泛地应用于机器人领域，比如在无人驾驶车辆和智能机器人等领域中引起了广泛的关注。

因此，本研究旨在基于单目视觉导航技术实现智能车的导航系统。

2. 研究目标本研究的主要目标是设计一种基于单目视觉导航技术的智能车导航系统，实现自主行驶的功能。

具体地，本研究将介绍如何利用摄像头收集图像信息，通过视觉算法提取出路面信息，实时计算车辆的位置、运动方向和速度等参数，并采取相应控制策略使车辆自主导航。

3. 研究内容及方案本研究将主要涉及以下内容：（1）单目视觉导航技术研究：主要包括视觉传感器选择、图像采集、图像分析和算法比较等方面；（2）车辆动力学模型分析：根据车辆的动力学模型，利用图像数据计算车辆的位置、速度和方向等参数；（3）控制策略设计：基于车辆动力学模型的分析结果，采取一些合理的控制策略，如PID控制算法来实现车辆自主导航；（4）系统实现：基于所设计的算法和控制策略，搭建智能车导航系统，并进行性能测试和评估，最终实现智能车的自主行驶。

4. 研究预期成果本研究的主要预期成果有：（1）实现基于单目视觉导航技术的智能车导航系统，并实现车辆的自主行驶功能；（2）掌握视觉传感器选择和图像处理等技术，研究单目视觉导航技术在智能车中的应用，探索新的技术路线；（3）对控制策略进行实验测试，并提供性能评估，使其更加实用；（4）论文发表：将研究成果撰写为学术论文，并进行发表。

5. 研究实施计划本研究的实施计划分为以下几个阶段：（1）文献调研和技术储备（2周）：查阅有关智能车导航系统、单目视觉导航技术等方面的相关文献和技术，确定方案和方法；（2）设计和实现视觉导航系统（14周）：搭建实验平台，选择鲁棒的算法，进行实验验证和性能测试；（3）控制策略设计和实现（6周）：根据车辆动力学模型设计控制策略，实现自主导航功能；（4）性能测试和分析（4周）：对整个系统的性能进行测试和评估，提出改进建议，制定完善的文档和用户手册。

《智能无人驾驶车辆路径跟踪及底层控制方法研究》一、引言随着科技的发展和社会的进步，无人驾驶车辆作为一种新兴的交通工具，逐渐成为了智能交通系统的重要组成部分。

智能无人驾驶车辆的研究涵盖了众多领域，其中路径跟踪和底层控制方法的研究是其中的关键环节。

本文将针对智能无人驾驶车辆的路径跟踪及底层控制方法进行深入的研究，并详细探讨其技术实现与性能分析。

二、无人驾驶车辆技术概述无人驾驶车辆主要依赖各种传感器和先进的人工智能算法来实现自主导航和驾驶。

这些传感器包括雷达、激光雷达、摄像头等，能够实时获取车辆周围的环境信息。

而人工智能算法则用于处理这些信息，实现车辆的自主决策和行动。

无人驾驶车辆技术涉及到多个领域，包括传感器技术、人工智能、通信技术等。

三、路径跟踪技术研究路径跟踪是无人驾驶车辆的核心技术之一，它涉及到车辆的行驶轨迹和速度控制。

在路径跟踪过程中，车辆需要实时获取路径信息，并根据路径信息调整自身的行驶轨迹和速度，以实现精确的路径跟踪。

目前，常用的路径跟踪方法包括基于模型预测的方法、基于模糊控制的方法等。

（一）基于模型预测的路径跟踪方法该方法通过建立车辆的动态模型，预测车辆未来的行驶轨迹和状态，并根据预测结果调整车辆的行驶轨迹和速度。

该方法具有较高的精度和鲁棒性，能够适应不同的道路环境和交通状况。

（二）基于模糊控制的路径跟踪方法该方法利用模糊逻辑对车辆的行驶轨迹进行控制，通过对车辆的当前状态和目标状态进行比较，计算出合适的控制量，实现精确的路径跟踪。

该方法具有较强的鲁棒性和适应性，能够在复杂的道路环境和交通状况下实现稳定的路径跟踪。

四、底层控制方法研究底层控制是无人驾驶车辆实现自主行驶的关键技术之一，它涉及到车辆的转向、加速、制动等基本操作。

目前，常用的底层控制方法包括基于规则的控制方法、基于优化的控制方法等。

（一）基于规则的底层控制方法该方法根据预先设定的规则对车辆的行驶进行控制，如根据车速和转向角度等参数进行控制。

《单目视觉辅助的三坐标测量机测量路径规划》篇一一、引言随着工业自动化及智能制造的快速发展，高精度的三维测量技术已经成为制造行业中不可或缺的一部分。

三坐标测量机作为重要的测量设备，其测量路径规划的准确性和效率直接影响到整个测量过程的质量和效率。

近年来，单目视觉辅助技术逐渐被引入到三坐标测量机的测量路径规划中，以提高测量的精度和效率。

本文将探讨单目视觉辅助的三坐标测量机测量路径规划的相关问题。

二、单目视觉辅助三坐标测量机概述单目视觉辅助三坐标测量机是一种结合了计算机视觉和三坐标测量技术的设备。

它通过单目摄像头获取被测物体的图像信息，再结合三坐标测量机的测量数据，实现高精度的三维测量。

在测量过程中，单目视觉辅助技术可以提供被测物体的三维空间信息，为三坐标测量机的测量路径规划提供重要依据。

三、测量路径规划的重要性测量路径规划是三坐标测量机的重要环节，它直接影响到测量的准确性和效率。

合理的测量路径规划可以减少测量时间，提高测量精度，降低设备损耗。

在单目视觉辅助的三坐标测量机中，测量路径规划需要充分考虑被测物体的形状、尺寸、表面质量等因素，以及设备的测量范围、精度等性能指标。

四、单目视觉辅助的测量路径规划方法（一）基于图像识别的测量路径规划基于图像识别的测量路径规划是利用单目摄像头获取被测物体的图像信息，通过图像处理和识别技术，提取出被测物体的特征点、线、面等信息，再结合三坐标测量机的测量数据，制定出合理的测量路径。

这种方法可以快速准确地获取被测物体的空间信息，为测量路径规划提供重要依据。

（二）基于优化算法的测量路径规划基于优化算法的测量路径规划是通过建立数学模型，将测量路径规划问题转化为优化问题，利用优化算法求解出最优的测量路径。

这种方法可以根据被测物体的形状、尺寸、表面质量等因素，以及设备的性能指标，制定出合理的优化目标，从而得到最优的测量路径。

五、实验与分析为了验证单目视觉辅助的三坐标测量机测量路径规划的效果，我们进行了相关实验。

2010年12月刊人工智能与识别技术信息与电脑China Computer&Communication1. 引言智能车辆导航和汽车碰撞预警等系统中，车道线的检测是一个基本的、必须的功能，它不但为导航提供了参照，而且应用于运动目标检测、汽车事故预警等功能中。

因而车道的识别与检测从人们对智能车辆研究的开始就受到普遍重视，许多国家都将其列入高科技发展计划并投入大量资金，并已成功研制出一些各具特色的车道偏离警告系统，这些系统通过预先给驾驶员以警告信息，提醒驾驶员采取正确的操作措施来达到防止这类事故发生或者降低这类事故的伤害程度的目的。

本文在借鉴国内外研究成果的基础上，围绕着智能车车道自动识别系统的系统建模理论、识别算法分析和决策算法研究、实验验证这一研究主线进行研究，以期能在道路边界的识别和跟踪方面有所成果。

2. 基于单目视觉成像图像采集系统概述智能车辆的视觉系统根据摄像机的个数一般分为两种:采用多个摄像机的立体视觉系统及采用单个摄像机的单目视觉系统。

运用这两种系统实施行驶环境的实时检测，主要包括对行驶标识线、行驶周围环境、行车状态标志符及交通符号等环境信息的探测和采集，然后经处理和识别后将信息传递给车辆的控制器，控制器根据得到的信息和移动的驾驶决策实现车辆的自主导航功能。

立体视觉是一种由多幅图像(一般两幅)获取物体的三维几何信息的方法。

在计算机视觉中，可以用两个或以上的摄像机采集两幅或多幅图像，由计算机重建周围三维景物的形状和位置。

该方法可以模仿人类利用双目视差感知距离的方法，实现对三维信息的感知。

但是，如果同时采用多个摄像机，将大大增加整个系统图像处理的时间及视觉系统的成本，而且系统的安装和图像的同步采集等技术的难度也将同时增加，因此，在现阶段还不易达到实用化。

而且从根本上讲，同一景物在不同角度的摄像机下图像的配准问题是一个相当困难的问题。

综上所述，立体视觉虽然对于恢复深度信息即确定景物距离比较容易，但是图像配准这一难题的存在却大大限制了它的应用。

智能车道路识别与控制算法
首先，在车道检测步骤中，通过通过车辆安装的各种传感器，如摄像头、激光雷达等，为车道定位提供支持。

通过传感器获取的全景图像作为
输入，然后采用机器识别技术进行图像处理，并根据不同的车道标志物识
别不同车道。

其中应该注意的是，由于车道标志会受到天气和环境条件的
影响，在对车道标志进行识别时，应考虑天气和环境条件的变化。

其次，在车道识别步骤中，将车道检测步骤中获得的车道识别结果作
为输入，并参考地图和其他传感器（如GPS）获取的数据，进行图像拼接，最终确定车道。

最后，在车道控制步骤中，将车道位置作为输入，并运用自动驾驶系
统（如自动驾驶系统）获得的数据，控制车辆始终行驶在正确的车道上。

其中，应通过自动驾驶系统获取的数据，实时模拟车辆位置变化，并将实
时模拟结果作为输入，进行实时调节，以控制车辆始终处于正确的车道上。

总体而言。

基于单目视觉的自主寻迹智能车设计与实现
李亭;乔洁;刘永涛
【期刊名称】《重庆理工大学学报（自然科学版）》
【年(卷),期】2016(030)010
【摘要】介绍了一种基于单目视觉的自主寻迹智能车的设计与实现方案.系统使用OV7725摄像头采集道路图像信息,将道路信息传输至MK60FN核心板进行处理,通过直流电机控制车速、舵机控制智能车的转向实现路径自动识别,同时采用测速编码器获得电机转速信号,将该信号实时反馈到核心板,实现车速的闭环控制.另外,为了便于快速有效地调试系统参数,在该系统中加入TFT显示模块和SD卡模块.实验结果表明:该智能车设计方案有效可行,能准确控制寻迹智能车在赛道上稳定运行.【总页数】7页(P16-22)
【作者】李亭;乔洁;刘永涛
【作者单位】西安航空学院车辆工程学院,西安710077;长安大学汽车学院,西安710064;长安大学汽车学院,西安710064
【正文语种】中文
【中图分类】TP368.1
【相关文献】
1.基于单目视觉的自主寻迹智能车设计与实现 [J], 李亭;乔洁;刘永涛;
2.基于单目视觉的智能寻迹小车设计与实现 [J], 韦士飞;张建锋;门思鹏
3.基于Freescale S12微控制器的高速智能寻迹车设计与实现 [J], 王琪;程飞;陈四
杰;葛秀梅;王维西
4.基于路径识别的寻迹智能车设计与实现 [J], 孙书诚;郎朗;王虎
5.基于路径识别的寻迹智能车设计与实现 [J], 孙书诚;郎朗;王虎
因版权原因，仅展示原文概要，查看原文内容请购买。

基于单目视觉的智能车车道线识别算法石金虎; 金辉; 王迪【期刊名称】《《汽车实用技术》》【年(卷),期】2019(000)019【总页数】4页(P28-31)【关键词】车道线识别; 最大类间方差法; Canny算子;霍夫变换【作者】石金虎; 金辉; 王迪【作者单位】辽宁工业大学汽车与交通工程学院辽宁锦州 121001【正文语种】中文【中图分类】U467前言自动驾驶汽车是目前以及将来要面对的一个热点和难点，其中车道线检测在其中发挥着至关重要的作用。

它不仅为车辆导航提供了参考，而且目前已经应用在运动目标检测和汽车预警等方面。

从开始研究智能车辆时就对车道线检测给予了很大的重视，首先要实现车辆的自主导航，最基本的技术就是要把车控制在当前道路上，不能发生跑偏。

即实时的获取车道线的变化，准确的了解车道线的信息，才能在获取车辆在当前道路的相对位置和方向，从而达到预期的效果。

本文采用的是结构化道路为输入信息，对采集到的道路图像进行分割，选用实验效果较好的最大类间方差法；在图像边缘检测中分析了Canny 算法并进行一些改进；最后为了更好的识别车道线效果采用了霍夫变换。

1 单目视觉图像采集系统概述一般视觉系统采集图像可以依据摄像机的个数来区别：第一个是带有多个摄像头的立体视觉系统，第二个是带有单个摄像头的单目视觉系统。

总体来说他们都是对汽车行驶环境的实时监测，主要包括车道线的识别、车辆行驶时其周围的环境等信息为切入点进行采集。

然后处理所收集的图像信息，并将处理后的信息发送到控制器，由控制器做出决定以实现车辆的自主导航。

与多目视觉相比，本文使用的单目视觉具有更快的图像处理速度和实时控制要求。

它在未来一段时间内具有研究价值。

2 图像预处理道路图像预处理过程如图1 所示。

图1 图像处理流程图在收集道路图像时，由于外部因素和其他因素的干扰，所获取的图像信息不完整。

需要对采集的图像进行预处理，以达到预期的效果，预处理过程在改善图像质量、提高行车时的实时性等方面具有重要的作用。

单目视觉导航智能车辆的自定位方法
赵颖;孙群;王书茂
【期刊名称】《计算机工程与设计》
【年(卷),期】2008(29)9
【摘要】提出了一种单目视觉导航智能车辆的自定位方法,采用"两步法"对摄像头进行标定;推导出智能车辆位姿的参数表达式,采用基于一点的Hough变换方法提取导航路径信息,计算出导航路径的偏转角β和横向偏移距离d;通过仿真实验进行了验证.实验结果表明,偏转角β的最大误差在1.1°之内,横向偏移距离d的最大误差不超过3.2cm,满足智能车辆的自定位要求.
【总页数】3页(P2372-2374)
【作者】赵颖;孙群;王书茂
【作者单位】聊城大学,汽车与交通工程学院,山东,聊城,252059;聊城大学,汽车与交通工程学院,山东,聊城,252059;中国农业大学,工学院,北京,100083
【正文语种】中文
【中图分类】TP24
【相关文献】
1.智能车辆导航中障碍物检测方法研究 [J], 李亮;李锋林
2.基于单目视觉的智能车辆导航算法研究 [J], 王庆军
3.智能车辆导航系统的模糊控制方法 [J], 廖德利
4.基于智能手机的车辆多源融合导航方法 [J], 纪新春;魏东岩;袁洪;周德云
5.基于单目视觉的区域交通智能车辆道路边界检测方法研究 [J], 游峰;王荣本;张荣辉;郭烈;徐建闽
因版权原因，仅展示原文概要，查看原文内容请购买。

基于单目视觉的多模型道路描述与跟踪方法研究的开题报告一、研究背景随着自动驾驶技术的发展，道路描述和跟踪技术的研究变得越来越重要。

道路描述和跟踪的目的是为了让自动驾驶汽车精确地理解和识别道路的几何和拓扑结构，从而实现自动驾驶。

当前，许多自动驾驶汽车使用基于激光雷达技术的道路描述和跟踪方法。

但是，激光雷达技术是一种昂贵的技术，有一定的限制。

因此，基于单目视觉的道路描述和跟踪方法正在变得越来越流行。

二、研究内容本研究旨在研究基于单目视觉的多模型道路描述和跟踪方法。

具体包括以下内容：1. 道路描述算法。

本研究将使用多个视角的图像，将它们拼接起来，提取道路的几何和拓扑结构。

该算法将包括图像拼接算法、道路特征提取算法以及道路拓扑结构建立算法。

2. 跟踪算法。

本研究将在道路描述算法的基础上开发一种跟踪算法，使用单目视觉数据跟踪道路。

该算法将包括特征匹配算法、光流法以及卡尔曼滤波算法。

3. 多模型融合算法。

该算法将使用多个道路描述和跟踪模型，将它们的结果进行融合，提高跟踪的精度和鲁棒性。

三、研究意义本研究的意义在于：1. 开发基于单目视觉的多模型道路描述和跟踪方法，使自动驾驶汽车可以准确地识别和理解道路，从而实现更安全和更有效的自动驾驶。

2. 提高车辆自动驾驶的鲁棒性和可靠性，降低事故发生的风险。

3. 促进基于单目视觉的自动驾驶技术的发展。

四、研究方法本研究将使用Python编程语言和机器学习算法，开发基于单目视觉的多模型道路描述和跟踪方法。

本研究将采取如下的步骤：1. 收集数据并预处理数据。

本研究将使用公共数据集进行实验，并进行预处理，包括数据的清洗、图像拼接和特征提取。

2. 开发道路描述算法，并进行实验测试。

本研究将使用多视角的图像，开发道路描述算法，并使用公共数据集进行实验测试。

3. 开发跟踪算法，并进行实验测试。

本研究将基于道路描述算法，开发跟踪算法，并使用公共数据集进行实验测试。

4. 开发多模型融合算法，并进行实验测试。