第32卷第4期2006年7月 光学技术OPTICAL TECHN IQU EVol.32No.4J uly 2006 文章编号:1002-1582(2006)04-0591-03一种基于单目视觉的移动机器人室内导航方法Ξ付梦印,谭国悦,王美玲(北京理工大学信息科学技术学院自动控制系,北京 100081)摘 要:针对室内导航的环境特点,提出了一种简单快速的、以踢脚线为参考目标的移动机器人室内导航方法。
该方法从图像中提取踢脚线作为参考直线,通过两条直线在图像中的成像特征,提取角度和横向偏离距离作为移动机器人的状态控制输入,从而实现移动机器人的横向运动控制。
该方法无需进行摄像机的外部参数标定,大大简化了计算过程,提高了视觉导航的实时性。
关键词:视觉导航;直线提取;Hough变换;移动机器人;踢脚线中图分类号:TP242.6+2;TP391 文献标识码:AAn indoor navigation algorithm for mobile robot based on monocular visionFU Meng-yin,T AN G uo-yue,WANG Mei-ling(Department of Automatic Control,School of Information and Science Technolo gy,Beijing Institute of Technology,Beijing 100081,China)Abstract:Considered the features of indoor environment,a sim ple fast indoor navigation algorithm for vision-guide mobile robot was presented,which used skirting lines as the reference objects to locate the mobile robot.This algorithm detected skirt2 ing lines using monocular images and analyzed the lines’parameters to provide angle and distance of the robot as in puts of robot control.Without calibrating camera parameters,this algorithm greatly reduces computation time and improves the real-time a2 bility of vision navigation.K ey w ords:vision navigation;line detection;Hough transform;mobile robot;skirt line1 引 言近年来,机器视觉因其含有丰富的环境信息而受到普遍的关注。
随着视觉传感器价格的不断下降,视觉导航已成为导航领域研究的热点。
在室外进行视觉导航时,采用视觉传感器可获取车道信息,通过摄像机的标定来实现坐标转换,通过确定车辆当前的状态来实现导航。
绝大部分智能车辆都是应用视觉来完成车道检测的[1,2],例如意大利的AR2 GO[3]项目就是通过使用逆投射投影的方法[4]来确定车辆状态的,并获得了良好的实验效果。
在室内进行视觉导航时,利用视觉提取室内环境特征,例如一些预先设置的引导标志就是通过图像处理进行识别并理解这些标志来完成导航任务的[5,6]。
这些都需要在图像中进行大量的搜索运算来提取标志,并通过一系列的图像理解算法来理解标志的信息,因而计算量很大。
当然也可以通过视觉计算室内环境,例如通过走廊中的角点特征来获取状态信息[7],以此减少图像搜索时的计算量。
但这些角点信息易受移动机器人运动的影响,会模糊角点信息,为了提高计算精度需要通过光流法对背景信息进行运动补偿,计算复杂,实时性不理想。
当移动机器人在实验室走廊环境下进行导航控制时,需要视觉传感器为其提供偏航角和横向偏离距离这两个参数。
通过对单目视觉图像进行处理来获取这两个参数,完成移动机器人的横向运动控制。
2 摄像机成像模型与视觉系统2.1 摄像机成像模型使用视觉传感器首先要考虑的是其成像模型,它是指三维空间中场景到图像平面的投影关系,不同的视觉传感器有不同的成像模型。
本文采用高分辨率CCD摄像机作为视觉传感器,其成像模型为针孔模型,空间中任意一点P在图像上的成像位置可以用针孔模型近似表示。
如图1所示,P点投影位置为p,它是光心O同P点的连线O P与图像平面的交点,这种关系叫投射投影。
图中标出的坐标系定义如下[8]:(1)图像坐标系I(u,v)是以图像平面的左上角为坐标原点所定义的直角坐标系,以像素为单位表示图像中点的位置。
(2)像平面坐标(x,y)指的是CCD成像靶面195Ξ收稿日期:2005-07-12 E-m ail:guoyuetan@基金项目:国家自然科学基金资助项目(60453001)作者简介:付梦印(1964-),男,北京理工大学信息科学技术学院自动控制系教授,博士,主要从事导航制导、控制组合导航及智能导航技术的研究。
上的直角坐标系,以光心为原点,x 轴和y 轴分别与u 轴和v 轴平行,以毫米为单位。
(3)摄像机坐标系C (x c ,y c ,z c ),z c 为光轴,它与图像平面垂直,光轴与图像平面的交点为坐标系的原点,x c 轴和y c 轴分别与x 轴和y 轴平行。
(4)空间坐标系W (X W ,Y W ,Z W )指的是在环境中一个基准坐标系,用它来描述摄像机的位置及环境中任何物体的位置。
图1 摄像机成像中的各坐标系通过成像模型及其投射投影关系就可以求取图像中任意一点对应的空间位置关系,视觉传感器正是利用该原理来提供所需的环境信息的[8]。
2.2 视觉系统及其运动环境本文所述的单目视觉系统是安装在移动机器人上的,运行在室内走廊上的移动机器人以及周边环境的俯视图如图2所示。
图中的两条黑实线表示走廊上的踢脚线,γ和d 分别为移动机器人当前的偏航角和横向偏移距离。
图2 视觉系统俯视图 图3 视觉系统侧视图图3为视觉系统的侧视图。
图中给出了空间坐标系W (X W ,Y W ,Z W )与摄像机坐标系C (x c ,y c ,z c )的关系,其中h 为摄像机的安装高度,2α为摄像机的垂直视场角(可由h 和2α计算出移动机器人的视场盲区)。
3 视觉导航信息的获取3.1 图像处理图像处理是视觉导航的核心部分,通过图像处理可以获取所需的环境信息,如车道状态,前向障碍物检测与定位。
本文通过图像处理来提取室内环境中的踢脚线信息,以踢脚线信息作为室内导航的参考信息。
由于在一般的室内环境中均有踢脚线,不需要另外添加引导标志,而且室内走廊主要为直道,可以通过直线提取获取走廊中踢脚线参数。
室内视觉导航方法流程图如图4所示。
目前在图像处理中的最大瓶颈是图像处理的速度,它涉及到对图像中的每个像素的运算。
为了提高视觉导航的实时性,必须消除不必要的像素点。
而图像边缘含有丰富的环境信息,通过边缘提取就可以以足够少的像素数表示足够多的信息。
考虑到室内环境中的踢脚线灰度较低,在预处理环节,先对灰度图像进行反色处理,使踢脚线像素灰度级较高,而墙的灰度级较低,因此在简单的走廊环境中,采用阈值分割来实现图像分割,然后对分割图像进行边缘提取。
因此可大量地减少后续直线提取的计算量,提高了系统的实时性。
3.2 直线提取由于室内走廊主要为直道,踢脚线的成像主要为直线,所以本文通过对边缘图像进行直线提取来获取踢脚线的信息。
目前直线提取的方法有很多,应用最为广泛的是Hough 变换法[9],本文的直线提取方法也是以Hough 变换为基础的。
平面上的任意一条直线可以表示成为y =kx +b 。
在同一直线上所有的点有相同的参数(k ,b ),在以(k ,b )为变量的参数空间中,b =-kx +y ,同一直线上的点将相交于一点(k ,b ),通过(k ,b )就可以确定直线方程,这就是Hough 变换方法的指导思想。
为了避免斜率k 为∞的情况,把直线写成x cos θ+y sin θ=ρ的形式,相应的参数空间就成为(ρ,θ),其中ρ为原点到直线的距离,θ为直线与y 轴正方向的夹角,如图5所示。
经过Hough 变换,空间中的一点就可以变换为参数空间中的一条正弦曲线,因为两点可以确定一条直线,所以参数空间中任意两条正弦曲线的交点(ρ′,θ′)就可以表示一条直线。
图4 视觉导航流程图本文以图像的边缘点作为候选点,对每个点进行Hough 变换,可得到参数空间的正弦图,考虑到踢脚线主要图5 (x ,y )平面到参数平面(ρ,θ)的转换位于图像的下半部分,为减少计算量,对边缘图像的295光 学 技 术 第32卷下半部分进行直线提取。
所有点的正弦曲线均有相交点,这是因为图像中的任意两点可以确定一条直线,这样就必须对经过同一个(ρ,θ)的像素点的个数进行统计,点个数最多的(ρ,θ)说明在图像中有最多的点在这条直线上,而这条直线可能就是踢脚线,这里对经过(ρ,θ)的点个数设定一个阈值,当个数大于阈值时,判定(ρ,θ)所对应的直线就是候选直线,当个数小于阈值时,判定(ρ,θ)所对应的直线不是所求的直线。
3.3 直线参数与移动机器人状态对应关系的建立当移动机器人处于不同的运动状态时,由视觉系统提取的踢脚线也会有相应的变化。
3.3.1 移动机器人沿着平行于踢脚线的方向移动在这种情况下,移动机器人的偏航角为零。
注意到踢脚线在空间坐标系中是两平行直线,经过投射投影后成两相交直线,直线的交点称为灭影点(x d ,y d ),同一平面上相同方向的所有平行线都相交于同一灭影点。
当移动机器人在平行于踢脚线的方向上移动时,灭影点位置不变,而光心在图像中的成像坐标(x o ,y o )也是不变的。
所以根据先验知识,预先确定出灭影点坐标和光心坐标,通过这两点确定出参考直线。
经过以上的处理过程可以得到如下信息:(1)左右踢脚线直线方程为y l =k l x +b l y r =k r x +b r (2)左右踢脚线中线方程为y m =y l +y r 2=(k l +k r )x +(b l +b r )2=k m x +b m (3)参考直线方程为y ref =k ref x +b ref图6 图像中各直线示意图其中k ref =y d -y ox d -x ob ref =y o -b ref x o 如图6所示,任取一深度x ′为统一深度,分别计算出在此深度处对应的y ′r ,y ′m ,y ′ref 。
