机器人视觉伺服研究进展-中科院自动化所-谭民
- 格式:pdf
- 大小:434.09 KB
- 文档页数:6
文章编号:100220446(2004)0320277206
机器人视觉伺服研究进展Ξ
王麟琨,徐德,谭民
(中国科学院自动化研究所复杂系统与智能科学实验室,北京 100080)
摘 要:介绍了机器人视觉伺服系统的结构和主要研究内容,比较了当前几种主要的视觉伺服方法,针对当前
机器人视觉伺服所面临的主要问题,详细阐述了近期提出的一些解决方法.
关键词:机器人;视觉伺服;综述
中图分类号: TP24 文献标识码: B
SurveyofResearchonRoboticVisualServoing
WANGLin2kun,XUDe,TANMin
(LaboratoryofComplexSystemsandIntelligenceScience,InstituteofAutomation,ChineseAcademyofSciences,Beijing 100080,China)
Abstract:Inthispaper,structuresandcontentsofroboticvisualservoingsystemsareintroduced.Then,acomparison
betweenmethodsofdifferentroboticvisualservoingsystemsisgiven.Furthermore,somenewmethodsarerepresentedin
detailtosolveproblemsofroboticvisualservoing.
Keywords:robot;visualservoing;survey
1 引言(Introduction)
随着科学技术的发展以及机器人应用领域的扩
大,人们对机器人技术提出了更高的要求,希望机器
人具有更高的智能和更强的环境适应能力,机器人
视觉伺服研究正是为了满足这一要求而展开的.机
器人视觉伺服最早出现于20世纪80年代,在90年
代中后期发展迅速.这是因为机器人应用领域的扩
展以及计算机硬件技术的突飞猛进,极大地提高了
图像处理的速度,大幅降低了专用图像处理设备的
费用.视觉伺服控制与基于传统传感器的机器人控
制相比,具有比较明显的优点:更高的灵活性,更高
的精度,能够对机器人标定误差具有强的鲁棒性等.
以上优点决定了机器人视觉伺服在较短的时间里成
为机器人研究领域中的热点之一,并在工业生产、海
洋探测等众多领域得到了成功的应用.
2 机器人视觉伺服研究的主要内容(Prima2
ryresearchofroboticvisualservoing)
机器人视觉伺服系统由视觉传感向控制器提供
外部信息,调整机器人的位置和姿态.研究内容涉及到图像处理、机器视觉、控制理论、运动学等多个领
域.当前机器人视觉伺服研究的主要内容可以归纳
为视觉伺服系统结构、快速有效的图像处理算法以
及视觉伺服控制器的设计等几个主要方面.
2.1 机器人视觉伺服系统的结构
2.1.1 视觉伺服系统的分类
根据不同的标准,机器人视觉伺服系统可以被
划分为不同的类型.根据摄像机的数目的不同,可以
分为单目视觉伺服系统、双目视觉伺服系统以及多
目视觉伺服系统.单目视觉无法直接得到目标的三
维信息,一般通过移动获得深度信息.单目视觉适用
于工作任务比较简单且深度信息要求不高的工作环
境.多目视觉伺服可以观察到目标的不同部分,可以
得到更为丰富的信息,但视觉控制器的设计比较复
杂,且相对于双目视觉伺服更加难以保证系统的稳
定性[1].双目视觉可以得到深度信息,当前的视觉伺
服系统主要采用双目视觉.根据摄像机放置位置的
不同,可以分为手眼系统和固定摄像机系统.手眼系
统能得到目标的精确位置,可以实现精确控制,但只
能得到小的工作空间场景,而且由于手眼系统只能 第26卷第3期 2004年5月 机器人 ROBOT Vol.26,No.3 May,2004
Ξ收稿日期:2003-09-20观察到目标而无法观察到机器人末端,因此需要通
过已知的机器人运动学模型来求解目标与机器人末
端的位置关系,对标定误差以及运动学误差比较敏
感.固定放置的摄像机既可以观察到目标也可以观
察到机器人末端,并且可以得到大的工作空间场景,
能得到机器人末端相对于目标的相对速度,但无法
得到目标的准确信息,且机器人运动可能造成目标
图像的遮挡.为了克服两种摄像机放置位置的不足,
当前的一种解决方法是两种方式的协作使用[2].根
据误差信号定义的不同,还可以将视觉伺服分为基
于位置的视觉伺服和基于图像的视觉伺服.基于位
置的误差信号定义在三维笛卡儿空间,而基于图像
的的误差信号定义在二维图像空间.2.1.2 基于位置与基于图像的视觉伺服方法
基于位置的视觉伺服是根据得到的图像,由目
标的几何模型和摄像机模型估计出目标相对于摄像
机的位置,得到当前机器人的末端位姿和估计的目
标位姿的误差,通过视觉控制器进行调节.基于位置
的视觉伺服的结构如图1所示.基于位置的视觉伺
服需要通过图像进行三维重构,在三维笛卡儿空间
计算误差.这种方法的优点在于误差信号和关节控
制器的输入信号都是空间位姿,实现起来比较容易.
但由于根据图像估计目标的空间位姿,机器人的运
动学模型误差和摄像机的标定误差都直接影响系统
的控制精度,且没有对图像进行直接控制,易使目标
离开视场.
图1 基于位置的视觉伺服结构框图
Fig.1 Structuraldiagramofposition2basedvisualservoing
基于图像的视觉伺服直接计算图像误差,产生
相应的控制信号,不需要三维重建,但需要计算图
像雅可比矩阵.基于图像的视觉伺服的结构如图2
所示.基于图像视觉伺服的突出优点是对标定误差
和空间模型误差不敏感,缺点是设计控制器困难,伺
服过程中容易进入图像雅可比矩阵的奇异点,一般
需要估计目标的深度信息,而且只在目标位置附近
的邻域范围内收敛.求解图像雅可比矩阵是基于图
像视觉伺服的一个主要任务,数学描述如下: f.=
J(f,r)r,f为特征的图像坐标,J为图像雅可比矩
阵,r为机器人末端坐标.求解图像雅可比矩阵主要有3种方法:直接估计方法、深度估计方法、常数近
似方法.直接估计方法不考虑图像雅可比的解析形
式,在摄像机运动过程中直接估计得到数值解.深度
估计的方法需要求出图像雅可比矩阵的解析式,在
每一个控制周期估计深度值,代入解析式求值.这种
方法实时在线调整雅可比矩阵的值,精度较高,但计
算量较大.常数近似方法是简化的方法,图像雅可比
矩阵的值在整个视觉伺服过程中保持不变,通常取
理想图像特征下的图像雅可比矩阵的值.常数近似
的方法只能保证在目标位置的一个更小邻域内收
敛.
图2 基于图像的视觉伺服结构框图
Fig.2 Structuraldiagramofimage2basedvisualservoing
2.1.3 混合视觉伺服方法
由于基于位置和基于图像的视觉伺服方法都具
有一些难以克服的缺点,人们提出了混和视觉伺服
方法.混合视觉伺服的主要思想是采用图像伺服控制一部分自由度,余下的自由度采用其他技术控制,
不需要计算图像雅可比矩阵.混合视觉伺服以Malis
提出的2.5D视觉伺服方法最具有代表性[3],2.5D
视觉伺服的结构框图如图3所示.872 机 器 人2004年5月
图3 2.5D视觉伺服的结构框图
Fig.3 Structuraldiagramof2.5Dvisualservoing
2.5D的视觉伺服方法,是在已知摄像机内参数
的前提下,计算当前图像特征与理想图像特征的单
应性矩阵H(homography).在epipolar几何中,单应
性矩阵H满足如下关系:f=Hf3,其中f为当前
图像特征的奇次坐标,f3为理想图像特征的奇次
坐标.将单应性矩阵H分解为旋转部分和平移部
分,对应摄像机的旋转控制和位移控制,它的误差信
号e定义为:
e=[u-u3,v-v3,log(z/z3),θTu]
其中u、v为特征的当前图像坐标,u、v为特征
的理想图像坐标,θ和uT为根据分解的旋转矩阵得
到的旋转角和旋转轴,z和z为当前深度和理想深
度信息,这样就实现了在图像空间控制平移运动,在
笛卡儿空间实现转动控制.Deguchi[4]也提出了混合
视觉伺服方法,思想与2.5D方法是一致的,只是在
单应性矩阵分解上采用不同的方法.这种混合的视
觉伺服方法继承了基于位置和基于图像视觉伺服的
优点,既保证了对于标定误差的鲁棒性以及不依赖
于笛卡儿空间模型的特点,又避免了直接估计深度
信息,可以设计解耦的控制律,可以达到全局稳定.
这种方法虽然避免了直接计算图像雅可比矩阵,但
需要在线实时计算图像间的单应性矩阵以及对其进
行分解,计算复杂、计算量大.在计算单应性矩阵时,
为了减少计算量,常采用线性最小二乘估计方法,但
对图像噪声敏感.
2.2 特征选择
高效、快速的图像处理算法是实施视觉伺服的
前提.对于视觉伺服系统,图像处理过程可以概括
为:目标检测、图像与目标的匹配,对于跟踪运动目
标的视觉伺服系统还应包括目标运动的估计.当前,
视觉伺服中的图像处理主要集中在目标识别和图像
特征的选择,这里主要讨论一下图像特征选择的研
究进展.图像特征的选择对于视觉伺服系统的性能
具有重要的影响,不合适地特征选择容易使特征离开视场,或者不能提供充分的目标信息而导致视觉
伺服失败.图像特征的选择应具有一些基本的原则:
识别容易,对目标的位置灵敏,可控.图像特征的数
量对系统性能也具有重要的影响,合适地增加图像
特征,即冗余特征,可以增加视觉伺服系统的灵敏
度.但图像特征的数量也不宜过多,否则会造成图像
处理的负担过重.视觉伺服研究所用到的图像特征
大多采用简单的几何特征:点、直线、圆等,以及几何
参数,例如点之间的距离、直线斜率、椭圆的轴长等.
此外,也常采用基于目标轮廓的特征选择和基于区
域的特征选择[5].简单几何特征属于局部特征,对
于摄像机运动的视觉伺服,容易造成图像特征在一
些情况下无法观察到.基于区域的特征选择不要求
特殊的图像结构,对图像的畸变具有较强的鲁棒性,
但对背景变化敏感.
当前视觉伺服的图像特征选择所面临的主要问
题是如何提高鲁棒性.针对鲁棒性问题,当前特征选
择的一个趋势是避免采用单一类别的图像特征,而
采用多个图像特征类别的组合,例如由特征点组成
的直线间的角度、特征点以及其所构成区域的面积
所组成特征集[6].此外,还有一种视觉特征信息融
合的方法,它的思想与机器人的多传感器信息融合
的思想相似,综合了多个反映目标特征的视觉信息,
例如:颜色、边缘、图像的运动等,采用模糊逻辑和加
权的方法得出结论,相对于以往的特征选择方法具
有更强的鲁棒性[7].此外,对于一些比较复杂的任
务和目标,必须要保证相当数量的图像特征.这种情
况下图像的特征选择比较复杂,为了减少计算量提
高图像特征的效率,需要采用图像特征的自动选择.
图像特征的自动选择是根据视觉伺服系统以及任务
对象的状态,动态地在视觉特征集中选择信息量高、
稳定的图像特征子集[8].文献[8]中,引入了任务约
束来减少候选图像特征的数量,然后采用优化的方
法在图像特征集中得到理想的图像特征.这种方法972 第26卷第3期王麟琨等: 机器人视觉伺服研究进展