机器人视觉伺服研究进展-中科院自动化所-谭民

  • 格式:pdf
  • 大小:434.09 KB
  • 文档页数:6

文章编号:100220446(2004)0320277206

机器人视觉伺服研究进展Ξ

王麟琨,徐德,谭民

(中国科学院自动化研究所复杂系统与智能科学实验室,北京 100080)

摘 要:介绍了机器人视觉伺服系统的结构和主要研究内容,比较了当前几种主要的视觉伺服方法,针对当前

机器人视觉伺服所面临的主要问题,详细阐述了近期提出的一些解决方法.

关键词:机器人;视觉伺服;综述

中图分类号: TP24 文献标识码: B

SurveyofResearchonRoboticVisualServoing

WANGLin2kun,XUDe,TANMin

(LaboratoryofComplexSystemsandIntelligenceScience,InstituteofAutomation,ChineseAcademyofSciences,Beijing 100080,China)

 Abstract:Inthispaper,structuresandcontentsofroboticvisualservoingsystemsareintroduced.Then,acomparison

betweenmethodsofdifferentroboticvisualservoingsystemsisgiven.Furthermore,somenewmethodsarerepresentedin

detailtosolveproblemsofroboticvisualservoing.

 Keywords:robot;visualservoing;survey

1 引言(Introduction)

随着科学技术的发展以及机器人应用领域的扩

大,人们对机器人技术提出了更高的要求,希望机器

人具有更高的智能和更强的环境适应能力,机器人

视觉伺服研究正是为了满足这一要求而展开的.机

器人视觉伺服最早出现于20世纪80年代,在90年

代中后期发展迅速.这是因为机器人应用领域的扩

展以及计算机硬件技术的突飞猛进,极大地提高了

图像处理的速度,大幅降低了专用图像处理设备的

费用.视觉伺服控制与基于传统传感器的机器人控

制相比,具有比较明显的优点:更高的灵活性,更高

的精度,能够对机器人标定误差具有强的鲁棒性等.

以上优点决定了机器人视觉伺服在较短的时间里成

为机器人研究领域中的热点之一,并在工业生产、海

洋探测等众多领域得到了成功的应用.

2 机器人视觉伺服研究的主要内容(Prima2

ryresearchofroboticvisualservoing)

机器人视觉伺服系统由视觉传感向控制器提供

外部信息,调整机器人的位置和姿态.研究内容涉及到图像处理、机器视觉、控制理论、运动学等多个领

域.当前机器人视觉伺服研究的主要内容可以归纳

为视觉伺服系统结构、快速有效的图像处理算法以

及视觉伺服控制器的设计等几个主要方面.

2.1 机器人视觉伺服系统的结构

2.1.1 视觉伺服系统的分类

根据不同的标准,机器人视觉伺服系统可以被

划分为不同的类型.根据摄像机的数目的不同,可以

分为单目视觉伺服系统、双目视觉伺服系统以及多

目视觉伺服系统.单目视觉无法直接得到目标的三

维信息,一般通过移动获得深度信息.单目视觉适用

于工作任务比较简单且深度信息要求不高的工作环

境.多目视觉伺服可以观察到目标的不同部分,可以

得到更为丰富的信息,但视觉控制器的设计比较复

杂,且相对于双目视觉伺服更加难以保证系统的稳

定性[1].双目视觉可以得到深度信息,当前的视觉伺

服系统主要采用双目视觉.根据摄像机放置位置的

不同,可以分为手眼系统和固定摄像机系统.手眼系

统能得到目标的精确位置,可以实现精确控制,但只

能得到小的工作空间场景,而且由于手眼系统只能 第26卷第3期 2004年5月 机器人 ROBOT Vol.26,No.3 May,2004

Ξ收稿日期:2003-09-20观察到目标而无法观察到机器人末端,因此需要通

过已知的机器人运动学模型来求解目标与机器人末

端的位置关系,对标定误差以及运动学误差比较敏

感.固定放置的摄像机既可以观察到目标也可以观

察到机器人末端,并且可以得到大的工作空间场景,

能得到机器人末端相对于目标的相对速度,但无法

得到目标的准确信息,且机器人运动可能造成目标

图像的遮挡.为了克服两种摄像机放置位置的不足,

当前的一种解决方法是两种方式的协作使用[2].根

据误差信号定义的不同,还可以将视觉伺服分为基

于位置的视觉伺服和基于图像的视觉伺服.基于位

置的误差信号定义在三维笛卡儿空间,而基于图像

的的误差信号定义在二维图像空间.2.1.2 基于位置与基于图像的视觉伺服方法

基于位置的视觉伺服是根据得到的图像,由目

标的几何模型和摄像机模型估计出目标相对于摄像

机的位置,得到当前机器人的末端位姿和估计的目

标位姿的误差,通过视觉控制器进行调节.基于位置

的视觉伺服的结构如图1所示.基于位置的视觉伺

服需要通过图像进行三维重构,在三维笛卡儿空间

计算误差.这种方法的优点在于误差信号和关节控

制器的输入信号都是空间位姿,实现起来比较容易.

但由于根据图像估计目标的空间位姿,机器人的运

动学模型误差和摄像机的标定误差都直接影响系统

的控制精度,且没有对图像进行直接控制,易使目标

离开视场.

图1 基于位置的视觉伺服结构框图

Fig.1 Structuraldiagramofposition2basedvisualservoing

基于图像的视觉伺服直接计算图像误差,产生

相应的控制信号,不需要三维重建,但需要计算图

像雅可比矩阵.基于图像的视觉伺服的结构如图2

所示.基于图像视觉伺服的突出优点是对标定误差

和空间模型误差不敏感,缺点是设计控制器困难,伺

服过程中容易进入图像雅可比矩阵的奇异点,一般

需要估计目标的深度信息,而且只在目标位置附近

的邻域范围内收敛.求解图像雅可比矩阵是基于图

像视觉伺服的一个主要任务,数学描述如下: f.=

J(f,r)󰂻r,f为特征的图像坐标,J为图像雅可比矩

阵,r为机器人末端坐标.求解图像雅可比矩阵主要有3种方法:直接估计方法、深度估计方法、常数近

似方法.直接估计方法不考虑图像雅可比的解析形

式,在摄像机运动过程中直接估计得到数值解.深度

估计的方法需要求出图像雅可比矩阵的解析式,在

每一个控制周期估计深度值,代入解析式求值.这种

方法实时在线调整雅可比矩阵的值,精度较高,但计

算量较大.常数近似方法是简化的方法,图像雅可比

矩阵的值在整个视觉伺服过程中保持不变,通常取

理想图像特征下的图像雅可比矩阵的值.常数近似

的方法只能保证在目标位置的一个更小邻域内收

敛.

图2 基于图像的视觉伺服结构框图

Fig.2 Structuraldiagramofimage2basedvisualservoing

2.1.3 混合视觉伺服方法

由于基于位置和基于图像的视觉伺服方法都具

有一些难以克服的缺点,人们提出了混和视觉伺服

方法.混合视觉伺服的主要思想是采用图像伺服控制一部分自由度,余下的自由度采用其他技术控制,

不需要计算图像雅可比矩阵.混合视觉伺服以Malis

提出的2.5D视觉伺服方法最具有代表性[3],2.5D

视觉伺服的结构框图如图3所示.872 机 器 人2004年5月 

图3 2.5D视觉伺服的结构框图

Fig.3 Structuraldiagramof2.5Dvisualservoing

2.5D的视觉伺服方法,是在已知摄像机内参数

的前提下,计算当前图像特征与理想图像特征的单

应性矩阵H(homography).在epipolar几何中,单应

性矩阵H满足如下关系:f=Hf3,其中f为当前

图像特征的奇次坐标,f3为理想图像特征的奇次

坐标.将单应性矩阵H分解为旋转部分和平移部

分,对应摄像机的旋转控制和位移控制,它的误差信

号e定义为:

e=[u-u3,v-v3,log(z/z3),θTu]

其中u、v为特征的当前图像坐标,u󰁸、v󰁸为特征

的理想图像坐标,θ和uT为根据分解的旋转矩阵得

到的旋转角和旋转轴,z和z󰁸为当前深度和理想深

度信息,这样就实现了在图像空间控制平移运动,在

笛卡儿空间实现转动控制.Deguchi[4]也提出了混合

视觉伺服方法,思想与2.5D方法是一致的,只是在

单应性矩阵分解上采用不同的方法.这种混合的视

觉伺服方法继承了基于位置和基于图像视觉伺服的

优点,既保证了对于标定误差的鲁棒性以及不依赖

于笛卡儿空间模型的特点,又避免了直接估计深度

信息,可以设计解耦的控制律,可以达到全局稳定.

这种方法虽然避免了直接计算图像雅可比矩阵,但

需要在线实时计算图像间的单应性矩阵以及对其进

行分解,计算复杂、计算量大.在计算单应性矩阵时,

为了减少计算量,常采用线性最小二乘估计方法,但

对图像噪声敏感.

2.2 特征选择

高效、快速的图像处理算法是实施视觉伺服的

前提.对于视觉伺服系统,图像处理过程可以概括

为:目标检测、图像与目标的匹配,对于跟踪运动目

标的视觉伺服系统还应包括目标运动的估计.当前,

视觉伺服中的图像处理主要集中在目标识别和图像

特征的选择,这里主要讨论一下图像特征选择的研

究进展.图像特征的选择对于视觉伺服系统的性能

具有重要的影响,不合适地特征选择容易使特征离开视场,或者不能提供充分的目标信息而导致视觉

伺服失败.图像特征的选择应具有一些基本的原则:

识别容易,对目标的位置灵敏,可控.图像特征的数

量对系统性能也具有重要的影响,合适地增加图像

特征,即冗余特征,可以增加视觉伺服系统的灵敏

度.但图像特征的数量也不宜过多,否则会造成图像

处理的负担过重.视觉伺服研究所用到的图像特征

大多采用简单的几何特征:点、直线、圆等,以及几何

参数,例如点之间的距离、直线斜率、椭圆的轴长等.

此外,也常采用基于目标轮廓的特征选择和基于区

域的特征选择[5].简单几何特征属于局部特征,对

于摄像机运动的视觉伺服,容易造成图像特征在一

些情况下无法观察到.基于区域的特征选择不要求

特殊的图像结构,对图像的畸变具有较强的鲁棒性,

但对背景变化敏感.

当前视觉伺服的图像特征选择所面临的主要问

题是如何提高鲁棒性.针对鲁棒性问题,当前特征选

择的一个趋势是避免采用单一类别的图像特征,而

采用多个图像特征类别的组合,例如由特征点组成

的直线间的角度、特征点以及其所构成区域的面积

所组成特征集[6].此外,还有一种视觉特征信息融

合的方法,它的思想与机器人的多传感器信息融合

的思想相似,综合了多个反映目标特征的视觉信息,

例如:颜色、边缘、图像的运动等,采用模糊逻辑和加

权的方法得出结论,相对于以往的特征选择方法具

有更强的鲁棒性[7].此外,对于一些比较复杂的任

务和目标,必须要保证相当数量的图像特征.这种情

况下图像的特征选择比较复杂,为了减少计算量提

高图像特征的效率,需要采用图像特征的自动选择.

图像特征的自动选择是根据视觉伺服系统以及任务

对象的状态,动态地在视觉特征集中选择信息量高、

稳定的图像特征子集[8].文献[8]中,引入了任务约

束来减少候选图像特征的数量,然后采用优化的方

法在图像特征集中得到理想的图像特征.这种方法972 第26卷第3期王麟琨等: 机器人视觉伺服研究进展