下载文档原格式
机器人视觉伺服的发展现状摘要：本文对机器人视觉伺服系统的发展现状进行简单的介绍，之后提出视觉伺服领域主要存在的问题，，并对机器人视觉伺服的未来研究方向进行了展望关键词：机器人视觉伺服系统；发展；现状1机器视觉伺服的发展现状1.1机器视觉的发展历程一直以来，人类都是通过眼睛获取大多数外部信息，然而随着科技的不断进步，科学家们提出创造一种具有人眼功能的智能机器代替人类工作，更加丰富地认识和理解外部世界。
机器视觉，顾名思义就是采用现代科学技术手段，软硬件相结合，使机器代替人类的眼睛，从而获取视觉信息，辅助设备完成期望的工作。
机器视觉不仅能够识别出眼睛可以观察到的表面信息，还能够识别目标的内部信息。
机器视觉最早发展与日本以及欧美风国家。
随着智能机械设备不断应用，发明一种代替人眼进行识别工作的辅助设备被提出，涉及领域包括字符识别、工件表面缺陷检测、航空图像解译等技术的研究，机器视觉技术由此而来。
在60年代左右，美国麻省理工学院的的一名学者提出了可以利用物体的二维图像来对一些三维模型和空间关系情况进行再现，从而建立起面向三维场景理解的立体视觉研究。
70年代麻省理工学院MARR创立了系统化的视觉信息处理理论，指出人类视觉从三维场景中提取对观测者有用信息的过程需要经过多层次的处理，并且这种处理过程可以用计算的方式重现。
此后，越来越多的学者进入了机器视觉领域，关于主动视觉等新的概念、方法与理论不断涌现。
与此同时，随着CCD相机、CPU与DSP等硬件与软件的发展，计算机视觉逐步从实验室理论研究转向工业领域的相关技术应用，从而产生了机器视觉。
由于具有实时性好、定位精度与智能化程度高等特点，机器视觉已经在智能汽车、电子、医药、食品、农业等领域得到了广泛的应用，诞生了许多著名的机器视觉相关产业公司，包括光源供应商日本Moritex、镜头厂家美国Navitar、德国Schneide等，工业相机厂家德国AVT、瑞士AOS；视觉分析软件厂家德国MVTec、美国康耐视、加拿大Adept等。
视觉伺服控制算法优化综述摘要：系统论述了视觉伺服控制的应用现状。
重点介绍了针对不同的实际情况，提出优化的基于位置的视觉伺服系统和基于图像的视觉伺服系统的控制算法。
优化后的算法效率高，具有很强的有效性和可行性。
优化后的控制系统功能更强，更精确有效。
关键词：视觉伺服;优化;算法Survey of Visual Servoing control algorithmAbstract:The application status of the visual servo control are reviewed . For different realities , we put fortward an improved position-based visual servo systems and image -based visual servo control algorithm of the system. High efficiency of the improved algorithm has strong effectiveness and feasibility. The improved control system functions stronger, and become more precise and effective.Keywords:Visual Servoing;improve;Algorithm1 引言随着科技的快速发展，在现代工业自动化生产过程中,机器视觉正成为一种提高生产效率和保证产品质量的关键技术,如机械零件的自动检测、智能机器人控制及生产线的自动监控等。
基于视觉的伺服策略是采用相机所观察的特征来控制机器人移动的一种灵活有效的方法。
视觉伺服主要分为3种：基于位置的视觉伺服(PBVS)、基于图像的视觉伺服(IBVS)和混合控制视觉伺服。
早期的研究主要是基于位置的视觉伺服研究，近年来主要是基于图像的视觉伺服研究。
毕业设计（论文）题目工业机器人视觉伺服专业自动化1 / 50摘要机器人视觉伺服是利用从图像中提取的视觉信息—视觉特征，进行机器人末端执行器的位置闭环控制。
它是实时图像处理、机器人运动学、控制理论、计算机技术以与实时计算等领域的融合，是计算机视觉研究前沿的一个重要分支。
本文首先研究了基于标定技术的机器人视觉伺服，推导了眼在手和眼固定两种配置下的手眼映射关系—图像雅克比矩阵，并在MATLAB环境下对这两种配置分别仿真，仿真结果表明该方法能很好地定位到目标。
然而，在实际中，由于种种原因，这种基于标定的机器人视觉伺服方法受到了很大的限制。
无标定视觉伺服开始成为机器人视觉伺服领域的一个研究热点，所谓“无标定”视觉伺服是指在不预先标定摄像机和机器人参数的情况下，直接通过图像上的系统状态误差来设计控制律，驱动机器人运动，使系统误差收敛到一个容许的误差。
因此，本文研究了基于kalman滤波原理的机器人无标定视觉伺服，并对其仿真，仿真结果表明了该方法的有效性和可行性。
最后，采用VC++6.0编写控制软件，并以MOTOMAN—SV3XL型六自由度工业机器人为对象，采用 CCD摄像机、图像采集卡与PC机建立了机器人无标定视觉伺服实验平台，完成了基于kalman滤波的机器人无标定视觉伺服定位实验，实验结果表明该方法能很好的定位到目标。
关键词：MOTOMAN-SV3XL工业机器人、图像雅可比矩阵、Kalman滤波、无标定视觉伺服AbstractRobot visual servoing Is to use visual information-visual features, which are extracted from the images, to complete robot end-position closed-loop control. Robot visual servoing researchis the fusion of some degree of expertise in several area,suchasreal-time image processing, robot kinematics,robot dynamics, control theory, computer technology ,real-time3 / 50computation and so on. It is a important subject in the research field of computer vision.First,I studied visual servoingrobot, which based on the calibration technique and derived the relationship between eye and hand—image jacobian matrix.Then simulated the eye-in-hand and the eye-fixed robot visual servoing under MATLAB. Simulation results show that this method can well positioned to target.However in practice, a varity of reasons,limit the application of the visual servoing control method based on calibrated technologies to a great extent. Uncalibrated visual servoing has become a hotspot in the field of robot visual servoing control.Uncalibrated visual servoing means that vision control law is designed directly by the system state error from image plane without pre-calibrating the parpmeters of camera and robot,which controls the robot to make system error converge to a permissible region. Therefore, uncalibrated visual servoing, which based on kalman filter, has been studied and simulated in this paper.Simulation results show the effectiveness and feasibility of the method.Final, completed robot visual servoing positioning experiment, which based on kalman filter.Control software has been programed with VC++6.0. Simultaneously, a MOTOMAN industry robot,a CCD camera and an image grabber card, together with PC host computer,construct a hardware platform. The results show the well performance of the corresponding visual positioning.Keywords: MOTOMAN-SV3XL industrial robot, image jacobian matrix, Kalman filter, uncalibrated visual servoing目录1绪论11.1引言11.2工业机器人视觉伺服控制系统概述21.2.1工业机器人视觉伺服的发展情况21.2.2 视觉伺服的分类21.2.3图像特征的选取71.3 无标定视觉伺服系统81.4本文的主要工作102基于标定技术的机器人视觉伺服122.1图像雅可比矩阵模型简介122.2摄像机模型152.3机器人模型172.4 视觉控制器的设计182.5基于图像雅克比矩阵的机器人标定视觉伺服的仿真18 3基于kalman滤波的机器人无标定视觉伺服233.1引言233.2 kalman滤波算法概述233.3基于kalman滤波原理的信号滤波仿真253.4固定眼的基于Kalman滤波的雅可比矩阵在线辨识273.5基于kalman滤波的机器人无标定视觉仿真284机器人无标定视觉伺服实验324.1系统整体结构324.2 机器人控制子系统324.3视觉信息处理子系统354.4机器人无标定视觉伺服控制实验37I / 505总结41致42参考文献431绪论1.1引言近年来，机器人技术已成为高技术领域具有代表性的战略性技术之一，它使得传统的工业生产方式发生根本性的变化，对人类社会的发展产生深远的影响。
基于图像处理的视觉伺服系统研究随着科技的不断发展，图像处理技术在各个领域的应用越来越广泛。
其中，基于图像处理的视觉伺服系统是一种重要的应用方向。
视觉伺服系统是一种通过图像识别和处理技术实现自动控制的机械系统，包括传感器、图像采集卡、处理器、控制器和执行器等部分。
本文将介绍基于图像处理的视觉伺服系统的研究现状、应用领域以及未来发展趋势。
一、研究现状基于图像处理的视觉伺服系统是近年来研究的热点之一。
通过图像识别和处理技术，系统可以实现对目标物体的追踪、定位和控制等功能。
目前，已经有不少研究者对该领域进行了深入探究，并取得了重要的研究成果。
1. 图像处理算法图像处理算法是基于图像处理的视觉伺服系统的核心技术之一。
包括图像预处理、特征提取、分类识别等多个方面。
其中，特征提取是关键的一步，需要根据不同的目标物体选择不同的特征提取算法。
当前常用的特征提取算法有边缘检测算法、颜色直方图算法、形状匹配算法等。
2. 传感器技术传感器技术是基于图像处理的视觉伺服系统的另一核心技术。
目前常用的传感器包括相机、红外线传感器、超声波传感器等。
相机是其中最常用的一种，具有高分辨率、图像鲜明等优点。
同时，随着科技的不断进步，传感器技术也在不断创新，新型传感器的出现将极大地促进系统性能的不断提高。
3. 控制算法视觉伺服系统的控制算法需要结合上述两个核心技术实现，包括控制平台的设计、PID控制算法的实现等多个方面。
当前常用的控制算法包括模糊控制算法、神经网络控制算法等。
二、应用领域基于图像处理的视觉伺服系统在多个领域中得到了广泛应用。
以下是其中几个应用领域：1. 工业制造基于图像处理的视觉伺服系统可以应用于工业生产线上，实现对生产过程中物件的位置、姿态、大小的检测与控制。
例如，在给瓶子打标签时，系统可以对瓶子的大小、形状进行检测，确保标签放置位置的准确性。
2. 视觉导航基于图像处理的视觉伺服系统可以应用于无人机、机器人等设备的视觉导航。
机器人视觉伺服系统2014-2-18 15:28:29 浏览：112目前，在全世界的制造业中，工业机器人已经在生产中起到了越来越重要的作用。
为了使机器人能够胜任更复杂的工作，机器人不但要有更好的控制系统，还需要更多地感知环境的变化。
其中机器人视觉以其信息量大、信息完整成为最重要的机器人感知功能。
机器人视觉伺服系统是机器视觉和机器人控制的有机结合，是一个非线性、强耦合的复杂系统，其内容涉及图象处理、机器人运动学和动力学、控制理论等研究领域。
随着摄像设备性能价格比和计算机信息处理速度的提高，以及有关理论的日益完善，视觉伺服已具备实际应用的技术条件，相关的技术问题也成为当前研究的热点。
本文对机器人视觉伺服技术进行了综述，介绍了机器人视觉伺服系统的概念及发展历程和分类，重点介绍了基于位置的视觉伺服系统和基于图像的视觉伺服系统。
对机器人视觉所涉及的前沿问题做了概括，并指出了目前研究中所存在的问题及今后发展方向。
机器人视觉伺服系统视觉伺服的定义：人类对于外部的信息获取大部分是通过眼睛获得的，千百年来人类一直梦想着能够制造出智能机器，这种智能机器首先具有人眼的功能，可以对外部世界进行认识和理解。
人脑中有很多组织参与了视觉信息的处理，因而能够轻易的处理许多视觉问题，可是视觉认知作为一个过程，人类却知道的很少，从而造成了对智能机器的梦想一直难以实现。
随着照相机技术的发展和计算机技术的出现，具有视觉功能的智能机器开始被人类制造出来，逐步形成了机器视觉学科和产业。
所谓机器视觉，美国制造工程师协会(sme society of manufacturing engineers)机器视觉分会和美国机器人工业协会(ria robotic industries association) 的自动化视觉分会给出的定义是：“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。
视觉伺服综述一、视觉伺服定义：视觉伺服是利用视觉信息控制机械手末端执行器与目标物体之间的相对位姿(pose：position and orientation)，或者是利用一组从图像中提取的特征来控制机械手末端执行器与该组特征之间的相对位姿。
根据利用图像信息的不同，可以将视觉伺服分为基于位置的视觉伺服、基于图像的视觉伺服和2.5D视觉伺服。
如果将视觉伺服控制应用到移动机器人，例如自治车辆、自治飞行器和自治潜水器，那么就是利用视觉信息或者一组从图像中提出的特征信息来控制机器人与目标物体之间的相对位姿。
因此，可以认为视觉伺服控制是一门多学科交叉的研究领域，它涉及许多学科，主要包括：数字图像处理、数字信号处理、实时系统、控制理论、运动学、动力学、计算机视觉和机器人学等。
到了80年代末、90年代初，关于视觉伺服的论文数量明显增加，这得益于个人计算机处理能力的提高以及摄像机技术的发展。
因为在个人计算机性能提高之前，研究视觉伺服需要专用的、价格昂贵的采用流水线技术的像素处理设备，因此，当个人计算机性能大幅度提高以后，越来越多的学者加入到视觉伺服控制研究领域，大大地提高了视觉伺服控制研究方面的论文数量。
针对视觉伺服的应用，各国学者也提出了很多的应用原型，例如：从传送带上抓取零件、零件装配、机器人遥操作、导弹跟踪图像系统、水果采摘、汽车无人驾驶和飞机降落等。
二、视觉伺服系统的组成一个典型的工业机器视觉应用系统包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。
系统首先采用CCD摄像机或其它图像拍摄装置将目标转换成图像信号，然后转变成数字化信号传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，进行各种运算来抽取目标的特征，根据预设的容许度和其他条件输出判断结果。
三、视觉伺服控制的研究内容典型的视觉伺服控制任务通常有：①定位问题(positioning)，即通过视觉信息控制机械手末端执行器对准目标物体，也就是控制机械手末端执行器运动到理想位姿。
基于图像的机器人视觉伺服系统综述摘要：本文介绍了机器人视觉伺服系统的概念、发展历程，而且从不同的角度对机器人视觉伺服系统进行了分类。
最后重点介绍了基于图像的机器人视觉伺服系统，以及其的simulink仿真实现。
关键词：机器人；视觉伺服；仿真Abstract:The concept and development process of the robot visual servo system is introduced in this paper, and from different angles of the robot visual servo system are classified. Finally the paper introduces the robot visual servo system based on image, and the realization of Simulink simulation.Key words: robot, visual servoing, simulation1．引言随着先进科学技术的不断发展，机器人已经在生产和生活中起到了越来越重要的作用，因此人们不断对机器人技术提出更高的要求。
为了使机器人能够完成更加复杂的工作，适应更加复杂的环境，人们不断的为机器人寻求更为完善的控制系统。
而影响其发展的一个重要原因就是机器人缺少像人一样的感知能力，在人们为机器人添加各种外部传感器的过程中，机器人视觉以其信息大、信息完整度高成为最重要的机器人感知功能。
机器人的视觉伺服系统是机器人视觉和控制的相结合的复杂系统。
其内容包括了图像的采集与处理、运动学和动力学、自动控制理论及其系统数据实时分析等领域于一体的新兴学科。
随着技术的发展，以及相关理论的日益完善，视觉伺服已具备了在实际中应用的条件；而随着机器人应用领域的不断扩展，重要性也不断提高，与其相关的技术问题已经成为了当前的研究热点。
机器人视觉伺服控制技术研究机器人技术是近年来得到快速发展的一项技术，利用计算机和机械等技术实现无人操作或自主操作是其主要应用之一。
在机器人技术应用中，视觉伺服控制技术被广泛应用和研究。
视觉伺服控制技术是利用视觉信息来控制机器人的运动，具有高精度、高速度和高灵敏度等特点，已成为机器人技术和工业自动化领域中的一个重要研究方向。
一、机器人视觉伺服控制技术的基本原理传统机器人控制方法通常是基于传感器和控制器的结合，但是这种方法往往需要复杂的算法和控制机制，导致其不稳定性和误差较大。
而视觉伺服控制技术就是利用机器视觉技术来获取机器人的运动和姿态信息，将其反馈到机器人控制器中进行处理和调整，实现更加精确和高效的控制操作。
视觉伺服控制技术的基本原理是将机器视觉技术应用于机器人控制中，利用机器人自身装备的摄像头、光学传感器等设备获取环境信息和机器人状态。
通过对图像和数据进行处理和分析，得到机器人与环境之间的距离、方向和速度等信息，从而实现机器人位置姿态的控制。
二、机器人视觉伺服控制技术的应用视觉伺服控制技术在机器人技术中有着广泛的应用，其中最主要的是在工业自动化领域中的应用。
工业机器人起初主要是用来实现物体的精准处理和组装等作业，而视觉伺服控制技术的应用则将机器人的控制精度和速度提高到了一个新的水平，使其可以更加精准、高效地完成装配、加工等工作。
此外，视觉伺服控制技术还广泛应用于智能安防、智能家居、医疗机器人、无人驾驶等领域。
智能安防领域中，利用机器视觉技术和视觉伺服控制技术可以实现智能视频监控和入侵检测等功能；在智能家居领域中，机器人可以通过视觉伺服控制技术完成物品清理、家庭安全监测等任务；在医疗机器人领域中，机器人可以通过视觉识别技术和视觉伺服控制技术实现手术、治疗等工作；在无人驾驶领域中，机器人可以通过视觉伺服控制技术获得道路和交通信息，实现车辆的自动操作。
三、机器人视觉伺服控制技术的发展趋势随着技术的不断发展和应用场景的不断扩大，机器人视觉伺服控制技术也在不断升级和改进。
机器人无标定视觉伺服控制系统研究共3篇机器人无标定视觉伺服控制系统研究1随着科技的不断发展，机器人技术在各个领域得到了广泛应用。
在机器人控制系统中，视觉伺服控制系统起到了重要的作用。
在传统的机器人视觉伺服控制系统中，需要进行标定过程，以确定机器人和相机之间的空间关系。
但是，标定过程存在一定的难度和不确定性，同时还需要一定的时间和成本。
为了解决这个问题，无标定视觉伺服控制系统逐渐被广泛应用。
无标定视觉伺服控制系统是指在机器人和相机之间没有固定的空间关系的情况下，通过计算机视觉算法来实现机器人的运动控制。
相比于传统的标定方法，它可以减少标定时间和成本，提高对环境变化的适应能力。
无标定视觉伺服控制系统主要包括以下三个方面的技术：相机姿态估计、空间姿态解算和运动控制。
相机姿态估计是指通过像素坐标计算相机的位置和姿态。
这个过程中需要用到相机内参矩阵和外参矩阵，它们包括了相机的焦距、畸变参数和相机与世界参考坐标系之间的变换关系。
在无标定系统中，这些参数通过计算机视觉算法来估计，例如SIFT、SURF等特征匹配算法或者SLAM算法。
空间姿态解算是指将相机坐标系下的位置和姿态转换到机器人坐标系下。
这个过程中需要进行空间转换和坐标系变换，具体可以通过四元数、欧拉角或旋转矩阵来实现。
运动控制是指根据机器人姿态和速度，通过控制器来实现机器人的运动。
在无标定视觉伺服控制系统中，运动控制需要结合相机姿态估计和空间姿态解算来实现，确保机器人的运动和相机的拍摄一致。
总的来说，无标定视觉伺服控制系统的优点在于它可以实现快速标定和灵活控制，同时具有一定的适应环境变化的能力。
但是，它的缺点在于精度和稳定性无法与传统标定方法相比，同时需要更加复杂的计算算法和硬件设备。
因此，根据具体的应用场景和需求，需要选择合适的视觉伺服控制系统。
机器人无标定视觉伺服控制系统研究2机器人无标定视觉伺服控制系统研究机器人在现代制造业中扮演着越来越重要的角色，而机器人的视觉伺服控制系统是提高机器人性能以及实现工业自动化的关键技术之一。
基于图像的智能机器人视觉伺服系统一、本文概述随着科技的不断发展，机器人技术已经成为了现代工业、医疗、军事等领域不可或缺的一部分。
在机器人的众多应用中，视觉伺服系统发挥着至关重要的作用。
基于图像的智能机器人视觉伺服系统，利用图像处理技术和控制算法，使机器人能够准确识别、定位并跟踪目标对象，实现高效、精确的自动化操作。
本文将对基于图像的智能机器人视觉伺服系统进行深入研究，分析其工作原理、技术特点以及应用领域，并探讨其未来的发展趋势和挑战。
本文将介绍基于图像的智能机器人视觉伺服系统的基本概念和工作原理。
我们将详细阐述如何通过图像采集设备获取目标对象的图像信息，并利用图像处理技术提取出目标对象的特征信息。
然后，我们将介绍如何利用这些特征信息设计合适的控制算法，使机器人能够准确识别、定位并跟踪目标对象。
本文将分析基于图像的智能机器人视觉伺服系统的技术特点。
我们将探讨其与传统视觉伺服系统的区别和优势，并详细分析其在不同应用场景下的性能表现。
同时，我们还将介绍一些典型的基于图像的智能机器人视觉伺服系统实例，以便读者更好地理解和掌握相关技术。
本文将展望基于图像的智能机器人视觉伺服系统的未来发展趋势和挑战。
我们将分析当前技术存在的问题和瓶颈，并探讨如何通过技术创新和研发来解决这些问题。
我们还将预测未来该领域的发展趋势和应用前景，为相关研究和应用提供参考和借鉴。
通过本文的阐述和分析，我们希望能够为读者提供一个全面、深入的视角，帮助读者更好地理解和掌握基于图像的智能机器人视觉伺服系统的相关技术和应用。
二、基于图像的智能机器人视觉伺服系统基本原理基于图像的智能机器人视觉伺服系统是一种结合了图像处理、机器人技术和控制理论的高级机器人控制系统。
其基本原理可以概括为以下几个方面：图像获取与处理：通过安装在机器人上的摄像头获取环境的实时图像。
这些图像随后经过一系列图像处理算法，如滤波、增强、分割和特征提取等，以提取出对机器人运动控制有用的信息。
第３卷第２期２００８年４月智能系统学报ＣＡＡＩＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓＶ０１．３№．２Ａｐｒ．２００８机器人视觉伺服研究综述方勇纯（南开大学信息技术科学学院，天津３０００７１）摘要：首先对于３种机器人视觉伺服策略，即基于位置的视觉伺服、基于图像的视觉伺服以及２．５维视觉伺服进行了讨论．然后，对于视觉伺服的研究方向和面ｌ临的主要问题，如机器人位姿提取、视觉伺服系统的不确定性研究、图像空问的路径规划、智能视觉伺服等进行了分析和讨论．在此基础【：，对于机器人视觉伺服领域的未来研究重点，包括如何使参考点位于视场之内，高速伺服策略以及鲁棒视觉伺服技术进行了分析和展望．关键词：机器人；视觉伺服；轨迹规划；鲁棒性中图分类号：ＴＰ２４文献标识码：Ａ文章编号：１６７３—４７８５（２００８）０２－０１０９—０６ＡｓｕｒｖｅｙｏｆｒｏｂｏｔｖｉｓｕａｌｓｅｒｖｏｉｎｇＦＡＮＧＹｏｎｇ－ｃｈｕｎ（ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｉｃａｌＳｃｉｅｎｃｅ，ＮａｎｋａｉＵｎｉｖｅｒｓｉｔｙ，Ｔｉａｎｊｉｎ３０００７１．Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｉｎｔｈｉｓｓｕｒｖｅｙｏｆｖｉｓｕａｌｓｅｒｖｏｉｎｇｉｎｒｏｂｏｔｉｃｓｔｈｒｅｅｖｉｓｕａｌｓｅｒｖｏｉｎｇｓｔｒａｔｅｇｉｅｓａｒｅｄｉｓｃｕｓｓｅｄ：ｐｏｓｉ—ｔｉｏｎ－ｂａｓｅｄｖｉｓｕａｌｓｅｒｖｏｉｎｇ，ｉｍａｇｅ－ｂａｓｅｄｖｉｓｕａｌｓｅｒｖｏｉｎｇ，ａｎｄ２．５Ｄｖｉｓｕａｌｓｅｒｖｏｉｎｇ．Ｔｈｅｍａｉｎｒｅｓｅａｒｃｈｄｉ—ｒｅｃｔｉｏｎｓａｎｄｓｏｍｅｃｈａｌｌｅｎｇｉｎｇｐｒｏｂｌｅｍｓｉｎｔｈｅｖｉｓｕａｌｓｅｒｖｏｉｎｇｆｉｅｌｄａｒｅｄｉｓｃｕｓｓｅｄ，ｉｎｃｌｕｄｉｎｇｔｈｅｅｘｔｒａｃｔｉｏｎｏｆｐｏｓｉｔｉｏｎ／ｐｏｓｅｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｉｍａｇｅｓ，ｕｎｃｅｒｔａｉｎｔｉｅｓｉｎｖｉｓｕａｌｓｅｒｖｏｉｎｇｓｙｓｔｅｍｓ，ｐａｔｈｐｌａｎｎｉｎｇｉｎａｎｉｍ—ａｇｅｓｐａｃｅ，ａｎｄｉｎｔｅｌｌｉｇｅｎｔｖｉｓｕａｌｓｅｒｏｖｉｎｇ．Ａｄｄｉｔｉｏｎａｌｌｙ，ｐｏｓｓｉｂｌｅｆｕｔｕｒｅｒｅｓｅａｒｃｈａｒｅａｓａｒｅａｎａｌｙｚｅｄ．Ｅｘ－ａｍｐｌｅｓａｒｅｔｈｅｃｈａｌｌｅｎｇｅｏｆｋｅｅｐｉｎｇｒｅｆｅｒｅｎｃｅｐｏｉｎｔｓｗｉｔｈｉｎｃａｍｅｒａｉｍａｇｅｓ，ｆａｓｔｓｅｒｖｏｉｎｇｓｔｒａｔｅｇｉｅｓ，ａｎｄｒｏｂｕｓｔｖｉｓｕａｌｓｅｒｖｏｉｎｇｔｅｃｈｎｏｌｏｇｉｅｓ．Ｋｅｙｗｏｒｄｓ：ｒｏｂｏｔ；ｖｉｓｕａｌｓｅｒｖｏｉｎｇ；。
ｐａｔｈｐｌａｎｎｉｎｇ；ｒｏｂｕｓｔｎｅｓｓ为了使机器人能够在不确定动态环境下工作，必须提高它的学习能力与智能化水平，使其在恶劣或者危险环境下完成自身定位、地图构建、自主搜索等任务．为此，必须为机器人本体装配各种传感器，使它们能够获取关于外部环境的有关信息．视觉传感器由于具有成本低、信息丰富、算法简单、可靠性高等优点而被广泛应用于机器人控制系统，因此基于视觉的机器人控制——视觉伺服逐渐发展成为机器人领域最活跃的研究方向之一．所谓机器人视觉伺服，就是采用视觉传感器来间接检测机器人当前位姿或者其关于目标体的相对位姿，在此基础上，实现机器人的定位控制或者轨迹跟收稿日期：２００７—０９—２０．基金项目：围家自然科学基金资助项目（６０５７４０２７）；天津市应用基础研究计划资助项目（０７１ＣＹＢｊ０）５４００）；教育部额世纪优秀人才支持计划资助项日（ＮＣＥＴ－０６—０２１０）．通讯作者：方勇纯．Ｅ—ｍａｉｌ：ｙｆａｎｇ＠ｒｏｂｏｔ．ｎａｎｋａｉ．ｅｄｕ．ｅｌｌ踪［１－２｜．这是一个集计算机、机器视觉、自动控制、机器人、实时系统分析等领域于一体的新兴交叉学科［３。
４］．近年来，随着图像处理、模式识别等领域的快速发展，图像中蕴含的信息被更多地挖掘出来并得以应用，视觉伺服的精度和可靠性也日益提高，因此增强了机器人对周同环境的学习能力，使其能够根据对环境的了解来进行智能决策，并完成指定的任务．机器人视觉伺服策略根据反馈信息类型的差别，机器人视觉伺服一般分为基于位置的视觉伺服（ｉ维视觉伺服）和基于图像的视觉伺服（二维视觉伺服）２种［５］．由于这２种伺服方法各自存在不同的缺陷，后来又提出了将两者相结合的２．５维视觉伺服方法．１．１基于位置的视觉伺服基于位置的视觉伺服基本结构如图ｌ所示，它 万方数据智能系统学报第３卷利用摄像机的参数来建立图像信号与机器人的位置／姿态信息之间的映射，然后在伺服过程中，借助于图像信号来提取机器人的位置／姿态信息，并将它们与给定位姿进行比较，形成闭环反馈控制［６］．显然，这种方法成功与否很大程度上取决于能否从图像信号中准确提取机器人的位置／姿态信息，而这又决定于摄像机参数的准确性以及图像信号中噪声的大小．此外，对于这种方法而言，由于图像信号独立于控制环节之外，因此在伺服过程中，无法保证机器人或者参考物体始终位于摄像机的视野之内［７］．箜ｈ蠼俐鉴黔哑峭位姿ｌ逆映射ｌ信号ｌ理环肖Ｉ’劂Ｉ几何知识ｌ图Ｉ基于位置的视觉伺服基本结构Ｆｉｇ．１Ｓｃｈｅｍｅｏｆｐｏｓｉｔｉｏｎ－ｂａｓｅｄｖｉｓｕａｌｓｅｒｖｏｉｎｇ１．２基于图像的视觉伺服与三维视觉伺服不同，基于图像的视觉伺服将实时测量得到的图像信号与给定图像信号直接进行在线比较，然后利用所获得的图像误差进行反馈来形成闭环控制ｒ８。
１０｜．基于图像的视觉伺服系统的结构如图２所示．图２基于图像的视觉伺服基本结构Ｆｉｇ．２Ｓｃｈｅｍｅｏｆｉｍａｇｅ－ｂａｓｅｄｖｉｓｕａｌｓｅｒｖｏｉｎｇ基于图像的视觉伺服系统，伺服律通常选择为Ｔ—ｔ，｝（ｓ—ｓ’）．式中：Ｔ是控制量，Ｊ，是当前位姿的图像雅可比矩阵，而Ｊ产则是它的伪逆矩阵，ｓ和ｓ’则分别表示当前图像坐标和目标图像坐标．由于图像雅可比矩阵上中包含有未知的深度信息，因此无法得到‘，，及其伪逆矩阵．为此，一般通过深度估计等方法来求解图像雅可比矩阵［１¨，或者直接利用目标位姿的图像雅可比矩阵来近似代替时变矩阵‘，；，在这种近似处理下，上述方法只有在初始位姿位于目标位姿附近时，才能完成伺服任务．基于图像的视觉伺服对于摄像机模型的偏差具有较强的鲁棒性，通常也能较好地保证机器人或者参考物体位于摄像机的视野之内，但是在设计视觉伺服控制器时，这种方法又不可避免地遇到了图像雅可比矩阵Ｊ，的奇异性以及局部极小等问题［７］．１．３２．５维视觉伺服策略考虑到以上２种视觉伺服方法的局限性，法国机器人视觉控制专家Ｆ．Ｃｈａｕｍｅｔｔｅ等人提出了２．５维视觉伺服［１２］，其基本结构如图３所示．这种方法能成功地将图像信号与根据图像所提取的位置／姿态信号进行有机结合，并利用它们产生一种综合的误差信号进行反馈：ｅ—ｆ－ｅｆＴ气Ｔ］Ｔ．式中：ｅ，表示平移误差，它主要根据图像信号，并结合单应矩阵日分解得到的深度比来定义：ｅ。
一Ｅｕ—Ｕ’口一口＋ｌｏｇ（ｒ）］Ｔ．式中：（“，ｕ）和（“＋，可‘）分别表示当前图像和目标图像坐标，而ｒ则是当前深度和目标深度之间的比值．转动误差气定义为气一ｐ０．式中：ｐ表示单位转轴，而曰则是与之相对应的转角，两者都可以通过Ｈ分解后得到的旋转矩阵计算出来．上述误差定义方法使平移控制基本上在二维图像坐标下完成，而姿态控制则需要利用三维信息来实现，因此这是一种将二维信息与ｉ维信息有机结合的混合伺服方法，通常将其称为２．５维视觉伺服．日本机器人专家Ｄｅｇｕｃｈｉ也提出了类似的分解与伺服方法，不同的是，Ｄｅｇｕｅｈｉ分别采用三维信息和二维图像信息来实现平移和姿态控制［１３｜．簋Ｈ鋈辫颦删到粼ｌ—雄图像信引当前图像处理环节图３２．５维视觉伺服基本结构Ｆｉｇ．３Ｓｃｈｅｍｅｏｆ２．５Ｄｖｉｓｕａｌｓｅｒｖｏｉｎｇ２．５维视觉伺服可以在一定程度上解决以上提到的鲁棒性、奇异性、局部极小等问题，因此它是非常富有前景的一种视觉伺服策略．遗憾的是，这种方法仍然无法确保在伺服过程中参考物体始终位于摄像机的视野之内，另外，在分解单应矩阵时，有时存在解不惟一的问题．２视觉伺服领域的主要研究方向尽管近年来，视觉伺服得到了机器人以及自动控制领域专家的广泛关注，并在伺服策略和视觉伺服实际应用方面取得了较大的发展，但是现有的机 万方数据第２期方勇纯：机器人视觉伺服研究综述器人视觉伺服策略没有综合考虑系统中的各种不确定因素，如摄像机内／外参数的标定误差、图像信号中的噪声等，致使所设计的系统精度和可靠性不高，对于环境因素的变化缺乏鲁棒性．因此，如何有机地将各种先进控制方法应用于视觉伺服系统，解决系统中存在的图像偏离摄像机视野、图像误差、摄像机参数不确定性等问题，进一步提高视觉伺服系统的精度、效率和可靠性，是当前机器人视觉伺服的研究热点．２．１从图像中获取机器人位姿方法研究视觉伺服需要实现关于机器人位置和姿态的控制目标，为此，必须从图像中提取位姿信息来实现反馈控制．近年来，很多专家就如何从二维图像中尽可能准确地得到机器人位姿信息进行了研究，所采用的主要方法是特征点匹配和图像比较，即对当前图像和目标图像进行分析和对比，从中获得机器人位姿与目标值之间的偏差，具体算法包括单应矩阵计算和分解［１４－１Ｓ］、本质矩阵分解等［１６。
１７｜．另外，在视觉伺服过程中，当参考物体全部或者部分偏离于摄像机的视野之外，或者出现自遮挡（ｓｅｌｆ－ｏｃｃｌｕｓｉｏｎ）等现象时，通常需要结合图像轨迹的特点来估计单应矩阵或者本质矩阵，在此基础上，计算得到摄像机的位姿信号‘１８］．另一方面，为了从二维图像信号中提取机器人的位置／姿态信息，可以利用深度传感器，如激光等，来测量深度信号，并通过传感器之间的融合来获取位姿信息；或者是采用多个摄像机，通过立体视觉方法来获取三维信息［１引．这些方法具有较高的精度，但是会提高系统设计与分析的复杂度．基于这种原因，一些机器人领域的专家采用软测量的方法来在线估计深度信息．他们通过对视觉系统的动态特性进行详细分析，在此基础上，利用二维图像信号，并结合其动态特性以及其他有关信号来设计观测器，渐近估计伺服过程中的深度信息，并进而计算得到参考点的ｊ维笛卡儿坐标以及机器人的位姿信息［２∽３｜．如Ｗ．Ｄｉｘｏｎ和方勇纯等人采用李雅普诺夫方法构造了一种具有滑模结构的非线性观测器，这种观测器可以在线估计视觉系统中的深度信号，并实现三维直角坐标估计误差的渐近收敛【２川．而Ｙ．Ｃｈｅｎ等人则通过将非线性视觉系统近似为一组线性时变系统，然后采用标准的线性观测器来估计得到深度信息Ｌ２引．２．２视觉伺服的鲁棒性和自适应性研究视觉伺服是一个具有非线性特性的复杂过程，并且伺服过程中存在各种不确定因素，例如摄像机参数的标定误差，机器人动、静态特性中的不确定因素，以及工作环境中地面平滑程度的差异等等．为了提高机器人伺服系统的精度和可靠性，机器人领域的许多学者对上述不确定因素进行了深入研究．他们将非线性控制理论应用于机器人视觉伺服系统，分别采用自适应控制和鲁棒控制等方法来提高机器人视觉伺服系统对于这些不确定因素的适应能力．很多专家针对视觉伺服系统中摄像机内外参数的不确定性进行了深入研究［２４＿３０Ｊ．其中，方勇纯等人采用李雅普诺夫方法设计了一系列视觉伺服策略，分别实现了机器手臂和直角坐标式机器人对于摄像机内外参数的鲁棒和自适应控制［２睨８ｊ．Ｙ．Ｌｉｕ等人设计了一种基于图像的动态视觉伺服策略，它可以通过自适应算法来在线估计未知的摄像机内／外参数，在图像信号畸变与存在噪声等情况下实现了位置误差的渐近收敛Ｌ２９］．而文献［３０］中，Ｇ．Ｌ．Ｍａｒｉ—ｏｔｔｉｎｉ等人所设计的基于图像的视觉伺服算法对于摄像机的部分内参数，如摄像机焦距等具有较强的鲁棒性．在视觉伺服过程中，机器人工作环境的地理特性以及地面的光滑程度等都会影响到伺服的精度，因此一些专家对此进行了研究Ｌ３１３２１．例如，Ｋ．１ａｇ－ｎｅｍｍａ等人设计了一种实时观测算法来估计地面的主要特性参数，并根据估计结果进行路径规划，寻找到合适的路径以使机器人顺利达到目标点［３１３．２．３视觉伺服路径规划研究为了提高伺服系统的效率，在保证参考物体位于摄像机视野的同时，应该尽可能地实现直线或者准直线伺服，使机器人快速准确地达到期望位置与姿态［３川．为了实现上述目标，很多视觉伺服系统预先在机器人起始位姿和目标位姿之间进行路径规划，并设计合适的控制器使机器人沿规划好的路径运动．为此，通常是将势场（ｐｏｔｅｎｔｉａｌｆｉｅｌｄ）和导航函数（ｎａｖｉｇａｔｉｏｎｆｕｎｃｔｉｏｎ）等方法应用于视觉伺服系统来规划图像平面的路径．例如，Ｙ．Ｍｅｚｏｕａｒ等人应用势场方法在图像空间构造了一条路径，并利用二维视觉伺服使机器人跟踪这条路径ｆ３４。
