下载文档原格式
基于图像的机器人视觉伺服系统基于图像的机器人视觉伺服系统对工作在未知环境中的机器人，在其位置控制和运动控制中引入视觉反馈信息是一种很有吸引力的解决方案。
利用视觉传感器得到的图像作为反馈信息，构造机器人的位置和运动闭环控制，即视觉伺服[1]。
本文主要研究手部摄像机视觉机器人的控制问题，采用基于图像的直接视觉伺服。
它的控制算法不需要求解逆像问题以及机器人运动学，同时它的结构不依赖于机器人惯量以及科里奥利矩阵。
机器人视觉伺服系统的物理结构机器人视觉伺服系统的结构可分为摄像机固定和手部摄像机两种。
在摄像机位置固定的机器人系统中，有多个摄像机安装在机器人周围的环境中，可同时获得机器人和周围环境的图像，这种方法的目标是控制机器人末端执行器的运动直至触碰到期望目标。
而手部摄像机机器人的摄像机安装在机器人手部，只能获取机器人周围环境的信息，这种方法的目标是控制机器人的运动，使运动或静止的目标在摄像机图像平面上到达期望位置。
摄像机固定的安装方式可获得固定的图像分辨率，并同时获得机器人和机器人周围环境的信息，便于将视觉系统集成到控制中。
但在机器人运动过程中，可能发生图像特征遮盖现象，观察灵活性差。
而手部摄像机方式具有较大的工作范围，不存在图像特征遮盖问题。
同时，随着手爪接近目标物体，可获得较高的图像分辨率，从而提高图像精度。
本文建立的机器人系统采用较低的运动速率，避免了因摄像机运动引起的图像的模糊，同时能够保证目标处于摄像机视场范围内，故采用手部摄像机的安装方式[2]。
视觉伺服的方式根据反馈信号表达方式，分为基于位置的视觉伺服和基于图像的视觉伺服。
基于位置的视觉伺服其反馈信号在三维任务空间中以直角坐标形式定义。
基本原理是通过对图像特征的抽取，并结合已知的目标几何模型及摄像机模型，在三维笛卡尔坐标系中对目标位姿进行估计，然后以机械手当前位姿与目标位姿之差作为视觉控制器的输入，进行轨迹规划并计算出控制量，驱动机械手向目标运动，最终实现定位、抓取功能。
视觉伺服控制算法优化综述摘要：系统论述了视觉伺服控制的应用现状。
重点介绍了针对不同的实际情况，提出优化的基于位置的视觉伺服系统和基于图像的视觉伺服系统的控制算法。
优化后的算法效率高，具有很强的有效性和可行性。
优化后的控制系统功能更强，更精确有效。
关键词：视觉伺服;优化;算法Survey of Visual Servoing control algorithmAbstract:The application status of the visual servo control are reviewed . For different realities , we put fortward an improved position-based visual servo systems and image -based visual servo control algorithm of the system. High efficiency of the improved algorithm has strong effectiveness and feasibility. The improved control system functions stronger, and become more precise and effective.Keywords:Visual Servoing;improve;Algorithm1 引言随着科技的快速发展，在现代工业自动化生产过程中,机器视觉正成为一种提高生产效率和保证产品质量的关键技术,如机械零件的自动检测、智能机器人控制及生产线的自动监控等。
基于视觉的伺服策略是采用相机所观察的特征来控制机器人移动的一种灵活有效的方法。
视觉伺服主要分为3种：基于位置的视觉伺服(PBVS)、基于图像的视觉伺服(IBVS)和混合控制视觉伺服。
早期的研究主要是基于位置的视觉伺服研究，近年来主要是基于图像的视觉伺服研究。
机器人视觉伺服系统2014-2-18 15:28:29 浏览：112目前，在全世界的制造业中，工业机器人已经在生产中起到了越来越重要的作用。
为了使机器人能够胜任更复杂的工作，机器人不但要有更好的控制系统，还需要更多地感知环境的变化。
其中机器人视觉以其信息量大、信息完整成为最重要的机器人感知功能。
机器人视觉伺服系统是机器视觉和机器人控制的有机结合，是一个非线性、强耦合的复杂系统，其内容涉及图象处理、机器人运动学和动力学、控制理论等研究领域。
随着摄像设备性能价格比和计算机信息处理速度的提高，以及有关理论的日益完善，视觉伺服已具备实际应用的技术条件，相关的技术问题也成为当前研究的热点。
本文对机器人视觉伺服技术进行了综述，介绍了机器人视觉伺服系统的概念及发展历程和分类，重点介绍了基于位置的视觉伺服系统和基于图像的视觉伺服系统。
对机器人视觉所涉及的前沿问题做了概括，并指出了目前研究中所存在的问题及今后发展方向。
机器人视觉伺服系统视觉伺服的定义：人类对于外部的信息获取大部分是通过眼睛获得的，千百年来人类一直梦想着能够制造出智能机器，这种智能机器首先具有人眼的功能，可以对外部世界进行认识和理解。
人脑中有很多组织参与了视觉信息的处理，因而能够轻易的处理许多视觉问题，可是视觉认知作为一个过程，人类却知道的很少，从而造成了对智能机器的梦想一直难以实现。
随着照相机技术的发展和计算机技术的出现，具有视觉功能的智能机器开始被人类制造出来，逐步形成了机器视觉学科和产业。
所谓机器视觉，美国制造工程师协会(sme society of manufacturing engineers)机器视觉分会和美国机器人工业协会(ria robotic industries association) 的自动化视觉分会给出的定义是：“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。
机器视觉的伺服控制技术简述1.前言机器视觉通过图像摄取装置将被摄取目标转换成图像信号，即用机器代替人眼来测量和判断，它是快速发展的人工智能领域的重要分支。
机器视觉的伺服控制通过对来自图像提取装置的图像信息，分析其像素分布和亮度、颜色等，提取目标特征，进而结合控制需求来控制现场的设备动作。
机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。
机器视觉的应用有助于提高生产的柔性和自动化程度。
在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大幅提高生产的自动化程度和效率。
随着机器视觉技术的发展与成熟，基于机器视觉的自动监测与智能控制系统将广泛应用于电子制造、半导体、汽车、交通、工业生产等各个领域，并主要从中端生产线向前端制造和后端物流环节延伸，成为提升产业自动化水平、实现中国制造 2025 的重要技术手段。
二、机器视觉及其伺服控制技术的国内外研究现状机器视觉包括数字图像处理技术、机械工程技术、控制技术、光学成像技术、传感器技术、计算机技术等，是一门多学科交叉融合技术。
机器视觉系统主要包括三部分：图像的采集、图像的处理和分析、输出或显示。
如图 1 所示，一个典型的机器视觉及控制系统包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块等。
图1 机器视觉及控制系统组成其中，采用CCD 摄像机等的光学成像系统和图像捕捉系统将被摄取目标转换成图像信号，在经采集与数字化后传送给专用的图像处理与决策系统，它根据像素分布和亮度、颜色等信息，对这些信号进行各种运算来提取目标的特征（面积、长度、数量及位置等），最后根据预设的容许度和其他条件输出结果（尺寸、角度、偏移量、个数、合格/不合格及有/无等）；上位机实时获得检测结果后，指挥运动系统等控制执行模块执行设定的控制操作。
视觉伺服综述一、视觉伺服定义：视觉伺服是利用视觉信息控制机械手末端执行器与目标物体之间的相对位姿(pose：position and orientation)，或者是利用一组从图像中提取的特征来控制机械手末端执行器与该组特征之间的相对位姿。
根据利用图像信息的不同，可以将视觉伺服分为基于位置的视觉伺服、基于图像的视觉伺服和2.5D视觉伺服。
如果将视觉伺服控制应用到移动机器人，例如自治车辆、自治飞行器和自治潜水器，那么就是利用视觉信息或者一组从图像中提出的特征信息来控制机器人与目标物体之间的相对位姿。
因此，可以认为视觉伺服控制是一门多学科交叉的研究领域，它涉及许多学科，主要包括：数字图像处理、数字信号处理、实时系统、控制理论、运动学、动力学、计算机视觉和机器人学等。
到了80年代末、90年代初，关于视觉伺服的论文数量明显增加，这得益于个人计算机处理能力的提高以及摄像机技术的发展。
因为在个人计算机性能提高之前，研究视觉伺服需要专用的、价格昂贵的采用流水线技术的像素处理设备，因此，当个人计算机性能大幅度提高以后，越来越多的学者加入到视觉伺服控制研究领域，大大地提高了视觉伺服控制研究方面的论文数量。
针对视觉伺服的应用，各国学者也提出了很多的应用原型，例如：从传送带上抓取零件、零件装配、机器人遥操作、导弹跟踪图像系统、水果采摘、汽车无人驾驶和飞机降落等。
二、视觉伺服系统的组成一个典型的工业机器视觉应用系统包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。
系统首先采用CCD摄像机或其它图像拍摄装置将目标转换成图像信号，然后转变成数字化信号传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，进行各种运算来抽取目标的特征，根据预设的容许度和其他条件输出判断结果。
三、视觉伺服控制的研究内容典型的视觉伺服控制任务通常有：①定位问题(positioning)，即通过视觉信息控制机械手末端执行器对准目标物体，也就是控制机械手末端执行器运动到理想位姿。
基于图像的机器人视觉伺服系统综述摘要：本文介绍了机器人视觉伺服系统的概念、发展历程，而且从不同的角度对机器人视觉伺服系统进行了分类。
最后重点介绍了基于图像的机器人视觉伺服系统，以及其的simulink仿真实现。
关键词：机器人；视觉伺服；仿真Abstract:The concept and development process of the robot visual servo system is introduced in this paper, and from different angles of the robot visual servo system are classified. Finally the paper introduces the robot visual servo system based on image, and the realization of Simulink simulation.Key words: robot, visual servoing, simulation1．引言随着先进科学技术的不断发展，机器人已经在生产和生活中起到了越来越重要的作用，因此人们不断对机器人技术提出更高的要求。
为了使机器人能够完成更加复杂的工作，适应更加复杂的环境，人们不断的为机器人寻求更为完善的控制系统。
而影响其发展的一个重要原因就是机器人缺少像人一样的感知能力，在人们为机器人添加各种外部传感器的过程中，机器人视觉以其信息大、信息完整度高成为最重要的机器人感知功能。
机器人的视觉伺服系统是机器人视觉和控制的相结合的复杂系统。
其内容包括了图像的采集与处理、运动学和动力学、自动控制理论及其系统数据实时分析等领域于一体的新兴学科。
随着技术的发展，以及相关理论的日益完善，视觉伺服已具备了在实际中应用的条件；而随着机器人应用领域的不断扩展，重要性也不断提高，与其相关的技术问题已经成为了当前的研究热点。
伺服系统在机器视觉中的应用机器视觉是一种将摄像机、图像处理和机器学习技术结合起来的技术领域，用于使计算机具备对图像和视频进行分析和理解的能力。
在机器视觉的应用过程中，伺服系统发挥着重要的作用。
本文将探讨伺服系统在机器视觉中的应用，并介绍其原理和优势。
一、伺服系统的原理伺服系统是一种自动控制系统，它通过反馈信号来实现对系统行为的控制。
它由一个伺服电机和一个伺服控制器组成。
伺服电机通常是一种高精度的电动机，通过接收控制器发送的指令来调整输出的位置或速度。
在机器视觉中，伺服系统可以通过接收来自图像处理算法的数据，准确地控制机器的位置和角度。
例如，在工业领域，伺服系统可以用于自动装配线上的产品定位和对位。
通过将伺服系统与机器视觉技术相结合，可以实现高精度的定位和对位，从而提高生产线的效率和质量。
二、1. 机器人视觉导航伺服系统在机器人视觉导航中起着关键的作用。
通过将伺服系统与摄像头相连，机器人可以实时接收图像数据并进行处理。
基于图像处理的算法，机器人可以分析图像中的目标物体，并利用伺服系统精确地控制自身的运动以实现导航。
在工业领域，机器人视觉导航广泛应用于自动化生产线，可以帮助机器人完成复杂的装配任务。
在军事领域，机器人视觉导航可以用于危险环境下的侦查和救援任务。
通过伺服系统的精确控制，机器人可以在复杂的环境中进行准确定位和路径规划。
2. 视觉测量与检测伺服系统在机器视觉的测量与检测中也扮演着重要的角色。
通过对图像数据的处理，可以利用伺服系统实现对目标物体尺寸、角度和位置等参数的测量和检测。
这对于自动化生产线中的质量控制和产品检验非常关键。
例如，在半导体行业中，伺服系统可以与机器视觉技术相结合，测量半导体芯片上的特定缺陷和线宽。
通过伺服系统的精确运动控制，可以实现高精度的测量，提高半导体产品的质量和可靠性。
3. 跟踪和捕捉伺服系统在机器视觉中还可以用于目标的跟踪和捕捉。
通过实时接收图像数据，并结合伺服系统的控制，机器可以追踪移动目标并进行捕捉。
基于图像的机器人视觉伺服系统综述摘要：本文介绍了机器人视觉伺服系统的概念、发展历程，而且从不同的角度对机器人视觉伺服系统进行了分类。
最后重点介绍了基于图像的机器人视觉伺服系统，以及其的simulink仿真实现。
关键词：机器人；视觉伺服；仿真Abstract:The concept and development process of the robot visual servo system is introduced in this paper, and from different angles of the robot visual servo system are classified. Finally the paper introduces the robot visual servo system based on image, and the realization of Simulink simulation.Key words: robot, visual servoing, simulation1．引言随着先进科学技术的不断发展，机器人已经在生产和生活中起到了越来越重要的作用，因此人们不断对机器人技术提出更高的要求。
为了使机器人能够完成更加复杂的工作，适应更加复杂的环境，人们不断的为机器人寻求更为完善的控制系统。
而影响其发展的一个重要原因就是机器人缺少像人一样的感知能力，在人们为机器人添加各种外部传感器的过程中，机器人视觉以其信息大、信息完整度高成为最重要的机器人感知功能。
机器人的视觉伺服系统是机器人视觉和控制的相结合的复杂系统。
其内容包括了图像的采集与处理、运动学和动力学、自动控制理论及其系统数据实时分析等领域于一体的新兴学科。
随着技术的发展，以及相关理论的日益完善，视觉伺服已具备了在实际中应用的条件；而随着机器人应用领域的不断扩展，重要性也不断提高，与其相关的技术问题已经成为了当前的研究热点。
2．机器人视觉伺服系统2．1机器人视觉伺服系统的定义机器人视觉伺服（visual servo）的概念，是由hill和park于1979年提出的。
“伺服”—词源于希腊语“奴隶”的意思。
人们想把“伺服机构”当个得心应手的驯服工具，服从控制信号的要求而动作。
在讯号来到之前，转子静止不动；讯号来到之后，转子立即转动；当讯号消失，转子能即时自行停转。
由于它的“伺服”性能，因此而得名——伺服系统。
视觉伺服，一般指的是，通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，通过图像反馈的信息，来让控制系统对机器人做进一步控制或相应的自适应调整的行为。
2.2机器人视觉伺服系统的发展上个世纪60年代，由于机器人和计算机技术的发展，人们开始研究具有视觉功能的机器人。
但在这些研究中，机器人的视觉与机器人的动作，严格上讲是开环的。
机器人的视觉系统通过图像处理，得到目标位姿，然后根据目标位姿，计算出机器运动的位姿，在整个过程中，视觉系统一次性地“提供”信息，然后就不参与过程了。
在1973年，有人将视觉系统应用于机器人控制系统，在这一时期把这一过程称作视觉反馈(visual feedback)。
直到1979年，hill和park提出了“视觉伺服”(visual servo)概念。
很明显，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则是包括了从视觉信号处理，到机器人控制的全过程，所以视觉伺服比视觉反馈能更全面地反映机器人视觉和控制的有关研究内容。
上个世纪80年以来，随着计算机技术和摄像设备的发展，机器人视觉伺服系统的技术问题吸引了众多研究人员的注意。
在过去的几年里，机器人视觉伺服无论是在理论上还是在应用方面都取得了很大进展。
在许多学术会议上，视觉伺服技术经常列为会议的一个专题。
视觉伺服已逐渐发展为跨机器人、自动控制和图像处理等技术领域的一门独立技术。
3.机器人伺服系统的主要分类3.1不同的分类标准目前，机器人视觉伺服控制系统有以下几种分类方式：●按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统●按照摄像机放置位置的不同，可以分为手眼系统(eye in hand)和固定摄像机系统(eye to hand或stand alone)●按照机器人的空间位置或图像特征，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统3.2基于位置的视觉伺服系统基于位置的视觉伺服是根据得到的图像，由目标的几何模型和摄像机模型估计出目标相对于摄像机的位置，得到当前机器人的末端位姿和估计的目标位姿的误差，通过视觉控制器进行调节。
基于位置的视觉伺服的结构如图1所示。
基于位置的视觉伺服需要通过图像进行三维重构，在三维笛卡儿空间计算误差。
这种方法的优点在于误差信号和关节控制器的输入信号都是空间位姿，实现起来比较容易。
但由于根据图像估计目标的空间位姿，机器人的运动学模型误差和摄像机的标定误差都直接影响系统的控制精度，且没有对图像进行直接控制，易使目标离开视场。
末端位姿图1 基于位置控制的伺服结构图3.2基于图像的视觉伺服系统基于图像的视觉伺服直接计算图像误差，产生相应的控制信号，不需要三维重建，但需要计算图像雅可比矩阵。
基于图像的视觉伺服的结构如图2所示[11]。
基于图像视觉伺服的突出优点是对标定误差和空间模型误差不敏感，缺点是设计控制器困难，伺服过程中容易进入图像雅可比矩阵的奇异点， 一般需要估计目标的深度信息，而且只在目标位置附近的邻域范围内收敛。
而求解图像雅可比矩阵是基于图像视觉伺服的一个主要任务。
图2 基于图像控制的伺服结构图3.3混合视觉伺服系统由于基于位置和基于图像的视觉伺服方法都具有一些难以克服的缺点, 人们提出了混和视觉伺服方法. 混合视觉伺服的主要思想是采用图像伺服控制一部分自由度 ,余下的自由度采用其他技术控制 ,不需要计算图像雅可比矩阵. 混合视觉伺服以 Malis 提出的2.5D 视觉伺服方法最具有代表性。
这种方法可对基于位置和基于图像两种结构进行取长补短, 系统的稳定性和收敛域都有所提高。
4.基于图像的视觉伺服系统的实现4.1 视觉伺服系统的实现方法 4.1.1 系统的视觉配置方案要实现一个基于图像的机器人视觉伺服系统, 首先要考虑图像的获取方式。
目前机器人视觉伺服系统采用的视觉传感器主要是 CCD 摄像机, 根据选用摄像机的数量和安装位置的不同, 视觉配置方案也有所差异, 有单目视觉, 也有双目视觉; 有的摄像机固定安装在现场, 有的则固接在机器人的末端执行器上 (俗称手眼 配置, eye ” in ”and)。
比较而言, 单目视觉图像处理简单,但难以获取深度等立体信息; 双目视觉可有效地得空间立体信息, 但图像处理的计算也随之加;固定视觉可同时观察到目标对象和机器人的末端执行器, 虽控制误差直接可见, 但需引入摄像机与机器人坐标系间的转换, 并且要求摄像机的精确标定, 还可能遇到末端执行器遮挡目标的问题; 手眼视觉不会出现遮挡现象, 且因摄像机与末端执行器的位置相对固定, 通过机器人运动学和简单的平移转换就可以推知摄像机的空间位姿, 因此在机器人的视觉跟踪中得到了广泛应用。
4.1.2 图像雅可比矩阵无论摄像机安装位置如何, 也无论目标对象运动与否, 由于机器人的运动, 其末端执行器与目标对象的空间位置关系必定会发生变化, 这种变化可以通过图像反映出来, 也就是说, 在图像特征与机器人的动作之间存在着一一对应的关系。
一旦知道这种映射关系, 就能够通过图像特征变化获取机器人的动作规律。
这就是基于图像的视觉伺服方法原理。
为此, 基于图像的方法常引入图像雅可比矩阵来表示图像空间变化与机器人运动之间的映射。
为了更清楚地说明图像雅可比矩阵的特点,下面引入手眼配置下图像雅可比矩阵的一种定义形式:设目标物体上一特征点 P 相对摄像机坐标系的坐标为TZ Y X P ],,[0=, 在图像平面的坐标为 Ty x ],[。
根据摄像机的针孔模型有:T T Z Yf Z Xf y x]//[][= (1)式中: f ——摄像机的焦距。
当物体处于静止状态, 摄像机在机械手的带动下动作时, P 点在图像平面和摄像机系的坐标均会发生变化, 即由式 (1)得：将坐标点TZ Y X P ],,[0=的变化表述为摄像机的运动变化, 则有:式中: c ν和c ω分别是摄像机相对摄像机坐标系运动的线速度和角速度。
定义:()2100122⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡--=⎥⎦⎤⎢⎣⎡Z Y X Z Y Z Z X Z y x ()3)(0)(0222222⎥⎦⎤⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-+--+--=⎥⎦⎤⎢⎣⎡c c x fxy f f y Zy Zfy f f x fxy Z x Z f yx ων ()()4)(0)(0,,2222221⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-+--+--=x fxy f f y Z y Zf y f f x fxy Z x ZfZ y x J),,(1Z y x J 即为图像雅可比矩阵。
在手眼配置中, 摄像机的运动是由机器人各关节带动末端执行器运动产生的, 所以可以进一步将式 ( 3)表示的运动变化关系转移到机器人的关节运动上:()51q J J xr =式中: x表示式(3)中等号左边的图像特征矢量[]Ty x ; q为机器人的关节矢量; r J 实际上就是机器人雅可比矩阵。
有些资料也称 r J J J 12= 为图像雅可比矩阵,因为它反映了图像特征变化与机器人关节运动之间的映射关系。
无论采用哪种形式定义图像雅可比矩阵, 都可以通过它的逆, 由图像特征的变化求取机器人的运动控制律。
4.2 视觉伺服实现中遇到的问题视觉伺服的研究到目前已有近20年的历史，但是由于视觉伺服所涉及的学科众多，所以其发展有赖于这些学科的发展，目前在视觉伺服的研究中仍然有很多问题没有很好地解决。
4.2.1 图像处理问题在基于图像的视觉伺服控制中, 图像是伺服控制的依据。
为研究的方便起见, 机器人的操作对象现在常选用球体、 长方体、 圆柱体和锥体等规则物体, 或选用机器人实际操作中的特殊工件。
那么, 怎样从摄像机获取的图像中识别目标? 这是系统设计要考虑的问题。
目标识别属于一般的图像处理问题, 只要求根据视觉伺服的需要, 选用快速的图像识别方法即可。
4.2.2 图像采集的时滞问题受图像采集速度的限制, 视觉采样的周期与机器人关节控制伺服周期相比, 速度过于缓慢, 势必会造成整个视觉伺服系统的时延, 甚至导致系统不稳定。
因此, 在机器人视觉伺服控制中,还必须考虑图像采集和处理的时滞问题。
为了解决上述问题, 除了选用更快的图像采集卡或各种快速图像处理技术 外, 还可考虑对物体在图像中的运动进行预测和估计。
