机器人视觉伺服定位控制与目标抓取PPT课件
- 格式:ppt
- 大小:24.91 MB
- 文档页数:10
机器人视觉伺服系统的控制结构机器人视觉伺服系统的控制结构1 前言对机器人视觉伺服系统的研究是机器人领域中的重要内容之一,其研究成果可直接用于机器人手—眼系统、移动机器人的自动避障及对周围环境的自适应、轨线跟踪等问题中。
通常所说的机器视觉是指:自动获取并分析图像,以得到一组可对景物描述的数据或控制某种动作的数据。
而视觉伺服则不同于机器视觉,它利用机器视觉的原理对图像进行自动获取与分析,以实现对机器人的某项控制为目的。
正是由于系统以实现某种控制为目的,所以视觉伺服系统中的图像处理过程必须快速准确。
视觉伺服系统采用视觉反馈环形成闭环,在视觉反馈环中抽取某种图像特征。
图像特征可以是点、曲线、图像上的某一区域等,比如,它可以是点在图像平面的坐标位置,或投影面的形心及其惯量的高次幂。
2 视觉伺服系统的分类视觉伺服的控制策略主要基于以下两个问题:1)是否采用分层控制结构?即机器人是否需要闭环关节控制器?进一步说,就是系统的视觉反馈是为机器人的关节控制闭环提供输入量,还是由视觉控制器直接控制机器人各关节。
2)误差输入量是以机器人所在空间的三维坐标表示,还是以图像特征?按控制策略2)区分,视觉伺服系统分为两类:基于位置的控制系统(position-based control,又称3D视觉伺服,3Dvisualservoing),基于图像的控制系统(image-base control,或称2D视觉伺服,2Dvisualservoing)。
由于基于位置和基于图像的视觉伺服各有其优缺点,于是近年有学者综合上述两类视觉伺服系统的优点,设计出2-1/2D视觉伺服系统。
按控制策略1)区分,视觉伺服系统可分为动态观察—移动系统和直接视觉伺服。
前者采用机器人关节反馈内环稳定机械臂,由图像处理模块计算出摄像机应具有的速度或位置增量,反馈至机器人关节控制器;后者则由图像处理模块直接计算机械壁各关节运动的控制量。
3 视觉伺服系统的控制结构3.1 基于位置的视觉伺服控制结构在基于位置的控制系统中,输入量以三维笛卡尔坐标表示(又称3D伺服控制),多数基于位置的视觉伺服系统采用一具有5~6个自由度的机械臂作为摄像机的运动载体。
【机器人识别抓取】基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计导读抓取综合方法是机器人抓取问题的核心,本文从抓取检测、视觉伺服和动态抓取等角度进行讨论,提出了多种抓取方法。
各位对机器人识别抓取感兴趣的小伙伴,一定要来看一看!千万别错过~ 目录/ contents1. 引言1.1 抓取综合方法1.2 基于视觉的机器人抓取系统2. 抓取检测、视觉伺服和动态抓取2.1 抓取检测2.2 视觉伺服控制2.3 动态抓取3. 本文实现的方法3.1 网络体系结构3.2 Cornell 抓取数据集3.3 结果评估3.4 视觉伺服网络体系结构3.5 VS数据集1引言找到理想抓取配置的抓取假设的子集包括:机器人将执行的任务类型、目标物体的特征、关于物体的先验知识类型、机械爪类型,以及最后的抓取合成。
注:从本文中可以学习到视觉伺服的相关内容,用于对动态目标的跟踪抓取或自动调整观察姿态。
因为观察的角度不同,预测的抓取框位置也不同:抓取物品离相机位置越近,抓取预测越准。
1.1抓取综合方法抓取综合方法是机器人抓取问题的核心,因为它涉及到在物体中寻找最佳抓取点的任务。
这些是夹持器必须与物体接触的点,以确保外力的作用不会导致物体不稳定,并满足一组抓取任务的相关标准。
抓取综合方法通常可分为分析法和基于数据的方法。
分析法是指使用具有特定动力学行为的灵巧且稳定的多指手构造力闭合基于数据的方法指建立在按某种标准的条件下,对抓取候选对象的搜索和对象分类的基础上。
(这一过程往往需要一些先验经验)1.2基于视觉的机器人抓取系统基于视觉的机器人抓取系统一般由四个主要步骤组成,即目标物体定位、物体姿态估计、抓取检测(合成)和抓取规划。
一个基于卷积神经网络的系统,一般可以同时执行前三个步骤,该系统接收对象的图像作为输入,并预测抓取矩形作为输出。
而抓取规划阶段,即机械手找到目标的最佳路径。
它应该能够适应工作空间的变化,并考虑动态对象,使用视觉反馈。