【CN110238840A】一种基于视觉的机械臂自主抓取方法【专利】

图片简介:本申请涉及一种基于双目立体视觉的机械臂定位抓取的方法及装置。

该方法包括确定世界坐标系与机械臂坐标系之间的转换关系；通过尺度不变特征变换SIFT特征匹配规则对目标电力仪表进行分类和识别；计算所述目标电力仪表在世界坐标系中的第一目标位置，并根据所述世界坐标系与所述机械臂坐标系之间的转换关系确定所述第一目标位置在机械臂坐标系中的第二目标位置；根据所述目标电力仪表的类别特征和所述第二目标位置对所述目标电力仪表进行抓取。

本技术可以提高仪表抓取的精度；将待检仪表放置在旋转平台可以使整个检定系统提高检定效率。

技术要求1.一种基于双目立体视觉的机械臂定位抓取的方法，所述方法包括：通过双目相机拍摄第一参照物，根据所述第一参照物在世界坐标系以及相机坐标系中的位置，确定所述世界坐标系与所述相机坐标系之间的转换关系；通过双目相机和机械臂确定第二参照物，根据所述第二参照物在所述相机坐标系以及机械臂坐标系中的位置，确定所述相机坐标系与所述机械臂坐标系之间的转换关系；根据所述世界坐标系与所述相机坐标系之间的转换关系，以及所述相机坐标系与所述机械臂坐标系之间的转换关系，确定所述世界坐标系与所述机械臂坐标系之间的转换关系；通过所述双目相机获得各仪表在仪表候检区的世界坐标信息，以使所述机械臂根据所述各仪表在所述仪表候检区的世界坐标信息抓取所述各仪表，并放置在检定流水线的传输带上；通过尺度不变特征变换SIFT特征匹配规则，对仪表候检区的各仪表的型号进行识别和分类，得到目标电力仪表的类别特征，以使被识别的仪表被传输带运输至与型号相应的仪表检定区；计算所述目标电力仪表在所述世界坐标系中的第一目标位置，并根据所述世界坐标系与所述机械臂坐标系之间的转换关系确定所述第一目标位置在机械臂坐标系中的第二目标位置；根据所述目标电力仪表的类别特征和所述第二目标位置对所述目标电力仪表进行抓取。

2.根据权利要求1所述的基于双目立体视觉的机械臂定位抓取的方法，其特征在于，所述机械臂上还设有夹爪，所述根据所述目标电力仪表的类别特征和所述第二目标位置对所述目标电力仪表进行抓取包括：根据所述目标电力仪表的类别特征和所述第二目标位置将所述夹爪移动至所述目标电力仪表的预设位置；控制所述夹爪夹紧以抓取所述目标电力仪表。

基于视觉检测的机械臂抓取算法研究摘要：机械臂抓取算法在自动化领域中扮演着重要角色，而基于视觉检测的机械臂抓取算法能够使机械臂更加智能化和精确化。

本文主要研究了基于视觉检测的机械臂抓取算法，探讨了其原理、方法和应用，并对未来的研究方向进行了展望。

1. 引言机械臂是一种能够模拟人类手臂运动的机器人系统，广泛应用于工业制造、医疗、农业等领域。

机械臂的抓取能力是其关键技术之一，而传统的机械臂抓取算法往往依赖于预先设定的抓取规则，存在适应性差、精度低等问题。

而基于视觉检测的机械臂抓取算法通过使用摄像头和图像处理技术，使机械臂能够根据场景中的视觉信息灵活地调整抓取策略，提高抓取的成功率和稳定性。

2. 基于视觉检测的机械臂抓取算法原理基于视觉检测的机械臂抓取算法主要包括目标检测和姿态估计两个主要步骤。

目标检测通过对摄像头获取到的图像进行处理和分析，确定要抓取的目标物体的位置和形状。

姿态估计则是根据目标物体的位置和形状信息，计算出机械臂需要采取的姿态和抓取策略。

3. 基于视觉检测的机械臂抓取算法方法基于视觉检测的机械臂抓取算法有多种实现方法，其中比较常见的方法包括基于模板匹配、深度学习和三维重建的算法。

模板匹配是一种比较简单直观的方法，通过将目标物体的模板与实际图像进行匹配，来确定目标物体的位置和形状。

深度学习算法则通过训练神经网络来学习目标物体的特征，实现目标检测和姿态估计功能。

三维重建算法则通过对多个图像进行拍摄和分析，生成目标物体的三维模型，进而计算出机械臂的姿态和抓取策略。

4. 基于视觉检测的机械臂抓取算法应用基于视觉检测的机械臂抓取算法在现实生活中有广泛的应用前景。

在工业制造领域，机械臂可以根据目标物体的位置和形状，对物体进行精准的抓取和摆放，提高生产效率和质量。

在医疗方面，机械臂可以用于辅助手术和病人护理，实现精确的操作和治疗。

在农业领域，机械臂可以用于果蔬的采摘和分类，提高农业生产的自动化水平。

5. 基于视觉检测的机械臂抓取算法研究进展目前，基于视觉检测的机械臂抓取算法在研究与应用中取得了一些成果，但仍存在一些挑战和问题。

一种机械臂的抓取方法及装置
机械臂的抓取方法和装置有很多种，以下列举一种常见的方法及装置：
抓取方法：并行抓取
抓取装置：并行夹爪
实现步骤：
1. 设计夹爪结构：并行夹爪通常由两个对称的夹爪组成，每个夹爪由若干个活动指节和夹持器组成。

2. 安装夹爪：将夹爪安装在机械臂的末端，通常需要使用连接杆或者接口来夹紧并固定夹爪。

3. 控制夹爪动作：通过控制机械臂的伺服电机或液压缸，控制夹爪的开合动作。

4. 感知目标物体：使用传感器等装置，检测目标物体的位置、形状和质量信息。

5. 规划抓取路径：根据目标物体的信息，进行抓取路径的规划，确保夹爪能够准确抓取目标物体。

6. 执行抓取动作：根据路径规划的结果，控制机械臂和夹爪进行抓取动作，使夹爪准确地抓住目标物体。

7. 确认抓取结果：通过传感器或者视觉系统，确认夹爪是否成功抓取目标物体。

8. 完成抓取任务：根据抓取结果，决定是否进行进一步操作，如搬运、放置或者重新抓取。

以上是一种常见的机械臂抓取方法及装置的实现步骤，具体的设计和实现会根据具体应用场景和需求的不同而有所差异。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910629058.5(22)申请日 2019.07.12(71)申请人 中国科学院自动化研究所地址 100190 北京市海淀区中关村东路95号(72)发明人 李玉苹　蒋应元　乔红　(74)专利代理机构 北京市恒有知识产权代理事务所(普通合伙) 11576代理人 郭文浩　尹文会(51)Int.Cl.G06T 7/70(2017.01)G06T 5/00(2006.01)(54)发明名称基于视觉和触觉的机械臂抓取方法、系统、装置(57)摘要本发明属于工业机器人领域，具体涉及一种基于视觉和触觉的机械臂抓取方法、系统、装置，旨在解决机械臂在不同光照条件下抓取工业零件成功率低的问题。

本发明方法包括：获取光照强度；若光照强度小于设定阈值，提取待抓取目标图像，与对应的全局模型匹配后获取目标的第一姿态；对目标图像进行阴影移除；基于第一姿态，采用迭代最近点和高斯-牛顿算法，基于全局模型获取与去除阴影的目标图像匹配的最终识别姿态；若光照强度大于阈值，获取目标的触觉图像，与预先构建的目标的触觉图像与姿态对应关系知识库匹配后获取目标的最终识别姿态；机械臂根据最终识别姿态及位置信息进行抓取。

本发明提高了机械臂在不同光照条件下对工业零件抓取的成功率。

权利要求书2页 说明书8页 附图3页CN 110428465 A 2019.11.08C N 110428465A1.一种基于视觉和触觉的机械臂抓取方法，其特征在于，该方法包括：步骤S10，获取待抓取目标的光照强度，若该光照强度在设定阈值范围之内则执行步骤S20，否则执行步骤S50；步骤S20，基于所述待抓取目标的拍摄图像进行目标图像的提取，得到第一图像，并基于所述待抓取目标对应的全局模型通过视图匹配的方法获取所述待抓取目标的姿态，作为第一姿态；步骤S30，对所述第一图像进行阴影移除，得到第二图像；步骤S40，以所述第一姿态为初始姿态，采用迭代最近点算法和高斯-牛顿算法，基于所述待抓取目标对应的全局模型获取与所述第二图像匹配的第二姿态，将所述第二姿态作为最终识别姿态，执行步骤S60；步骤S50，获取所述待抓取目标的触觉图像，基于预先构建的所述待抓取目标的触觉图像与姿态对应关系知识库，通过触觉图像匹配的方法获取所述待抓取目标的第三姿态，将所述第三姿态作为最终识别姿态；步骤S60，机械臂根据得到的所述最终识别姿态，以及获取的所述待抓取目标的位置信息进行所述待抓取目标的抓取。

专利名称：一种新型机械臂动态抓取系统专利类型：发明专利
发明人：许志敏,魏海峰
申请号：CN201910719497.5
申请日：20190805
公开号：CN110253588A
公开日：
20190920
专利内容由知识产权出版社提供
摘要：本发明涉及工业生产领域，具体地说，就是一种新型机械臂动态抓取系统，包括自由度机械臂模块、语音识别模块、摄像头模块、VGA显示模块、FPGA模块，自由度机械臂模块包括六个舵机、控制板，将六个舵机分别设定为舵机一、舵机二、舵机三、舵机四、舵机五、舵机零，舵机四控制机械臂的抓取方向，舵机五连接转动关节与机械手，控制机械臂的张合，转动关节部分均设置为最大的转动角度，控制板与六个舵机相连。

本发明不同于传统的人工操作机械臂抓取，而是采用FPGA 来实现图像识别，后由六自由度机械臂实时智能抓取物体，自动化程度大大提升，且工作效率大大提高，采用语音识别的方式来控制系统的启停，更加方便、便捷、安全，适用于工业领域中机械臂抓取任务。

申请人：江苏科技大学
地址：212003 江苏省镇江市梦溪路2号
国籍：CN
代理机构：南京正联知识产权代理有限公司
代理人：杭行
更多信息请下载全文后查看。