【CN109784297A】一种基于深度学习的三维目标识别与最优抓取方法【专利】

抓取方法 ( 57 )摘要
本发明涉及一种基于深度学习的三维目标 识别与最优抓取方法。该方法，首先，采用Kinect 相机获取图 像 ；然后 ，在第一级构造一个改 进的 faster RCNN模型，对图像中的目标物体进行识 别和定位，分割出目标物体所在的区域并进行相 应的 旋转 ；最后 ，在第二级构造一个新的faster RCNN模型，获取目标物体最优抓取部位的坐标和 旋转 角度 ，实现目 标物体的 最优抓取 。本发明 方 法在目标识别部分对模型进行了改进，加强了对 成像小的目标物体的识别和定位，并采用基于二 分法的方法确定目标物体的姿态 ，减少运行时 间 ，提高精度 ；该方法先对整个目标物体进行检 测 ，再从检 测的区 域内寻找物体的 最优位姿 ，不 仅缩小了寻找特征的范围 ，也降 低了识别出错的 概率。
2
CN 109784297 A
说 明 书
1/3 页
一种基于深度学习的三维目标识别与最优抓取方法
技术领域 [0001] 本发明涉及机器人视觉技术领域，具体涉及一种基于深度学习的三维目标识别与 最优抓取方法。
背景技术 [0002] 随着机器人的快速发展及机器视觉的应用，机器人抓取也产生了很多变化。从原 来简单的抓取到现在的智能识别、最优抓取和对外界环境做出反应。这些变化都象征着机 器人正逐渐向智能化方向发展，使得机器人的各种行为越来越像人类。 [0003] 在机器视觉领域，目标检测和最优抓取都是近年来的研究热点。最优抓取要求机 器人像人一样，不仅可以识别目标物体的类别，还要找到目标物体比较容易抓取的位姿。传 统的抓取位姿方法采用的是传统的特征提取方法来处理图像信息，这些方法一般由设计者 针对特定问 题手工设计而成 ，因受到目标物体的形状、大小、角度变化、外部光照等因素的 影响 ，因而所提取的特征泛化能 力不强 ，鲁棒性较差 ，难以 适应新物体。与传统提取特征的 方法相比 ，深度学习的优势在于提取特征的时候不需要人为进行设定某种特征，而是采用 一种通用的学习过程使模型从大规模数据中学习目标物体的特征。因此将深度学习技术应 用于机器人的目标检测和最优抓取中。 [0004] 目前在基于深度学习的机器人最优抓取领域中，有许多方法可以实现目标物体的 最优抓取，但难以实现成像较小的目标物体的最优抓取，且处理时间较长。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910077632 .0
(22)申请日 2019 .0ห้องสมุดไป่ตู้ .26
(71)申请人 福州大学 地址 350108 福建省福州市闽侯县上街镇 福州大学城学院路2号福州大学新区
(72)发明人 陈丹 林清泉
(74)专利代理机构 福州元创专利商标代理有限 公司 35100
发明内容 [0005] 本发明的目的在于提供一种基于深度学习的三维目标识别与最优抓取方法，解决 难以实现成像较小的目标物体的最优抓取及处理时间较长的问题。 [0006] 为实现上述目的，本发明的技术方案是：一种基于深度学习的三维目标识别与最 优抓取方法，包括如下步骤： [0007] 步骤S1、采用Kinect相机获取图像，并进行图像预处理； [0008] 步骤S2、在第一级构造一个改进的faster RCNN模型，对图像中的目标物体进行识 别和定位，分割出目标物体所在的区域并进行相应的旋转； [0009] 步骤S3、在第二级构造一个新的faster RCNN模型，获取目标物体最优抓取部位的 坐标和旋转角度，实现目标物体的最优抓取。 [0010] 进一步的，在步骤S1中，所述图像预处理，包括对深度图像进行轮廓提取，并将轮 廓图像、彩色图像和深度图像分别按预定比例的权值进行像素值相加，得到融合图像。 [0011] 进一步的，在步骤S2中，所述改进的faster RCNN模型，包括依次连接的卷积层1、 池化层1、卷积层2、卷积层3、卷积层4、池化层2、卷积层5、融合层，所述卷积层3还与融合层 连接 ，同时 ，为了能识别成像小的物体 ，对卷积层2和卷积层4的参数进行调整 ，即卷积层2的 参数调整为：卷积核大小为3*3，边缘扩展数为1，步长为1；卷积层4的参数调整为：卷积核大 小为5*5，边缘扩展数为2，步长为2
(10)申请公布号 CN 109784297 A (43)申请公布日 2019.05.21 G06K 9/62(2006 .01)
权利要求书1页 说明书3页 附图2页
CN 109784297 A
CN 109784297 A
权 利 要 求 书
1/1 页
1 .一种基于深度学习的三维目标识别与最优抓取方法，其特征在于，包括如下步骤： 步骤S1、采用Kinect相机获取图像，并进行图像预处理； 步骤S2、在第一级构造一个改进的faster RCNN模型，对图像中的目标物体进行识别和 定位，分割出目标物体所在的区域并进行相应的旋转； 步骤S3、在第二级构造一个新的faster RCNN模型，获取目标物体最优抓取部位的坐标 和旋转角度，实现目标物体的最优抓取。 2 .根据权利要求1所述的一种基于深度学习的三维目标识别与最优抓取方法，其特征 在于，在步骤S1中，所述图像预处理，包括对深度图像进行轮廓提取，并将轮廓图像、彩色图 像和深度图像分别按预定比例的权值进行像素值相加，得到融合图像。 3 .根据权利要求1所述的一种基于深度学习的三维目标识别与最优抓取方法，其特征 在于，在步骤S2中，所述改进的faster RCNN模型，包括依次连接的卷积层1、池化层1、卷积 层2、卷积层3、卷积层4、池化层2、卷积层5、融合层 ，所述卷积层3还与融合层连接 ，同时 ，为 了能 识别成像小的 物体 ，对卷积层2和卷积层4的 参数进行 调整 ，即卷积层2的 参数 调整为 ： 卷积核大小为3*3 ，边缘扩展数为1 ，步长为1 ；卷积层4的 参数调整为 ：卷积核大小为5*5 ，边 缘扩展数为2，步长为2。 4 .根据权利要求3所述的一种基于深度学习的三维目标识别与最优抓取方法，其特征 在于，在步骤S2中，所述在第一级构造一个改进的faster RCNN模型，对图像中的目标物体 进行识别和定位的 具体实现过程为 ：将经步骤S1进行图 像预处理得到的融合图 像 ，输入改 进的faster RCNN模型，经过5层卷积层的提取和特征图像融合，然后与训练好的类别特征 进行比较，得到目标物体的类别及位置。 5 .根据权利要求1所述的一种基于深度学习的三维目标识别与最优抓取方法，其特征 在于，在步骤S2中，分割出目标物体所在的区域并进行相应的旋转的具体过程为： 步骤S21、根据改进的faster RCNN模型，对图像中的目标物体的识别和定位，寻找目标 物体的轮廓，从而将目标物体从图像中分割出来： 步骤S22、采用最小包围矩形包围目标物体的轮廓，并确定旋转范围： 步骤S23、采用二分法将图像进行多次旋转。
代理人 蔡学俊
(51)Int .Cl . G06K 9/00(2006 .01) G06K 9/32(2006 .01) G06K 9/46(2006 .01) G06N 3/04(2006 .01) G06N 3/08(2006 .01)
( 54 )发明 名称 一种基于深度学习的三维目标识别与最优