基于机器视觉的工业机器人分拣技术研究
机器人分拣技术一直受到业内人士的广泛关注。为探讨该技术的特性，文章基于机器视觉搭建一个工业机器人分拣技术平台，并将其做而已实验系统，着重探讨了机器人在相机静止-目标自静止，相机静止-目标运动两种情况下的分拣技术特点，得出相关结论，供同行参考借鉴。
标签：机器视觉；工业机器人；分拣技术；分析和研究
对机器人工作进行分析，发现搬运、分拣是所有工作的基础，无论机器人应用于哪一行业，都会涉及到搬运和分拣工作。考虑到机器人的搬运、分拣工作实现基础是机器视觉，而机器视觉又分为两种情况，即相机静止-目标静止，相机静止-目标运动，一旦机器视觉定位不当，分拣工作就会受到影响，甚至于无法完成。为此，文章在机器视觉基础上搭建一个在机器人分拣实验系统，对机器人工作中应用到的分拣技术作详细论述。
1 国内关于机器人分拣系统的研究
尽管我国已经研发研制出了多种类、多造型的机器人，但整体研究工作目前还处于初级阶段，所以真正意义上的国产视觉机器人尚未研发出，更多的是在国外研究基础上进行改进、二次开发。关于视觉机器人分拣系统，国内研究人士提出了几种可行的算法，如连通域矩特征提取法；贝叶斯估计跟踪算法；目标识别法等等。这些算法都能在一定程度上对机器人分拣动作进行辅助，确保机器人分拣动作的顺利完成，防止错抓。
2 基于机器视觉下的机器人分拣系统构建
为了探讨机器人分拣技术的特点，文章现以MOTOMAN-UP6机器人为例，基于机器人视觉构建一个机器人分拣系统，并对该系统在相机静止-目标静止，相机静止-目标运动两种情况下的运行情况做详细论述。
2.1 机器人分拣系统的构成
实验中所构建的机器人分拣系统由四个部分构成，分别为相机标定、图像处理、模式识别以及机器人控制，四个部分缺一不可。相机标定的作用是为系统建立一个图像坐标系与机器人坐标系，并以此来研究二者之间的关系；图像处理的作用是对相机拍摄到的外界图像进行预处理，提取图像中的某些特征，并根据这些特征来确定出联通成分的中心坐标；模式识别需以图像作基础，对图像及图像中的联通成分进行识别、分类；机器人控制是最后步骤，控制的实现方法是在计算机和机器人之间建立一个连接通信，利用计算机程序来对机器人动作进行控制。
2.2 机器人分拣技术分析
视觉分拣总结 1.桌面找到Vision软件并打开 2.进入软件后将作业名称更改 3.点击作业下的编辑进入 4.进入后首先会出现ImageSource，如果有选择好的图片，选择图像数据库进入，需要拍 摄选择照相机选择好图像采集卡及视频格式后，点击初始化取向 设置如图所示（曝光可根据需要更改） 闪光灯和触发器里，因前期需拍照选择手动，执行程序时改成硬件自动 5.照相机设置完后点X退出，并点击文件下方三角标志图标拍摄照片
6. 照片拍摄完后，找到锤子图标添加模板，找到 双 击添加，再添加所需数量的 并添加如下链接，以修正坐标系 7. 点击 1出现如下图所示界面
A:点击抓取训练图像 B: 将Gurrent.InputImage更改为Gurrent.IrainImage更改完成后点击下方图片防止变动，此时图像左上方出现一个坐标系一个框 C:拖到框到任意一个方格上 拖动完后点击训练区域与原点，进入后选择中心原点点击，（坐标如不在中心位置可手动拖到方格中心）出现如下图所示时点击训练
备注：(训练区域与原点的区域形状可选对应物体形状标定) D:训练完成后，点击搜索区域，区域形状选择倒数第四个，图片上方选择Current.Input.Image，然后框选合适区域 E.点击运行查看结果
8.模板完成后打开标定工具，将图片坐标系修改为机器人坐标系 A:将模板里的XY值抄写到标定工具未校正XY值中 B:将九宫格中一个作为原点，在根据每个九宫格相距50，计算确定其他坐标系（注：1234是随机的需先确定是那个九宫格），点击计算校正，如下图所示：
带有视觉识别模块的分拣机器人 传统的机器人分拣操作一般采用示教或离线编程方式，当机器人所处的工作环境发生改变时机器人很难即时作出相应的调整，为了使机器人具有更加智能化的功能，以阿童木并联机器人和工业智能相机为基础，组成一套带有视觉模块的机器人分拣系统。这样的分拣系统结合了并联型机器人和视觉模块两个方面的优势，通过视觉模块智能的识别不同的对象，系统可以完成高速的分拣工作，显著提升了机器人对工作环境的适应能力，提高了工作效率。同时，实验结果证明了该系统软硬件设计正确，分拣成功率高。 随着我们国家生产需求的不断增加，机器人越来越多的参与到各行各业的生产过程中来。其中，对工件的分拣作业是当前生产过程中的一个重要环节，传统的机器人分拣，其动作和目标的摆放位置都需要根据程序预先严格的设定。一旦机器人所处的环境有所改变，很容易导致抓取错误。本文模拟工业生产中的分拣作业环境，引入视觉模块，用摄像机来模拟人类的视觉功能来对待测的对象进行识别分类，可以使分拣作业拥有更高的可靠性和灵活性，作业对象以及分拣工序可以随时随地的变换，也提高了工作的效率和机器人的智能化程度。 1机器人系统组成介绍 我们设计的机器人分拣系统主要由并联机器人、视觉模块、传送带装置以及分拣对象组成，结构如图1所示： 1.1并联机器人 相比于其他工业机器人，并联机器人占用较小的空间，其更具有高速度、高精度、灵活性等特点，更能適合苛刻的工业生产需求。我们在实验中采用的是阿童木4轴并联型机器人，如图2所示，它能够完成空间中X、Y、Z方向的移动及角度的转动。除了并联型机器人本体之外，机器人配套设施还包括机器人控制柜、控制编程器和驱动机器人各关节运动的伺服交流电机。机器人末端执行机构为气动吸盘，用于吸附传送带上的分拣对象，完成抓取动作。 1.2 视觉模块 视觉模块我们采用康奈视公司的In-Sight7000型智能相机，如图3所示。该视觉模块能够智能的识别出实验中不同种类的实验对象，以及采集各个实验对象的位置信息。 1.3网络交换机 实验中，我们使用一般的家用路由器来替代网络交换机。视觉模块采集到的信息要通过局域网来络传递给机器人，因此我们要用到网络交换机来搭建局域网络，进而使各个模块间完成信息传输。
机器视觉技术的在不同行业的应用 -上海映初智能科技有限公司工业4.0离不开智能制造，智能制造离不开机器视觉。如果说工业机器人是人类手的延伸、交通工具是人类腿的延伸，那么机器视觉就相当于人类视觉在机器上的延伸，是实现工业自动化和智能化的必要手段。机器视觉具有高度自动化、高效率、高精度和适应较差环境等优点，为我国工业自动化打开“新视界”。 传统工业制造企业在视觉图像技术方面需要构建四大能力： 第一、智能识别 海量信息快速收敛，从大量信息中找到关键特征，准确度和可靠度是关键。 第二、智能测量 测量是工业的基础，要求精准度。 第三、智能检测 在测量的基础上，综合分析判断多信息多指标，关键是基于复杂逻辑的智能化判断。第四、智能互联 图像的海量数据在多节点采集互联，同时将人员、设备、生产物资、环境、工艺等数据互联，衍生出深度学习、智能优化、智能预测等创新能力。 1、简介及分类 机器视觉是指利用相机、摄像机等传感器，配合机器视觉算法赋予智能设备人眼的功能，从而进行物体的识别、检测、测量等功能。机器视觉可以分为工业视觉、计算机视觉两类。
表1：机器视觉分类 a)构成及原理 机器视觉系统一般由光源、镜头、工业相机、图像采集卡、图像处理单元和视觉处理软件构成。 图1：机器视觉系统构成及工作原理 b)优势及特点
机器视觉具有高度自动化、高效率、高精度和适应较差环境的优点。 机器视觉性能优势优势原因 非接触测量对于观测者和被观测者都不会产生任何损伤，从而提高系统的可靠性 光谱响应范围较大具有交款的光谱响应范围，例如使用人眼看不见的红外测量，扩展了人眼的视觉范围 超长待机能够长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可以长时 间的测量、分析和识别任务 定位功能具备定位功能，能够自动判断物体的位置，并将位置信息通过一定的通信协议输出，此 功能多用于全自动装配和生产 测量功能测量功能，能够自动测量产品的外观尺寸，比如外协轮廓、孔径、高度、面积等尺寸的 测量 缺陷检测功能缺陷检测功能是机器视觉用的最多的一种功能，她可以检测产品表面的一些信息。基 本上需要用人眼来的产品品质，都可以用视觉技术来替代。 表2：机器视觉性能优势原理 是实现智能制造的必要手段 如果说工业机器人是人类手的延伸、交通工具是人类腿的延伸，那么机器视觉就相当于人类视觉在机器上的延伸。机器视觉实现了对工件尺寸、形状、颜色等特征的自动判断和识别，可以让机器代替人眼做测量和判断，是实现工业自动化和智能化的必要手段。 人类视觉机器视觉 精确性差，64灰度级，不能分辨微小的目标强，256灰度级，可观测微米级的目 标 速度性慢，无法看清较快运动的目标快，快门时间可达10微秒
机器视觉系统中常用工业相机的分类 根据不同感光芯片划分 我们知道感光芯片是摄像机的核心部件，目前摄像机常用的感光芯片有CCD和CMOS 两种： １．CCD摄像机，CCD称为电荷耦合器件，CCD实际上只是一个把从图像半导体中出 来的电子有组织地储存起来的方法。 称为互补金属氧化物半导体，CMOS实际上只是将晶体管２．CMOS摄像机，CMOS“” 放在硅块上的技术，没有更多的含义。 表示互补金属氧化物半导体，但是不论CCD 表示电荷耦合器件而CMOS“” 尽管CCD“” 对于图像感应都没有用，真正感应的传感器称做图像半导体，CCD和CMOS 或者CMOS“” 传感器实际使用的都是同一种传感器图像半导体，图像半导体是一个P N结合半导体，能 “” 够转换光线的光子爆炸结合处成为成比例数量的电子。电子的数量被计算信号的电压，光线进入图像半导体得越多，电子产生的也越多，从传感器输出的电压也越高。 1 因为人眼能看到Lux照度（满月的夜晚）以下的目标，CCD传感器通常能看到的照度 传感器感光度的到倍，所以目前一般CCD摄像机的图像质范围在Lux，是CMOS310 0.1~3 量要优于CMOS摄像机。CMOS可以将光敏元件、放大器、A/D转换器、存储器、数字 信号处理器和计算机接口控制电路集成在一块硅片上，具有结构简单、处理功能多、速度快、耗电低、成本低等特点。CMOS摄像机存在成像质量差、像敏单元尺寸小、填充率低等问题，年后出现了有源像敏单元结构，不仅有光敏元件和像敏单元的寻址开关，而且还1989“” 有信号放大和处理等电路，提高了光电灵敏度、减小了噪声，扩大了动态范围，使得一些参数与CCD摄像机相近，而在功能、功耗、尺寸和价格方面要优于CCD，逐步得到广泛的应用。CMOS传感器可以做得非常大并有和CCD传感器同样的感光度，因此非常适用于特殊 应用。CMOS传感器不需要复杂的处理过程，直接将图像半导体产生的电子转变成电压信号，因此就非常快，这个优点使得CMOS传感器对于高帧摄像机非常有用，高帧速度能达 到到帧秒。 400100000/ 按输出图像信号格式划分 模拟摄像机 模拟摄像机所输出的信号形式为标准的模拟量视频信号，需要配专用的图像采集卡才能 转化为计算机可以处理的数字信息。模拟摄像机一般用于电视摄像和监控领域，具有通用性好、成本低的特点，但一般分辨率较低、采集速度慢，而且在图像传输中容易受到噪声干扰，导致图像质量下降，所以只能用于对图像质量要求不高的机器视觉系统。常用的摄像机输出信号格式有： 中国电视标准，行，场 PAL（黑白为CCIR），62550
机器视觉技术发展现状 人类认识外界信息的80%来自于视觉，而机器视觉就是用机器代替人眼来做 测量和判断，机器视觉的最终目标就是使计算机像人一样，通过视觉观察和理解 世界，具有自主适应环境的能力。作为一个新兴学科，同时也是一个交叉学科，取“信息”的人工智能系统，其特点是可提高生产的柔性和自动化程度。目前机器视觉技术已经在很多工业制造领域得到了应用，并逐渐进入我们的日常生活。 机器视觉是通过对相关的理论和技术进行研究，从而建立由图像或多维数据中获机器视觉简介 机器视觉就是用机器代替人眼来做测量和判断。机器视觉主要利用计算机来模拟人的视觉功能，再现于人类视觉有关的某些智能行为，从客观事物的图像中提取信息进行处理，并加以理解，最终用于实际检测和控制。机器视觉是一项综合技术，其包括数字处理、机械工程技术、控制、光源照明技术、光学成像、传感器技术、模拟与数字视频技术、计算机软硬件技术和人机接口技术等，这些技术相互协调才能构成一个完整的工业机器视觉系统[1]。 机器视觉强调实用性，要能适应工业现场恶劣的环境，并要有合理的性价比、通用的通讯接口、较高的容错能力和安全性、较强的通用性和可移植性。其更强调的是实时性，要求高速度和高精度，且具有非接触性、实时性、自动化和智能 高等优点，有着广泛的应用前景[1]。 一个典型的工业机器人视觉应用系统包括光源、光学成像系统、图像捕捉系统、图像采集与数字化模块、智能图像处理与决策模块以及控制执行模块。通过 CCD或CMOS摄像机将被测目标转换为图像信号，然后通过A/D转换成数字信号传送给专用的图像处理系统，并根据像素分布、亮度和颜色等信息，将其转换成数字化信息。图像系统对这些信号进行各种运算来抽取目标的特征，如面积、 数量、位置和长度等，进而根据判别的结果来控制现场的设备动作[1]。 机器视觉一般都包括下面四个过程：
（ 二 〇 一 七 年 五 月 学校代码： 10128 学 号： 010202064 题目：分拣机器人单片机控制系统设计 学生姓名： 学院： 系别： 专业： 班级： 指导教师： 本科毕业设计说明书
摘要 一般的分拣机器人由于其操作方式较复杂，分拣的效率较差，人机交互系统的不太完善，机械性能欠佳等已经很难满足当今社会的生产实践需要。伴随着社会的飞速发展，人们对性能优良智能分拣人的需求也与日俱增。设计一款基于单片机的分拣机器人有很大的实践需要和社会功能。根据控制系统的要求，决定采用美国INTEL公司MCS-51系列单片机基本产品89C52，作为分拣机器人的主控 制芯片。它具有运行速度快，功耗低，抗干扰能力强等优点，能够完全我的设计要求。本系统包括硬件和软件两个部分。硬件系统主要包括电压转换电路的设计、单片机连接PC机串口电路的设计，单片机系统的设计，驱动电路的设计，显示电路的设计等。在电路图板上完成各模块的设计与连接。分析易得，此系统可以完全满足设计需要。通过光耦等器件克服电机驱动部分与单片机部分的相互干扰。 关键词：单片机；硬件设计；软件编程；89C52
Abstract The general sorting robot is more complicated due to its operation，sorting is less efficient，human-computer interaction system is not perfect，poor mechanical performance has been difficult to meet the needs of today's social production practice. Accompanied by the rapid development of society，the demand for smart sorters is also growing。The design of a sorting robot based on a single chip has a great practical need and social function.According to the requirements of the control system，Decided to adopt the United States INTEL MCS-51 series of basic products 89C52，as the main control chip for the sorting robot。It has the advantages of fast running speed, low power consumption and strong anti-interference ability，can be completely my design requirements。The system includes both hardware and software。The hardware system mainly includes the design of voltage conversion circuit，design of serial circuit of PC computer connected by single chip microcomputer，design of Single Chip Microcomputer System，design of the drive circuit，display circuit design, etc。In the circuit board to complete the design and connection of the module。Analysis easy to get，This system can fully meet the design needs。Through the optocoupler and other devices to overcome the motor drive part and the microcontroller part of the mutual interference。 Keywords:Single chip，hardware design，software programming，89C52
机器视觉测量技术 杨永跃 合肥工业大学 2007.3
目录第一章绪论 1.1 概述 1.2 机器视觉的研究内容 1.3 机器视觉的应用 1.4 人类视觉简介 1.5 颜色和知觉 1.6 光度学 1.7 视觉的空间知觉 1.8 几何基础 第二章图像的采集和量化 2.1 采集装置的性能指标 2.2 电荷藕合摄像器件 2.3 CCD相机类 2.4 彩色数码相机 2.5 常用的图像文件格式 2.6 照明系统设计 第三章光学图样的测量 3.1 全息技术 3.2 散斑测量技术 3.3 莫尔条纹测量技术 3.4 微图像测量技术 第四章标定方法的研究 4.1 干涉条纹图数学形成与特征 4.2 图像预处理方法 4.3 条纹倍增法 4.4 条纹图的旋滤波算法 第五章立体视觉 5.1 立体成像
5.2 基本约束 5.3 边缘匹配 5.4 匹域相关性 5.5 从x恢复形状的方法 5.6 测距成像 第六章标定 6.1 传统标定 6.2 Tsais万能摄像机标定法 6.3 Weng’s标定法 6.4 几何映射变换 6.5 重采样算法 第七章目标图像亚像素定位技术 第八章图像测量软件 （多媒体介绍） 第九章典型测量系统设计分析9.1 光源设计 9.2 图像传感器设计 9.3 图像处理分析 9.4 图像识别分析 附：教学实验 1、视觉坐标测量标定实验 2、视觉坐标测量的标定方法。 3、视觉坐标测量应用实验 4、典型零件测量方法等。
第一章绪论 1.1 概述 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。 智能机器能模拟人类的功能、能感知外部世界，有效解决问题。 人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉 眼耳鼻舌身 所以对于智能机器，赋予人类视觉功能极其重要。 机器视觉：用计算机来模拟生物（外显或宏观）视觉功能的科学和技术。 机器视觉目标：用图像创建或恢复现实世界模型，然后认知现实世界。 1.2 机器视觉的研究内容 1 输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、 超声成像、CT等 数字化设备 2 低层视觉（预处理）：对输入的原始图像进行处理（滤波、增强、边缘检测），提取角 点、边缘、线条色彩等特征。 3 中层视觉：恢复场景的深度、表面法线，通过立体视觉、运动估计、明暗特征、纹理 分析。系统标定 4 高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并 确定物体的位置和方向。 5 体系结构：根据系统模型（非具体的事例）来研究系统的结构。（某时期的建筑风格— 据此风格设计的具体建筑） 1.3 机器视觉的应用 工业检测—文件处理，毫微米技术—多媒体数据库。 许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。 1 零件识别与定位
激光切割 工业机器人分拣系统1 / 11
1目录 摘要： (4) 关键词： (4) 2概述 (5) 2.1激光切割简述 (5) 2.1.1定义 (5) 2.1.2简介 (5) 2.1.3原理 (5) 2.1.4分类 (5) 2.1.5特点 (6) 2.2机器视觉引导与定位 (7) 2.2.1什么是机器视觉 (7) 2.2.2什么是视觉引导 (7) 2.2.3定位 (7) 3机器人分拣系统在激光切割设备上的应用 (8) 3.1自动化系统的组成 (8) 3.1.1工业机器人 (8) 3.1.2相机 (8) 3.1.3磁铁矩阵夹爪 (9) 3.2自动化系统的工作原理 (10) 3.2.13D扫描相机的工作原理 (10) 3.2.2机器人的工作原理 (10) 3.3工业机器人在该系统中的调试技巧 (11) 3.3.1工具中心点的设定（tool center point） (11) 3.3.2机器人路径规划 (11) 2 / 11
3.3.3机器人IO设定 (11) 3.4总结 (11) 3 / 11
摘要： 中国劳动力价格优势已经逐渐失去，劳动密集型企业升级迫在眉睫。 随着技术改革步伐的加快，自动化的水平不断提到，机器人换人的呼声也越来越高。 激光切割在金属板材切割领域受到了越来越广泛的关注，是一种利用激光束聚焦后的高能量密度实现板材切割的加工方式，在电气制造、汽车、仪表开关、纺织机械、输机械、家电制造、电梯设备制造、食品工业等多个领域都具有较大的市场需求。 高能量密度的激光束使得板材迅速汽化蒸发形成孔洞、随着光束与材料相对线性移动、使孔洞连续形成宽度很窄的切缝，具备热变形小、切口整齐、加工精度高等特点。通过计算机编程，激光切割专机或机器人能够实现复杂曲线的数控切割，具备较高的精确度和柔性，且切割过程自动化程度高，通过计算机程序的优化，能够对复杂切割图形进行排版，尽可能利用材料，节约成本。 关键词：激光切割、机器人换人、自动化生产线 4 / 11
龙源期刊网 https://www.doczj.com/doc/6e1690896.html, 带有视觉识别模块的分拣机器人 作者：李德民王诗宇王嘉乐 来源：《知识文库》2018年第05期 传统的机器人分拣操作一般采用示教或离线编程方式，当机器人所处的工作环境发生改变时机器人很难即时作出相应的调整，为了使机器人具有更加智能化的功能，以阿童木并联机器人和工业智能相机为基础，组成一套带有视觉模块的机器人分拣系统。这样的分拣系统结合了并联型机器人和视觉模块两个方面的优势，通过视觉模块智能的识别不同的对象，系统可以完成高速的分拣工作，显著提升了机器人对工作环境的适应能力，提高了工作效率。同时，实验结果证明了该系统软硬件设计正确，分拣成功率高。 随着我们国家生产需求的不断增加，机器人越来越多的参与到各行各业的生产过程中来。其中，对工件的分拣作业是当前生产过程中的一个重要环节，传统的机器人分拣，其动作和目标的摆放位置都需要根据程序预先严格的设定。一旦机器人所处的环境有所改变，很容易导致抓取错误。本文模拟工业生产中的分拣作业环境，引入视觉模块，用摄像机来模拟人类的视觉功能来对待测的对象进行识别分类，可以使分拣作业拥有更高的可靠性和灵活性，作业对象以及分拣工序可以随时随地的变换，也提高了工作的效率和机器人的智能化程度。 1机器人系统组成介绍 我们设计的机器人分拣系统主要由并联机器人、视觉模块、传送带装置以及分拣对象组成，结构如图1所示： 1.1并联机器人 相比于其他工业机器人，并联机器人占用较小的空间，其更具有高速度、高精度、灵活性等特点，更能适合苛刻的工业生产需求。我们在实验中采用的是阿童木4轴并联型机器人，如图2所示，它能够完成空间中X、Y、Z方向的移动及角度的转动。除了并联型机器人本体之外，机器人配套设施还包括机器人控制柜、控制编程器和驱动机器人各关节运动的伺服交流电机。机器人末端执行机构为气动吸盘，用于吸附传送带上的分拣对象，完成抓取动作。 1.2 视觉模块 视觉模块我们采用康奈视公司的In-Sight7000型智能相机，如图3所示。该视觉模块能够智能的识别出实验中不同种类的实验对象，以及采集各个实验对象的位置信息。 1.3网络交换机
工业机器人物品识别分拣系统设计探析引言 随着工业自动化的深入和普及，越来越多的工业机器人被应用到最前沿的生产一线中，这些应用于实际生产制造的工业机器人在提高生产效率同时，极大地节省了用工所需的人力成本，也避免了因人工误操作而带来的产品损坏问题。对分拣系统而言，在工业机器人的搬运过程中，多数情况需要工业机器人能够识别物品并将待搬运的物品移动到指定的位置上。但对于遇到某些特殊的物品，工业机器人还需要先对物品进行特殊处理然后再将其搬运到指定位置。在传统的机器人搬运工作站设计上，工作站设备多采用若干检测传感器加电机气动执行装置的方法对物体进行检测和分类，这种方法使用场景较为单一，受限于传感器自身的特性很难对已经设计好的系统进行拓展，若系统中设置较多的传感器还存在着搬运站现场安装难度大，系统建设成本高的问题。为克服上述缺陷，设计了一种基于深度学习的物体识别与分拣系统，通过将深度学习的视觉检测方法应用到工业机器人搬运站上，最大程度上克服了采用单一传感器检测物体造成的检测局限性，同时又解决了多个传感器检测造成的信息匹配不佳的问题。这种设计在增加工作站灵活性的同时极大地提升了机器人分拣系统分拣的准确率。 1总体结构设计 工业机器人物品识别分拣系统主要分为硬件实现和软件设计两个部分。硬件部分主要由ABB工业机器人本体、机器人控制柜、PC
机、相机、气动夹爪、吸盘以及真空发生器组成[1]，如图1所示。工业机器人控制柜是核心组成部件，控制柜通过控制电缆与工业机器人本体相连并通过网线与PC机进行通信，控制柜与PC机之间的通信采用基于TCP/IP的以太网通讯协议进行；用于检测物体的相机被固定在工业机器人附近的专用支架上通过USB接口与PC机进行连接；物品搬运所用的执行工具由气动夹爪和吸盘组成，两者均与真空发生器相连，并在工业机器人控制柜的控制下对物品进行夹取和搬运。系统的软件部分主要由物体到位检测模块，图像抓取模块，图像识别模块以及工业机器人分拣标记模块等四部分组成，其工作流程如下页图2所示。具体为：当控制柜收到物体到位检测信号后PC机启动相机对其下方的物体进行拍摄，完成这一步后相机通过USB协议将抓取到的图片传输到PC机上并通过训练好的神经网络模型对物体进行识别解析；在识别完成后PC机通过TCP/IP协议将物体的种类发送给控制柜；工业机器人在收到PC机给出的解析信号后对相关信息进行校验并执行相应的分拣动作，进而完成对物品的搬运和物品分拣操作。 2物体图像识别 物体的图像识别部分主要由相机和光电传感器配合实现的。当光电传感器检测到物体到达指定区域后，传感器将物体已到达指定位置的信息通过I/O信号通知工业机器人控制柜，在收到到位检测信号后，控制柜通过以太网向PC机发出开启摄像头的命令，随后PC机对相机传输过来的图像通过图像特征识别模块的深度学习网络进行分析和处理。
概述机器视觉工业五大典型应用 如今，自动化技术在我国发展迅猛，人们对于机器视觉的认识更加深刻，对于它的看法也发生了很大的转变。机器视觉系统提高了生产的自动化程度，让不适合人工作业的危险工作环境变成了可能，让大批量、持续生产变成了现实，大大提高了生产效率和产品精度。快速获取信息并自动处理的性能，也同时为工业生产的信息集成提供了方便。随着机器视觉技术成熟与发展，我们不难发现其应用范围越加的广泛，根据这些领域，我们大致可以概括出机器视觉工业的五大典型应用，这五大典型应用也基本可以概括出机器视觉技术在工业生产中能够起到的作用。 图像识别应用。 图像识别，是利用机器视觉对图像进行处理、分析和理解，以识别各种不同模式的目标和对象。图像识别在机器视觉工业领域中最典型的应用就是二维码的识别了，二维码就是我们平时常见的条形码中最为普遍的一种。将大量的数据信息存储在这小小的二维码中，通过条码对产品进行跟踪管理，通过机器视觉系统，可以方便的对各种材质表面的条码进行识别读取，大大提高了现代化生产的效率。 图像检测应用 检测是机器视觉工业领域最主要的应用之一，几乎所有产品都需要检测，而人工检测存在着较多的弊端，人工检测准确性低，长时间工作的话，准确性更是无法保证，而且检测速度慢，容易影响整个生产过程的效率。因此，机器视觉在图像检测的应用方面也非常的广泛，例如：硬币边缘字符的检测。2000年10月新发行的第五套人民币中，壹圆硬币的侧边增强了防伪功能，鉴于生产过程的严格控制要求，在造币的最后一道工序上安装了视觉检测系统；印刷过程中的套色定位以及较色检查、包装过程中的饮料瓶盖的印刷质量检查，产品包装上的条码和字符识别等；玻璃瓶的缺陷检测。机器视觉系统对玻璃瓶的缺陷检测，也包括了药用玻璃瓶范畴，也就是说机器视觉也涉及到了医药领域，其主要检测包括尺寸检测、瓶身外观缺陷检测、瓶肩部缺陷检测、瓶口检测等。 视觉定位应用
安徽工商职业学院 应用工程学院 毕业设计 题目：基于机器人货物分拣系统设计系别：应用工程学院 专业：机电一体化 班级：15机电2班 姓名： 学号： 指导教师：日期： 1
目录 摘要 (4) 第1章引言 (4) 1.1工业机器人的历史、现状及应用 (4) 1.2我国的工业机器人 (5) 1.3机器人发展趋势 (6) 1.4机器人的分类 (7) 第2章基于机器人货物分拣系统设计 (7) 2.1总体系统布局 (7) 2.2生产线系统 (7) 2.3相机的系统 (8) 2.31相机结构 (8) 2.32光源的选择 (9) 2.33相机的安装 (9) 2.4机器人系统 (9) 2.41机器人的选择 (9) 2.42机械系统组成 (10) 2.43外部执行机构 (11) 2.44气路连接 (11) 2.5各设备间的通信 (11) 2.51工业机器人的通讯 (12) 2.52相机的通讯 (12)
第3章设备的控制系统程序编写 (12) 3.1编程设备的选择及编程软件 (12) 3.2 TIA Portal软件的使用 (13) 3.21创建项目，插入并组态PLC (13) 3.22创建HMI画面 (14) 3.3系统程序的编写 (15) 3.31主程序编写与通信的编写 (15) 3.32托盘传送带的程序编辑 (16) 3.33工件盒生产线的程序编辑 (18) 3.4相机程序的编写 (20) 3.41 X_SIGHT软件程序的编写 (20) 3.42相机总控软件上程序编写 (22) 3.5机器人程序编辑 (23) 3.51示教器程序编写 (23) 3.52机器人系统程序的编写 (27) 第4章触摸屏设计 (29) 第5章总结 (31) 5.1设计经验 (31) 5.2误差分析 (31) 5.3总结评价 (31) 3
搬运分拣机器人比赛方案 比赛简介 比赛目的 设计一个基于8位单片机或ARM控制的小型机器人，在比赛场地里移动，将不同颜色、形状或者材质的物体分类搬运到不同的对应位置。比赛的记分根据机器人将物体放置的位置精度和完成时间来决定分值的高低。它模拟了工业自动化过程中自动化物流系统实际工作过程。 比赛内容及任务 比赛任务为：在规定时间内，机器人分类搬运完毕物料,并回到出发点。 比赛分组：比赛采用统一的比赛任务，但规定使用不同的控制平台，具体规则附后。 项目1 规定项目比赛 机器人从出发区出发，到达物料储存区后，分拣其赛前抽签决定好的任务，即从5个预知颜色料块（黄、白、红、黑、蓝）选3种颜色料块的已知6种组合（任务）中，选其中1个作为比赛任务（其料块均要求摆放在场地图的A、C、E位置，B、D位置不放置物料，场地图参见比赛规则一：比赛场地)，再按照设计好的控制策略控制机器人动作，以便将三个料块快速准确地搬运到对应的三个颜色中心区域内，最后回到出发区。 项目2 技术挑战赛 比赛要求基本同项目1，不同之处在于： 参赛队需要从5个预知颜色料块（黄、白、红、黑、蓝）选4种颜色料块的已知6种组合（任务）中，选其中1个作为比赛任务（其料块均要求摆放在场地图的A、B、D、E位置，C位置不放置物料)，再按照设计好的控制策略控制机器人动作，以便将四个料块快速准确地搬运到对应的四个颜色中心区域内，并最后回到出发区。
比赛规则 规则一 比赛场地 场地的材质为木质，场地表面最大承重能力100kg ，各参赛队可自行制作，或者直接在采用比较平整的地面即可。场地表面的材料为亚光PVC 膜，各种颜色和线条用计算机彩色喷绘的形式产生。参赛队可以从技术委员会指定的厂家购买场地表面材料。 场地的照明要求：赛场的照度为600Lux 到1200Lux 之间，场地上各区域的照度应柔和均匀，各区域照度差不超过300Lux.实际的比赛场地四角会架设各2座20W 、色温4000~6000K 的节能灯，光源高度为2米。 A B C D E
2020年吉林省大学生电子设计竞赛 参赛注意事项 （1）12月1日8:00竞赛正式开始。本科组和高职高专组试题相同。 （2）参赛队认真填写两份《登记表》，并与学校赛前上报组委会秘书处的《报名表》人员姓名一致。（3）参赛队员必须是正式学籍的全日制在校本科、高职高专学生。应出示能够证明其学生身份的有效证件（如校园一卡通）随时备查。 （4）参赛队每队严格限制不超过3名学生，开赛后不得中途更换参赛队员。 （5）参赛队必须在学校指定的竞赛场地内进行独立设计和制作，以便于组委会巡查。不得以任何方式与本队参赛队员以外人员交流（包括教师），组委会将对违纪的参赛队，取消其评审资格。（6）12月4日20:00竞赛结束。参赛队将纸质设计报告、一份《登记表》及制作实物一起封箱，并在箱体的两侧开口处粘贴组委会专用封条；若制作实物体积较大，也可独立封存后粘贴专用封条。 分拣机器人（C题） 一、任务 设计并制作一台轮式分拣机器人，具有自动接受扫码识别信息、运载、包裹投放等功能。仓储作业场平面尺寸为2400mm *1200mm，作业场离地面高度≥10mm，1-3号投料口为200mm*200mm孔洞，如图C-1所示。 图C-1仓储作业场示意图 二、要求 人工将包裹放置到机器人顶部的托盘上，机器人携带包裹从起点标记线开始（出发前机器人前端不得超出该线），沿箭头所示方向出发，穿过A处的支架，支架上可将扫码识别包裹的目的地（投料口）信息发送给机器人，机器人完成“计算路径→运载→包裹投放目的地→返回起点标记线”等一系列动作。
重要提示：机器人运行时间超过60秒将扣分。 1.基本要求 （1）将包裹1投入1号投料口，返回起点标记线。 （2）将包裹2投入2号投料口，返回起点标记线。 2.发挥部分 （1）将包裹2投入到2号投料口，返回起点标记线，并在支架端用数码管或液晶实时显示行驶时间。 （2）将包裹3投入到3号投料口，返回起点标记线，除支架端用数码管或液晶实时显示行驶时间外，也在智能手机上实时显示行驶时间。 （3）其他。 三、说明 1.正式比赛测试场地可由一张细木工板组成（长度2440mm，宽度1220mm）。比赛时参赛队可自备符合图C-1要求的仓储作业场图纸（或喷布），但投料口必须为200mm*200mm的孔洞。也可使用组委会提供的仓储作业场喷布。图C-1中间地面导线宽度10mm，可以涂墨或粘贴黑色胶带。除此之外，不允许在图C-1场内及场外另外再设置任何标志或装置干扰检测。 2.机器人顶部的托盘采用沿行走方向向左侧翻，包裹投放后返回起点标记线之前，托盘能自动恢复原始的水平状态。 3.包裹为包装纸盒或包装袋，外形尺寸不超过150*150*150mm。全程条形码朝上。 4.包裹平面处粘贴条形码，条形码外形裁切尺寸为50mm*50mm，粘贴条形码位置自定。条形码采用代码集为Code128-A，内容分别为“2020JLDS001”“2020JLDS002”“2020JLDS003”，如图C-2所示。其中“2020JLDS003”条形码按此代码集自行处理。 图C-2 条形码示意图 5.投料口处无文字及图案标识。包裹投入投料口时，至少包裹一端与地面有接触，否则视为投递失败。 6.返回起点标记线时，机器人前端不得超出该线。 7.机器人允许用电动玩具车改装，车体含附加装置外围尺寸不超过350mm*350mm （高度不限）。电源采用安全性高的电池供电，测试中不允许更换电池，不允许外接电源。 8.另外： （1）不允许与外部有机械、有线连（含无线遥控）方式控制机器人运行。 （2）测试时一旦机器人部分掉入投料口落地或超出仓储作业场边界落地，则该项测试结束。 （3）未经评委同意，参赛选手不能人为干预测试，违者视为自动放弃后续比赛项目。 四、评分标准
工业镜头的基本参数 工业镜头相当于人眼的晶状体，如果没有晶状体，人眼看不到任何物体；如果没有镜头，那么摄像头所输出的图像；就是白茫茫的一片，没有清晰的图像输出，这与我们家用摄像机和照相机的原理是一致的。 当人眼的肌肉无法将晶状体拉伸至正常位置时，也就是人们常说的近视眼，眼前的景物就变得模糊不清；摄像头与镜头的配合也有类似现象，当图像变得不清楚时，可以调整摄像头的后焦点，改变CCD芯片与工业镜头基准面的距离(相当于调整人眼晶状体的位置)，可以将模糊的图像变得清晰。 由此可见，镜头在闭路监控系统中的作用是非常重要的。工程设计人员和施工人员都要经常与镜头打交道:设计人员要根据物距、成像大小计算镜头焦距，施工人员经常进行现场调试，其中一部分就是把镜头调整到最佳状态。 一．工业镜头的安装尺寸，接口 所有的摄象机镜头均是螺纹口的，CCD摄象机的镜头安装有两种工业标准，即C安装座和CS安装座。两者螺纹部分相同，但两者从镜头到感光表面的距离不同。 C安装座:从镜头安装基准面到焦点的距离是17．526mm。 CS安装座:特种C安装，此时应将摄象机前部的垫圈取下再安装镜头。其镜头安装基准面到焦点的距离是12．5mm。如果要将一个C安装座镜头安装到一个C S安装座摄象机上时，则需要加装一个5mm厚的接圈。 二．镜头的尺寸 以摄象机镜头尺寸分镜头可以分为1英寸、2／3英寸、1／2英寸、1／3英寸、1／4英寸、1／5英寸等规格，下面是一个简单的芯片尺寸规格表: 格式1英寸2/3英寸1/2英寸1/3英寸1/4英寸 高度9.6mm 6.6 mm 4.8 mm 3.6 mm 2.4 mm 宽度12.8 mm 8.8 mm 6.4 mm 4.8 mm 3.2 mm 摄像机镜头规格应视摄象机的CCD尺寸而定，两者应相对应。大概: ★摄像机的CCD靶面大小为1／2英寸时，镜头应选1／2英寸。 ★摄像机的CCD靶面大小为1／3英寸时，镜头应选1／3英寸。 ★摄像机的CCD靶面大小为1／4英寸时，镜头应选1／4英寸。 如果镜头尺寸比摄像机CCD靶面尺寸大时，将使图像视野比镜头视野小，即不能很好地利用镜头的视野；如果镜头尺寸比摄像机CCD靶面尺寸小时，将发生“隧道效应”，即图像有圆形的黑框，像在隧道里拍的一样。 监控相机一般都比较小，甚至小于1/3英寸；工业相机稍微大一些，一般1/2英寸到1英寸不等；传统的135相机底片比当前的一般感光芯片都大，36mm×24mm(1.4英寸×0.9英寸)，画面对角线长度为43mm(1.7英寸)，即是1.7英寸的，120中幅相机，其感光面尺寸有三种:45
工业4.0时代的到来，让机器视觉在智能制造业领域的作用越来越重要，人们对于机器视觉的认识也愈加深刻，机器视觉系统提高了生产的自动化程度，大大提高了生产效率和产品精度。 机器视觉系统可以通过机器视觉产品即图像摄取装置，将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号，然后图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 1、图像识别应用 利用机器视觉对图像进行处理、分析和理解，以识别各种不同模式的目标和对象。图像识别在机器视觉工业领域中最典型的应用就是二维码的识别了，二维码就是我们平时常见的条形码中最为普遍的一种。将大量的数据信息存储在这小小的二维码中，通过条码对产品进行跟踪管理。通过机器视觉系统，可以方便的对各种材质表面的条码进行识别读取，大大提高了现代化生产的效率。 2、图像检测应用 检测是机器视觉工业领域最主要的应用之一，几乎所有产品都需要检测，而人工检测存在着较多的弊端，人工检测准确性低，长时间工作的话，准确性更是无法保证，而且检测速度慢，容易影响整个生产过程的效率。因此，机器视觉在图像检测的应用方面也非常的广泛，比如应用于印刷过程中的套色定位以及较色检查、包装过程中的饮料瓶盖的印刷质量检查，产品包装上的条码和字符识别，玻璃瓶的缺陷检测等。其中，机器视觉系统对玻璃瓶的缺陷检测，也包括了药用玻璃瓶范畴，也就是说机器视觉也涉及到了医药领域，其主要检测包括尺寸检
测、瓶身外观缺陷检测、瓶肩部缺陷检测、瓶口检测等。 3、物体测量应用 机器视觉工业应用最大的特点就是其非接触测量技术，同样具有高精度和高速度的性能，但非接触无磨损，消除了接触测量可能造成的二次损伤隐患。常见的测量应用包括，齿轮，接插件，汽车零部件，IC元件管脚，麻花钻，罗定螺纹检测等。 4、视觉定位应用 视觉定位要求机器视觉系统能够快速准确的找到被测零件并确认其位置。在半导体封装领域，设备需要根据机器视觉取得的芯片位置信息调整拾取头，准确拾取芯片并进行绑定，这就是视觉定位在机器视觉工业领域最基本的应用。 5、物体分拣应用 物体分拣应用是建立在识别、检测之后一个环节，通过机器视觉系统将图像进行处理，实现分拣。在机器视觉工业应用中常用于食品分拣、零件表面瑕疵自动分拣、棉花纤维分拣等。 随着社会现代化的蓬勃发展，我国工业取得了长足的发展。经过机器视觉检测市场的长期积累，我国涌现出一批具有一定实力的机器视觉研发和生产企业，泰视特就是代表企业之一。 机器视觉可以代替人眼做测量和判断，在工业自动化中的应用自然是十分重要的，我司机器视觉在食品、饮料、制药、酒水、日化、电子、五金、汽配、包装、印刷等行业均有广泛的应用，在不久的将来，还将会有更多领域的突破和发展。
学校代码： 10128 学号： 010202064 （ 本科毕业设计说明书题目：分拣机器人单片机控制系统设计 学生姓名： 学院： 系别： 专业： 班级： 指导教师： 二〇一七年五月
摘要 一般的分拣机器人由于其操作方式较复杂，分拣的效率较差，人机交互系统的不太完善，机械性能欠佳等已经很难满足当今社会的生产实践需要。伴随着社会的飞速发展，人们对性能优良智能分拣人的需求也与日俱增。设计一款基于单片机的分拣机器人有很大的实践需要和社会功能。根据控制系统的要求，决定采用美国INTEL公司MCS-51系列单片机基本产品89C52，作为分拣机器人的主控 制芯片。它具有运行速度快，功耗低，抗干扰能力强等优点，能够完全我的设计要求。本系统包括硬件和软件两个部分。硬件系统主要包括电压转换电路的设计、单片机连接PC机串口电路的设计，单片机系统的设计，驱动电路的设计，显示电路的设计等。在电路图板上完成各模块的设计与连接。分析易得，此系统可以完全满足设计需要。通过光耦等器件克服电机驱动部分与单片机部分的相互干扰。 关键词：单片机；硬件设计；软件编程；89C52
Abstract The general sorting robot is more complicated due to its operation，sorting is less efficient，human-computer interaction system is not perfect，poor mechanical performance has been difficult to meet the needs of today's social production practice. Accompanied by the rapid development of society，the demand for smart sorters is also growing。The design of a sorting robot based on a single chip has a great practical need and social function.According to the requirements of the control system，Decided to adopt the United States INTEL MCS-51 series of basic products 89C52，as the main control chip for the sorting robot。It has the advantages of fast running speed, low power consumption and strong anti-interference ability，can be completely my design requirements。The system includes both hardware and software。The hardware system mainly includes the design of voltage conversion circuit，design of serial circuit of PC computer connected by single chip microcomputer，design of Single Chip Microcomputer System，design of the drive circuit，display circuit design, etc。In the circuit board to complete the design and connection of the module。Analysis easy to get，This system can fully meet the design needs。Through the optocoupler and other devices to overcome the motor drive part and the microcontroller part of the mutual interference。 Keywords: Single chip，hardware design，software programming，89C52