当前位置：文档之家 › 基于OpenMV的视觉引导机器人设计

基于OpenMV的视觉引导机器人设计

  • 格式：pdf
  • 大小：716.07 KB
  • 文档页数：2

2020年第19卷第14期2020（19

）14Industrial&ScienceTribune基于OpenMV的视觉引导机器人设计□夏斌刘红喜尹港萍祁佳何浩发【内容摘要】视觉引导作为机器视觉领域的重要应用方向［1］，近年来得到了飞速的发展，让机器人拥有人类一样的视觉成像系统是众多该领域研究者梦寐以求的［2］。传统的视觉引导机器人设计往往借助于OpenCV算法库，结合较为复杂的图像处理技术来实现视觉引导的功能，其实现过程需要付出较大的人力和工程成本。本文提出一种更为实用的视觉引导机器人设计方法，该设计首先采用STM32F103ZET6微控制器作为主控芯片，结合OpenMV摄像头和3.5寸TFTLCD显示屏构建了图像实时采集显示系统，其次采用Lab颜色模式对成像画面进行解析，通过OpenMV进行图像处理，获取了被跟踪物体成像区域的二维坐标值，最后结合红外光电传感器确定了被跟踪物体相对于机器人在三维空间下的位置，通过L298N驱动模块对电机转向进行控制［3］，实现了视觉引导，实时跟踪的功能。本文对于视觉引导机器人的设计提供了具有一定参考价值的设计方法。【关键词】OpenMV；视觉引导；Lab颜色模式；颜色追踪【基金项目】本文为全国大学生创新创业项目“视觉引导轮式机器人”（编号：201911437007）研究成果。【作者单位】夏斌，刘红喜，尹港萍，祁佳，何浩发；长春工程学院随着机器视觉的不断发展和相关理论的完善［4］，越来越多的机器视觉相关技术被应用在人类日常的生产和生活中。视觉引导作为机器视觉领域的重要应用［1］，也吸引着众多该领域研究者的追捧，传统的视觉引导机器人设计往往要借助于OpenCV算法库，而且需要通过复杂的边缘梯度检测、二值化处理、阈值分割等算法来完成，这样以来对于机器人的设计提出了更高的要求，对于设计者来说也增加了难度。那么本文提出一种基于OpenMV的视觉引导机器人设计方法，无需借助OpenCV算法库，也不需要进行复杂的图像算法处理，只需对OpenMV返回的颜色坐标进行处理，即可做到追踪定位效果，并且可以通过改变Lab的颜色阈值，实现不同颜色的追踪，实现视觉引导的功能。一、系统原理及组成图1为本设计的整体框图，本设计以STM32微控制器为核心，采用OpenMV视觉处理模块和3.5寸TFTLCD显示屏搭建出图像实时采集显示系统，利用OpenMV内置的基于Lab颜色模型的算法将目标颜色的坐标发送给STM32并实时显示在LCD显示屏上，结合红外光电开关的信号，通过L298N驱动电机控制其应执行的运动状态，实现对电机的控制。

图1系统整体框图二、图像的采集与处理（一）图像采集。本系统选择了OpenMV视觉处理模块，它集成了OV7725摄像头芯片，OV7725是一款高性能摄像头模块，体积较小（27mm*26mm），自带FIFO存储功能，不需要占用单片机的存储资源，使用方便；它具有12M的有源晶振，不需要外部时钟；它具有稳压电路，接3.3V就可以正常工作；它还自带红外镜头，色彩鲜艳，可以手动对焦，是非常适合通常图像采集的摄像头。（二）Lab颜色模型。Lab模式是根据CommissionInterna-tionalEclairage（CIE）在1931年所制定的一种测定颜色的国际标准建立的。于1976年被改进，并且命名的一种色彩模式。Lab颜色模型弥补了ＲGB和CMYK两种色彩模式的不足［5］。它是一种与设备无关的颜色模型，也是一种基于生理特征的颜色模型［6］。Lab颜色模型由三个要素组成，一个要素是亮度（L），a和b是两个颜色通道。a包括的颜色是从深绿色（低亮度值）到灰色（中亮度值）再到亮粉红色（高亮度值）；b是从亮蓝色（从低亮度值）到灰色（中亮度值）再到黄色（高亮度值）［7］。这也就意味着，它是用数字化的方法来描述人的视觉感应［6］。Lab颜色空间中的L分量用于表示像素的亮度，取值范围是［0，100］，表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是［127，－128］［8］；OpenMV既是一个摄像头也是一个单片机，以STM32F767CPU为核心，在小巧的硬件模块上，用C语言高效地实现了核心机器视觉算法，提供Python编程接口。OpenMV内部寻找色块算法使用了Lab颜色模型，通过OpenMVIDE软件可以实时显示图像并计算图像的Lab阈值。如用户通过改变Lab的阈值便可选取到目标颜色。图2为绿色的Lab阈值图。（三）颜色追踪。第二节说明了OpenMV通过Lab颜色模型找到目标颜色。接下来通过Python语言编写程序，完成颜色追踪。图3为程序流程图．首先初始化摄像头。设置传回图像的像素格式为ＲGB565，将图像大小设置为QVGA·73·2020年第19卷第14期Industrial&Science

Tribune2020（19）14图2绿色Lab阈值图（320x240），设置目标颜色阈值，关闭白平衡，颜色识别容易受到光线影响。之后截取一张感光元件传回来的图，将图像转换为Lab颜色模型，过滤像素较小的色块，找到图像中符合阈值的最大色块，并把它框出来，返回矩形框的中心坐标，最后通过串口通信传给STM32处理。图4识别效果图。

图3程序流程图图4识别效果图（四）视觉引导功能的实现。图4中可以清晰的看到被跟踪的物体被框出，实现了在显示器中二维空间下的坐标定位，将色块中心的Y坐标在［0，320］范围内显示出来，根据坐标可以判断出被跟踪物体位于机器人的左边、右边或者正前方，之后再结合红外光电传感器的信号，可得出被跟踪物体在三维空间内的位置，根据此判断机器人应该前进或原地调整；最后通过L298N控制电机的转向，编写出直行、停止、前进左转、前进右转、原地左转、原地右转共6种运动状态，经不断调试实现实时跟踪，视觉引导效果，该设计的实物图如图5所示。（五）实验结果分析。本设计采用基于OpenMV的寻找色块算法做出了可以跟随特定颜色的机器人，在2米的范围内都可以实现很好的引导效果。视觉引导功能实现的关键在于被跟踪物体在LCD显示器上能否被定位，本设计以绿色卡片为跟踪对象，在图3中可以看到机器人在自然光下的定

位效果非常好，那么对于其他颜色，调试出其对应的Lab颜色阈值，即可识别对应颜色，实现视觉引导功能。采用Open-图5机器人实物图MV内置的寻找色块算法解决的是二维空间下的偏左偏右的定位问题，那么在三维空间里判断前后的定位问题，本设计是采用了红外光电传感器来进行辅助判断，机器人可据此进行前后的调整。对于判断前后的问题也可采用设定面积阈值的方法来解决，由于被跟踪物体的实际大小不会改变，被跟踪物体离机器人越近，在TFTLCD显示器中的成像区域就越大，根据被跟踪物体在TFTLCD显示器中的成像面积大小，设定阈值来判断前后。在算法中加入面积阈值，实际应用发现离摄像头过近时会影响摄像头采光，使其整体画面变暗，进而影响整体效果，因此为了更好地实现视觉引导效果，该系统采用了红外光电传感器来辅助判断。那么当机器人处于光线充足或者人为补光的环境，亦或者需要与被跟踪物体保持较长距离的场景时则可采用设定面积阈值的方法来进行前后的判断，从而摒弃红外光电传感器，节约成本。三、结语本文提出一种视觉引导机器人的设计方法，与常见的视觉引导机器人使用OpenCV算法库不同，本文提出的设计方法只需对被跟踪物体的颜色坐标进行处理，即可做到追踪定位效果，实现视觉引导的功能，并且兼顾图像显示。本文为视觉引导机器人的设计提供了一条新的思路［9］，具有一定的参考价值，该设计可应用在行李箱自动跟踪、超市购物车跟随等场景，将会增加人们生活的便利性、趣味性。【参考文献】［1］吴倚龙．基于嵌入式的机器人视觉伺服寻迹系统研究［D］．桂林电子科技大学，2007［2］臧雨飞．基于机器视觉的机械臂半自主控制系统的研究［D］．东南大学，2018［3］黄健．汽车装配自动拧紧机［D］．上海交通大学，2008［4］肖若荣．基于机器视觉的交通标志识别关键技术研究［D］．中南大学，2013［5］任媛．功能性纳米颗粒的合成、组装、及其性能研究［D］．复旦大学，2011［6］苏州大学．基于预测梯度的图像插值方法及系统［P］．中国专利：201610015629．2，2016－01－09［7］范润勇．炮天雄质量标准及温肾助阳作用研究［D］．成都中医药大学，2018［8］西安交通大学．一种结合颜色和外型特征的视频烟雾识别方法［P］．中国专利：201610028532．5，2016［9］张萌萌．粗糙建筑壁面仿生爬行机器人结构设计与分析［D］．山东科技大学，2017·83·

合集下载

基于计算机视觉的智能机器人设计

基于计算机视觉的智能机器人设计

【高科技产品研发】　

基于计算机视觉的智能机器人设计　

柴炜贾雯杰　

（中国矿业大学信电学院江苏徐州２２１００８）　ＶＡＬＬＥ＿＿Ｌ　

摘要：　设计＿¨‘种基于计算机视觉的智能机器人。该机器人采用无线摄像头采集道路信息，采用Ｖｉ　ｓｕａｌ　ｃ＋＋设计上位机进行图像处理获得路径信息，将命令　

通过无线串口传给机器人。用ＡＲＭ７作为下位机控制芯片，应用ＰＩＤ算法对机器人进行闭环控制，从运行结果来看系统的实时性满足设定的要求。　关键词：　智能机器人；无线摄像头；上位机；电机控制　中图分类号：ＴＮ４文献标识码：Ａ文章编号：１　６７１—７５９７（２０１１）０４１００５１－－０１　

０引言　

现代智能机器人在人Ｔ智能、芯片制造、传感器行业的发展推动下有　

了很大的技术突破，应用范围越来越广。本项目设　‘的智能机器人采用无　

线摄像头作为机器人的“眼睛”，包括传感器模块，图像处理模块，执行　

模块等，可以应用于煤矿井下发生突发事件时井下环境的探测，完成安全　

检查，监控等功能。　

１系统的基本构成　

基于计算机视觉的智能机器人系统的硬件部分由计算机、ＵＳＢ接口无　

线摄像头、无线串口、Ａｓ—ｕＩＩＩ实验用机器人组成。无线摄像头安装在机　

器人上，采集道路信息并上传给上位机。上位机分为３部分，即图像处理　

模块、机器人运动控制模块和信息显示模块。基于视觉导航的原始输入图　

像是连续的数字视频图像，系统工作时，首先需调用图像处理模块对原始　

输入图像进行缩小、边缘检测、二值化、哈夫变换等处理［１］，从而获得　

有用的路径信息，运动控制模块根据此信息作出决策，通过无线串口将控　

制命令发给机器人。机器人接受指令，在电机控制模块下做出相应的移　

动。　

２上位机设计　

本项目采用Ｖｉｓｕａｌ　ｃ＋＋６．Ｏ设计上位机［２］，如图１所示，包括图像处　

理，小车信息反馈，手动控制等。上位机主要完成图像处理，路径判别，　

发送命令等功能，机器人运动的控制命令通过和计算机连接的无线串口发　

openmv硬件原理

openmv硬件原理

- 1 - openmv硬件原理

OpenMV硬件原理是指OpenMV开源硬件平台的核心设计和实现原理。OpenMV是一款基于ARMCortex-M7核心的嵌入式视觉处理器，集成了图像传感器、处理器、存储器、通信接口等各种功能，可用于开发各种视觉应用，如机器人视觉、工业自动化、智能家居、智能交通等。

OpenMV硬件原理主要包括以下方面：

1. 处理器架构：OpenMV采用的是Cortex-M7处理器，该处理器通过高性能的浮点运算单元和DSP指令，实现了较高的计算能力和图像处理能力。

2. 图像传感器：OpenMV集成了一款分辨率为320x240的CMOS图像传感器，支持多种输出格式和采样率，可实现多种图像采集和处理功能。

3. 存储器：OpenMV内置了128KB的Flash存储器和320KB的SRAM存储器，可用于存储程序、图像数据和其他数据。

4. 通信接口：OpenMV支持多种通信接口，包括USB、UART、SPI、I2C、CAN等，可方便地与其他设备进行数据交互。

5. 扩展接口：OpenMV还提供了多种扩展接口，包括GPIO、ADC、DAC、PWM等，可用于连接各种传感器和执行器，在视觉应用中实现更丰富的功能。

总之，OpenMV硬件原理是OpenMV开发者必须掌握的基础知识，只有深入理解OpenMV硬件原理，才能更好地开发和应用OpenMV平台。 - 2 -

工业机器人视觉引导系统设计

工业机器人视觉引导系统设计

工业机器人视觉引导系统设计

随着现代工业的发展，工业机器人在生产线上扮演着越来越重要的角色。工业机器人的自动化以及高精度操作需求对其视觉引导系统的设计提出了更高的要求。本文将探讨工业机器人视觉引导系统的设计原理、关键技术以及相关应用。

一、设计原理：

工业机器人视觉引导系统是指利用计算机视觉技术，通过相机和图像处理算法对机器人进行引导和定位的系统。其设计原理可以分为两个主要部分：图像采集和图像处理。

1. 图像采集：

图像采集是工业机器人视觉引导系统的基础，主要通过相机获取现场图像。相机的选择应根据具体应用场景和要求进行，包括分辨率、帧率、焦距等参数的考虑。同时，还需考虑相机的安装位置、视野范围等因素，以保证采集到的图像满足后续图像处理的需求。

2. 图像处理：

图像处理是工业机器人视觉引导系统的核心，通过对采集到的图像进行处理和分析，提取出所需的信息。常见的图像处理技术包括边缘检测、图像分割、目标识别与定位等。

二、关键技术：

1. 边缘检测：

边缘检测是图像处理的基本技术，通过检测出图像中物体的边缘轮廓，为后续目标识别和定位提供基础。常用的边缘检测算法有Sobel算子、Canny算子等。

2. 图像分割： 图像分割是将图像划分成若干个连通区域的过程，可以将不同的物体分割开来，以便进行后续的目标识别和定位。常见的图像分割算法有阈值分割、区域生长法等。

3. 目标识别与定位：

目标识别与定位是工业机器人视觉引导系统的关键技术，通过对图像中的目标进行识别和定位，从而实现机器人的引导和操作。常见的目标识别与定位算法有模板匹配法、特征匹配法等。

三、相关应用：

1. 自动装配：

工业机器人视觉引导系统在自动装配过程中发挥着重要作用。通过对图像中的零件进行识别和定位，机器人可以准确地进行零件的抓取和装配操作，提高生产线的效率和精度。

2. 检测和质检：

工业机器人视觉引导系统可以用于对产品的表面缺陷、尺寸偏差等进行检测和质检。通过对图像中的产品进行分析，机器人可以及时发现问题并做出相应的处理，确保产品质量。

基于机器人视觉分拣系统设计与实践开题报告

基于机器人视觉分拣系统设计与实践开题报告

毕 业 设 计 （ 论 文 ） 开 题 报 告

学生姓名 学号 班级 所属院系专业

指导教师 职称 所在部门

毕业设计（论文）题目 基于机器人视觉分拣系统设计与实践

题目类型 工程设计（项目）√ 论文类 作品设计类□ 其他□

一、选题简介、意义

选题简介：

指导老师命题内，学生自主选题。

意义：

工件分拣是工业生产环节重要的组成部分,其目的是将不同类型的物料或工件分类摆放到相应的位置,其步骤主要分为定位、识别、抓取和放置4个阶段。传统中一般采用人工分拣的方式,因工人操作存在疲劳度的问题,对于长时间作业来说,显然无法满足，即使采用工业机器人方式，由于传统的工业机器人一般采用示教或离线编程的方式工作,机器人到达目标点的位姿是固定的,每次动作均为重复进行,只能重复完成预先规定好的动作,对于加工对象以及工作环境的感知能力低,使机器人的使用受到了限制。随着机器视觉和人工智能的发展，机器人也能够适应分拣环境的需求,随时变更作业对象和分拣工序。国外机器人公司已有相关的视觉系统，如ABB的TRUEView系统等。

本文引人视觉系统对工件进行位置和类型的判断是必要的。与传统的机械分拣作业相比，使用基于机器视觉的工业机器人进行分拣，不但高效准确而且稳定持久,具有较大的优势。

二、课题综述（课题研究，主要研究的内容，要解决的问题，预期目标，研究步骤、方法及措施等）

研究的内容

本课题研究的是基于机器视觉的机器人分拣系统，并针对整个控制系统方案的设计、机器人数学建模、运动学分析、对工业摄像机的标定、图像处理、运动目标的跟踪以及机器人分拣策略等关键技术展开深入研究分析。首先整个分拣系统进行总体方案设计。其中包括视觉控制方案，运动控制方案以及所需硬件设备选型工作；然后对机器人进行数学建模和运动学分析；最后针对机器视觉系统进行详细理论研究与设计，同时对视觉系统的标定、目标识别定位、坐标系间转换、重复目标的剔除以及动态追踪等关键技术进行详细分析。