机器人视觉系统
在现代工业自动化生产中，涉及到各种各样的检验、生产监视及零件识别应用，例如零配件批量加工的尺寸检查，自动装配的完整性检查，电子装配线的元件自动定位，IC上的字符识别等。通常人眼无法连续、稳定地完成这些带有高度重复性和智能性的工作，其它物理量传感器也难有用武之地。由此人们开始考虑利用光电成像系统采集被控目标的图像，而后经计算机或专用的图像处理模块进行数字化处理，根据图像的像素分布、亮度和颜色等信息，来进行尺寸、形状、颜色等的判别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉的概念。
一个成功的机器视觉系统是一个经过细致工程处理来满足一系列明确要求的系统。当这些要求完全确定后，这个系统就设计并建立来满足这些精确的要求。机器视觉的优点包括以下几点：
■精度高
作为一个精确的测量仪器，设计优秀的视觉系统能够对一千个或更多部件的一个进行空间测量。因为此种测量不需要接触，所以对脆弱部件没有磨损和危险。
■连续性
视觉系统可以使人们免受疲劳之苦。因为没有人工操作者，也就没有了人为造成的操作变化。多个系统可以设定单独运行。
■成本效率高
随着计算机处理器价格的急剧下降，机器视觉系统成本效率也变得越来越高。一个价值10000美元的视觉系统可以轻松取代三个人工探测者，而每个探测者每年需要20000美元的工资。另外，视觉系统的操作和维持费用非常低。
■灵活性
视觉系统能够进行各种不同的测量。当应用变化以后，只需软件做相应变化或者升级以适应新的需求即可。
许多应用满意过程控制（SPC）的公司正在考虑应用机器视觉系统来传递持续的、协调的和精确的测量SPC命令。在SPC中，制造参数是被持续监控的。整个过程的控制就是要保证这些参数在一定的范围内。这使制造者在生产过程失去控制或出现坏部件时能够调节过程参数。机器视觉系统比光学或机器传感器有更好的可适应性。它们使自动机器具有了多样性、灵活性和可重组性。当需要改变生产过程时，对机器视觉来说“工具更换”仅仅是软件的变换而不是更换昂贵的硬件。当生产线重组后，视觉系统往往可以重复使用
机器视觉系统的构成
机器视觉技术用计算机来分析一个图像，并根据分析得出结论。现今机器视觉有两种应用。机器视觉系统可以探测部件，在此光学器件允许处理器更精确的观察目标并对哪些部件可以通过哪些需要废弃做出有效的决定；机器视觉也可以用来创造一个部件，即运用复杂光学器件和软件相结合直接指导制造过程。
尽管机器视觉应用各异，但都包括以下几个过程；
■图像采集
光学系统采集图像，图像转换成模拟格式并传入计算机存储器。
■图像处理
处理器运用不同的算法来提高对结论有重要影响的图像要素。
■特性提取
处理器识别并量化图像的关键特性，例如印刷电路板上洞的位置或者连接器上引脚的个数。
然后这些数据传送到控制程序。
■判决和控制
处理器的控制程序根据收到的数据做出结论。例如：这些数据包括印刷电路板上的洞是否在要求规格以内或者一个自动机器如何必须移动去拾取某一部件。
机器视觉系统解析
典型的视觉系统一般包括：光源、光学系统，相机、图像处理单元（或图像采集卡）、图像分析处理软件、监视器、通讯/输入输出单元等。
图像采集
图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的数据，它直接影响到系统的稳定性及可靠性。一般利用光源、光学系统，相机、图像处理单元（或图像捕获卡）获取被测物体的图像。
■光源
光源和影响机器视觉系统输入的重要因素，因为它直接影响输入数据的质量和至少30%的应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。许多工业用的机器视觉系统用可见光作为光源，这主要是因为可见光容易获得，价格低，并且便于操作。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。但是，这些光源的一个最大缺点是光能不能保持稳定。以日光灯为例，在使用的第一个100小时内，光能将下降15%，随着使用时间的增加，光能将不断下降。因此，如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一个方面，环境光将改变这些光源照射到物体上的总光能，使输出的图像数据存在噪声，一般采用加防护屏的方法，减少环境光的影响。由于存在上述问题，在现今的工业应用中，对于某些要求高的检测任务，常采用X射线、超声波等不可见光作为光源。
由光源构成的照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和相机之间，它的优点是能获得高对比度的图像；前向照明是光源和相机位于被测物的同侧，这种方式便于安装；结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息；频闪光照明是将高频率的光脉冲照射到物体上，要求相机的扫描速度与光源的频闪速度同步。
■光学系统
对于机器视觉系统来说,图像是唯一的信息来源，而图像的质量是由光学系统的恰当选择来决定。通常，由于图像质量差引起的误差不能用软件纠正。机器视觉技术把光学部件和成像电子结合在一起，并通过计算机控制系统来分辨、测量、分类和探测正在通过自动处理系统的部件。机器视觉系统通常能快到100%的探测所处理的产品而不会降低生产线的速度。由于越来越多的制造商正需要“6-sigma“（小于百万分之三的有效单位）结果，以便能够在当今质量意识很强的市场中更有竞争力，这种能力显得非常重要。另外，这些系统能够与满意过程控制（SPC）非常理想的配合。
光学系统的主要参数与图像传感器的光敏面的格式有关，一般包括：光圈、视场、焦距、F 数等。
■相机
相机是实际上是一个光电转换装置，即将图像传感器所接收到的光学图像，转化为计算机所能处理的电信号。光电转换器件是构成相机的核心器件。目前，典型的光电转换器件为真空摄像管、CCD、CMOS图像传感器等。
真空电视摄像管由密封在玻璃管罩内的摄像靶、电子枪两部分组成。摄像靶将输入光学图像的光照度分布转换为靶面相应象素电荷的二维空间分布，主要完成光电转换和电荷存贮任务；电子枪则完成图像信号的扫描拾取过程。电视摄像管型成像系统具有高清晰度、高灵敏度、
宽光谱和高帧速成像等特点。但由于电视摄像管属于真空管器件，其重量、体积及功耗均较大。
CCD是目前机器视觉最为常用的图像传感器。它集光电转换及电荷存贮、电荷转移、信号读取于一体，是典型的固体成像器件。CCD的突出特点是以电荷作为信号，而不同于其器件是以电流或者电压为信号。这类成像器件通过光电转换形成电荷包，而后在驱动脉冲的作用下转移、放大输出图像信号。典型的CCD相机由光学镜头、时序及同步信号发生器、垂直驱动器、模拟/数字信号处理电路组成。下图为CCD相机的原理框图。CCD作为一种功能器件，与真空管相比，具有无灼伤、无滞后、低电压工作、低功耗等优点。
CMOS（Complementary Metal Oxide Semiconductor）图像传感器的开发最早出现在20世纪70 年代初。90 年代初期，随着超大规模集成电路(VLSI) 制造工艺技术的发展，CMOS图像传感器得到迅速发展。CMOS图像传感器将光敏元阵列、图像信号放大器、信号读取电路、模数转换电路、图像信号处理器及控制器集成在一块芯片上，还具有局部象素的编程随机访问的优点。目前，CMOS图像传感器以其良好的集成性、低功耗、宽动态范围和输出图像几乎无拖影等特点而得到广泛应用。
图像的处理和分析
在机器视觉系统中，相机的主要功能光敏元所接收到的光信号转换为电压的幅值信号输出。若要得到被计算机处理与识别的数字信号，还需对视频信息进行量化处理。图像采集卡是进行视频信息量化处理的重要工具。
■图像采集／处理卡
图像采集卡主要完成对模拟视频信号的数字化过程。视频信号首先经低通滤波器滤波，转换为在时间上连续的模拟信号；按照应用系统对图像分辨率的要求，得用采样/保持电路对边疆的视频信号在时间上进行间隔采样，把视频信号转换为离散的模拟信号；然后再由A/D 转换器转变为数字信号输出。而图像采集／处理卡在具有模数转换功能的同时，还具有对视频图像分析、处理功能，并同时可对相机进行有效的控制。
■图像处理处理软件
机器视觉系统中，视觉信息的处理技术主要依赖于图像处理方法，它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于计算机对图像进行分析、处理和识别。
机器视觉系统的应用
机器视觉系统是实现仪器设备精密控制、智能化、自动化有有效途径，堪称现代工业生产的“机器眼睛”。其最大优点为：
（１）实现非接触测量。对观测与被观测者都不会产生任何损伤，从而提高了系统的可靠性；（２）具有较宽的光谱响应范围。机器视觉则可以利用专用的光敏元件，可以观察到人类无法看到的世界，从而扩展了人类的视觉范围。
（３）长时间工作。人类难以长时间地对同一对象进行观察。机器视觉系统则可以长时间地执行观测、分析与识别任务,并可应用于恶劣的工作环境。
机器人视觉目前存在的主要问题：
1.如何准确、高速（实时）地识别出目标。
2.如何有效地构造和组织出可靠的识别算法，并且顺利地实现。这期待着高速的阵列处理单元，以及算法（如神经网络法、小波变换等算法）的新突破，这样就可以用极少的计算量高度地并行实现功能。
3.实时性是一个难以解决的重要问题。图像采集速度较低以及图像处理需要较长时间给系统带来明显的时滞，此外视觉信息的引入也明显增大了系统的计算量，例如计算图像雅可
比矩阵、估计深度信息等等。图像处理速度是影响视觉系统实时性的主要瓶颈之一。
4.稳定性是所有控制系统首先考虑的问题，对于视觉控制系统，无论是基于位置、基于图像或者混合的视觉伺服方法都面临着如下问题：当初始点远离目标点时，如何保证系统的稳定性，即增大稳定区域和保证全局收敛；为了避免伺服失败，如何保证特征点始终处在视场内。
机器人视觉应当进一步研究的问题：
1.图像特征的选择问题。视觉伺服的性能密切依赖于所用的图像特征，特征的选择不仅要考虑识别的指标，还要考虑控制指标。从控制的观点看，用冗余特征可抑制噪声的影响，提高视觉伺服的性能，但又会给图像处理增加难度。因此如何选择性能最优的特征，如何处理特征以及如何评价特征，都是需要进一步研究的问题。针对任务有时可能需要从一套特征切换到另一套，可以考虑把全局特征与局部特征结合起来。
2.结合计算机视觉及图像处理的研究成果，建立机器人视觉系统的专用软件库。
3.加强系统的动态性能研究。目前的研究多集中于根据图像信息确定期望的机器人运动这一环节上，而对整个视觉伺服系统的动态性能缺乏研究。
4.利用智能技术的成果。
5.利用主动视觉的成果。主动视觉是当今计算机视觉和机器人视觉研究领域中的一个热门课题。它强调的是视觉系统与其所处环境之间的交互作用能力。与传统的通用视觉不同，主动视觉强调两点，一是认为视觉系统应具有主动感知的能力，二是认为视觉系统应基于一定的任务（TaskDirected）或目的，主动视觉认为在视觉信息获取过程中，应更主动地调整摄像机的参数，如方向、焦距、孔径等并能使摄像机迅速对准感兴趣的物体。
更一般地，它强调注视机制，强调对分布于不同空间范围和时间段上的信号采用不同的分辨率有选择性地感知，这种主动感知既可在硬件层上通过摄像机物理参数的调整实现，也可以在基于被动摄像机的前提下，在算法和表示层上通过对已获得的数据有选择性地处理实现。同时，主动视觉认为不基于任何目的的视觉过程是毫无意义的，必须将视觉系统与具有的目的（如导航、识别、操作等）相联系，从而形成感知／作用环。
6.多传感器融合问题。视觉传感器具有一定的使用范围，如能有效地结合其它传感器，利用它们之间性能互补的优势，便可以消除不确定性，取得更加可靠、准确的结果。
机器人视觉（Robot Vision）简介 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 将近80%的工业视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS其它系统集成。 图像的获取 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成： ＊照明 ＊图像聚焦形成 ＊图像确定和形成摄像机输出信号
一种智能机器人系统设计和实现 我们从广泛意义上理解所谓的智能机器人，它给人的最深刻的印象是一个独特的进行自我控制的"活物".其实，这个自控"活物"的主要器官并没有像真正的人那样微妙而复杂。智能机器人具备形形色色的内部信息传感器和外部信息传感器，如视觉、听觉、触觉、嗅觉。除具有感受器外，它还有效应器，作为作用于周围环境的手段。这就是筋肉，或称自整步电动机，它们使手、脚、长鼻子、触角等动起来。我们称这种机器人为自控机器人，以便使它同前面谈到的机器人区分开来。它是控制论产生的结果，控制论主张这样的事实：生命和非生命有目的的行为在很多方面是一致的。正像一个智能机器人制造者所说的，机器人是一种系统的功能描述，这种系统过去只能从生命细胞生长的结果中得到，现在它们已经成了我们自己能够制造的东西了 嵌入式是一种专用的计算机系统，作为装置或设备的一部分。通常，嵌入式系统是一个控制程序存储在ROM中的嵌入式处理器控制板。事实上，所有带有数字接口的设备，如手表、微波炉、录像机、汽车等，都使用嵌入式系统，有些嵌入式系统还包含操作系统，但大多数嵌入式系统都是是由单个程序实现整个控制逻辑。嵌入式技术近年来得到了飞速的发展，但是嵌入式产业涉及的领域非常广泛，彼此之间的特点也相当明显。例如很多行业：手机、PDA、车载导航、工控、军工、多媒体终端、网关、数字电视…… 1 智能机器人系统机械平台的搭建 智能机器人需要有一个无轨道型的移动机构，以适应诸如平地、台阶、墙壁、楼梯、坡道等不同的地理环境。它们的功能可以借助轮子、履带、支脚、吸盘、气垫等移动机构来完成。在运动过程中要对移动机构进行实时控制，这种控制不仅要包括有位置控制，而且还要有力度控制、位置与力度混合控制、伸缩率控制等。智能机器人的思考要素是三个要素中的关键，也是人们要赋予机器人必备的要素。思考要素包括有判断、逻辑分析、理解等方面的智力活动。这些智力活动实质上是一个信息处理过程，而计算机则是完成这个处理过程的主要手段。 机器人前部为一四杆机构，使前轮能够在一定范围内调节其高度，主要功能是在机器人前部遇障碍时，前向连杆机构随车轮上抬，而遇到下凹障碍时前车轮先下降着地，以减小震动，提高整机平稳性。在主体的左右两侧，分别配置了平行四边形侧向被动适应机构，该平行四边形机构与主体之间通过铰链与其相连接，是小车行进的主要动力来源。利用两侧平行四边形可任意角度变形的特点，实现自适应各种障碍路面的效果。改变平行四边形机构的角度，可使左右两侧车轮充分与地面接触，使机器人的6个轮子受力尽量均匀，加强机器人对不同路面的适应能力，更加平稳地越过障碍，并且更好地保证整车的平衡性。主体机构主要起到支撑与连接机器人各个部分的作用，同时，整个机器人
1.从人体解剖学分析机器人的人机交互及控制系统 ?目标：人体解剖学（神经系统）构件→结合机器人技术构件→机器人控制系统架构构件→人机交互界面的系统架构（硬件领域） 1.1.神经系统（nervous system） 神经细胞（神经元）是神经系统的响应细胞，神经系统通过电化学信号来处理和传送信息。运动神经细胞能接收从大脑和骨髓神经传来的信号，并控制肌肉的收缩。i 1.1.1.神经系统的分布 神经系统分为中枢部和周围部。 中枢部即中枢神经系统（CNS,central nervous system），包括脑和脊髓，它们分别位于颅腔和椎管内。 周围部又称周围神经系统（PNS,peripheral nervous system），包括脑神经、脊神经和内脏神经，周围神经一端同脑或脊髓相连，另一端通过各种末梢装置与神奇其他各器官、系统相联系。 根据分布对象的不同，将周围神经系统分为躯体神经和内脏神经。躯体神经分布于体表、骨骼肌、骨和关节；内脏神经分布于内脏、心血管、平滑肌和腺体。躯体神经和内脏神经在大脑皮质统一管辖与协调下，完成神经系统的各种功能。 1.1. 2.神经元的分类 神经系统的基本组织是神经组织（nervous tissue），神经组织主要由神经元和神经胶质做成。神经元（neuron）又称神经细胞（nerve cell），具有感受刺激和传导神经冲动的功能。神经胶质（neuroglia）又称神经胶质细胞（neuroglial cell），简称胶质细胞（glia或glia cell），无传导神经冲动的功能，而对神经元起支持、保护、分隔和营养等作用。 神经元基于功能及神经兴奋传导冲动方向分类如下： 感觉神经元（sensory neuron）：又称传入神经元（afferent neuron），感受机器内、外环
带有视觉识别模块的分拣机器人 传统的机器人分拣操作一般采用示教或离线编程方式，当机器人所处的工作环境发生改变时机器人很难即时作出相应的调整，为了使机器人具有更加智能化的功能，以阿童木并联机器人和工业智能相机为基础，组成一套带有视觉模块的机器人分拣系统。这样的分拣系统结合了并联型机器人和视觉模块两个方面的优势，通过视觉模块智能的识别不同的对象，系统可以完成高速的分拣工作，显著提升了机器人对工作环境的适应能力，提高了工作效率。同时，实验结果证明了该系统软硬件设计正确，分拣成功率高。 随着我们国家生产需求的不断增加，机器人越来越多的参与到各行各业的生产过程中来。其中，对工件的分拣作业是当前生产过程中的一个重要环节，传统的机器人分拣，其动作和目标的摆放位置都需要根据程序预先严格的设定。一旦机器人所处的环境有所改变，很容易导致抓取错误。本文模拟工业生产中的分拣作业环境，引入视觉模块，用摄像机来模拟人类的视觉功能来对待测的对象进行识别分类，可以使分拣作业拥有更高的可靠性和灵活性，作业对象以及分拣工序可以随时随地的变换，也提高了工作的效率和机器人的智能化程度。 1机器人系统组成介绍 我们设计的机器人分拣系统主要由并联机器人、视觉模块、传送带装置以及分拣对象组成，结构如图1所示： 1.1并联机器人 相比于其他工业机器人，并联机器人占用较小的空间，其更具有高速度、高精度、灵活性等特点，更能適合苛刻的工业生产需求。我们在实验中采用的是阿童木4轴并联型机器人，如图2所示，它能够完成空间中X、Y、Z方向的移动及角度的转动。除了并联型机器人本体之外，机器人配套设施还包括机器人控制柜、控制编程器和驱动机器人各关节运动的伺服交流电机。机器人末端执行机构为气动吸盘，用于吸附传送带上的分拣对象，完成抓取动作。 1.2 视觉模块 视觉模块我们采用康奈视公司的In-Sight7000型智能相机，如图3所示。该视觉模块能够智能的识别出实验中不同种类的实验对象，以及采集各个实验对象的位置信息。 1.3网络交换机 实验中，我们使用一般的家用路由器来替代网络交换机。视觉模块采集到的信息要通过局域网来络传递给机器人，因此我们要用到网络交换机来搭建局域网络，进而使各个模块间完成信息传输。
1.什么是机器视觉 【概述】 机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分 CMOS 和 CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。 正是由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。【基本构造】 一个典型的工业机器视觉系统包括：光源、镜头、 CCD 照相机、图像处理单元（或图像捕获卡）、图像处理软件、监视器、通讯 / 输入输出单元等。 系统可再分为： 主端电脑(Host Computer) 影像撷取卡(Frame Grabber)与影像处理器影像摄影机 CCTV镜头显微镜头照明设备： Halogen光源 LED光源 高周波萤光灯源闪光灯源其他特殊光源影像显示器 LCD 机构及控制系统 PLC、PC-Base控制器 精密桌台伺服运动机台 【工作原理】 机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格 / 不合格、有 / 无等，实现自动识别功能。 【机器视觉系统的典型结构】 一个典型的机器视觉系统包括以下五大块： 1.照明 照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。光源可分为可见光和不可见光。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。 2.镜头FOV（Field Of Vision）=所需分辨率*亚象素*相机尺寸/PRTM（零件测量公差比）镜头选择应注意： ①焦距②目标高度③影像高度④放大倍数⑤影像至目标的距离⑥中心点 / 节点⑦畸变 3.相机 按照不同标准可分为：标准分辨率数字相机和模拟相机等。要根据不同的实际应用场合选不同的相机和高分辨率相机:线扫描CCD和面阵CCD；单色相机和彩色相机。 4.图像采集卡 图像采集卡只是完整的机器视觉系统的一个部件，但是它扮演一个非常重要的角色。图像采集卡直接决定了摄像头的接口：黑白、彩色、模拟、数字等等。 比较典型的是PCI或AGP兼容的捕获卡，可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。例如，可以连接8个不同的摄像机,然后告诉采集卡采用那一个相机抓拍到的信息。有些采集卡有内置的数字输入以触发采集卡进行捕捉，当采集卡抓拍图像时数字输出口就触发闸门。 5.视觉处理器 视觉处理器集采集卡与处理器于一体。以往计算机速度较慢时，采用视觉处理器加快视觉处理任务。现在由于采集
图片简介: 本技术涉及一种基于Kinect的机器人人机交互系统及方法，系统包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人；首先通过Kinect信息采集模块，将图像数据流和音频数据流传递给人机交互模块，通过人机交互模块的语音/文字提示引导用户选择不同的控制模式，进而调用不同的控制模块，实现对机器人的操控。本技术综合体感、声音、手势多种交互方式，可实现对机器人的运动控制，代替人工在非结构化场景中进行作业，提高机器人的作业能力和智能水平。 技术要求 1.一种基于Kinect的机器人人机交互系统，其特征在于，包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人； Kinect信息采集模块利用Kinect三维传感器，获取图像数据流及语音数据流； 通过人机交互模块选择不同的控制模式，调用姿态控制模块或语音控制模块； 姿态控制模块基于图像数据，根据人体姿态控制机器人机械臂运动； 语音控制模块基于语音数据，实现语音指令的识别，控制机器人进行相应动作。 2.根据权利要求1所述的基于Kinect的机器人人机交互系统，其特征在于，人机交互模块提示用户选择控制模式，包括语音提示和文字提示。 3.一种基于权利要求1所述基于Kinect的机器人人机交互系统的人机交互方法，其特征在于，包括以下步骤： 利用Kinect三维传感器，获取图像数据流及语音数据流； 基于图像数据，根据人体姿态控制机器人机械臂运动； 基于语音数据处理结果，实现语音指令的识别，控制机器人进行相应动作； 通过人机交互模块的语音/文字提示选择不同的控制模式，调用不同的控制模块，实现人机交互。 4.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，利用Kinect三维传感器，获取多种图像数据信息流及语音信息流，具体为：
机器人视觉系统(Robot Vision)简介 【字体：大中小】时间：2014-08-28 11:00:06 点击次数：23次 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 将近80%的工业视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS其它系统集成。 图像的获取 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成： ＊照明 ＊图像聚焦形成 ＊图像确定和形成摄像机输出信号
一．工业机器人组成系统 工业机器人由主体、驱动系统和控制系统三个基本部分组成。主体即机座和执行机构，包括腰部、肩部、肘部和手腕部，其中手腕部有3个运动自由度。驱动系统包括动力装置和传动机构，用以使执行机构产生相应的动作。控制系统是按照输入的程序对驱动系统和执行机构发出指令信号，并进行控制。 工业机器人按执行机构运动的控制机能，又可分点位型和连续轨迹型。点位型只控制执行机构由一点到另一点的准确定位，适用于机床上下料、点焊和一般搬运、装卸等作业；连续轨迹型可控制执行机构按给定轨迹运动，适用于连续焊接和涂装等作业。 工业机器人按程序输入方式区分有编程输入型和示教输入型两类。编程输入型是将计算机上已编好的作业程序文件，通过RS232串口或者以太网等通信方式传送到机器人控制柜。 示教输入型的示教方法有两种：一种是由操作者用手动控制器(示教操纵盒)，将指令信号传给驱动系统，使执行机构按要求的动作顺序和运动轨迹操演一遍；另一种是由操作者直接领动执行机构，按要求的动作顺序和运动轨迹操演一遍。在示教过程的同时，工作程序的信息即自动存入程序存储器中在机器人自动工作时，控制系统从程序存储器中检出相应信息，将指令信号传给驱动机构，使执行机构再现示教的各种动作。示教输入程序的工业机器人称为示教再现型工业机器人。 几个问题： （1）巨轮机器人JLRB20KG机器人是点位型还是连续轨迹型？ （2）能不能编写一个简单程序，使机器人能够的末端能够走一个圆？ （3）能不能控制机器人中每一个电机的输出功率或扭矩？ （4）机器人每一个关节从驱动电机到执行机构的传递效率有没有？ 二．工业机器人的主体 机器人本体由机座、腰部、大臂、小臂、手腕、末端执行器和驱动装置组成。共有六个自由度，依次为腰部回转、大臂俯仰、小臂俯仰、手腕回转、手腕俯仰、手腕侧摆。机器人采用电机驱动，电机分为步进电机或直流伺服电机。直流伺服电机能构成闭环控制、精度高、额定转速高、但价格较高，而步进电机驱动具有成本低、控制系统简单。 各部件组成和功能描述如下： （1）基座：基座是机器人的基础部分，起支撑作用。整个执行机构和驱动装置都安装在基座。 （2）腰部：腰部是机器人手臂的支撑部分，腰部回转部件包括腰部支架、回转轴、支架、谐波减速器、制动器和步进电机等。 （3）大臂：大臂和传动部件 （4）小臂：小臂、减速齿轮箱、传动部件、传动轴等，在小臂前端固定驱动手腕三个运
机器人视觉系统的组成及工作原理 【摘要】随着大规模集成电路技术的发展，视觉系统逐渐走向实用化。由于微型计算机的飞速发展，使用的视觉系统已经进入领域，其中机器人视觉系统是机器视觉应用的一个重要领域。本文叙述机器人视觉系统的各部分组成，及各部分组成的工作原理。 【关键词】CCD；视频数字；信号处理器 1.机器人视觉系统的硬件系统 1.1机器人视觉系统的硬件由下述几个部分组成 (1)景物和距离传感器常用的摄像机、CCD图像传感器、超声波传感器和结构光设备等。 (2)视频信号数字化设备其任务是把摄像机或CCD输出的信号转换成方便计算和分析的数字信号。 (3)视频信号快速处理器，视频信号实时、快速、并行算法的硬件实现设备：如DSP系统。 (4)计算机及其外设根据系统的需要可以选用不同的计算机及其外设来满足机器人视觉信息处理及机器人控制的需要。 (5)机器人或机械手及其控制器。 1.2机器人视觉的软件系统有以下几个部分组成 (1)计算机系统软件选用不同类型的计算机，就有不同的操作系统和它所支持的各种语言、数据库等。 (2)机器人视觉信息处理算法图像预处理、分割、描述、识别和解释等算法。 (3)机器人控制软件。 https://www.doczj.com/doc/be12265621.html,D原理 视觉信息通过视觉传感器转换成电信号，在空间采样和幅值化后，这些信号就形成了一幅数字图像。机器人视觉使用的主要部分是电视摄像机，它由摄像管或固态成像传感器及相应的电子线路组成。这里我们只介绍光导摄像管的工作原理，因为它是普遍使用的并有代表性的一种摄像管。固态成像传感器的关键部分有两种类型：一种是电荷耦合器件(CCD)；另一种是电荷注入器件(CID)。与具有摄像管的摄像机相比，固态成像器件重量轻、体积小、寿命小、功耗低。不过，某些摄像管的分辨率仍比固态摄像机高。光导摄像管外面是一圆柱形玻璃外壳2，内部有位于一端的电子枪7以及位于另一端的屏幕1和靶。加在线圈6、9上的电压将电子束聚焦并使其偏转。偏转电路驱使电子束对靶的内表面扫描以便“读取”图像。玻璃屏幕的内表面镀有一层透明的金属薄膜，它构成一个电极，视频信号可从此电极上获得。一层很薄的光敏“靶”附着的金属膜上，它是一层由一些极小的球状体组成，球状的电阻反比于光的强度。在光敏靶的后面有一个带正电荷的细金属网，它使电子枪发射出的电子减速，以接近于0的速度达到靶面。在正常工作时，将正电压加在屏幕的金属镀膜上。在无光照时，光敏材料呈现绝缘体特性，电子束在靶的内表面上形成一个电子层以平衡金属膜上的正电荷。当电子束扫描靶内表面时，光敏层就成了一个电容器，其内表面具有负电荷，而另一面具有正电荷。光投射到靶层，它的电阻降低，使得电子向正电荷方向流动并与之中和。由于流动的电子电荷的数量正比于投射到靶的某个局部区域上的光的强度，因此其效果是在靶表面上形成一幅图像，该图像与摄像管屏幕上的图像亮
工业机器人及机器人视觉系统 人类想要实现一系列的基本活动，如生活、工作、学习就必须依靠自身的器官，除脑以外，最重要的就是我们的眼睛了，（工业）机器人也不例外，要完成正常的生产任务，没有一套完善的，先进的视觉系统是很难想象的。 机器视觉系统就是利用机器代替人眼来作各种测量和判断。它是计算科的一个重要分支，它综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。图像处理和模式识别等技术的快速发展，也大大地推动了机器视觉的发展。 机器视觉系统的应用 在生产线上，人来做此类测量和判断会因疲劳、个人之间的差异等产生误差和错误，但是机器却会不知疲倦地、稳定地进行下去。一般来说，机器视觉系统包括了照明系统、镜头、摄像系统和图像处理系统。对于每一个应用，我们都需要考虑系统的运行速度和图像的
处理速度、使用彩色还是黑白摄像机、检测目标的尺寸还是检测目标有无缺陷、视场需要多大、分辨率需要多高、对比度需要多大等。从功能上来看，典型的机器视觉系统可以分为：图像采集部分、图像处理部分和运动控制部分 工作过程 ?一个完整的机器视觉系统的主要工作过程如下： ?1、工件定位检测器探测到物体已经运动至接近摄像系统的视野中心，向图像采集部分发送触发脉冲。 ?2、图像采集部分按照事先设定的程序和延时，分别向摄像机和照明系统发出启动脉冲。 ?3、摄像机停止目前的扫描，重新开始新的一帧扫描，或者摄像机在启动脉冲来到之前处于等待状态，启动脉冲到来后启动一帧扫描。 ?4、摄像机开始新的一帧扫描之前打开曝光机构，曝光时间可以事先设定。
项目一认识机器视觉系统 任务一连接视觉系统的周边设备 活动一连接相机 活动二连接光源 活动三连接手柄 活动四连接电源 活动五连接显示器 任务二调节相机 活动一调节相机 任务三调节光源 活动二调节光源 活动三操作手柄 任务三运行视觉软件 活动一运行软件 活动二修改语言 活动三创建一个新设定 任务四运行视觉系统的仿真 活动一安装软件 活动二注册图像 活动三运行仿真 任务五基恩士视觉与机器人通讯连接活动一确定本机通讯方式 活动二选择通讯方式 活动三通讯线安装 活动四连接通讯线 任务六基恩士与机器人通讯软件设置活动一进入通讯设置界面 活动二选择正确的通讯数据 活动三通讯测试 项目二基恩士视觉识别颜色
任务一进入新的设置 活动一创建新的设定窗口 活动二进入相机设定 活动三注册图像 任务二识别颜色的窗口设定 活动一设定前的准备 活动二设定检测范围 活动三设定判断值 活动四条件设定 任务三输出设置 活动一选择通讯方式 活动二设置判断值 任务四机器人控制概述 活动一机器人视觉控制指令运行 活动二机器人运行控制指令运行 活动三机器人运行控制编程 任务五整体编程运行 活动一两种颜色中确定所选颜色 活动二三种颜色中确定所选颜色 活动三四种颜色中确定两种所选的颜色项目三基恩士视觉识别大小 任务一进入新的设置 活动一创建新的设定窗口 活动二进入相机设定 活动三注册图像 任务二识别大小的窗口设定 活动一设定前的准备 活动二设定检测范围 活动三设定判断值 活动四条件设定
任务三输出设置 活动一选择通讯方式 活动二设置判断值 任务四在仿真中识别图像大小设置 活动一建立识别图像大小的仿真 活动二设置识别大小的仿真 活动三思考与原机的区别 任务五整体编程运行 活动一两种大小不同的工件进行选择 活动二三种不同大小的工件进行选择 活动三两种不同大小不同颜色的工件进行选择活动四三种不同大小不同颜色的工件进行选择项目四基恩士视觉识别形状 任务一进入新的设置 活动一创建新的设定窗口 活动二进入相机设定 活动三注册图像 任务二识别形状的窗口设定 活动一设定前的准备 活动二设定检测范围 活动三设定测量值 活动四条件设定 任务三输出设置 活动一选择通讯方式 活动二设置测量值 任务四机器人控制概述 活动一机器人视觉控制指令运行 活动二机器人运行控制指令运行 活动三机器人运行控制编程 任务五整体编程运行
机器人的组成系统
一．工业机器人组成系统 工业机器人由主体、驱动系统和控制系统三个基本部分组成。主体即机座和执行机构，包括腰部、肩部、肘部和手腕部，其中手腕部有3个运动自由度。驱动系统包括动力装置和传动机构，用以使执行机构产生相应的动作。控制系统是按照输入的程序对驱动系统和执行机构发出指令信号，并进行控制。 工业机器人按执行机构运动的控制机能，又可分点位型和连续轨迹型。点位型只控制执行机构由一点到另一点的准确定位，适用于机床上下料、点焊和一般搬运、装卸等作业；连续轨迹型可控制执行机构按给定轨迹运动，适用于连续焊接和涂装等作业。 工业机器人按程序输入方式区分有编程输入型和示教输入型两类。编程输入型是将计算机上
已编好的作业程序文件，通过RS232串口或者以太网等通信方式传送到机器人控制柜。 示教输入型的示教方法有两种：一种是由操作者用手动控制器(示教操纵盒)，将指令信号传给驱动系统，使执行机构按要求的动作顺序和运动轨迹操演一遍；另一种是由操作者直接领动执行机构，按要求的动作顺序和运动轨迹操演一遍。在示教过程的同时，工作程序的信息即自动存入程序存储器中在机器人自动工作时，控制系统从程序存储器中检出相应信息，将指令信号传给驱动机构，使执行机构再现示教的各种动作。示教输入程序的工业机器人称为示教再现型工业机器人。 几个问题： （1）巨轮机器人JLRB20KG机器人是点位型还是连续轨迹型？ （2）能不能编写一个简单程序，使机器人能够的末端能够走一个圆？ （3）能不能控制机器人中每一个电机的输出功率或扭矩？ （4）机器人每一个关节从驱动电机到执行机构的传递效率有没有？
第35卷第！期机 电工程V)35 N o.3 2018 年！月Journal o f M echanical &E le c tric a l E ngine erin g M ar. 2018 D O I；10.3969/j.is s n. 1001-4551.2018.03.014 基于单目视觉的工业机器人智能抓取系统设计 张驰，廖华丽，周军！ (河海大学机电工程学院，江苏常州213022) 摘要:针对工业机器人如何能在多目标工况下快速自主识别和抓取指定目标工件的问题，将单目视觉引导技术应用到工业机器人 智能抓取系统设计中。利用图像进行了模式识别，对检测定位进行了研究，建立了视觉图像与工件定位抓取之间的关系，提出了基 于轮廓H u不变矩快速模板匹配算法的单目视觉抓取系统。首先将摄像机获取的图像进行了预处理，然后利用轮廓H u不变矩模 板匹配算法进行了目标工件的识别，利用轮廓矩和二阶惯性矩最小原理对识别出的目标工件进行了位姿求取，最后通过建立 S O C K E T通信将求取的位姿发送给了机械臂控制系统引导机械臂的抓取。基于V S软件开发平台和A B B机械手，对智能抓取系统 进行了搭建并试验。研究结果表明;该基于单目视觉搭建的工业机器人智能抓取系统成本低、定位精度高，可满足工业自动化生产 的需求。 关键词:单目视觉;工业机器人;图像处理;模板匹配;位姿检测 中图分类号:T H39;T P242文献标志码:A文章编号：1001 -4551 (2018 )03-0283-05 Intelligent grasping system for industrial robot basedonmonocular vision ZHANG Chi, LIAO Hua-li, ZHOU Jun (C o lle g e o f M e c h a n ic a l a n d E l e c t r i c a l，H o h a i U n iv e r s it y，C h a n g z h o u213022，C h in a) A b s tr a c t ；A im in g at tlie problem th a t an in d u s tria l robot how to q u ic k ly and autonom ously id e n ti der m u lti-ta rg e t c o n d itio n s，m onocular visio n was a p plied to the design o f an in te llig e n t grasf)ing system fo r in d u s tria l robots. In order to lis h the re la tio n sh ip between t he visual image and the w orkpiece p o sitio ning and g ra p p in g，the p—tern re c o g n itio n，de tection and locatio n u- sing images were s tu d ie d，and a m onocular visio n capture system based on contour H u in v a ria n t moments fast tem pl was proposed. F ir s tly，the image data collected fro m the cam era should be preprocessed，then the target was id e n tifie d b y h ing m etliod based o n the contour H u in v a ria n t m o m e n t，and the p o sitio n o f the target w orkpiece was obtained by using the contour mom ent and the p rin c ip le o f second-order m om ent o f in e rtia. F in a lly，through the establishm ent o f S O C K E T c o m m u n ic a tio n，sent to the m a n ip u la to r con trol system to guide the m a n ip u la to r to grasp. Based on VS software developm ent p la tfo rm a n d A B B r o b o t，the in- te llig e n t grasping system w as b u ilt and test. The results in d ica te that the in d u s tria l robot in te llig e n t grasping system based on m onocular vision has low c o s t，high p o sitio n in g accuracy a nd meets the needs o f in d u s tria l autom ation productio n. K e y w o r d s；m onocular v is io n；in d u s tria l ro b o t；image processing；tem plate m a tc h in g；pose detection 收稿日期=2017 -07-04 基金项目：中央高校基本科研业务费专项资金资助项目（2〇16B02914) 作者简介:张驰（1992-)，男，江苏宿迁人，硕士研究生，主要从事机器视觉方面的研究。E-m a il:1481178975@qq:〇m 通信联系人:周军，男，教授。E-m a il:zh j+6171@163:om
一ｄｏｉ:１０.３７７２/ｊ.ｉｓｓｎ.１００２￣０４７０.２０１９.０６.００８ 基于ＱＴ的工业机器人人机交互系统的设计① 徐建明②一甘万正一张文安一俞一立 (浙江工业大学信息工程学院一杭州３１００２３) 摘一要一本文针对工业机器人的人机交互需求?设计了一种基于ＱＴ开发框架和Ｍｏｄｂｕｓ通信协议的人机交互系统?基于ＭｏｄｂｕｓＴＣＰ/ＩＰ通信技术?设计了示教器二３Ｄ仿真监控终端和运动控制器之间的数据通讯协议?在嵌入式操作系统下?使用Ｃ＋＋语言开发示教器上位机交互程序?主要包含数据通信二示教点管理二程序编辑二机器人语言解释器等模块?在Ｗｉｎｄｏｗｓ系统下?通过ＳｏｌｉｄＷｏｒｋｓ建立工业机器人３Ｄ模型?利用计算机标准图形接口ＯｐｅｎＧＬ开发３Ｄ仿真监控程序?最后?结合基于ＰＬＣｏｐｅｎ规范开发的运动控制器实现了对汇博ＥＲ５０￣Ｃ１０工业机器人本体的示教二３Ｄ在线仿真和实时监控?验证了所设计人机交互系统的实用性? 关键词一工业机器人?人机交互?示教器?Ｍｏｄｂｕｓ?解释器?ＰＬＣｏｐｅｎ?ＯｐｅｎＧＬ ０一引言 随着工业领域机器人的应用普及?机器人已经成为工业制造不可或缺的设备? 中国制造２０２５ 总体战略的提出?加快了我国从传统制造大国向智能强国的转型?同时未来的２０年也是中国制造业由大变强二质量变革和效率变革的关键时期?加快机器人技术的发展对推动智能制造具有重要意义[１?２]? 随着工业机器人在工业上的广泛运用?人机交 互技术愈来愈得到使用者和开发设计者的重视?这就要求人机交互要具有操作简单二界面友好和人性化等特点?同时虚拟现实技术作为工业机器人人机交互技术新兴的研究方向之一?也在不断被创新性地应用于工业场合?给用户提供更好的沉浸感二交互性和想象性[３]?人机交互技术作为机器人关键技术之一?在应用开发中占有很大比重?具有高附加值[４]?工业机器人人机交互技术已应用于工业机器人的示教二监控二仿真和离线编程等方面?为使用 者提供了更好的操作体验? 目前在工业机器人人机交互软件的设计中?依据实际应用中需求不同?开发出的交互软件也各有差异?徐翔等人[５]基于ｉＰａｄ设计了一套机器人示教器交互软件?实现对机器人的控制?其使用便捷二成本低?但不太符合工业控制现场安全控制标准?厦门大学潘俊浩等人[６]设计了一款基于Ｕｎｉｔｙ３Ｄ的工业机器人示教系统?实现３Ｄ示教场景和示教器交互界面的通信?用于对机器人简单的示教学习?山东大学夏飞虎和华中科技大学沈雅琼等人[７?８]基于ＷｉｎＣＥ的开发环境采用ＭＦＣ框架设计了示教器的人机交互软件?实现了对机械臂的操控?东北大学刘和彬[３]利用ＶＲ技术和Ａｒｄｕｉｎｏ控制器实现对工业机器人的仿真和监控?当前关于工业机器人在示教二仿真与监控方面的应用集成还有待提高?随着ＰＬＣｏｐｅｎ规范在机器人运动控制领域的推广应用[９?１０]?有必要研发基于ＰＬＣｏｐｅｎ运动控制规范的机器人控制与人机交互系统? 本文以汇博６自由度机械臂ＥＲ５０￣Ｃ１０机械本 ６７５ 一高技术通讯２０１９年第２９卷第６期:５７６~５８４一一一一一一一一一一一一一 一一一一一一一一一一一 ①② 国家自然科学基金￣浙江省自然科学基金联合基金两化融合项目(Ｕ１７０９２１３)?国家自然科学基金面上项目(６１３７４１０３)和浙江省自然科学基金重点项目(ＬＺ１５Ｆ０３０００３)资助? 男?１９７０年生?博士?教授?研究方向:迭代学习控制?电机伺服控制技术?机器人控制技术等?联系人?Ｅ￣ｍａｉｌ:ｘｕｊｍ＠ｚｊｕｔ.ｅｄｕ.ｃｎ(收稿日期:２０１８￣０８￣２３)
机器人视觉系统 在现代工业自动化生产中，涉及到各种各样的检验、生产监视及零件识别应用，例如零配件批量加工的尺寸检查，自动装配的完整性检查，电子装配线的元件自动定位，IC上的字符识别等。通常人眼无法连续、稳定地完成这些带有高度重复性和智能性的工作，其它物理量传感器也难有用武之地。由此人们开始考虑利用光电成像系统采集被控目标的图像，而后经计算机或专用的图像处理模块进行数字化处理，根据图像的像素分布、亮度和颜色等信息，来进行尺寸、形状、颜色等的判别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉的概念。 一个成功的机器视觉系统是一个经过细致工程处理来满足一系列明确要求的系统。当这些要求完全确定后，这个系统就设计并建立来满足这些精确的要求。机器视觉的优点包括以下几点： ■精度高 作为一个精确的测量仪器，设计优秀的视觉系统能够对一千个或更多部件的一个进行空间测量。因为此种测量不需要接触，所以对脆弱部件没有磨损和危险。 ■连续性 视觉系统可以使人们免受疲劳之苦。因为没有人工操作者，也就没有了人为造成的操作变化。多个系统可以设定单独运行。 ■成本效率高 随着计算机处理器价格的急剧下降，机器视觉系统成本效率也变得越来越高。一个价值10000美元的视觉系统可以轻松取代三个人工探测者，而每个探测者每年需要20000美元的工资。另外，视觉系统的操作和维持费用非常低。 ■灵活性 视觉系统能够进行各种不同的测量。当应用变化以后，只需软件做相应变化或者升级以适应新的需求即可。 许多应用满意过程控制（SPC）的公司正在考虑应用机器视觉系统来传递持续的、协调的和精确的测量SPC 命令。在SPC中，制造参数是被持续监控的。整个过程的控制就是要保证这些参数在一定的围。这使制造者在生产过程失去控制或出现坏部件时能够调节过程参数。 机器视觉系统比光学或机器传感器有更好的可适应性。它们使自动机器具有了多样性、灵活性和可重组性。当需要改变生产过程时，对机器视觉来说“工具更换”仅仅是软件的变换而不是更换昂贵的硬件。当生产线重组后，视觉系统往往可以重复使用 机器视觉系统的构成 机器视觉技术用计算机来分析一个图像，并根据分析得出结论。现今机器视觉有两种应用。机器视觉系统可以探测部件，在此光学器件允许处理器更精确的观察目标并对哪些部件可以通过哪些需要废弃做出有效的决定；机器视觉也可以用来创造一个部件，即运用复杂光学器件和软件相结合直接指导制造过程。
机器人视觉识别技术简介 技术分类：测试与测量 | 2008-04-01 来源：机器人天空 基于颜色特征的物体识别系统对于不同颜色的分别提取和识别 （以上两幅图片由某大学机器人实验室负责人暨机器人天空主编Liu Weichao友情提供）随着计算机科学和自动控制技术的发展，越来越多的不同种类的智能机器人出现在生产生活中，视觉系统作为智能机器人系统中一个重要的子系统，也越来越受到人们的重视。 视觉系统是一个非常复杂的系统，它既要做到图像的准确采集还要做到对外界变化反应的实时性，同时还需要对外界运动的目标进行实时跟踪。因此，视觉系统对硬件和软件系统都提出了较高的要求。目前比较流行的足球机器人技术，它的视觉系统属于比较典型的快速识别和反应类型。
机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解（对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征等的理解）。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成：照明，图像聚焦形成，图像确定和形成摄像机输出信号。视觉信息的处理技术主要依赖于图像处理方法，它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于计算机对图像进行分析、处理和识别。 机器人视觉系统主要是利用颜色、形状等信息来识别环境目标。以机器人对颜色的识别为例：当摄像头获得彩色图像以后，机器人上的嵌入计算机系统将模拟视频信号数字化，将像素根据颜色分成两部分：感兴趣的像素（搜索的目标颜色）和不感兴趣的像素（背景颜色）。然后，对这些感兴趣的像素进行RGB 颜色分量的匹配。为了减少环境光强度的影响，可把RGB颜色域空间转化到HIS颜色空间。 在足球机器人的彩色视觉系统中，程序是根据贴在机器人小车顶上的色标来识别机器人是属于哪一队，以及是几号队员的。由于在每个机器人小车顶上有两种颜色的色标，分别是队标和队员标。因此，识别工作的第一步是把图像中的每一个像素，根据颜色分类到一组离散的色彩类中。 颜色分类常用的方法有线性色彩阈值法、最近邻域法和阈值向量法等。 其中，线性色彩阈值法是用线性平面把色彩空间分割开来，其阈值的确定可采用直接取阈值和通过自动训练来获取目标颜色范围等方法，也可以采用神经网络和多参数决策树方法来进行自学习，以获得合适的阈值；而用最近邻域分类法分割图像时，则利用隶属度函数，即根据最大的隶属度来判断这个颜色属于哪个类；阈值向量法是先使用一组事先确定的阈值向量来把色彩值在色彩空间中的位置来判断其属于哪种颜色。 在色彩分类之后，必须对各个颜色类的点进行处理，最终辨识出场上的各个敌我队员和球在场上的位置和方向角。识别时，通常的做法是对分类后的像素进行一次扫描，即将相邻的同种颜色的像素连成色块。 基于阈值向量的颜色识别 一、色彩空间选择 对于采用基于彩色图像分割的方法识别目标时，首先要选择合适的颜色空间，常用的颜色空间有RGB、YUV、HSV、CMY等。颜色空间的选择直接影响到图像分割和目标识别的效果。 RGB——最常用的颜色空间，其中亮度等于R、G、B3个分量之和。RGB颜色空间是不均匀的颜色空间，两个颜色之间的知觉差异与空间中两点间的欧氏距离不成线性比例，而且R、G、B值之间的相关性很高，对同一颜色属性，在不同条件(光源种类、强度和物体反射特性)下，RGB值很分散，对于识别某种特定颜色，很难确定其阈值和其在颜色空间中的分布范围。因此通常会选择能从中分离出亮度分量的颜色空间，其中最常见的是YUV和HSV颜色空间。 HSV——接近人眼感知色彩的方式，H为色调(Hue)，S为色饱和度(Saturation)，V为亮度(Value)。色调H能准确地反映颜色种类，对外界光照条件变化敏感度低，但是H和S均为R、G、B的非线性变换，存在奇异点，在奇异点附近即使R、G、B的值有很小变化也引起变换值有很大的跳动。 YUV——RGB颜色空间线性变化为亮度色彩空间。是为了解决彩色电视机与黑白电视机的兼容问题而提出的。Y表示亮度(Luminance)，UV用来表示色差(Chrominance)。YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的。所谓色差是指基色信号中的3个分量信号(即R、G、B)与亮度信号之差。