视觉检测技术-课件_

围。
图像采集卡
图像采集卡是连接视觉传感器和计算机的桥梁，负责将传感器捕获的图像数据传输 到计算机中。
图像采集卡具有高传输速率和低延迟等特点，能够保证图像数据的实时性和准确性。
图像采集卡还具有图像预处理功能，可以对图像进行噪声抑制、对比度增强等操作， 提高图像质量。
计算机
计算机是视觉测量系统的数据处理中 心，负责存储、处理和分析图像数据。
视觉测量的应用领域
工业检测
医学影像分析
在制造业中，视觉测量广泛应用于产品检 测、质量控制和生产自动化等方面，如零 件尺寸测量、表面缺陷检测等。
在医学领域，视觉测量技术可用于医学影 像的分析和诊断，如X光片、CT和MRI等影 像的测量和分析。
农业领域
交通领域
在农业领域，视觉测量技术可用于农作物 的生长监测、产量预测等方面，如植物高 度、叶片面积等参数的测量。
利用深度相机获取深度信息，进行匹配。
基于灰度的匹配
利用灰度信息进行匹配，如SSD、NCC等算 法。
多模态匹配
结合多种特征进行匹配，提高匹配准确度。
测量算法
几何测量
基于几何原理进行测量，如距离、角 度、面积等。
运动学测量
利用机器人的运动学信息进行测量。
深度学习测量
利用深度学习算法进行测量，如语义 分割、目标检测等。
计算机还需要安装专业的视觉测量软 件，以便对图像数据进行处理、分析 和识别。
计算机需要具备强大的计算能力和存 储能力，能够快速处理大量的图像数 据。
软件系统
软件系统是实现视觉测量的关键， 包括图像处理、特征提取、目标
识别等功能。
软件系统需要具备友好的用户界 面和灵活的操作方式，方便用户
进行测量和调试。

入射光照-关于光轴的漫射光照
光分束器 Beam Splitter
光源Light source
漫散射器 Diffuser 物体 Object
入射光照-关于光轴的漫射光照
纹理表面光照
突出光洁表面与纹理表面反射光的不同
Emphasize Finish/Texture (reflection) Differences
轴承的外观检测
高速检测连续冲孔的 冲压零部件。
可使用2台线型相 机高精度检测长尺 的金属滚轴表面缺 陷
曲面外观检测
2、机器视觉应用
• 导航
Rocky 7 火星车
Rocky7视觉系统获取的立体图象对
(a) 深度图象
(b)障碍物探测示意图
Rocky7 视觉系统对场景的深度恢复
2、机器视觉应用
• 导航
每个摄影镜头都有 一个或者多个最佳光圈 ，在这些最佳光圈下， 画面的质量达到最好， 分辨率高、反差均衡等 。
3.1 摄像机 - 镜头 – 型号
3.1 摄像机 - 镜头 – 型号
3.1 摄像机 - 镜头 – 焦距
薄透镜原理
f: 透镜焦距长度 F: 透镜焦点 z’: 摄像机常数
1- 1=1 z' z f
线阵
3.1 摄像机- Sensor
CMOS（complementary metal-oxide semiconductor） 互补金属氧化物半导体
灵敏度 成本 分辨率 抗噪声 功耗 速度
3.1 摄像机- Sensor
CCD
CCD 高 高
Vs CMOS
CMOS 低 低
高
低
好
一般
高
低
低
高
3.1 摄像机-CCD 传感器-尺寸

圆形水晶
方形水晶
三、欧姆龙智能视觉检测系统在上下料机器人工作站系统的应用
• 1、水晶形状的识别： • （1）、新建一个场景。 • （2）、在主界面单击“流程编辑”，进入流程编辑界面。 • （3）、输入图像。
圆形水晶图像输入
方形水晶图像输入
三、欧姆龙智能视觉检测系统在上下料机器人工作站系统的应用
• 1、水晶形状的识别：
模型登入
登入完城
二、欧姆龙智能视觉检测系统典型应用
• 2、工件编号的识别： • （3）、全部录入完成后回到模型登录界面，点击“测量参数”，进入测量
参数界面。把相适度改成90到100之间。最后点击“确定”回到主界面。 • （4）、 回到主界面，镜头对准工件，点击“执行测量”，此时会在右下角
对话框显示测量信息。
参数界面。把相适度改成95到100 之间。最后点击“确定”回到主界面。
测量参数界面
二、欧姆龙智能视觉检测系统典型应用
• 1、工件颜色的识别： • （7）、回到主界面，镜头对准工件，点击“执行测量”，此时会在右下角
对话框显示测量信息。
测量结果
二、欧姆龙智能视觉检测系统典型应用
• 2、工件编号的识别：
点击“图像输入”，进入“图像输入”界面，设置参数，如图所示，镜 头对准工件后，点击“确定”，则图像获取完毕。
输入图像
二、欧姆龙智能视觉检测系统典型应用
• 1、工件颜色的识别： • （4）、模型登入。
①、点击“分类”图标，进入设置界面在“分类”界面先设置“模型参 数”，在初始状态下设定，选择“旋转”，还要设定旋转范围、跳跃角度、 稳定度和精度等；具体设置如图所示。
模型登录界面
完成一个模型的录入
二、欧姆龙智能视觉检测系统典型应用

机器视觉简介
§ 系统组成概述
分为两大模块：硬件模块，软件模块
D及光学器件，2.LED光源，3.零 件传感器，4.图像采集卡，5.微机平 台，6.视觉软件，7.数字I/O
§ 系统硬件
工业摄像机（CCD）
LED光源
图像采集卡
一、建设目的和意义
机器视觉就是用机器代替人眼来做测量和判断，是 计算机视觉在工业领域的应用。其特点是可以极大地 提高生产的柔性和自动化程度，是实现计算机集成制 造的基础技术。
机器视觉为一多学科交叉领域，涉及信号及图像处 理、控制工程、计算机科学、传感技术、系统集成、 系统设计、机械制造等学科。本项目的建设可挂靠无 损检测和机械制造两个研究方向，为相关领域的研究 以及研究生、本科教育提供实验平台。
ห้องสมุดไป่ตู้
三、可开展的实验及研究内容
从技术上说，机器视觉应用范围主要包括两大类： 其一是目标测量，包括目标的几何尺寸、特征、缺陷等 的检测和测量；其二是定位，引导制造和装配及其他加 工过程中目标在运动过程中实时进行位姿调整，使之与 特定的加工、装配要求进行匹配。
辅助平台
1. 小功率直流电机驱动的传送带（宽200mm,长1200mm 左右）平台（含电源），模拟物体运动过程。 2. PC机，用于图像采集卡安装并控制平台协调运动、 编程、处理图像。
机械零件外观缺陷检测、尺寸测量
加工、装配实时引导、定位
其他检测 （包括各类标签、汽车牌号、发动机铭牌、玻璃（瓶）缺陷、
电路板缺陷、灯丝焊接缺陷、输电配线、零件尺寸、符号位置、产品计数、产 品分拣、焊接质量等的检测）
食品安全
四、项目建设内容
硬件系统
1. 光源。LED点阵式环形光源，光强均衡平稳，脉动小。 2. CCD摄像机。用于抓取图像。 3. 图像采集卡。用于控制CCD抓图动作，并提供二次开发 平台以编写应用程序。 4. 镜头。放大、滤波。

02
视觉检测技术概述
定义与分类
定义
视觉检测技术是指利用计算机视觉和 图像处理技术，对图像进行采集、处 理和分析，以实现目标检测、识别、 测量和定位等功能的综合性技术。
分类
根据应用场景和检测对象的不同，视 觉检测技术可以分为表面缺陷检测、 尺寸测量、目标定位与跟踪、识别与 分类等。
视觉检测系统的组成
数据特征提取
从原始数据中提取出反映被测对象特性的特 征信息。
数据可视化
将处理后的数据以图表、图像等形式进行可 视化展示，便于分析和理解。
05
视觉检测系统设计与实现
系统架构与设计原则
架构概述
一个典型的视觉检测系统包括图 像采集、预处理、特征提取、目
标识别和结果输出等模块。
设计原则
系统设计应遵循实时性、准确性、 稳定性和可扩展性等原则，以确保 检测效果和性能。
• 实时处理速度提升：随着工业自动化和智能安防等领域的快速发展，对视觉检 测技术的实时处理速度提出了更高的要求。未来将通过算法优化、并行计算等 技术手段，提高视觉检测系统的实时处理速度。
• 多传感器融合：为了更好地满足复杂场景下的检测需求，多传感器融合将成为 视觉检测技术的发展趋势之一。通过将不同类型和功能的传感器与视觉检测技 术相结合，可以实现更全面、准确的数据采集和处理，提高检测效果。
模块间通信
模块间应采用高效的数据传输和同 步机制，确保系统实时响应和数据 处理能力。
系统硬件选型与配置
图像采集设备
选择高分辨率、高帧率的工业相机和镜头，以满 足检测精度和速度要求。
光源与滤镜
根据被检测物体的特性，选择合适的光源和滤镜， 以提高图像对比度和降低噪声。
硬件平台

38
AOI工业检测应用范例
雷达天线面形检测
39
AOI工业检测应用范例
雷达天线面形检测
CNAruRrasAtyOo(mVVeLeArr:y) Large ASuprpfaliccaetimone:asurement
40
AOI工业检测应用范例
雷达天线面形检测
CVeusrtteoxmer: ASuprpfaliccaetimone:asurement
41
CAArnuetsectonibmnoaer3:05m ASuprpfaliccaetimone:asurement
42Leabharlann AOI工业检测应用范例AOI于光电产业应用范例
Fiber connector Ferrule
Light Guide Plate
CD tracks
Alignment of optical switch
据(二维图像数据)到最终对三维环境的表达经历了三个阶段 的处理。
65
1.3 Marr的视觉理论框架
第一阶段（早期阶段）:将输入的原始图像进行处理，构成所 谓“要素图”或“基元图”(primary sketch)。基元图由二 维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何 元素或特征组成。
第二阶段（中期阶段）: 在以观测者为中心的坐标系中， 由基元图恢复场景可见部分的深度、法线方向和轮廓等， 包含了深度信息，但不是真正的三维表示。Marr称为对 环境的2.5维描述（2.5 dimensional sketch），即部分 的、不完整的三维信息描述。
24
AOI工业检测应用范例
AOI于IC封装打线应用
AOI工业检测应用范例
在飞机制造业中的应用

8.2

视觉传感器
一、CCD光敏元件工作原理 CCD基本结构图
8.2

视觉传感器
CCD电荷转移原理
二、电荷转移原理 CCD转移电压
8.2


视觉传感器

三、CCD的输入－输出结构 1.电荷注入 2.电荷输出 四、CCD的特性参数 1.转移效率和转移损失率 2.工作频率 8.2.2 CCD器件 视觉检测系统采用的摄像机分为电子管式摄像机和 固体器件摄像机CCD两种。CCD是利用内光电效应由单个 光敏元件构成的集成化光电传感器。它集电荷存贮、移 位和输出为一体。应用于成像技术、数据存贮和信号处 理电路等。
8.2

视觉传感器
一、CCD线阵摄像器件工作原理。 线阵列固体摄像器件基本结构简图如图所示。 线型CCD 摄像器件有两种基本形式：一是 单沟道线型 ICCD，另一是双沟道线阵ICCD。
8.2


视觉传感器
二、面阵ICCD
场传输面阵CCD和行传输面型CCD结构原理如图。
8.2

视觉传感器



三、ICCD的基本特性参数 1.转换特性 2. 动态范围 3.分辨率 8.2.3 光电位置传感器(PSD) 光电位置传感器（PSD）是一种对入射到 光敏面上的光点位置敏感的光电器件，其输出 信号与光点在光敏面上的位置有关。它利用半 导体的横向光电效应来测量入射点的位置。目 前在光学定位、跟踪、位移、角度测量和虚拟 现实设备中获得了广泛的应用。 PSD分为一维和二维两种类型。
8.1 视觉检测技术概述

三、图像存储体 图像存储体可以分为外置式和内置式两种。 外置式图像存储体为独立单元，它一般单独供 电，功能较为全面，可以适用于微机系统、笔 记本电脑、微处理器和可编程控制器等，成本 也较高。内置式图像存储体一般为卡式结构称 为图像卡)，可以直接插入计算机扩展槽内， 使用方便、成本低，并可以充分利用计算机的 软硬件资源。

6.1.2 视觉检测系统的组成 视觉检测系统的构成如图所示。 狭义的视觉传感器可以只包括摄像器件， 广义的视觉传感器除了镜头和摄像器件外，还可 以包括光源、图像存储体和微处理器等部分集成 在一起的数字器件。
一、光源 1.光源的选择 用于视觉检测的光源应满足以下几点要求： （1）照度要适中 （2）亮度要均匀 （3）亮度要稳定 （4）不应产生阴影 （5）照度可调 2.光源的照明方式 光源的照明一般有以下几种方式： (1)漫反射照明方式、(2)透射照明方式、(3)结构 光照明方式、(4)定向照明方式，如图6.1所示。
CCD是以电荷作为信号，而不同于其他大多数 器件是以电流或者电压为信号，其基本功能是信 号电荷的产生、存储、传输和检测。当光入射到 CCD的光敏面时．CCD首先完成光电转换．即产生 与入射光辐射量成线性关系的光电荷。CCD的工作 原理是被摄物体反射光线到CCD器件上．CCD根据 光的强弱积聚相应的电荷．产生与光电荷量成正 比的弱电压信号，经过滤波、放大处理，通过驱 动电路输出一个能表示敏感物体光强弱的电信号 或标准的视频信号。
ห้องสมุดไป่ตู้
CCD和传统底片相比，CCD 更接近于人眼对视 觉的工作方式。只不过，人眼的视网膜是由负责 光强度感应的杆细胞和色彩感应的锥细胞，分工 合作组成视觉感应。 CCD经过长达42年（1969贝 尔）的发展，大致的形状和运作方式都已经定型。 CCD 的组成主要是由一个类似马赛克的网格、聚 光镜片以及垫于最底下的电子线路矩阵所组成。 目前有能力生产 CCD 的公司分别为：SONY、 Philips、Kodak、Matsushita、Fuji和Sharp，大半 是日本厂商。
图像检测与处理的基本理论，并以机器
人视觉系统和自动调焦系统为例，说明

② 气体放电光源：原理：气体分子激发→放电 （电弧灯） 器件：碳弧灯、钠弧灯、氙弧灯、水银弧灯 特点：功率大，光色接近日光，紫外线丰富
应用：强光、色温要求接近日光
③发光二极管： 原理：半导体，电致发光 器件：LED，可见光、红外光 特点： 体积小、功耗低、寿命长、响应快、易于数字控制、 比普通光源单色性好、亮度高
实例：美国Sojourner系列和Rocky系列火星探测移动机器人
美国勇气号和机遇号火星探测移动机器人
“勇气”号火星车 发回的彩色照片
“机遇”号火星车拍摄 火星土壤的显微照片
3、生物医学图像分析
（1）医学临床诊断 ： X射线、B超、CT、核磁共振（MRI）
CT图像
医学影像融合分析
自动检测：染色体切片、癌细胞切片、超声波图象
航空摄影图像 --- （多目成象 --- 大地测量、测绘）
5、监控、安防、交通管理：
交通 --- 车辆识别、牌照识别、车型判断、车辆监视、交通流量检测 安全 --- 指纹判别与匹配、面孔与眼底识别、安全检查（飞机、海关） 监视 --- 超市、商店防盗、银行监控，停车场、电梯闭路电视
6、军事与国防：
超低空雷达、超视距雷达、导弹制导、导弹导航、地形匹配、 单兵作战系统、战场遥测、夜视仪、声纳成象
点光源 --- 发光二极管
线光源
面光源 --- 专用
b. 按安装方式： 背向照明： 被测物在光源和摄像机之间 --- 对比度好
前向照明： 光源放在物体的后面 —— 便于安装
结构光照明： 光源有特定的方向，光束有精确的形状。 --- 光栅或线光源 畸变 三维形状
频闪光照明： 高频率的光脉冲 --- 高速运动物体
2、光学系统
组成：成像物镜 + 光电器件 ① 照相摄影系统：

5、监控、安防、交通管理：
交通 --- 车辆识别、牌照识别、车型判断、车辆监视、交通流量检测 安全 --- 指纹判别与匹配、面孔与眼底识别、安全检查（飞机、海关） 监视 --- 超市、商店防盗、银行监控，停车场、电梯闭路电视
6、军事与国防：
超低空雷达、超视距雷达、导弹制导、导弹导航、地形匹配、
单兵作战系统、战场遥测、夜视仪、声纳成象
(3)镜头的种类： ①按焦距大小分类： 分为广角镜头、标准镜头、长焦距镜头 ②按变焦方式分类： 固定焦距镜头、手动变焦距镜头、电动变焦距镜头 固定焦距镜头---固定视场大小和距离， 手动变焦镜头---偶尔改变观察范围和目标大小 电动变焦镜头---经常性改变观察范围，变焦范围大，
既可以看大范围，也可以聚焦某个细节。 ③按光圈方式分类：固定光圈镜头、手动变光圈镜头、自动变光圈镜头 固定光圈镜头----固定场景和目标，亮度不变，
用于光线变化大且频繁的场合。 手动变光圈镜头---适合亮度变化不大的场合（光圈环） 一次性调整合适为止，不变 自动变光圈镜头---会随着光线的变化而自动调整， ④按变焦倍数：2 倍变焦、6 倍变焦、10 倍变焦、20 倍变焦等。 ⑤按安装方式分类：分为普通安装镜头、隐蔽安装镜头（针孔镜头） ⑥按用途分类：照相镜头、摄影镜头、单板式CCD镜头
视觉检测技术
一、应用
领域 零件的识别与定位
自动连接引线、对准 芯片和封装；
■
自动安装部件，自动焊 接或自动切割加工、自 动浇注系统等。
■
例：双目立体视觉检测系统 ——简单视觉的机器人系统
芯片定位
芯片管脚检测
(2) 零件尺寸的在线测量 钢板厚度的在线测量 (3) 零件外观及内部缺陷检测 例：木料检测：缺陷、体积 (4) 产品分类、分组 苹果分级、分色、配色 (5) 产品标识、编码识别 商品条码、印鉴、标签

6.取景器:观看拍摄效果和编辑修改〔液晶〕. 7.接口功能：RS232、SCSI、USB、1394接口. 8.其他功能：自动测光、自动调焦、自动闪光、自拍.
彩色CCD 1、单管CCD彩色摄像机
机器视觉测术
分光棱镜 >>三色 >>3CCD接收 >> RGB信号
④按扫描方式：有面扫描和线扫描方式.
面扫描又分为逐行扫描和隔行扫描。
⑤按同步方式：内同步,外同步功能相机.
机器视觉测量技术
机器视觉测量技术
CCD相机主要功能调节
1.同步方式选择：内同步 外同步〔外触发信号〕 电源同步〔电源完成垂直同步〕
2.自动增益控制： CCD信号的视频放大器，对不同照度 而随之改变增益，可使相机在较大的光照范围内进行 工作。
用于外表光滑的曲面检测
3、透射型
机器视觉测量技术
高明亮度 导光
4、同轴型
• 均匀照明反光外表
机器视觉测量技术
能。
MMC卡,SD卡,随机附带32M SD卡
电荷耦合器件 CCD
─在一幅图像上，在水平方向能够分辨出的黑白条数.
相干信号，光亮度高。
2、照明系统与工作间距：镜头到工作距离 >>照明系统到工作间距 >>光源到工作距离
断骨增高
兰花指
相对灵敏度用能使输出发生一级变化所需光子数表示。
4.电子快门：CCD仅输出快门开启时的光电荷信号，其 余时间那么被泄放。最短电子快门为1/1000 S.
4.阴影〔不均匀度〕：输入物理信号为常数而输出的数字形式不 为常数的现象。
5.象素形状：一般为正方形，但 也有其它形状。
6.频谱灵敏度：对不同频率辐 射的相对灵敏度。

黄色=白色-蓝色 紫色=白色-绿色 青色=白色-红色 黄色+青色=白色-蓝色-红色=绿色 黄色+紫色=白色-蓝色-绿色=红色 紫色+青色=白色-绿色-红色=蓝色
黄色+紫色+青色=白色-蓝色 -绿色-红色＝黑色
混色定律
• （1）补色律：是指每一种颜色都有另一种与 它相混合而产生白色或灰色，这两种颜色称 为互补色。 • （2）居间律：是指混合色圈上两个非互补的 颜色产生介于这两种颜色之间的中间色。 • （3）代替律：混合色的颜色混合不随被混合 的颜色的光谱的光谱成分而转移。可以彼此 相互代替。 A＝B C＝D 则 A＋C＝B＋D
混色定律
• （1）补色律：是指每一种颜色都有另一种与 它相混合而产生白色或灰色，这两种颜色称 为互补色。 • （2）居间律：是指混合色圈上两个非互补的 颜色产生介于这两种颜色之间的中间色。 • （3）代替律：混合色的颜色混合不随被混合 的颜色的光谱的光谱成分而转移。可以彼此 相互代替。 A＝B C＝D 则 A＋C＝B＋D
视紫红质
暗
视黄醛+蛋白质
（2）影响暗适应过程的因素 适应前照明：光越强时间越长，暗适应需 时间长 先天夜盲 维生素A缺乏，造成夜盲 年龄因素：个体在20～30岁最好 感官的相互作用 红色护目镜的作用 实验光的波长不同，暗适应曲线不同 图67
（3）暗适应与瞳孔大小的变化
2、明适应研究
• 明适应（或亮适应）（light adaptation）是指在光亮 中视觉感受性很快下降的过程。
明适应时，眼的感受性不是提高，而是降低，与暗
适应正好相反。 布兰查德（Blanchard 1931）用阈限法揭示：视杆细 胞在极端黑暗转入极亮的条件下，其感受性下降100 万倍。 赖特（Wright，1934）用间接方法求得光适应曲线， 发现中央凹的光适应过程很快，它暴露在光线中一 分钟后就几乎全部完成。