视觉检测技术-课件

什么是计算机视觉呢？
让我们先来了解一些基础概 念，做好本课程学习的准备工作！
1、什么是计算机视觉
South China University of Technology
随着信号处理理论和计算机技术的发展，人们试图用摄像机获取环 境图像并将其转换成数字信号，用计算机实现对视觉信息处理的全 过程，这样就形成了一门新兴的学科——计算机视觉。
（2）高速图像采集系统：由专用视频解码器、图像缓冲器以及控制接口 电路组成。主要功能是适时地将视觉传感器获取的模拟视频信号转换为 数字图像信号，并将图像直接传送给计算机进行显示和处理，或者将数 字图像传送给专用图像处理系统进行视觉信号的实施前段处理。随着逻 辑门阵列FPGA芯片的出现，使得大多数高速图像采集系统只需由几个芯 片就可以完成。 图像采集系统与计算机的接口采用工业标准总线，如 ISA、VME、PCI等。
视觉测量
主讲人：全燕鸣教授 博士生导师
第一章
引论
South China University of Technology
本章要点： 1.1计算机视觉的发展与系统构成 1.2生物视觉简介 1.3Marr视觉理论框架 1.4计算机视觉应用领域及面临问题 1.5视觉测量系统与关键技术
South China University of Technology
20世纪50年代开始统计模式识别，工作主要集中在二维图像分析、识别和理解上。 如：字符识别、工件表面、显微图片和航空照片的分析解释
60年代，Roberts开创了以理解三维场景为目标的三维计算机视觉的研究（ Roberts提出了所谓的“积木世界”说法）
70年代，出现了一些计算机视觉应用系统
80年代，Marr教授提出了Marr视觉理论，该理论成为20世纪80年代计算机视觉研 究领域中的一个十分重要的理论框架

围。
图像采集卡
图像采集卡是连接视觉传感器和计算机的桥梁，负责将传感器捕获的图像数据传输 到计算机中。
图像采集卡具有高传输速率和低延迟等特点，能够保证图像数据的实时性和准确性。
图像采集卡还具有图像预处理功能，可以对图像进行噪声抑制、对比度增强等操作， 提高图像质量。
计算机
计算机是视觉测量系统的数据处理中 心，负责存储、处理和分析图像数据。
视觉测量的应用领域
工业检测
医学影像分析
在制造业中，视觉测量广泛应用于产品检 测、质量控制和生产自动化等方面，如零 件尺寸测量、表面缺陷检测等。
在医学领域，视觉测量技术可用于医学影 像的分析和诊断，如X光片、CT和MRI等影 像的测量和分析。
农业领域
交通领域
在农业领域，视觉测量技术可用于农作物 的生长监测、产量预测等方面，如植物高 度、叶片面积等参数的测量。
利用深度相机获取深度信息，进行匹配。
基于灰度的匹配
利用灰度信息进行匹配，如SSD、NCC等算 法。
多模态匹配
结合多种特征进行匹配，提高匹配准确度。
测量算法
几何测量
基于几何原理进行测量，如距离、角 度、面积等。
运动学测量
利用机器人的运动学信息进行测量。
深度学习测量
利用深度学习算法进行测量，如语义 分割、目标检测等。
计算机还需要安装专业的视觉测量软 件，以便对图像数据进行处理、分析 和识别。
计算机需要具备强大的计算能力和存 储能力，能够快速处理大量的图像数 据。
软件系统
软件系统是实现视觉测量的关键， 包括图像处理、特征提取、目标
识别等功能。
软件系统需要具备友好的用户界 面和灵活的操作方式，方便用户
进行测量和调试。

圆形水晶
方形水晶
三、欧姆龙智能视觉检测系统在上下料机器人工作站系统的应用
• 1、水晶形状的识别： • （1）、新建一个场景。 • （2）、在主界面单击“流程编辑”，进入流程编辑界面。 • （3）、输入图像。
圆形水晶图像输入
方形水晶图像输入
三、欧姆龙智能视觉检测系统在上下料机器人工作站系统的应用
• 1、水晶形状的识别：
模型登入
登入完城
二、欧姆龙智能视觉检测系统典型应用
• 2、工件编号的识别： • （3）、全部录入完成后回到模型登录界面，点击“测量参数”，进入测量
参数界面。把相适度改成90到100之间。最后点击“确定”回到主界面。 • （4）、 回到主界面，镜头对准工件，点击“执行测量”，此时会在右下角
对话框显示测量信息。
参数界面。把相适度改成95到100 之间。最后点击“确定”回到主界面。
测量参数界面
二、欧姆龙智能视觉检测系统典型应用
• 1、工件颜色的识别： • （7）、回到主界面，镜头对准工件，点击“执行测量”，此时会在右下角
对话框显示测量信息。
测量结果
二、欧姆龙智能视觉检测系统典型应用
• 2、工件编号的识别：
点击“图像输入”，进入“图像输入”界面，设置参数，如图所示，镜 头对准工件后，点击“确定”，则图像获取完毕。
输入图像
二、欧姆龙智能视觉检测系统典型应用
• 1、工件颜色的识别： • （4）、模型登入。
①、点击“分类”图标，进入设置界面在“分类”界面先设置“模型参 数”，在初始状态下设定，选择“旋转”，还要设定旋转范围、跳跃角度、 稳定度和精度等；具体设置如图所示。
模型登录界面
完成一个模型的录入
二、欧姆龙智能视觉检测系统典型应用

• 没有相应的训练集和验证集
• 自行构造人脸数据库和测试集
2024/7/13
6
项目任务
➢基于ResNet进行表情识别
➢使用Kaggle ICML表情数据集
• 包含35,887张48*48大小的表情灰度图片，共计七种类别：愤怒、厌恶、恐惧、高兴、悲伤、
惊讶和中性，并被保存在csv文件中（保存的是像素值）
MTCNN）
• 将人脸区域检测与人脸关键点检测放在一
起
• 这三个级联的网络
• P-Net生成候选框
• R-Net高精度候选框过滤选择
• O-Net生成最终候选框与人脸关键点
• 图像金字塔、非极大抑制
2024/7/13
13
知识链接-MTCNN
• P-Net，R-Net和O-Net的体系结构
• “MP”表示最大池化，“Conv”表示卷积
2024/7/13
18
知识链接-FaceNet
• Batch normalization 批归一化
• 对每层输出进行归一化处理
• 假设一个batch中有m个样本，在某一层的输出分别是 {1 , 2 , … , }, 可能是一维向量，
也可能是二维特征图
2024/7/13
19
知识链接-FaceNet
• 有三张图片参与计算
• 使得提取出来的特征，在相似图片上距离相近，不同图片上距离远
min
anchor
2024/7/13
positive
anchor negative
16
知识链接-FaceNet
2024/7/13
17
知识链接-FaceNet
• Batch normalization 批归一化

视功能检查及应用
舒城奥玛眼镜公司
主讲人：罗炳生
1
什么是眼睛的“三联动? 什么是双眼视觉? 什么是三级视功能？ 什么是调节? 什么是集合? 近视的机制学说—调节学说
2
眼睛的三联动
• 眼睛在看不同物体时,都要通过眼肌的协 调运动,尤其在看近处物体时,出现近反 射三联动现象
• (包括眼的调节,集合,瞳孔缩小).
8
什么是集合（辐辏）
集合指人眼为了保持看近时，既能看清又能双眼单视，而出现眼 球内转，双眼同时内收的现象，这种现象称为集合。
9
集合异常的分类
1、集合不足 2、集合过度 3、散开不足 4、散开过度 5、融像性聚散功能异常 6、基本型内隐斜 7、基本型外隐斜
10
视功能检查流程
1、Worth4-dot
13
一、融合视（worth4点）
Worth4点灯可检查同时视、融合视、主导眼、复视。 投影出worth4点视标，右眼放置辅助镜片RL（红片），左眼放置辅助镜片GL（绿片）。
正常
左眼抑制
外隐斜
右眼抑制
复视
内隐斜
14
Worth4点融合视异常诊断：
两红三绿：复视，融合异常，有同时视。 两红：左眼抑制，无同时视。 两绿：右眼抑制，无同时视。 多种红、多种绿或者下方的圆形视标呈横向的椭圆形：复视
a 正位视
b 上隐斜
c 下隐斜
ａ.水平光带穿过点光，两眼均无上隐斜。
ｂ.水平光带在下，光点在上。说明右眼上隐斜。在右眼前置BD棱镜，或左眼前 加BU棱镜。逐渐由少到多递增棱镜，直到水平光带穿过光点。此时所加的棱镜度 即是右上隐斜的度。
ｃ.水平光带在上，光点在下。为左眼上隐斜。在左眼前递增BD三棱镜，或在右 眼前递增BU棱镜，直到水平光带穿过光点。所加棱镜即是左上隐斜度。

4
特征匹配
将提取到的特征与预先定义的模型进行匹配和比对。
5
最终判定
根据匹配结果，进行最终的判定和决策。
四、视觉检测的实际应用案例
工业生产自动化中的视 觉检测
视觉检测技术在工业生产线上， 帮助检测产品质量、进行自动 化控制和提高生产效率。
智能安防领域的视觉检测
视觉检测技术应用于安全监控 系统，用于实时监测和识别异 常行为，保障公共安全。
医学影像分析中的视觉 检测
视觉检测技术在医学影像分析 中，用于帮助诊断和治疗，如 肿瘤检测和病灶定位。
五、视觉检测的发展趋势
智能化发展
视觉检测技术将越来越智能化，能够自主学习和适应不同环境和场景。
大数据驱动发展
视觉检测技术将利用大数据分析，提高准确率和效率。
优化算法探索
不断探索和优化视觉检测的算法，提高检测结果的准确性和可靠性。
六、总结和展望
1 视觉检测的价值
视觉检测技术具有广泛 的应用价值，为各个领 域带来了许多便利和改 进。
2 视觉检测的前景展望 3 视觉检测的挑战和
解决方案
随着技术的不断进步，
视觉检测将以更高的精
面对复杂的场景和各种
度和效率得到应用。
干扰因素，需要不断研
究和创新，解决实际问
题。
《视觉检测》PPT课件
视觉检测 PPT课件大纲
一、什么是视觉检测？
视觉检测是一种利用光学传感器、摄像机和图像处理算法的技术，用于从图 像中提取特征和进行判定的过程。 视觉检测在生产自动化、智能安防和医学影像分析等领域有广泛的应用。
二、视觉检测技术介绍
光学传感器
利用光学原理捕捉物体的图像信息，如光电二极管、激光传感器等。

随着深度学习技术的不断发展，未来电镀项目视觉检测技术将更加依赖于深度学习算法的优化，以提高检测准确率和效率。
1
2
3
电镀项目视觉检测技术在表面处理行业中具有广泛的应用前景，如汽车、家电、航空航天等领域。
表面处理行业
随着新材料研发的不断推进，电镀项目视觉检测技术在材料表面形貌、成分和结构等方面将发挥重要作用。
详细描述
总结词
颜色识别是电镀项目视觉检测方案中的重要环节，通过机器视觉技术对电镀产品的颜色进行准确识别和分类，确保产品颜色符合客户要求。
要点一
要点二
详细描述
颜色识别系统采用高分辨率工业相机和专用电镀颜色识别算法，能够快速、准确地识别电镀产品的颜色。系统能够自动对颜色进行分类和比对，及时发现并排除不合格品。同时，颜色识别结果可以为生产过程中的调整和优化提供数据支持，提高生产效率和产品质量。颜色识别系统还可以与其他检测环节进行集成，实现多环节自动化检测和质量控制。
03
02
01
结果展示
将检测结果以可视化方式呈现，便于分析。
反馈机制
根据分析结果调整模型或优化数据预处理过程，提高检测效果。
误差分析
对误检和漏检样本进行深入分析，找出原因。
定期评估检测方案的性能，确保满足生产要求。
周期性评估
关注视觉检测领域的新技术发展，适时引入以提高检测水平。
技术跟踪
对整个实施流程进行文档化记录和管理，方便后期维护和优化。
总结词
深度学习算法需要大量的计算资源，如GPU、CPU等，但这些资源往往昂贵且有限。
详细描述
为解决计算资源问题，可以采用分布式计算、云计算等技术，充分利用计算资源，提高计算效率。同时，也可以采用轻量级网络结构、模型压缩等技术，降低计算资源的消耗。

灵活性高，可扩充性强，支持远距离传输，支持多点传输，技术成熟，鲁棒性强，成本低。
• USB3.0
灵活性高。传输距离短，可靠性低，技术不成熟。
27
图像分析——核心算法
物体测量
二维码读取
瑕疵检测
空间标定
图像数学和逻辑运算
图像分割
28
图像分析——核心算法
模板和形状匹配 光学字符的识别与确认
色彩检测
41
应用案例——产品可追溯
• 使用机器视觉技术进行条码读取和标签验证，具体包括读码（包括读取一维码，二维 码），OCR（光学字符识别），检测有/无，定位，测量，标签验证，OCV（光学字符 验证）等等，
• 保证产品质量和全程可视化操作。管理者和生产人员可轻松地管理日常工作，对各类 时间能快速响应和决断，确保生产顺利进行，实现产品的全程可追溯性。
硬件——相机，控制器，光源及支架； 软件——控制系统，图形用户界面(GUI)和图像分析算法。
厂家
擅长
前身
康耐视
识别/检测/测量
一/二维码识别
迈思肯
识别/检测/测量
一/二维码识别
邦纳
识别/检测/测量
传感器
Leuze
识别/检测/测量
传感器
基恩士
识别/检测/测量
传感器
ABB
机械手引导
变频器
管脚定义不统一，电缆成本高。
• Camera Link
高速，高可靠性。不便于多相机连接和集中控制，电缆价格高。
• IEE1394
灵活性高，成本低。传输距离短，可靠性低。
• USB2.0
灵活性高，成本低。传输距离短，可靠性低，技术不成熟。
• GigEVision

• 端到端的单个神经网络 • 将图片均分为S*S的锚框，每个锚框预测B个目标框 • 一个类别存在于一个给定目标框中的概率需要根据网络输出进行简单运算得到 • 优化版本可达155帧率 • YOLOv1（2015）->YOLOv2（2016）->YOLOv3（2018）->YOLOv5（2020）…
2024/7/13
知识链接-SSD
➢SSD（Single Shot Detection）
• 取消RPN网络 • 一个基础网络抽取特征，多个卷积层，每段都生成锚框，浅层拟合小物体，深层拟合大
物体，对每个锚框进行类别和变换预测 • 锚框大量重叠，浪费计算量
2024/7/13
22
知识链接-YOLO
➢ YOLO（You Only Look Once）
2024/7/13
7
01
项目导入
02
项目任务
C ONTENTS
03
项目目标
04
知识链接
05
项目准备
06
任务实施
07
任务拓展
08
项目小结
项目目标
➢知识目标
• 了解目标检测相关算法的基本概念 • 了解物体追踪的流程
➢技能目标
• 掌握基于YOLO的目标检测方法 • 掌握基于卡尔曼滤波和目标检测结果的物体追踪方法 • 掌握物体追踪的可视化方法
YOLOv1网络结构
乘法运算
23
知识链接-物体追踪
➢多物体追踪
• 将相同ID分配给包含相同目标的边界框
➢卡尔曼滤波法
• 动态系统的状态估计算法 • 可用来确定当前帧中物体和上一帧中的对应关系，并且在物体遇
到遮挡的时候补全轨迹。
2024/7/13

• 在人群中，丢失双眼视觉的三级视觉功能，出现相应代偿 反应的患者相对而言还是比较少的，大多数患者的双眼视 觉异常并不是把三级视觉功能丢失，而是维持的不稳定， 有些学者将其称为视觉功能的低下亦或是非斜视性双眼视 觉异常。
2023年8月14日9时39分
• 这部分患者通常可以维持三级视觉功能，但需 要付出极大的肌张力，从而引发肌紧张，导致 视疲劳的产生；或是在某一时候，无法维持双 眼单视，导致三级功能的短暂瞬间丢失。
验光
第一眼位
检测 眼位
双眼视 分析
动态眼位
矫治
眼球运动
显性斜视 隐性斜视 注视视差
单/双眼运动 同向/异向运动 扫视/跟随运动 单眼注视能力
2023年8月14日9时39分
34//1180//22000808121:027:0PM1 AM
运动性融像
2299
屈光定量 验光
感觉性融像
眼位
调节
调节幅度 （NPA） 调节反应 相对调节 调节灵活度
当被检者表现为EXO 或者是PFV较低时，MEM 和FCC
的测定值 较之对应的正常值产生较低的正镜度
。
这里较低的正镜度可以解释为过度调节，以期通 过调节，带动调节性集合，补偿不足的PFV，或是 通过调节性集合来克服外斜。
不同类型的斜视对双眼单视的影响
1.对双眼单视影响较小的斜视 隐斜 间歇性斜视（间歇性外斜视、调节性内斜视、急性共同性内斜视） 代偿头位的非共同性斜视--垂直性斜视 5岁以后发生的斜视（对双眼单视影响的主要方式为抑制）
«眼屈光检查»
2. 对双眼单视影响明显的斜视
恒定性斜视 （1）内斜视 :包括小度数内斜视 和微内斜 大度数内斜视 ---抑制 单侧内斜视，可形成斜视性弱视； 交替性内斜视，不形成斜视性弱视.

② 气体放电光源：原理：气体分子激发→放电 （电弧灯） 器件：碳弧灯、钠弧灯、氙弧灯、水银弧灯 特点：功率大，光色接近日光，紫外线丰富
应用：强光、色温要求接近日光
③发光二极管： 原理：半导体，电致发光 器件：LED，可见光、红外光 特点： 体积小、功耗低、寿命长、响应快、易于数字控制、 比普通光源单色性好、亮度高
实例：美国Sojourner系列和Rocky系列火星探测移动机器人
美国勇气号和机遇号火星探测移动机器人
“勇气”号火星车 发回的彩色照片
“机遇”号火星车拍摄 火星土壤的显微照片
3、生物医学图像分析
（1）医学临床诊断 ： X射线、B超、CT、核磁共振（MRI）
CT图像
医学影像融合分析
自动检测：染色体切片、癌细胞切片、超声波图象
航空摄影图像 --- （多目成象 --- 大地测量、测绘）
5、监控、安防、交通管理：
交通 --- 车辆识别、牌照识别、车型判断、车辆监视、交通流量检测 安全 --- 指纹判别与匹配、面孔与眼底识别、安全检查（飞机、海关） 监视 --- 超市、商店防盗、银行监控，停车场、电梯闭路电视
6、军事与国防：
超低空雷达、超视距雷达、导弹制导、导弹导航、地形匹配、 单兵作战系统、战场遥测、夜视仪、声纳成象
点光源 --- 发光二极管
线光源
面光源 --- 专用
b. 按安装方式： 背向照明： 被测物在光源和摄像机之间 --- 对比度好
前向照明： 光源放在物体的后面 —— 便于安装
结构光照明： 光源有特定的方向，光束有精确的形状。 --- 光栅或线光源 畸变 三维形状
频闪光照明： 高频率的光脉冲 --- 高速运动物体
2、光学系统
组成：成像物镜 + 光电器件 ① 照相摄影系统：

2
3
硬件实现
1.3.2 视觉信息处理的三个阶段
名称 目的
South China University of Technology
由图像恢复形状信息的表达框架 基元 亮度表示 图像中每一点的亮度值 3D描述 描述 图像 图像 早期视觉 中期视觉 后期视觉 处理 处理 基元图 处理 表是二维图像中的重要信息，主要是图 零交叉，斑点，端点和 像中的亮度变化位置及其几何分布和组 不连续点，边缘，有效 织结构 要素图 线段，组合群，曲线组 2.5维图 维图 织，边界 2.5维图 在以观测者为中心的坐标中，表示可见 表面的方向、深度值和不连续的轮廓 局部表面朝向（“针” 基元）；离观测者的距 离；深度上的不连续点； 表面朝向的不连续点
什么是计算机视觉 呢？
South China University of Technology
1、什么是计算机视觉 随着信号处理理论和计算机技术的发展，人们试图用摄像机获取环 境图像并将其转换成数字信号，用计算机实现对视觉信息处理的全 过程，这样就形成了一门新兴的学科——计算机视觉。
2、计算机视觉的研究目标 计算机视觉的研究目标是使计算机具有通过一幅或多幅图像认知 环境 信息的能力。它不仅在于模拟人眼能完成的功能，更重要的是它能完 成人眼所不能胜任的。
South China University of Technology
3、视觉测量概念的提出 从计算机视觉概念和方法出发，将计算机视觉应用于空间几何尺 寸的精确测量和定位，从而产生了一种新的计算机视觉应用概念， 视觉测量。视觉测量作为当今高新技术之一，在电子学、光学探测、 图像处理和计算机技术不断成熟和完善的基础上得到了突飞猛进的 发展。
1.2生物视觉简介 1.2生物视觉简介

意义
立体视觉能力 弱视检测 斜视诊断 手术评估
斜视诊断：斜视是一种眼球无法同时准确对准同 一目标的条件。立体视觉检查可以帮助医生评估 斜视患者的立体视觉能力，并确定斜视类型和程 度。
立体视觉检查概述
意义
立体视觉能力 弱视检测 斜视诊断 手术评估
手术评估：立体视觉检查也常被用于评估患者是 否适合进行某些眼部手术，如白内障手术。通过 检查患者的立体视觉能力，医生可以确定手术后 患者的视觉恢复情况。
立体视觉检查概述
应用
01 视觉感知测试 02 视觉深度测试 03 斜视测试 04 弱视测试
视觉深度测试：这 种测试通常使用立 体图像或立体观察 器，要求被测试者 根据深度信息判断 物体的位置或距离。 例如，被测试者可 能需要判断哪个物 体在前面或后面， 或者按照顺序排列 图像中的物体。
立体视觉检查概述
立体视觉检查概述
意义
立体视觉能力 弱视检测 斜视诊断 手术评估
弱视检测：立体视觉检查也可以用于检测弱视 （常称为"懒眼"）。弱视是一种常见的儿童眼部 问题，指的是由于眼睛未能正常发展而导致的视 觉模糊或减弱。通过立体视觉检查，医生可以评 估患者的立体视觉能力，从而确定是否存在弱视。
立体视觉检查概述
立体视觉检查概述
原理
原理
视差提取 视差匹配
立体感知
立体视觉检查概述
原理
1.视差提取：大脑会比较两只眼睛接收到的图像，并提取出其中的视差信息。 视差越大，表示物体离眼睛越近；视差越小，表示物体离眼睛越远。
立体视觉检查概述
原理
2.视差匹配：大脑会将两只眼睛接收到的图像进行匹配，找出相同物体在两只 眼睛中的对应点。这个过程称为视差匹配。