计算机视觉重点考点集锦
手工整理，如有错误，慎之！
第一章
1、计算机视觉：研究用计算机来模拟生物视觉功能的科学和技术．
2、视觉表示框架的三个阶段（也就是提取三阶段）：1）第一阶段是将输入的原始图像进行处理，抽取基本特征形成基元图。2）第二阶段(中期阶段)是指在以观测者为中心的坐标系中，由输入图像和基元图恢复场景可见部分的深度、法线方向、轮廓等，形成二维半图。3）第三阶段(后期阶段)是在以物体为中心的坐标系中，由输入图像、基元图、二维半图来恢复、表示和识别三维物体。
第三章
1、二值图像的特点:a.假定二值图像大小为mxn，其中物体像素值为1，背景像素值0;b.二值图像处理的算法简单，易于理解和实现，计算速度快；c. 二值视觉所需的内存小，对计算设备要求低；d.二值视觉系统技术可用于灰度图像视觉系统
2、二值图像的获取：1）通过图像的阙值2）通过硬件实现3）通过软件实现
3、图像分割：把图像划分成区域，使每一个区域都对应一个候选的目标。
4、图像二值化：设一副灰度图像中物体的灰度分布在某一区间内，通过阙值运算后的图像为二值图像
5、投影分类及作用：1）水平/垂直投影；给定直线上的投影；对角线投影（仿射变换）2）投影能表现图像的某种信息。
6、4-连通成分序贯法（标记算法）步骤：
1）从左到右，从上到下扫描图像
2）①如果上面点和左面点有一个标记，复制这一标记②如果两点相同的标记，复制这一标记③如果两点有不同标记，则复制上点标记且将两个标记输入到等价表中作为等价标记④否则给这一像素点分配一个新的标记并将这个标记输入到等价表
3）如考虑更多的点，回到第二步
4）在等价表中的每一等价集中找到最低的标记
5）扫描图像，用等价表中的最低标记取代每一个标记
7、欧拉数：E=C—H，连通成分数(C)—空洞数(H)
8、扩展与收缩：1）要掌握用结构元进行扩展与收缩
2）先扩展后收缩：补上不希望存在的洞
3）先收缩后扩展：去除孤立的噪声点
4）定义：①扩展：如果背景和洞的像素点临点显1，则该点从0变为1
②收缩：如果物体像素点连点为0，则将该点从1变为0
9、开、关运算：1）开运算：先腐蚀后膨胀，去除比结构元小的区域的像素点 2）关运算：显膨胀后腐蚀，填充比结构元小的孔洞
第四章
1、常见的噪声：常见的噪声有椒盐（Salt & Pepper）噪声、脉冲噪声、高斯噪声等
2、常见的滤波器：均值滤波器，高斯平滑滤波器，非线性滤波器（包括中值滤波器，边缘保持滤波器）
3、高斯平滑滤波的5条性质：1）旋转对称性 2）高斯函数是单值函数 3）高斯函数的付立叶变换频谱是单瓣的 4）高斯滤波器宽度由参数σ表征 5）高斯函数的可分离性
4、级联高斯函数：会计算相同效果δ=√δ12+δ22
第五章
1、边缘：边缘是指图像局部强度变化最显著的部分．边缘主要存在于目标与目标、目标与背景、区域与区域之间
2、图像强度的不连续可分为：1) 阶跃不连续，即图像强度在不连续处的两边的像素灰度值有着显著的差异；2) 线条不连续，即图像强度突然从一个值变化到另一个值，保持一较小行程后又回到原来的值
3、术语定义：边缘点(Edge point) ：在亮度显著变化的位置上的点．
边缘段(Edge segment) ：对应于边缘点坐标及其方位．
边缘检测器(Edge detector) ：从图像中抽取边缘集合的算法．
轮廓(Boundary) ：边缘列表或一条表示边缘列表的拟合曲线．
边缘连接(Edge linking) ：从无序边缘表形成有序边缘表的过程．
边缘跟踪(Edge tracking)：一个用来确定轮廊的图像搜索过程．4、边缘检测算法基本步骤：1）滤波：边缘检测算法主要是基于图像强度的一阶和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测器的性能．需要指出，大多数滤波器在降低噪声的同时也导致了边缘强度的损失，因此，增强边缘和降低噪声之间需要折衷． 2）增强：增强边缘的基础是确定图像各点邻域强度的变化值．增强算法可以将邻域（或局部）强度值有显著变化的点突显出来．边缘增强一般是通过计算梯度幅值来完成的． 3）检测：在图像中有许多点的梯度幅值比较大，而这些点在特定的应用领域中并不都是边缘，所以应该用某种方法来确定哪些点是边缘点．最简单的边缘检测判据是梯度幅值阈值判据． 4）定位：如果某一应用场合要求确定边缘位置，则边缘的位置可在子像素分辨率上来估计，边缘的方位也可以被估计出来．
5、LOG算法的两种等价算法：1）求图像与高斯滤波器卷积，再求卷积的拉普拉斯变换．2）求高斯滤波器的拉普拉斯变换，再求与图像的卷积．
6、canny边缘检测算法步骤：1)用高斯滤波器平滑图像；2)用一阶偏导有限差分计算梯度幅值和方向；3)对梯度幅值应用非极大值抑制；4)用双阈值算法检测和连接边缘．
第六章
1、轮廓：把边缘连接起来就成为轮廓(contour)．轮廓可以是断开的，也可以是封闭的.
2、轮廓的表示方法：轮廓可以用边缘有序表或曲线来表示。曲线通常称为轮廓的数学模型．曲线表示包括线段、二次曲线、三次样条曲线等．
3、内插和逼近曲线：已知一组称为控制点的坐标点，内插是指一条曲线拟合这组控制点，使得曲线通过所有的控制点；逼近是指一条曲线拟合这组这组控制点，使得这条曲线非常接近这些控制点而无需一定通过这些点．
4、链码：链码是沿着轮廓记录边缘表的一种表示方法．链码规定了边缘表中每一个边缘点的轮廓方向，其中方向被量化为四个或八个方向中的一个．
5、链码、差分链码的表示：
曲线的链码是： 6022222021013444444454577012
其差分链码是： 220000627712100000017120111 （差分链码= 链码的后-前）
6、样条曲线的两种等效及其异同点：1）几何等效：指它们连接相同的点集，即它们在空间上对应着相同的形状；2）参数等效：两条曲线的方程一样．
显然，参数等效性比几何等效性更稳定．两条曲线可以是几何上等效但可以具有不同的参数表示式，这是机器视觉中曲线拟合的一个重要概念．比如，机器视觉系统可以产生基于三次样条曲线的表示，其在几何上非常接近于物体轮廓的真实表示，但在参数意义上，表示可能完全不同．在物体识别应用方面和工业零件图像与其模型匹配应用中，通过比较三次样条曲线的参数形式实现匹配几乎是不可能的，在这种情况下，比较必须基于几何等效性
7、Hough 变换算法：1）适当地量化参数空间．2）假定参数空间的每一个单元都是一个累加器3）把累加器初始化为零4）对图像空间的每一点，在其所满足的参数方程对应 的累加器上加1；5）累加器阵列的最大值对应模型的参数．
第七章
1、纹理：按一定规则对元素或基元进行排列所形成的重复模式.
2、灰度级同现矩阵：灰度级同现矩阵P[i,j]是一个二维相关矩阵，规定一个位移矢d=(dx,dy),计算被d 分开且具有灰度级i 和j 的所有象素对的个数。
第八章
1、辐照度与辐射度：1）辐射度：单位面积辐射表面在单位时间内向某一方向辐射的能量；2）辐照度：单位时间到达单位面积表面的辐射能量光源只有辐
射，图像平面只有辐照，物体既有辐照，也有辐射.
2、双线反射分布函数：到达表面的辐照度与辐射度之比
第十章
1、线性颜色空间（RGB 模型的线性变换）：RGB, CMY, XYZ, YIQ, YUV
2、非线性颜色空间（RGB 模型的非线性变换）：L*a*b*, L*u*v*, HSV(HSI) 第十一章
1、深度图：每一个像素值表示场景中某一点与摄像机之间的距离所形成的图像叫做深度图
2、测距成像系统原理公式及推导：
假设坐标系原点与左透镜中心重合。F 是焦距，B 是基线距离。 3、基线过长所产生的问题：随着基线距离的增加，两个摄象机的共同的可视范围减小；场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大；由于透视投影引起的变形导致两个摄象机获取的两幅图像不完全相同，这就给确定共轭对带来了困难．
第十二章
1、 识别系统的基本组成：模型库，特征检测器，假设生成和假设验证
2、 物体的检测和识别的策略：进行物体识别的第一步是物体特征检测，然后基于检测出来的图像特征，对图像中可能的物体建立假设公式，并使用物体模型来验证假设，并不是所有的物体识别方法都需要很强的假设公式和验证步骤，大部分识别策略已经演化，将假设和验证着两步一不同的比例组合起来 第十四章
1、摄象机和场景运动的四种模式：1)摄象机静止/物体静止：简单的静态场景分析．2）摄像机静止/场景运动：一类非常重要的动态场景分析，包括运动目标检测、目标运动特性估计等，主要用于预警、监视、目标跟踪等场合。3）摄象机运动/物体静止：重要的动态场景分析，包括基于运动的场景分析、理解，三维运动分析等，主要用于视觉导航、目标自动锁定与识别等．4）摄象机运动/物体运动：最一般的情况，也是最难的问题，目前对该问题研究的还很少．
——By ：Lit&G
计算机视觉在土木建筑领域的应用 摘要：随着电子计算机的普及，计算机视觉已经广泛用于各个不同的领域。本文就数图像识别、处理在土木建筑领域的应用、当前存在的问题及计算机视觉的发展现状进行了探讨。 关键字：计算机视觉数字图像处理土木建筑发展现状 信息与能源和材料并称人类社会的三大支柱。人类通过眼、耳、手鼻、舌等五官来感受外部世界。主要有视觉信息、听觉信息、触觉信息、嗅觉信息以及味觉信息。在上述五种类型的信息中，人们对视觉和听觉信息研究得较多，利用也较多。如通信、电视和多媒体等。图形和图像均属于视觉信息。 近年来，随着电子计算机的普及和计算机视觉的深入研究，数字图像处理以其再现性好、适用面宽、灵活性高、信息压缩的潜力大等特点已经广泛用于各个不同的领域。它在土木建筑方面也有着广泛的应用。本文主要就数字图像处理在建筑学、桥梁道路等方面的应用及存在的问题展开讨论。 计算机视觉在土木领域的应用主要可以分为理论研究设计方面的应用，建筑等实物中的应用，建筑模拟方面的应用和其它方面的应用。 （1）在理论研究设计方面的应用 数字图像处理在土木建筑领域的理论设计以及模拟计算方面都有有广泛的应用，以下就一些实例加以说明。 一个典型的例子是利用计算机解决隧洞超欠挖的问题①。在地下隧洞的开挖过程中，钻爆法是开挖的主要方法之一，但钻爆法的缺点是其不可避免地造成隧洞大量的超欠挖现象。因此，方便、决捷且可靠的评价方法在隧洞的超欠挖评价中是十分必要的。图像处理技术是解决此类问题的可靠方法之一，它不仅可以方便的计算超欠挖的方量，而且可以分析引起超欠挖的原因，同时，它可以解决工程中由于回填混凝上方量不统一的争端。图像处理技术就是对隧洞的开挖断面进行一次数码成像，对数码图像进行计算机处理，从而计算超欠挖方量的技术。 另一个例子是建筑物表面模型的重建②。主要是针对建筑物模型的规则性，用基于平面的建筑物模型重建算法，从单幅透视图像恢复建筑物的表面模型。该方法主要分为相机定标、基平面的提取、平面位置和方向的计算等几个子过程。相机定标主要用于求解相机的焦距，是一个非常重要的部分。该方法以建筑物场
第33卷第5期 1999年5月 上海交通大学学报 JO U RN A L O F SHA N GHA I JIA O T O NG U N IV ERSIT Y Vol.33No.5 M ay 1999 收稿日期:1998-03-16 基金项目:上海市科技发展基金资助项目(951111052)作者简介:张文景(1971～),男,博士生. 文章编号:1006-2467(1999)05-0635-04 计算机视觉检测技术及其在机械零件检测中的应用 张文景, 张文渊, 苏键锋, 许晓鸣 (上海交通大学自动化系,上海200030) 摘 要:基于计算机视觉检测(A VI)技术在检测系统的智能化、柔性、快速性等方面较接触式检测方法具有更大的优越性,综述了其基本原理和分类以及近年来此方面的研究成果.分析了利用AVI 技术对机械零件进行检测的一般方法和系统构成,并探讨了基于CAD 的AV I 的关键环节.最后对AVI 技术的发展趋势提出了作者的观点. 关键词:计算机视觉;计算机视觉检测;计算机辅助设计;机械零件中图分类号:TP 391 文献标识码:A Automated Visual Inspection and Its Application on Inspection of Machined Parts ZH A N G Wen -j ing , ZH AN G W en -y uan , SU J ian -f eng , X U X iao -ming Dept.of Automation,Shang hai Jiaotong Univ.,Shanghai 200030,China Abstract :With development of co mputer vision ,automated visual inspection (AV I )has mor e applications in a variety of fields in industry.AVI takes more advantages in intellig ence,flex ibility and speed o f inspec-tio n sy stem than contacted inspection.T he recent achievemens r esearched by internatio nal scholars in the field of AVI w ere surveyed .Principle and classificatio n o f inspection techniques w ere intro duced .T he anal-ysis for g ener al methods and sy stem of AVI o f machined par ts w as presented.Key technolo gy o f AVI based on CAD w as also discussed.Some o pinio ns about development of AVI w ere proposed at last. Key words :com puter vision;autom ated visual inspection(AVI);com puter aided design (CAD);m achine parts 随着CIM S 的推广应用,企业在向柔性化、自动化发展的进程中,提出了对计算机辅助质量(CAQ )系统的需求.目前,计算机辅助检测计划(CAIP)系统已成为CAQ 系统的重要组成部分,它的核心问题是解决如何检测零件.在柔性制造中坐标测量机(CM M )是重要的检测手段,在制造企业中得到广泛的应用.随着柔性制造系统(FM S)的推广,人们对 检测系统的智能化、柔性、快速性等方面提出了更高的要求,以适应多品种、小批量生产的需要.计算机视觉技术得到不断发展,由于计算机视觉系统可以快速获取大量信息,且易于同设计信息及加工控制信息集成,用于工况监视、现场监控的计算机视觉系统已广泛地应用在工业、商业等领域[1,2].计算机视觉作为一种检测手段已经越来越引起人们的重视,逐步形成一种新的检测技术——计算机视觉检测(Autom ated Visual Inspectio n ,AVI )技术. 本文综合了国内外在AVI 方面的研究成果,总结了利用AVI 技术检测机械零件的一般方法和系
大学计算机视觉实验报告 摄像机标定 ：振强 学号：451 时间：2016.11.23
一、实验目的 学习使用OpenCV并利用OpenCV进行摄像机标定，编程实现，给出实验结果和分析。 二、实验原理 2.1摄像机标定的作用 在计算机视觉应用问题中，有时需要利用二位图像还原三维空间中的物体，从二维图像信息出发计算三维空间物体的几何信息的过程中，三维空间中某点的位置与二维图像中对应点之间的相互关系是由摄像机的几何模型决定的，这些几何模型的参数就是摄像机参数，而这些参数通常是未知的，摄像机标定实验的作用就是通过计算确定摄像机的几何、光学参数，摄像机相对于世界坐标系的方位。 2.2摄像机标定的基本原理 2.2.1摄像机成像模型 摄像机成像模型是摄像机标定的基础，确定了成像模型才能确定摄像机外参数的个数和求解的方法。计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。实际摄像系统由透镜和透镜组组成，可以由针孔模型近似模拟摄像机成像模型。 图2.1 针孔成像 2.2.2坐标变换 在实际摄像机的使用过程中，为方便计算人们常常设置多个坐标系，因此空间点的成像过程必然涉及到许多坐标系之间的相互转化，下面主要阐述几个重要坐标系之间的转换关系。
2.2.2.1世界坐标系--摄像机坐标系 图2.2 世界坐标系与摄像机坐标系空间关系 世界坐标系与摄像机坐标系之间的转换关系为： ????? ? ????????????=???? ????????111w w w T c c c Z Y X O T R Z Y X R 和T 分别是从世界坐标系到摄像机坐标系的旋转变换和平移变换系数，反映的是世界坐标系和摄像机坐标系之间的关系，因此称为外参数。 2.2.2.2物理坐标系--像素坐标系 图2.3 像素坐标系
运动目标检测 目录 基于统计背景模型的运动目标检测方法 背景模型提取 运动目标检测 后处理 基于统计背景模型的运动目标检测方法 问题：（1）背景获取：需要在场景存在运动目标的情况下获得背景图像（2）背景扰动：背景中可以含有轻微扰动的对象，如树枝、树叶的摇动，扰动部分不应该被看做是前景运动目标（3）外界光照变化：一天中不同时间段光线、天气等的变化对检测结果的影响（4）背景中固定对象的移动：背景里的固定对象可能移动，如场景中的一辆车开走、一把椅子移走，对象移走后的区域在一段时间内可能被误认为是运动目标，但不应该永远被看做是前景运动目标（5）背景的更新：背景中固定对象的移动和外界光照条件的变化会使背景图像发生变化，需要及时对背景模型进行更新，以适应这种变化（6）阴影的影响：通常前景目标的阴影也被检测为运动目标的一部分，这样讲影响对运动目标的进一步处理和分析首先利用统计的方法得到背景模型，并实时地对背景模型进行更新以适应光线变化和场景本身的变化，用形态学方法和检测连通域面积进行后处理，消除噪声和背景扰动带来的影响，在HSV色度空间下检测阴影，得到准确的运动目标。 背景模型提取 前提假设在背景模型提取阶段，运动目标在场景区域中运动，不会长时间停留在某一位置视频流中某一像素点只有在前景运动目标通过时，它的亮度值才发生大的变化，在一段时间内，亮度值主要集中在很小的一个区域中，可以用这个区域内的平均值作为该点的背景值。具体实现过程：在YUV颜色空间下，Y值的变化范围为0~255，将该范围划分成若干区间[0,T][T,2T]…[Nt,255],n=255/T，对于每个像素点，统计一段时间内每个区间内亮度值的出现的次数。找出出现次数最多的那个区间，将该区间内所有值的平均值作为背景模型在该点的亮度值。这种方法不受前景运动目标的影响。 运动目标检测 检测当前图像和背景图像中对应像素点的差异，如果差值大于一定阈值，则判定该像素为前景运动目标
吴福朝 编著 计算机视觉中的数学方法
内容简介 本书由射影几何、矩阵与张量、模型估计三个部分组成，它们是三维计算机视觉所涉及到的基本数学理论与方法。I. 射影几何学是三维计算机视觉的数学理论基础，是从事计算机视觉研究所必备的数学知识。本书着重介绍射影几何学和它在视觉中的应用，主要内容包括：平面与空间射影几何，摄像机几何，两视点几何，自标定技术和三维重构理论。II. 矩阵与张量是描述和解决计算机视觉问题的必要数学工具，视觉领域研究人员都应该掌握这门数学。本书着重介绍与视觉有关的矩阵、张量理论与它的应用，主要内容包括：矩阵分解，矩阵分析，张量代数，运动与结构，多视点张量。III. 模型估计是三维计算机视觉的基本问题，通常涉及到变换或某种数学量的估计。本书着重介绍与视觉估计有关的数学理论与方法，主要内容包括：迭代优化理论，参数估计理论，视觉估计的代数方法、几何方法、鲁棒方法和贝叶斯方法。上述三部分涉及的数学内容是相对独立的，但三维计算机视觉将它们组成一个有机的整体。通过阅读本书，读者能掌握三维计算机视觉中的基本数学内容与方法，增强数学素养、提高分析和解决视觉问题的数学能力。
目 录 第一篇射影几何 第1章 平面射影几何 1.1射影平面--------------------------------------------------- 3 1.1.1射影平面----------------------------------------------- 3 1.1.2 两点、两线的叉积--------------------------------------- 5 1.1.3共线点、共点线的交比----------------------------------- 5 1.2 二次曲线--------------------------------------------------8 1.2.1 矩阵表示---------------------------------------------9 1.2.2 切线-------------------------------------------------9 1.2.3 配极对应---------------------------------------------10 1.2.4 对偶二次曲线-----------------------------------------13 1.2.5 圆环点及其对偶---------------------------------------14 1.3 二维射影变换---------------------------------------------16 1.3.1 二维射影变换-----------------------------------------16 1.3.2 直线与二次曲线的射影变换-----------------------------20 1.4 变换群与不变量-------------------------------------------21 1.4.1 等距变换群-------------------------------------------21 1.4.2 相似变换群-------------------------------------------23 1.4.3 仿射变换群-------------------------------------------24 1.4.4 射影变换群-------------------------------------------27 第2章 空间射影几何 2.1 射影空间------------------------------------------------- 31 2.1.1 空间点-----------------------------------------------31 2.1.2 空间平面---------------------------------------------31 2.1.3 空间直线---------------------------------------------34 2.1.4 共线平面束的交比-------------------------------------37 2.2 三维射影变换--------------------------------------------- 38 2.2.1 三维射影变换-----------------------------------------38 2.2.2 平面与直线的变换规则---------------------------------39 2.3 二次曲面与变换规则---------------------------------------40 2.3.1 基本性质---------------------------------------------40 2.3.2 二次曲面的对偶---------------------------------------42 2.3.3 绝对二次曲线与绝对二次曲面---------------------------45 2.4 空间射影变换群的子群-------------------------------------49 2.4.1 仿射变换群-------------------------------------------49 1
计算机视觉技术在工业生产中的应用 计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数 据中“感知”的科学。 那么计算机有那些主要技术呢？ 首先作为一个工程学科，计算机视觉寻求基于相关理论与模型来建立计算机视觉系统。这类系统的组成部分包括： （1）程序控制（例如工业机器人和无人驾驶汽车） （2）事件监测（例如图像监测） （3）信息组织（例如图像数据库和图像序列的索引建立） （4）物体与环境建模（例如工业检查，医学图像分析和拓扑建模）（5）交感互动（例如人机互动的输入设备） 其次，计算机视觉同样可以被看作是生物视觉的一个补充。在生物视觉领域中，人类和各种动物的视觉都得到了研究，从而建立了
这些视觉系统感知信息过程中所使用的物理模型。生物视觉与计算机视觉进行的学科间交流为彼此都带来了巨大价值。 计算机视觉包含如下一些分支：画面重建，事件监测，目标跟踪，目标识别，机器学习，索引建立，图像恢复等。 计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能／自主系统中不可分割的一部分。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。 再次，物理是与计算机视觉有着重要联系的另一工业应用领域。计算机视觉关注的目标在于充分理解电磁波——主要是可见光与红 外线部分——遇到物体表面被反射所形成的图像，而这一过程便是基于光学物理和固态物理，一些尖端的图像感知系统甚至会应用到量子力学理论，来解析影像所表示的真实世界，计算机视觉同样可以被看作是物理学的拓展。 再次，另一个具有重要意义的应用领域是神经生物学，尤其是其
泰山职业技术学院2006级毕业论文 目录 摘要 (1) 1自动检测的原理和方法 (2) 1.1检测和检验的不同意义 (2) 1.1.1质量控制中的检测 (2) 1.1.2质量控制中的检验 (3) 1.2统计质量控制基础 (3) 1.2.1统计质量控制的推断 (3) 1.2.2制造中的偏差 (4) 2计算机视觉检测技 (4) 2.1 AVI技术 (4) 2.1.1视觉检测分类 (5) 2.1.2视觉检测方法 (5) 2.1.3视觉检验方法 (5) 2.2机械零件的AVI (5) 2.3基于CAD的AVI (6) 2.4 AVI技术展望 (7) 参考文献 (8) 致谢 (9)
计算机视觉检测技术及其在机械零件检测中的应用 张文景，张文渊，苏键锋，许晓鸣 摘要：基于计算机视觉检测(AVI)技术在检测系统的智能化、柔性、快速性等方面较接触式检测方法具有更大的优越性，综述了其基本原理和分类以及近年来此方面的研究成果.分析了利用AVI技术对机械零件进行检测的一般方法和系统构成，并探讨了基于CAD的AVI的关键环节.最后对AVI技术的发展趋势提出了作者的观点. 关键词：计算机视觉；计算机视觉检测；计算机辅助设计；机械零件 中图分类号：TP 391 文献标识码：A Automated Visual Inspection and Its Application on Inspection of Machined Parts ZHANG Wen-jing,ZHANG Wen-yuan，SU Jian-feng, XU Xiao-ming Dept. of Automation, Shanghai Jiaotong Univ., Shanghai 200030, China Abstract：With development of computer vision,automated visual inspection (AVI) has more applications in a variety of fields in industry.AVI takes more advantages in intelligence,flexibility and speed of inspection system than contacted inspection.The recent achievemens researched by international scholars in the field of AVI were surveyed.Principle and classification of inspection techniques were introduced.The analysis for general methods and system of AVI of machined parts was presented.Key technology of AVI based on CAD was also discussed.Some opinions about development of AVI were proposed at last. Key words：computer vision;automated visual inspection(AVI);computer aided design(CAD);machine parts
H a r b i n I n s t i t u t e o f T e c h n o l o g y 计算机视觉测量与导航 实验报告 院系：航天学院 学科：控制科学与工程 姓名：TSX 学号： 任课教师：张永安卢鸿谦 日期：2014.05.13
摘要 人类视觉过程可看成是一个复杂的从感觉到知觉的过程,也就是指三维世界投影得到二维图像,再由二维图像认知三维世界的内容和含义的过程。信号处理理论与计算机出现以后,人们用摄像机等获取环境图像并转换成数字信号,完成对视觉信息的获取和传输过程,用计算机实现对视觉信息的处理、存储和理解等过程,形成了计算机视觉这门新兴学科。其中从二维图像恢复三维物体可见表面的几何结构的工作就叫做三维重建。随着计算机硬件、软件、图像采集、处理技术的迅速发展,三维重建的理论和技术已被广泛应用于航空航天、机器人技术、文字识别、工业检测、军事侦察、地理勘察、现场测量和虚拟植物可视化等领域。相机标定是三维重建必不可少的步骤,它包括对诸如主点坐标、焦距等与相机内部结构有关的内部参数的确定和对相机的旋转、平移这些外部参数的确定。价格低廉的实验器材、简单的实验环境、快捷的标定速度和较高的标定精度是现在相机标定研究追求的几大方向。数码相机的标定就是研究的热点之一。本次报告介绍了基于棋盘格模板标定的基本原理和算法，利用MATLAB的相机标定工具箱，使用张征友算法对相机进行了标定，记录了标定的过程，并给出结果，最后对影响标定精度的因素进行了分析。 关键词：相机标定张正友角点提取内外参
1基于棋盘格标定的基本原理和算法 1.1基础知识 1.1.1射影几何 当描述一张相机拍摄的图像时，由于其长度、角度、平行关系都可能发生变化，因此无法完全用欧氏几何来处理图像，而射影几何却可以，因为在射影几何中，允许存在包括透视投影的更大一类变换，而不仅仅是欧氏几何的平移和旋转。实际上，欧氏几何是射影几何的一个子集。 1.1.2齐次坐标 设欧氏直线上点p的笛卡尔坐标为(x,y)T，如果x1,x2,x3满足x=x1/x2，y =x2/x3，x3≠0，则称三维向量(x1,x2,x3)T为点P的齐次坐标。当x3= 0时，(x1,x2,0)T规定直线上的无穷远点的齐次坐标。 实际上，齐次坐标是用一个n+ 1维向量来表示原本n维的向量。应用齐次坐标的目的是用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系。形的几何变换主要包括平移、旋转、缩放等。以矩阵表达式来计算这些变换时，平移是矩阵相加，旋转和缩放则是矩阵相乘，综合起来可以表示为P’=R*P+T（R为旋转缩放矩阵，T为平移矩阵，P为原向量，P′为变换后的向量）。当n+1维的齐次坐标中第n+1维为0，则表示n维空间的一个无穷远点。
二、技术应用场景及典型厂商分析 1.计算机视觉技术已应用于传统行业和前沿创新，安全/娱乐/营销成最抢先落地的商业化领域 计算机视觉技术已经步入应用早期阶段，不仅渗透到传统领域的升级过程中，还作为最重要的基础人工智能技术参与到前沿创新的研究中。 本报告将重点关注技术对传统行业的影响。其中，计算机对静态内容的识别应用主要体现在搜索变革和照片管理等基础服务层面，意在提升产品体验；伴随内容形式的变迁（文字→图片→视频），动态内容识别的需求愈加旺盛，安全、娱乐、营销成为最先落地的商业化领域。 Analysys易观认为，这三类领域均有一定的产业痛点，且均是视频内容产出的重地，数据体量巨大，适合利用深度学习的方式予以改进。与此同时，行业潜在的商业变现空间也是吸引创业者参与的重要原因。 另一方面，当前计算机视觉主要应用于二维信息的识别，研究者们还在积极探索计算机对三维空间的感知能力，以提高识别深度。
2.计算机视觉的应用从软硬件两个层面优化安防人员的作业效率和深度 安防是环境最为复杂的应用领域，通常的应用场景以识别犯罪嫌疑人、目标车辆（含套牌车/假牌车）以及真实环境中的异常为主。 传统安防产品主要功能在于录像收录，只能为安防人员在事后取证的环节提供可能的线索，且需要人工进行反复地逐帧排查，耗时耗力；智能安防则是将视频内容结构化处理，通过大数据分析平台进行智能识别搜索，大大简化了工作难度，提高工作效率。 除此之外，在硬件层面上，传统安防产品超过4-5米的监控内容通常无法达到图像识别的像素要求，并容易受复杂环境中光影变化和移动
遮挡的影响而产生信息丢失，因此计算机会出现大量的误报漏报，这些局限为治安工作造成了一定的阻碍。 安防技术厂商在此基础上进行了创新，以格灵深瞳为例，目前已将摄像头的有效识别距离稳定至70-80米，同时开创了三维计算机视觉的应用，通过整合各类传感器达到类人眼的效果，减弱了环境对信息采集的负面影响，提高复杂环境下的识别准确度。 Analysys易观认为，计算机视觉的应用从行业痛点出发，以软硬件的方式大大优化了安防人员的作业效率与参考深度，是顺应行业升级的利好。不过，在实际应用过程中，对公安、交警、金融等常见安防需求方而言，更强的视觉识别效果往往意味着更多基础成本（存储、带宽等）的投入，安防厂商的未来将不只以技术高低作为唯一衡量标准，产品的实用性能与性价比的平衡才是进行突围、实现量产的根本，因此市场除了有巨大的应用空间外，还会引发一定的底层创新。
计算机视觉重点考点集锦 手工整理，如有错误，慎之！ 第一章 1、计算机视觉：研究用计算机来模拟生物视觉功能的科学和技术． 2、视觉表示框架的三个阶段（也就是提取三阶段）：1）第一阶段是将输入的原始图像进行处理，抽取基本特征形成基元图。2）第二阶段(中期阶段)是指在以观测者为中心的坐标系中，由输入图像和基元图恢复场景可见部分的深度、法线方向、轮廓等，形成二维半图。3）第三阶段(后期阶段)是在以物体为中心的坐标系中，由输入图像、基元图、二维半图来恢复、表示和识别三维物体。 第三章 1、二值图像的特点:a.假定二值图像大小为mxn，其中物体像素值为1，背景像素值0;b.二值图像处理的算法简单，易于理解和实现，计算速度快；c. 二值视觉所需的内存小，对计算设备要求低；d.二值视觉系统技术可用于灰度图像视觉系统 2、二值图像的获取：1）通过图像的阙值2）通过硬件实现3）通过软件实现 3、图像分割：把图像划分成区域，使每一个区域都对应一个候选的目标。 4、图像二值化：设一副灰度图像中物体的灰度分布在某一区间内，通过阙值运算后的图像为二值图像 5、投影分类及作用：1）水平/垂直投影；给定直线上的投影；对角线投影（仿射变换）2）投影能表现图像的某种信息。 6、4-连通成分序贯法（标记算法）步骤： 1）从左到右，从上到下扫描图像 2）①如果上面点和左面点有一个标记，复制这一标记②如果两点相同的标记，复制这一标记③如果两点有不同标记，则复制上点标记且将两个标记输入到等价表中作为等价标记④否则给这一像素点分配一个新的标记并将这个标记输入到等价表 3）如考虑更多的点，回到第二步 4）在等价表中的每一等价集中找到最低的标记 5）扫描图像，用等价表中的最低标记取代每一个标记 7、欧拉数：E=C—H，连通成分数(C)—空洞数(H) 8、扩展与收缩：1）要掌握用结构元进行扩展与收缩 2）先扩展后收缩：补上不希望存在的洞 3）先收缩后扩展：去除孤立的噪声点 4）定义：①扩展：如果背景和洞的像素点临点显1，则该点从0变为1 ②收缩：如果物体像素点连点为0，则将该点从1变为0 9、开、关运算：1）开运算：先腐蚀后膨胀，去除比结构元小的区域的像素点 2）关运算：显膨胀后腐蚀，填充比结构元小的孔洞 第四章
Experiment 3：Edge Detection Class: 电子1203班Student ID: 1210910322 Name: 王影 Ⅰ. Aim The aim of this laboratory session is to learn to deal with image data by Matlab. By the end of this session, you should be able to perform image preprocessing of edge detection in spatial domain and frequency domain. Ⅱ. Knowledge required in the Experiment ⅰ.You are supposed to have learned the basic skills of using Matlab; ⅱ.You need to review Matlab programming language and M-file format. ⅲ. You should have studied edge detection methods. Ⅲ.Experiment Contents Demand: Please show the figure on the left and list the codes on the right respectively bellow each question.(请将运行结果(图片)和程序代码贴在每题下方) ⅰ.Read “car.jpg” file (to do this by imread function), convert the color image into grayscale image, and then perform edge detection using Roterts, Prewitt, Sobel operator separately in spatial domain and display the results in a Matlab window. 程序： clear; im=imread('car.jpg'); I=rgb2gray(im); subplot(3,2,1);imshow(I); title('Gray image'); [Y,X]=size(I); im_edge=zeros(Y,X); T=30; for k=2:Y-1 for kk=2:X-1 im_edge(k,kk)=abs(I(k+1,kk+1)-I(k,kk))+abs(I(k,kk+1)-I(k+1,kk)); if (im_edge(k,kk)>T)
第33卷第1期自动化学报Vol.33,No.1 2007年1月ACTA AUTOMATICA SINICA January,2007 车辆辅助驾驶系统中基于计算机视觉的 行人检测研究综述 贾慧星1章毓晋1 摘要基于计算机视觉的行人检测由于其在车辆辅助驾驶系统中的重要应用价值成为当前计算机视觉和智能车辆领域最为活跃的研究课题之一.其核心是利用安装在运动车辆上的摄像机检测行人，从而估计出潜在的危险以便采取策略保护行人.本文在对这一问题存在的困难进行分析的基础上，对相关文献进行综述.基于视觉的行人检测系统一般包括两个模块：感兴趣区分割和目标识别，本文介绍了这两个模块所采用的一些典型方法，分析了每种方法的原理和优缺点.最后对性能评估和未来的研究方向等一系列关键问题给予了介绍. 关键词行人检测，车辆辅助驾驶系统，感兴趣区分割，目标识别 中图分类号TP391.41 A Survey of Computer Vision Based Pedestrian Detection for Driver Assistance Systems JIA Hui-Xing ZHANG Yu-Jin Abstract Computer vision based pedestrian detection has become one of the hottest topics in the domain of computer vision and intelligent vehicle because of its potential applications in driver assistance systems.It aims at detecting pedestrians appearing ahead of the vehicle using a vehicle-mounted camera,so as to assess the danger and take actions to protect pedestrians in case of danger.In this paper,we give detailed analysis of the di?culties lying in the problem and review most of the literature.A typical pedestrian detection system includes two modules:regions of interest(ROIs) segmentation and object recognition.This paper introduces the principle of typical methods of the two modules and analyzes their respective pros and cons.Finally,we give detailed analysis of performance evaluation and propose some research directions. Key words Pedestrian detection,driver assistance system,ROIs segmentation,object recognition 1引言 车辆辅助驾驶系统中基于计算机视觉的行人检测是指利用安装在运动车辆上的摄像机获取车辆前面的视频信息，然后从视频序列中检测出行人的位置.由于它在行人安全方面的巨大应用前景，成为智能车辆、计算机视觉和模式识别领域的前沿研究课题.欧盟从2000年到2005年连续资助了PROTECTOR[1]和SAVE-U[2]项目，开发了两个以计算机视觉为核心的行人检测系统；意大利Parma[3]大学开发的ARGO智能车也包括一个行人检测模块；以色列的MobilEye[4]公司开发了芯 收稿日期2006-3-14收修改稿日期2006-6-17 Received March14,2006;in revised form June17,2006 国家自然科学基金(60573148),教育部高等学校博士学科点专项科研基金(20060003102)资助 Supported by National Natural Science Foundation of P.R.China(60573148),Specialized Research Fund for the Doc-toral Program of Higher Education(20060003102) 1.清华大学电子工程系北京100084 1.Department of Electronic Engineering,Tsinghua University, Beijing100084 DOI:10.1360/aas-007-0084片级的行人检测系统；日本本田汽车公司[5]开发了基于红外摄像机的行人检测系统;国外的大学如CMU[6]、MIT[7,8]和国内的西安交通大学[9]、清华大学[10]也在该领域做了许多研究工作. 车辆辅助驾驶系统中基于计算机视觉的行人检测属于计算机视觉中人体运动分析的研究范畴，其主要任务是在运动摄像机下快速准确地检测行人.本文主要针对这一特定领域对相关的文献进行综述，重点分析常用方法的原理和优缺点，以期对相关的科技人员起到指导作用.对监控系统和体育运动分析领域中人体检测感兴趣的读者可以参考综述文献[11～14]. 行人检测除了具有一般人体检测具有的服饰变化、姿态变化等难点外，由于其特定的应用领域还具有以下难点：摄像机是运动的，这样广泛应用于智能监控领域中检测动态目标的方法便不能直接使用；行人检测面临的是一个开放的环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求；实时性是系统必须满足的要求，这 c 2007by Acta Automatica Sinica.All rights reserved.
人们常说：眼睛是心灵的窗户，通过眼睛人们可以轻易地交流情感，眼睛也是与外界交流的窗口，这些都是通过“看”来完成的。 人们可以很容易“看到”一幅画，但这一“简单”过程并不如此简单，大致上它可以分为以下几个阶段：首先是通过眼睛将图成像在视网膜上；其次大脑对图像进行理解；最后根据处理的结果做出反应。用比较专业一点的语言来描述，该过程包括了识别、描述与理解三个层次；这其中还隐含了边缘检测（各物体的轮廓等）、图像的分割（各物体区域的划分）等阶段。以上实际上概述了视觉系统的三个层次，即低层阶段：基于图像特征提取及分割阶段；中层阶段：基于物体的几何模型与图像特性表达阶段；高层阶段：基于景物知识的描述、识别与理解阶段，这是根据先验知识介入的程度划分的，且实现起来也越来越困难。 毫无疑问，如何人工实现这一过程是极具挑战性和应用前景的一项工作，计算机视觉也因此而应运而生。计算机视觉是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学科，其目标是从图像或图像序列中获取对外部世界的认知和理解，即利用二维图像恢复三维环境中物体的几何信息，比如形状、位置、姿态、运动等，并能描述、识别与理解。 计算机视觉的基础是各种成像设备，例如CCD(Charge Coupled Device )摄像机（数码相机属于此类型）、红外摄像机、医学上常用的核磁共振成像、X射线成像等，这些设备不仅可以成像，还可以获取比人眼更丰富的图像，人们可以形象地把摄像机看成计算机视觉的视网膜部分。可以说从人类拍摄出第一幅图像开始，就为计算机视觉的诞生奠定了基础。 而计算机视觉的核心是数字电子计算机，其发展可谓突飞猛进，在计算和存储能力上，人脑已经无法与之相比，人们的目标就是利用计算机非凡的计算处理能力来代替人脑实现对图像的理解，而计算机日新月异的发展也使得这一愿望越来越成为可能。 用于指导“计算机”这个大脑运作的核心是计算机视觉的理论方法，计算机视觉使用的理论方法主要基于几何、概率和运动学计算与三维重构的视觉计算理论，它的基础包括射影几何学、刚体运动力学、概率论与随机过程、图像处理、人工智能等理论。在20世纪70年代，视觉研究大多采用模式识别的方法；80年代，开始采用空间几何的方法以及物理知识进行视觉研究；90年代以后，随着智能机器人视觉研究的发展，引入了许多新的理论与技术如主动视觉理论、不变量理论、融合技术等，并应用于许多计算机视觉系统中。 研究计算机视觉，不得不提的是英国已故科学家戴维·马尔（David Marr），他在计算机视觉发展史上可谓写下了浓重的一笔。在20世纪70年代末，他提出了第一个
机器视觉实验报告
目录 一实验名称 (2) 二试验设备 (2) 三实验目的 (2) 四实验内容及工作原理 (2) （一）kinect for windows (2) （二）手持式自定位三维激光扫描仪 (3) （三）柔性三坐标测量仪 (9) （四）双面结构光 (10) 总结与展望 (14) 参考文献 (16)
《机器视觉》实验报告 一、实验名称 对kinect for windows、三维激光扫描仪、柔性三坐标测量仪和双面结构光等设备结构功能的认识。 二、实验设备 kinect for windows、三维激光扫描仪、柔性三坐标测量仪、双面结构光。 三、实验目的 让同学们对机器视觉平时所使用的仪器设备以及机器视觉在实际运用中的具体实现过程有一定的了解。熟悉各种设备的结构功能和操作方法，以便于进行二次开发。其次，深化同学们对机器视觉系统的认识，拓宽同学们的知识面，以便于同学们后续的学习。 四、实验内容及工作原理 (一)kinect for windows 1.Kinect简介 Kinectfor Xbox 360，简称Kinect，是由微软开发，应用于Xbox 360 主机的周边设备。它让玩家不需要手持或踩踏控制器，而是使用语音指令或手势来操作Xbox360 的系统界面。它也能捕捉玩家全身上下的动作，用身体来进行游戏，带给玩家“免控制器的游戏与娱乐体验”。2012年2月1日，微软正式发布面向Windows系统的Kinect版本“Kinect for Windows”。 2.硬件组成 Kinect有三个镜头[1]，如图1-1所示。中间的镜头是RGB 彩色摄影机，用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线CMOS 摄影机所构成的3D结构光深度感应器，用来采集深度数据（场景中物体到摄像头的距离）。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect也内建阵列式麦克风，由四个麦克风同时收音，比对后消除杂音，并通过其采集声音进行语音识别和声源定位[2][3]。