第33卷第5期 1999年5月
上海交通大学学报
JO U RN A L O F SHA N GHA I JIA O T O NG U N IV ERSIT Y
Vol.33No.5 M ay 1999
收稿日期:1998-03-16
基金项目:上海市科技发展基金资助项目(951111052)作者简介:张文景(1971～),男,博士生.
文章编号:1006-2467(1999)05-0635-04
计算机视觉检测技术及其在机械零件检测中的应用
张文景, 张文渊, 苏键锋, 许晓鸣
(上海交通大学自动化系,上海200030)
摘 要:基于计算机视觉检测(A VI)技术在检测系统的智能化、柔性、快速性等方面较接触式检测方法具有更大的优越性,综述了其基本原理和分类以及近年来此方面的研究成果.分析了利用AVI 技术对机械零件进行检测的一般方法和系统构成,并探讨了基于CAD 的AV I 的关键环节.最后对AVI 技术的发展趋势提出了作者的观点.
关键词:计算机视觉;计算机视觉检测;计算机辅助设计;机械零件中图分类号:TP 391 文献标识码:A
Automated Visual Inspection and Its Application
on Inspection of Machined Parts
ZH A N G Wen -j ing , ZH AN G W en -y uan , SU J ian -f eng , X U X iao -ming Dept.of Automation,Shang hai Jiaotong Univ.,Shanghai 200030,China
Abstract :With development of co mputer vision ,automated visual inspection (AV I )has mor e applications in a variety of fields in industry.AVI takes more advantages in intellig ence,flex ibility and speed o f inspec-tio n sy stem than contacted inspection.T he recent achievemens r esearched by internatio nal scholars in the field of AVI w ere surveyed .Principle and classificatio n o f inspection techniques w ere intro duced .T he anal-ysis for g ener al methods and sy stem of AVI o f machined par ts w as presented.Key technolo gy o f AVI based on CAD w as also discussed.Some o pinio ns about development of AVI w ere proposed at last.
Key words :com puter vision;autom ated visual inspection(AVI);com puter aided design (CAD);m achine parts
随着CIM S 的推广应用,企业在向柔性化、自动化发展的进程中,提出了对计算机辅助质量(CAQ )系统的需求.目前,计算机辅助检测计划(CAIP)系统已成为CAQ 系统的重要组成部分,它的核心问题是解决如何检测零件.在柔性制造中坐标测量机(CM M )是重要的检测手段,在制造企业中得到广泛的应用.随着柔性制造系统(FM S)的推广,人们对
检测系统的智能化、柔性、快速性等方面提出了更高的要求,以适应多品种、小批量生产的需要.计算机视觉技术得到不断发展,由于计算机视觉系统可以快速获取大量信息,且易于同设计信息及加工控制信息集成,用于工况监视、现场监控的计算机视觉系统已广泛地应用在工业、商业等领域[1,2].计算机视觉作为一种检测手段已经越来越引起人们的重视,逐步形成一种新的检测技术——计算机视觉检测(Autom ated Visual Inspectio n ,AVI )技术.
本文综合了国内外在AVI 方面的研究成果,总结了利用AVI 技术检测机械零件的一般方法和系
统构成,并对视觉系统与CAD系统的集成进行了有益的探讨,提出了发展AVI技术的一些看法.
1 AVI技术
AVI是一种以计算机视觉方法为基础,综合运用图像处理、精密测量以及模式识别、人工智能等技术的非接触检测方法[3].其基本原理是对由计算机视觉系统得到的被测目标图像进行分析,从而得到所需要的测量信息,并根据已有的先验知识,判断被测目标是否符合规范(即合格或不合格).
从80年代开始,AVI系统在美国制造业中广泛应用[1,2],最为广泛的是那些重复性检测相同部件或产品的场合.电子工业是AVI应用最活跃、最为成功的行业,其中印刷电路板(PCB)和集成电路芯片的自动检测已广泛采用AVI技术,其他工业如汽车、木材、纺织和包装等都有各自专用的AVI系统.
1.1 视觉检测的分类
视觉检测按其所处理的数据类型可分为二值图像、灰度图像、彩色图像和深度图像的视觉检测.另外,还有X射线检测、超声波检测和红外线检测.
大部分商业视觉检测系统采用二值图像数据格式,其图像精度要求不高,可减少检测所需的数据量,有助于满足系统速度和成本要求.一般地,二值图像视觉检测系统仅采用简单的检测算法,如计算像素点、边缘检测和模板匹配等[4].二值图像对于检测那些没有表面特征的平面物体或仅用边缘轮廓就可表示出来的物体是足够的.灰度图像视觉检测通常用于检测物体的表面缺陷,如裂缝、磨损等[5],对光照条件要求较高.在工业环境中,由于光照条件差,用灰度图像进行视觉检测的系统很少.彩色图像视觉检测主要用于家具、食品等部门,一般根据阴影或色彩的变化来判断是否存在缺陷.在许多情况下,用二值、灰度或彩色图像进行检测是不现实的,因它们只能检测物体的二维(2D)特征,丢失了大量的三维(3D)信息.若要检测物体的3D特征通常采用深度图像(range m aps o r depth data).深度图像最显著的特征是清晰描述了物体的表面信息.
1.2 视觉检测方法
M oganti等[6]将PCB视觉检测算法分为基于参考的检测方法、非参考型检测方法和混合检测方法.虽然这些方法目前主要应用于PCB检测,但对其他目标的检测也有借鉴意义.
(1)基于参考的视觉检测.该方法采用点对点(或特征对特征)比较,它利用了检测目标的完整知识.这类方法主要有:剪影法、模板匹配法、树法、句法方法和图匹配方法.
(2)非参考型检测方法.该方法利用的是待检测目标的一般特性,而不是特定的一个检测目标的知识.它不需要任何参考模式,如果模式不符合设计的规则,就认为不合格或有缺陷,因此也称为设计-规则验证方法.该方法依据工件设计规则判断工件是否有缺陷,无须逐点比较待测工件图像和标准图像.
(3)混合检测方法.上述两类方法各有其优缺点,混合检测方法的思想是采两者之长,避两者之短.其典型方法有:一般方法、用边界分析的模式检测、射线匹配算法、形状比较法、圆形模式匹配法等.
(4)基于CAD的检测方法.近年来,迅猛发展的CAD/CAM技术为建立物体的几何模型提供了几何描述基础,产生了三维物体几何模型,称为CAD模型.计算机视觉和CAD技术相结合,有着广阔的发展前景[2,7～11].
2 机械零件的AVI
机械零件的自动检测是制造企业中CAQ系统的一个重要组成部分,是实现企业柔性制造自动化的关键环节.研究机械零件视觉检测首先是把三维物体图像化,即得到二维的平面图像,然后再根据图像去分析和理解三维空间物体[12～14].在大部分机械零件中,直线和圆是构成零件几何元素的基本要素,系统对于各几何元素的测量基本上都可归结到对直线和圆的测量.对于直线与圆(圆弧)的检测,通常采用测量点序列进行最小二乘法拟合以得到直线或圆参数的估计值.
对于任意的零件几何元素的检测,M undy[15]和No ble等[16]提出了一种有约束的优化模型: m in f1(x),且满足h(x)=0.其中:f1(x)为实测数据与几何元素模型的最小二乘拟合误差总和;h(x)为元素模型之间所应满足的几何约束关系.在他们的实体模型中,每一个几何元素分别采用独立的参数表示,这样,在他们的优化模型中,至少含有2n个变量和n个约束方程(n为元素实体个数).Chen 等[13,14,17]提出了一种无约束最优化模型:min f2(x).由于该模型采用四个具有全局特征的参数(表示平移、旋转和尺度)来描述数据拟合的误差,大大简化了数据拟合的复杂性.对于最优化模型的求解,一些常用的最优化方法已经得到应用,如最小二乘法[8]和Lagrangian松驰法[15,16]、梯度下降法[13]、非线性最小二乘法和单纯形法[12]等.近年来,遗传算法由于其全局最优的收敛性,已被成功地应用到各种优化问题,Chen等[14,17]将遗传算法应用于无约束最优
636 上 海 交 通 大 学 学 报第33卷
化模型中的参数寻优,得到了令人满意的结果.
一个完整视觉检测系统包括:图像采集、图像分割、零件识别、模型匹配和决策判断.New man 等[9]描述了利用深度图像进行零件检测的AVI 系统,具有一定的代表性.图1所示为该系统的处理流程
.
图1 一个典型的AV I 系统Fig.1 A ty pical A V I system
3 基于CAD 的AVI
基于CAD 的计算机视觉是Bir Bhanu 首次提出的,到目前已成为计算机视觉的研究热点.基于CAD 的AVI 的关键是视觉系统和CAD 数据库的集成,即如何在自动制造环境下利用已有的CAD 模型建立适合于视觉检测的视觉模型,并把CAD 数据作为上层知识生成智能检测规划.
(1)视觉模型.基于模型的AVI 最终将面临三维几何模型化的问题,也就是解决如何建立面向视觉的三维物体模型.
尽管视觉系统和CAD 系统都依赖于物体的几何模型,但它们在知识表达、数据共享等方面仍得不到统一
[2,7,10,11,17]
.视觉检测要求计算机能从CAD 系统中获取零件精确的数学模型,而这种模型往往要用构成零件几何元素的解析表达式来表示[12～16].当前CAD 系统中零件的模型还不能完全以解析形式表示,而只能以几何元素的特征值(如长度、角度、半径、位置等)表示.因此,一些学者已开始研究如何从CAD 模型提取视觉模型的方法.Chen 等[13,14,17]利用CAD 数据提供的边界特征(包括交点、边、夹角)建立了一个由直线段和圆弧组成的零件剖面图的解析表达式,并由些对检测到的数据点进行拟合.
(2)检测规划.随着CIMS 的逐步推广,检测系统和CAD 数据库的集成已成为柔性检测技术发展的必然趋势.CM M 发展到现在已具备了离线编程的功能,人们可以直接利用CAD 系统中零件的模型来生成检测点,并进一步生成检测路径,然后传送到CM M 来自动完成检测任务,即目前较为流行的
“基于CAD 的CM M 检测规划生成”[19]
,这也是将CM M 集成到CIM S 中所要解决的关键技术.
同样,视觉检测要实现与CIMS 的集成,也必须建立智能的视觉检测规划,以便控制机器人对零件进行操作,可称之为“基于CAD 的视觉检测规划生成”.Park [10]
和M arefat 等[11]
在这方面做了一些有益的探讨,提出了视觉规划的模型.他们用CAD 数据库中的边界特征及其几何关系建立了一种智能检测规划,为视觉检测提供了必要的信息.这些信息包括可见特征列表、可能的视角方向和摄像机位置以及在每一个视角和位置上的可见边.
为了在CAD 系统和检测系统之间进行有效的数据传递,必须建立统一的数据格式和标准.一种面向CMM 的标准规范目前已经形成,即尺寸测量接
口规范(Dim ensio nal M easur ing Inter face Specifica-tion,DMIS)[18].DM IS 的目标是作为一套计算机系统和测量设备之间检测数据双向通信的标准.它提供一套词汇表将检测规程和CAD 系统数据(尺寸、公差等)提供给检测设备以及将检测设备的检测结果传递给接受系统.如何建立面向视觉检测的DMIS 已成为发展基于CAD 的计算机视觉检测技术的一个关键环节.
4 AVI 技术展望
AVI 技术是一种很有发展前途的自动检测技术,可以实现智能化、柔性、快速和低成本的检测目标,而CIMS 的普及与发展已给基于CAD 的AVI 技术提供了广阔的应用前景.作者认为AVI 技术今后的发展应集中在以下几个方面:
(1)实现在线实时检测.使系统可以100%地检测产品,而不像现在所普遍采用的抽样检测.视觉检测执行时间在很大程度上取决于低层图像处理(图像平滑、滤波、分割等)速度,采用快速的图像处理算法、高速CPU 和并行处理器是实现在线视觉检测的有效途径.
(2)实现智能化检测.从CAD 系统中提取零件视觉模型与检测信息(包括工件位置与方向、摄像机视角等),选定检测项目、检测点和检测路径,建立智能检测规划,并控制工业机器人抓取零件并放置到合适的位置进行检测.为在CAD 系统和检测系统之间进行有效的数据传递,必须建立一种面向视觉系统的尺寸测量接口规范.由于基于CMM 的检测规划目前正趋于成熟,这对AVI 规划的生成也很有借鉴意义.
(3)实现高精度检测.CCD 摄像机的分辨率和
637
第5期
张文景,等:计算机视觉检测技术及其在机械零件检测中的应用
系统误差制约了视觉检测精度的进一步提高,无法适应大尺寸零件的检测.与视觉系统相比,CMM在检测精度和测量空间范围上占有很大优势.可以预见,计算机视觉系统与CM M的集成必将成为视觉检测发展的一种新方向.事实上,基于CM M的视觉检测技术已经受到人们关注[3,18].集成化的CM M 和视觉系统可以利用视觉系统迅速识别零件的形状及其在测量平台上的位置和状态,完成机器坐标系、零件坐标系和摄像机坐标系之间的转换,帮助CMM实现检测路径自动形成与测量结果判断.
随着计算机视觉技术自身的成熟和发展,AVI 技术必将在现代和未来制造企业中得到越来越广泛的应用.
参考文献:
[1] 阮秋琦.图像处理和计算机视觉技术在美国[J].北方
交通大学学报,1992,16(3):8～14.
[2] N ewman T S,Jain A K.A sur vey o f auto mated v isual
inspection[J].Co mput er Vision and Imag e U nder-
st anding,1995,61(2):231～262.
[3] 祝世平.大型工件特征点空间坐标视觉检测方法研究
[D].哈尔滨:哈尔滨工业大学,1997.
[4] Wu W en-Y en,W ang M a o-Jiun,L ui Chi-M ing.A ut o-
mated inspectio n o f pr inted circuit boar ds thr oug h
machine vision[J].Co mput er in I ndust ry,1996,28
(2):103～111.
[5] G uglielmi N,G uerr ier i R,M ar st rett a M,et al.High-
ly-contr ainted neur al netw or ks w ith applicatio n to v i-
sual inspectio n o f machined part s[A].In:IEEE I nt er-
nat ional Confer ence on A coustics,Speech,a nd Sig nal
Pr ocessing[C].M inneapo lis,U SA,1993.629～632.
[6] M og anti M,Er ca l F,Dag li C H,et al.A utom atic PCB
inspection algo rithms:a surv ey[J].Computer V isio n
and Ima ge U nderstanding,1996,63(2):287～313. [7] Fly nn P J,Jain A K.CAD-based co mputer vision:
fro m CA D mo dels to r elat ional g raphs[J].IEEE
T r ansactions on Pa tter n A nalysis and M achine I nt el-
ligence,1991,13(2):114～132.
[8] M o day ur B R,Shapir o L G.A CA D-based sy st em fo r
automat ed inspection o f machined par ts[A].In:Pr o-
ceeding s of the1992IEEE/RJS I nter natio nal Confer-
ence on I nt ellig ent Ro botics and Systems[C].R eleigh
N C,1992.7～10,1231～1238.
[9] N ew man T S,Jain A K.A system fo r3D CA D-based
inspectio n using r ang e im ages[J].P atter n R ecog ni-
tion,1995,28(10):1555～1574.
[10] P ark H D,M itchell O R.CA D based planning and ex-
ecutio n o f inspect ion[A].I n:Pr oceedings o f t he IEEE
Co nfer ence on Computer V isio n and Patt ern R ecog ni-
tion[C].A nn A r bor,M I,1988.858～863.
[11] M ar efat M,K ashyap R L.Planning fo r inspection
based on CA D mo dels[A].I n:Pr oceedings o f11th
I nter natio nal Confer ence on Pat tern Recog nition[C].
D en Hag ue,N etherlands,1992.608～611.
[12] V ent ur a J A,W an W enhua.A ccur ate ma tching of
t wo-dimensional shapes using t he minimal tolerance
zone er ro r[J].Imag e and Vision Co mput er,1997,15
(12):889～899.
[13] Chen J M.V ision-based shape reco gnit ion and analy-
sis o f ma chined par ts[J].International Jo urnal of
P ro ductio n Research,1995,33(1):101～135.
[14] Chen J M.Det er mining minmax pr o file er ro rs fo r the
cr oss-sect ions o f machined pa rts[J].Inter na tio nal
Jour nal of Pr oduction R esear ch,1998,36(4):1105～
1124.
[15] M undy J,N o ble A,M arinos C,et al.A n o bject-o ri-
ented appr oach to t emplate g uided visual inspection
[A].In:Pr oceedings o f t he IEEE Confer ence on
Co mputer Vision a nd P atter n Recog nition[C],U ni-
v ersity of I llinois,U nbana-Champion,I L,1992.386～
392.
[16] N oble A,N guyen V D,M ar inos C,et al.T emplate
g uided visual inspct ion[A].In:Sandini G.Pr oceed-
ing s o f2nd Eur opean Confer ence on Co mputer Vision
[C].Sa nta M arg herita L ig ure,Italy,1992.893～901.
[17] Chen Jen-M ing.A genetic-ba sed vision system cr oss-
functio nal integ ra tio n in flex ible m anufactur ing:a tu-
to rial and applica tio n[J].T he Inter nat ional Jour nal
o f Flexible M anufacturing Sy stem,1997,9(4):343～
365.
[18] 林志航.计算机辅助质量系统[M].北京:机械工业出
版社,1997.
638 上 海 交 通 大 学 学 报第33卷
计算机视觉在土木建筑领域的应用 摘要：随着电子计算机的普及，计算机视觉已经广泛用于各个不同的领域。本文就数图像识别、处理在土木建筑领域的应用、当前存在的问题及计算机视觉的发展现状进行了探讨。 关键字：计算机视觉数字图像处理土木建筑发展现状 信息与能源和材料并称人类社会的三大支柱。人类通过眼、耳、手鼻、舌等五官来感受外部世界。主要有视觉信息、听觉信息、触觉信息、嗅觉信息以及味觉信息。在上述五种类型的信息中，人们对视觉和听觉信息研究得较多，利用也较多。如通信、电视和多媒体等。图形和图像均属于视觉信息。 近年来，随着电子计算机的普及和计算机视觉的深入研究，数字图像处理以其再现性好、适用面宽、灵活性高、信息压缩的潜力大等特点已经广泛用于各个不同的领域。它在土木建筑方面也有着广泛的应用。本文主要就数字图像处理在建筑学、桥梁道路等方面的应用及存在的问题展开讨论。 计算机视觉在土木领域的应用主要可以分为理论研究设计方面的应用，建筑等实物中的应用，建筑模拟方面的应用和其它方面的应用。 （1）在理论研究设计方面的应用 数字图像处理在土木建筑领域的理论设计以及模拟计算方面都有有广泛的应用，以下就一些实例加以说明。 一个典型的例子是利用计算机解决隧洞超欠挖的问题①。在地下隧洞的开挖过程中，钻爆法是开挖的主要方法之一，但钻爆法的缺点是其不可避免地造成隧洞大量的超欠挖现象。因此，方便、决捷且可靠的评价方法在隧洞的超欠挖评价中是十分必要的。图像处理技术是解决此类问题的可靠方法之一，它不仅可以方便的计算超欠挖的方量，而且可以分析引起超欠挖的原因，同时，它可以解决工程中由于回填混凝上方量不统一的争端。图像处理技术就是对隧洞的开挖断面进行一次数码成像，对数码图像进行计算机处理，从而计算超欠挖方量的技术。 另一个例子是建筑物表面模型的重建②。主要是针对建筑物模型的规则性，用基于平面的建筑物模型重建算法，从单幅透视图像恢复建筑物的表面模型。该方法主要分为相机定标、基平面的提取、平面位置和方向的计算等几个子过程。相机定标主要用于求解相机的焦距，是一个非常重要的部分。该方法以建筑物场
过去几年，全球的互联网公司包括谷歌、微软、Facebook以及中国的百度、阿里巴巴都在加强人工智能领域的投资，设立自己的人工智能研究院。vivo是第一家设立专攻人工智能方向研究院的中国手机公司。此举是vivo内部已经确立的一份3-5年的中长期发展的战略规划，未来对人工智能的发展研究是必然趋势，vivo公司创始人兼CEO沈炜曾表示“人工智能和5G的结合将会是5G时代手机发展的趋势”。 今年我们看到vivo在产品上不少创新，比如AI拍照、商用屏下指纹技术等等，这些都是基于生物特征(biometrics)的鉴别技术，除此之外还有对人脸、虹膜、指纹、声音等特征上的识别，这些大多涉及到视觉信息，正是体现了计算机视觉的应用性，那什么是计算机视觉呢? 计算机视觉技术的概念 正像其它学科一样，一个大量人员研究了多年的学科，却很难给出一个严格的定义，模式识别如此，目前火热的人工智能如此，计算机视觉亦如此。与计算机视觉密切相关的概念有视觉感知(visual perception),视觉认知(visual cognition),图像和视频理解( image and video understanding)。这些概念有一些共性之处，也有本质不同。 从广义上说，计算机视觉就是“赋予机器自然视觉能力”的学科。自然视觉能力，就是指生物视觉系统体现的视觉能力。一则生物自然视觉无法严格定义，在加上这种广义视觉定义又“包罗万象”，同时也不太符合40多年来计算机视觉的研究状况，所以这种“广义计算机视觉定义”，虽无可挑剔，但也缺乏实质性内容，不过是一种“循环式游戏定义”而已。 实际上，计算机视觉本质上就是研究视觉感知问题。视觉感知，根据维科百基(Wikipedia)的定义, 是指对“环境表达和理解中，对视觉信息的组织、识别和解释的过程”。根据这种定
计算机视觉与数字摄影测量的结合展望摘要：摄影测量在进入数字摄影测量时代就已经与计算机视觉技术紧密的联系在了一起，计算机视觉技术的快速发展给近景摄影测量带来了巨大的变革。本文分别简要介绍了摄影测量和计算机视觉技术，重点阐述了两者的异同点，最后做出总结。 关键字：计算机视觉；数字摄影测量；差异；影响匹配 1前言 摄影测量的发展经过了三个阶段，现已进入数字摄影测量阶段。数字摄影测量以数字影像为基础，通过计算机分析和量测来获取被摄物体的三维空间信息，正在成为国际公认的地球空间数据获取的重要手段[1]。数字摄影测量利用一台计算机，加上专业的摄影测量软件，就代替了过去传统的、所有的摄影测量的仪器。其中包括纠正仪、正射投影仪、立体坐标仪、转点仪、各种类型的模拟测量仪以及解析测量仪。数字摄影测量的发展，计算机不仅可以代替人工进行大量的计算，而且已经完全可能代替人眼来识别同名点，从而为摄影测量开辟了真正的自动化道路[2]。 计算机视觉是一个相对年轻而又发展迅速的领域。80年代以来，计算机视觉的研究已经历了从实验室走向实际应用的发展阶段，而计算机工业水平的飞速提高以及人工智能、并行处理和神经元网络等学科的发展，更促进了计算机视觉系统的实用化和涉足许多复杂视觉过程的研究[3]。其目标是使计算机具有通过二维图像认知三维环境信息的能力，这种能力将不仅使机器能感知三维环境中物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解[4]。数字摄影测量具有类似的目标，也面临着相同的基本问题。数字摄影测量学涉及多个学科，如图像处理、模式识别以及计算机图形学等。由于它与计算机视觉的联系十分紧密，有些专家将其看成是计算机视觉的分支。 2数字摄影测量与计算机视觉的差异 2.1出发点不同导致基本参数物理意义不同 计算机视觉是研究怎样用计算机模拟人的眼睛，实现机器人的视觉，它是以眼睛（摄影机）中心与光轴构成的坐标系为准，它定义的平移量是空间坐标系相对于摄影机坐标系的平移量。而摄影测量是测绘地形图的重要生产手段，它以空间（地面）统一坐标系为基准，如在一个地区进行航空摄影测量，所有摄影机的空间位置与影像的坐标都相对于该空间坐标系。因此，在摄影测量中的“外定向”是确定影像在空间相对于物体的位置与方位；而计算机视觉通常从另一个方向描述这个问题：搜索物体相对于影像的位置与方位。 2.2出发点不同导致基本公式的不同 由于物体与影像基本关系之间的差异，从而引起计算机视觉与摄影测量之间的基本公式的差异。计算机视觉与摄影测量都是研究物体与影像关系的，因此，描述三维物体与二维影像坐标之间的关系公式是它们的基本公式。计算机视觉最基本的公式用齐次坐标的投影方程表达为[5,6]：
第33卷第5期 1999年5月 上海交通大学学报 JO U RN A L O F SHA N GHA I JIA O T O NG U N IV ERSIT Y Vol.33No.5 M ay 1999 收稿日期:1998-03-16 基金项目:上海市科技发展基金资助项目(951111052)作者简介:张文景(1971～),男,博士生. 文章编号:1006-2467(1999)05-0635-04 计算机视觉检测技术及其在机械零件检测中的应用 张文景, 张文渊, 苏键锋, 许晓鸣 (上海交通大学自动化系,上海200030) 摘 要:基于计算机视觉检测(A VI)技术在检测系统的智能化、柔性、快速性等方面较接触式检测方法具有更大的优越性,综述了其基本原理和分类以及近年来此方面的研究成果.分析了利用AVI 技术对机械零件进行检测的一般方法和系统构成,并探讨了基于CAD 的AV I 的关键环节.最后对AVI 技术的发展趋势提出了作者的观点. 关键词:计算机视觉;计算机视觉检测;计算机辅助设计;机械零件中图分类号:TP 391 文献标识码:A Automated Visual Inspection and Its Application on Inspection of Machined Parts ZH A N G Wen -j ing , ZH AN G W en -y uan , SU J ian -f eng , X U X iao -ming Dept.of Automation,Shang hai Jiaotong Univ.,Shanghai 200030,China Abstract :With development of co mputer vision ,automated visual inspection (AV I )has mor e applications in a variety of fields in industry.AVI takes more advantages in intellig ence,flex ibility and speed o f inspec-tio n sy stem than contacted inspection.T he recent achievemens r esearched by internatio nal scholars in the field of AVI w ere surveyed .Principle and classificatio n o f inspection techniques w ere intro duced .T he anal-ysis for g ener al methods and sy stem of AVI o f machined par ts w as presented.Key technolo gy o f AVI based on CAD w as also discussed.Some o pinio ns about development of AVI w ere proposed at last. Key words :com puter vision;autom ated visual inspection(AVI);com puter aided design (CAD);m achine parts 随着CIM S 的推广应用,企业在向柔性化、自动化发展的进程中,提出了对计算机辅助质量(CAQ )系统的需求.目前,计算机辅助检测计划(CAIP)系统已成为CAQ 系统的重要组成部分,它的核心问题是解决如何检测零件.在柔性制造中坐标测量机(CM M )是重要的检测手段,在制造企业中得到广泛的应用.随着柔性制造系统(FM S)的推广,人们对 检测系统的智能化、柔性、快速性等方面提出了更高的要求,以适应多品种、小批量生产的需要.计算机视觉技术得到不断发展,由于计算机视觉系统可以快速获取大量信息,且易于同设计信息及加工控制信息集成,用于工况监视、现场监控的计算机视觉系统已广泛地应用在工业、商业等领域[1,2].计算机视觉作为一种检测手段已经越来越引起人们的重视,逐步形成一种新的检测技术——计算机视觉检测(Autom ated Visual Inspectio n ,AVI )技术. 本文综合了国内外在AVI 方面的研究成果,总结了利用AVI 技术检测机械零件的一般方法和系
目录 1立体视觉 (1) 1.1计算机视觉技术 (1) 2立体视觉技术 (3) 2.1双目立体视觉技术 (3) 致谢 (8) 附录： (9)
立体视觉 我的毕业论文排版样文 1立体视觉 1.1计算机视觉技术 计算机视觉既是工程领域也是科学领域中的一个富有挑战性的重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中，其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学、神经生理学和认知科学等[18]。 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断和军事等领域中各种智能自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战。“计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图像信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起[19]。”作为一门学科，计算机视觉开始于60 年代初，但在计算机视觉的基本研究中的许多重要进展是在80 年代取得的。现在计算机视觉已成为一门不同于人工智能、图象处理、模式识别等相关领域的成熟学科[20]。 不少学科的研究目标与计算机视觉相近。这些学科包括图像处理、图像识别、景物分析、图像理解等。由于历史发展或领域本身的特点这些学科互有差别，但又有某种程度的相互重叠。为了清晰起见，把这些与计算机视觉有关的学科从研究目标和方法角度加以归纳[21]。 （1）图像处理 图像处理技术把输入图像转换成具有所希望特性的另一幅图像。例如，可通过处理使输出图像有较高的信噪比，或通过增强处理突出图像的细节，以便于操作员的检验。在计算机视觉研究中经常利用图像处理技术进行预处理和特征抽取。 （2）图像识别 图像识别技术根据从图像抽取的统计特性或结构信息，把图像分成预定的类别。在计算机视觉中图像识别技术经常用于对图像中的某些部分(例如分割区域)的识别和分类。 第 1 页（共9页）
运动目标检测 目录 基于统计背景模型的运动目标检测方法 背景模型提取 运动目标检测 后处理 基于统计背景模型的运动目标检测方法 问题：（1）背景获取：需要在场景存在运动目标的情况下获得背景图像（2）背景扰动：背景中可以含有轻微扰动的对象，如树枝、树叶的摇动，扰动部分不应该被看做是前景运动目标（3）外界光照变化：一天中不同时间段光线、天气等的变化对检测结果的影响（4）背景中固定对象的移动：背景里的固定对象可能移动，如场景中的一辆车开走、一把椅子移走，对象移走后的区域在一段时间内可能被误认为是运动目标，但不应该永远被看做是前景运动目标（5）背景的更新：背景中固定对象的移动和外界光照条件的变化会使背景图像发生变化，需要及时对背景模型进行更新，以适应这种变化（6）阴影的影响：通常前景目标的阴影也被检测为运动目标的一部分，这样讲影响对运动目标的进一步处理和分析首先利用统计的方法得到背景模型，并实时地对背景模型进行更新以适应光线变化和场景本身的变化，用形态学方法和检测连通域面积进行后处理，消除噪声和背景扰动带来的影响，在HSV色度空间下检测阴影，得到准确的运动目标。 背景模型提取 前提假设在背景模型提取阶段，运动目标在场景区域中运动，不会长时间停留在某一位置视频流中某一像素点只有在前景运动目标通过时，它的亮度值才发生大的变化，在一段时间内，亮度值主要集中在很小的一个区域中，可以用这个区域内的平均值作为该点的背景值。具体实现过程：在YUV颜色空间下，Y值的变化范围为0~255，将该范围划分成若干区间[0,T][T,2T]…[Nt,255],n=255/T，对于每个像素点，统计一段时间内每个区间内亮度值的出现的次数。找出出现次数最多的那个区间，将该区间内所有值的平均值作为背景模型在该点的亮度值。这种方法不受前景运动目标的影响。 运动目标检测 检测当前图像和背景图像中对应像素点的差异，如果差值大于一定阈值，则判定该像素为前景运动目标
计算机视觉技术在工业生产中的应用 计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数 据中“感知”的科学。 那么计算机有那些主要技术呢？ 首先作为一个工程学科，计算机视觉寻求基于相关理论与模型来建立计算机视觉系统。这类系统的组成部分包括： （1）程序控制（例如工业机器人和无人驾驶汽车） （2）事件监测（例如图像监测） （3）信息组织（例如图像数据库和图像序列的索引建立） （4）物体与环境建模（例如工业检查，医学图像分析和拓扑建模）（5）交感互动（例如人机互动的输入设备） 其次，计算机视觉同样可以被看作是生物视觉的一个补充。在生物视觉领域中，人类和各种动物的视觉都得到了研究，从而建立了
这些视觉系统感知信息过程中所使用的物理模型。生物视觉与计算机视觉进行的学科间交流为彼此都带来了巨大价值。 计算机视觉包含如下一些分支：画面重建，事件监测，目标跟踪，目标识别，机器学习，索引建立，图像恢复等。 计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能／自主系统中不可分割的一部分。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。 再次，物理是与计算机视觉有着重要联系的另一工业应用领域。计算机视觉关注的目标在于充分理解电磁波——主要是可见光与红 外线部分——遇到物体表面被反射所形成的图像，而这一过程便是基于光学物理和固态物理，一些尖端的图像感知系统甚至会应用到量子力学理论，来解析影像所表示的真实世界，计算机视觉同样可以被看作是物理学的拓展。 再次，另一个具有重要意义的应用领域是神经生物学，尤其是其
人机交互中的计算机视觉技术 基于视觉的接口概念 计算机视觉是一门试图通过图像处理或视频处理而使计算机具备“ 看” 的能力的计算学科。通过理解图像形成的几何和辐射线测定, 接受器(相机的属性和物理世界的属性, 就有可能 (至少在某些情况下从图像中推断出关于事物的有用信息, 例如一块织物的颜色、一圈染了色的痕迹的宽度、火星上一个移动机器人面前的障碍物的大小、监防系统中一张人脸的身份、海底植物的类型或者是 MRI 扫描图中的肿瘤位置。计算机视觉研究的就是如何能健壮、有效地完成这类的任务。最初计算机视觉被看作是人工智能的一个子方向, 现在已成为一个活跃的研究领域并长达 40年了。 基于视觉的接口任务 至今,计算机视觉技术应用到人机交互中已取得了显著的成功,并在其它领域中也显示其前景。人脸检测和人脸识别获得了最多的关注, 也取得了最多的进展。第一批用于人脸识别的计算机程序出现在 60年代末和 70年代初,但直到 90年代初,计算机运算才足够快,以支持这些实时任务。人脸识别的问题产生了许多基于特征位置、人脸形状、人脸纹理以及它们间组合的计算模型, 包括主成分分析、线性判别式分析、 Gabor 小波网络和 .Active Appearance Model(AAM . 许多公司,例如Identix,Viisage Technology和 Cognitec System,正在为出入、安全和监防等应用开发和出售人脸识别技术。这些系统已经被部署到公共场所, 例如机场、城市广场以及私人的出入受限的环境。要想对人脸识别研究有一个全面的认识,见。 基于视觉的接口技术进展 尽管在一些个别应用中取得了成功,但纵使在几十年的研究之后,计算机视觉还没有在商业上被广泛使用。几种趋势似乎表明了这种情形即将会发生改变。硬件界的摩尔定律的发展, 相机技术的进步, 数码视频安装的快速增长以及软件工具的可获取性(例如 intel 的 OpenCV libraray使视觉系统能够变得小巧、灵
浅谈计算机视觉 当看到幻灯片上播放的两张看上去相同的图片，一张毫无秘密，一张却隐藏着机密的时候，我觉得很是神奇，原来还会有这种加密方式。不同于摩斯密码，我觉得这种加密方式正是计算机时代的一个代表。 机器视觉，计算机视觉，图像处理，图像分析，这些名词好像都出现在了 老师的课堂上，通过查阅资料得知，这些名词在技术和应用领域上他们都有着相当大部分的重叠，这些学科的基础理论大致是相同的，甚至让人怀疑他们是同一学科被冠以不同的名称。 但是，又好像存在着一些细小的不同。例如，机器视觉主要是指工业领域 的视觉研究，例如自主机器人的视觉，用于检测和测量的视觉。这表明在这一领域通过软件硬件，图像感知与控制理论往往与图像处理得到紧密结合来实现高效的机器人控制或各种实时操作。计算机视觉的研究对象主要是映射到单幅或多幅图像上的三维场景，例如三维场景的重建。计算机视觉的研究很大程度上针对图像的内容。图像处理与图像分析的研究对象主要是二维图像，实现图像的转化，尤其针对像素级的操作，例如提高图像对比度，边缘提取，去噪声和几何变换如图像旋转。这一特征表明无论是图像处理还是图像分析其研究内容都和图像的具体内容无关。这里，我就计算机视觉进行初步的了解与分析。 计算机视觉，顾名思义，即为利用计算机对图像进行处理的过程。不管进 行何种场景的应用，都必须进行识别，运动，场景重现，图像恢复等基本问题的算法处理。其系统主要包括：图像获取，预处理，特征提取，检测分割，高级处理等基本组成。
下面就图像加密过程进行初步分析：首先，进行图像的获取，拿到一张图片利用一个或多个图像感知器提取数字图像，根据感知器的类型会得到不同类型的数字图像；接着，进行预处理，在对图像实施具体的计算机视觉方法来提取某种特定的信息前，一种或一些预处理往往被采用来使图像满足后继方法的要求。例如：二次取样保证图像坐标的正确；平滑去噪滤除感知器引入的设备噪声等；然后，进行特征提取，提取出这幅图像的特征要素；进行检测分割，分割出所要进行隐藏图像的部分，以便于进行后续操作；再进行高级处理，及隐藏信息。 通过查阅资料得知，其中一种隐藏信息的方式为将数字图像转化为二值图像，即只有黑和白的像素，不存在灰色过度的图像，进行处理。利用二值图像的算法主要有图像分块嵌入法，流程修改嵌入法，基于图像特征嵌入法等。但是，利用二值图像嵌入信息，也有不足：在黑白图像中，若把一片全是“0”像素中间突然嵌入一个“1”像素，相当于在一片黑图片当中突然点了一个白点，这会很容易引起人眼的察觉，故而不是很好的信息嵌入策略。 通过了解，我发现有关这一方面的研究还有更深的发展空间，而且在信息化的今天，利用计算机视觉进行图像的处理以及信息的嵌入可以更好的为我们的工作生活提供便利。 且计算机视觉是一个交叉学科，需要多种学科的共同发展，符合当今时代特征。所以，在我看来，计算机视觉是一个未来前景广阔，信息集成度高，市场认可度高的研究方向。
泰山职业技术学院2006级毕业论文 目录 摘要 (1) 1自动检测的原理和方法 (2) 1.1检测和检验的不同意义 (2) 1.1.1质量控制中的检测 (2) 1.1.2质量控制中的检验 (3) 1.2统计质量控制基础 (3) 1.2.1统计质量控制的推断 (3) 1.2.2制造中的偏差 (4) 2计算机视觉检测技 (4) 2.1 AVI技术 (4) 2.1.1视觉检测分类 (5) 2.1.2视觉检测方法 (5) 2.1.3视觉检验方法 (5) 2.2机械零件的AVI (5) 2.3基于CAD的AVI (6) 2.4 AVI技术展望 (7) 参考文献 (8) 致谢 (9)
计算机视觉检测技术及其在机械零件检测中的应用 张文景，张文渊，苏键锋，许晓鸣 摘要：基于计算机视觉检测(AVI)技术在检测系统的智能化、柔性、快速性等方面较接触式检测方法具有更大的优越性，综述了其基本原理和分类以及近年来此方面的研究成果.分析了利用AVI技术对机械零件进行检测的一般方法和系统构成，并探讨了基于CAD的AVI的关键环节.最后对AVI技术的发展趋势提出了作者的观点. 关键词：计算机视觉；计算机视觉检测；计算机辅助设计；机械零件 中图分类号：TP 391 文献标识码：A Automated Visual Inspection and Its Application on Inspection of Machined Parts ZHANG Wen-jing,ZHANG Wen-yuan，SU Jian-feng, XU Xiao-ming Dept. of Automation, Shanghai Jiaotong Univ., Shanghai 200030, China Abstract：With development of computer vision,automated visual inspection (AVI) has more applications in a variety of fields in industry.AVI takes more advantages in intelligence,flexibility and speed of inspection system than contacted inspection.The recent achievemens researched by international scholars in the field of AVI were surveyed.Principle and classification of inspection techniques were introduced.The analysis for general methods and system of AVI of machined parts was presented.Key technology of AVI based on CAD was also discussed.Some opinions about development of AVI were proposed at last. Key words：computer vision;automated visual inspection(AVI);computer aided design(CAD);machine parts
二、技术应用场景及典型厂商分析 1.计算机视觉技术已应用于传统行业和前沿创新，安全/娱乐/营销成最抢先落地的商业化领域 计算机视觉技术已经步入应用早期阶段，不仅渗透到传统领域的升级过程中，还作为最重要的基础人工智能技术参与到前沿创新的研究中。 本报告将重点关注技术对传统行业的影响。其中，计算机对静态内容的识别应用主要体现在搜索变革和照片管理等基础服务层面，意在提升产品体验；伴随内容形式的变迁（文字→图片→视频），动态内容识别的需求愈加旺盛，安全、娱乐、营销成为最先落地的商业化领域。 Analysys易观认为，这三类领域均有一定的产业痛点，且均是视频内容产出的重地，数据体量巨大，适合利用深度学习的方式予以改进。与此同时，行业潜在的商业变现空间也是吸引创业者参与的重要原因。 另一方面，当前计算机视觉主要应用于二维信息的识别，研究者们还在积极探索计算机对三维空间的感知能力，以提高识别深度。
2.计算机视觉的应用从软硬件两个层面优化安防人员的作业效率和深度 安防是环境最为复杂的应用领域，通常的应用场景以识别犯罪嫌疑人、目标车辆（含套牌车/假牌车）以及真实环境中的异常为主。 传统安防产品主要功能在于录像收录，只能为安防人员在事后取证的环节提供可能的线索，且需要人工进行反复地逐帧排查，耗时耗力；智能安防则是将视频内容结构化处理，通过大数据分析平台进行智能识别搜索，大大简化了工作难度，提高工作效率。 除此之外，在硬件层面上，传统安防产品超过4-5米的监控内容通常无法达到图像识别的像素要求，并容易受复杂环境中光影变化和移动
遮挡的影响而产生信息丢失，因此计算机会出现大量的误报漏报，这些局限为治安工作造成了一定的阻碍。 安防技术厂商在此基础上进行了创新，以格灵深瞳为例，目前已将摄像头的有效识别距离稳定至70-80米，同时开创了三维计算机视觉的应用，通过整合各类传感器达到类人眼的效果，减弱了环境对信息采集的负面影响，提高复杂环境下的识别准确度。 Analysys易观认为，计算机视觉的应用从行业痛点出发，以软硬件的方式大大优化了安防人员的作业效率与参考深度，是顺应行业升级的利好。不过，在实际应用过程中，对公安、交警、金融等常见安防需求方而言，更强的视觉识别效果往往意味着更多基础成本（存储、带宽等）的投入，安防厂商的未来将不只以技术高低作为唯一衡量标准，产品的实用性能与性价比的平衡才是进行突围、实现量产的根本，因此市场除了有巨大的应用空间外，还会引发一定的底层创新。
人们常说：眼睛是心灵的窗户，通过眼睛人们可以轻易地交流情感，眼睛也是与外界交流的窗口，这些都是通过“看”来完成的。 人们可以很容易“看到”一幅画，但这一“简单”过程并不如此简单，大致上它可以分为以下几个阶段：首先是通过眼睛将图成像在视网膜上；其次大脑对图像进行理解；最后根据处理的结果做出反应。用比较专业一点的语言来描述，该过程包括了识别、描述与理解三个层次；这其中还隐含了边缘检测（各物体的轮廓等）、图像的分割（各物体区域的划分）等阶段。以上实际上概述了视觉系统的三个层次，即低层阶段：基于图像特征提取及分割阶段；中层阶段：基于物体的几何模型与图像特性表达阶段；高层阶段：基于景物知识的描述、识别与理解阶段，这是根据先验知识介入的程度划分的，且实现起来也越来越困难。 毫无疑问，如何人工实现这一过程是极具挑战性和应用前景的一项工作，计算机视觉也因此而应运而生。计算机视觉是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学科，其目标是从图像或图像序列中获取对外部世界的认知和理解，即利用二维图像恢复三维环境中物体的几何信息，比如形状、位置、姿态、运动等，并能描述、识别与理解。 计算机视觉的基础是各种成像设备，例如CCD(Charge Coupled Device )摄像机（数码相机属于此类型）、红外摄像机、医学上常用的核磁共振成像、X射线成像等，这些设备不仅可以成像，还可以获取比人眼更丰富的图像，人们可以形象地把摄像机看成计算机视觉的视网膜部分。可以说从人类拍摄出第一幅图像开始，就为计算机视觉的诞生奠定了基础。 而计算机视觉的核心是数字电子计算机，其发展可谓突飞猛进，在计算和存储能力上，人脑已经无法与之相比，人们的目标就是利用计算机非凡的计算处理能力来代替人脑实现对图像的理解，而计算机日新月异的发展也使得这一愿望越来越成为可能。 用于指导“计算机”这个大脑运作的核心是计算机视觉的理论方法，计算机视觉使用的理论方法主要基于几何、概率和运动学计算与三维重构的视觉计算理论，它的基础包括射影几何学、刚体运动力学、概率论与随机过程、图像处理、人工智能等理论。在20世纪70年代，视觉研究大多采用模式识别的方法；80年代，开始采用空间几何的方法以及物理知识进行视觉研究；90年代以后，随着智能机器人视觉研究的发展，引入了许多新的理论与技术如主动视觉理论、不变量理论、融合技术等，并应用于许多计算机视觉系统中。 研究计算机视觉，不得不提的是英国已故科学家戴维·马尔（David Marr），他在计算机视觉发展史上可谓写下了浓重的一笔。在20世纪70年代末，他提出了第一个
浅谈机器人视觉技术 摘要 机器人视觉是使机器人具有视觉感知功能的系统，是机器人系统组成的重要部分之一。机器人视觉可以通过视觉传感器获取环境的二维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辨识物体，并确定其位置。机器人视觉广义上称为机器视觉，其基本原理与计算机视觉类似。计算机视觉研究视觉感知的通用理论，研究视觉过程的分层信息表示和视觉处理各功能模块的计算方法。而机器视觉侧重于研究以应用为背景的专用视觉系统，只提供对执行某一特定任务相关的景物描述。机器人视觉硬件主要包括图像获取和视觉处理两部分，而图像获取由照明系统、视觉传感器、模拟－数字转换器和帧存储器等组成。本文介绍了机器人的发展以及视觉计算理论和视觉的关键技术。 关键词：机器人、视觉、计算、关键技术 一、机器人发展概述 科学技术的发展,诞生了机器人。社会的进步也提出要求,希望创造出一种能够代替人进行各种工作的机器,甚至从事人类不能及的事情。自从1959年诞生第一台机器人以来,机器人技术取得了很大的进步和发展,至今已成为一门集机械、电子、计算机、控制、传感器、信号处理等多学科门类为一体的综合性尖端科学。当今机器人技术的发展趋势主要有两个突出的特点:一个是在横向上,机器人的应用领域在不断扩大,机器人的种类日趋增多;另一个是在纵向上,机器人的性能不 断提高,并逐步向智能化方向发展。前者是指应用领域的横向拓宽,后者是在性能及水平上的纵向提高。机器人应用领域的拓宽和性能水平的提高,二者相辅相成、相互促进。 智能机器人是具有感知、思维和行动功能的机器,是机构学、自动控制、计算机、人工智能、微电子学、光学、通讯技术、传感技术、仿生学等多种学科和技术的综合成果阎。智能机器人可获取、处理和识别多种信息,自主地完成较为复杂的操作任务,比一般的工业机器人具有更大的灵活性、机动性和更广泛的应用领域。要使机器人拥有智能,对环境变化做出反应,首先,必须使机器人具有感知
第33卷第1期自动化学报Vol.33,No.1 2007年1月ACTA AUTOMATICA SINICA January,2007 车辆辅助驾驶系统中基于计算机视觉的 行人检测研究综述 贾慧星1章毓晋1 摘要基于计算机视觉的行人检测由于其在车辆辅助驾驶系统中的重要应用价值成为当前计算机视觉和智能车辆领域最为活跃的研究课题之一.其核心是利用安装在运动车辆上的摄像机检测行人，从而估计出潜在的危险以便采取策略保护行人.本文在对这一问题存在的困难进行分析的基础上，对相关文献进行综述.基于视觉的行人检测系统一般包括两个模块：感兴趣区分割和目标识别，本文介绍了这两个模块所采用的一些典型方法，分析了每种方法的原理和优缺点.最后对性能评估和未来的研究方向等一系列关键问题给予了介绍. 关键词行人检测，车辆辅助驾驶系统，感兴趣区分割，目标识别 中图分类号TP391.41 A Survey of Computer Vision Based Pedestrian Detection for Driver Assistance Systems JIA Hui-Xing ZHANG Yu-Jin Abstract Computer vision based pedestrian detection has become one of the hottest topics in the domain of computer vision and intelligent vehicle because of its potential applications in driver assistance systems.It aims at detecting pedestrians appearing ahead of the vehicle using a vehicle-mounted camera,so as to assess the danger and take actions to protect pedestrians in case of danger.In this paper,we give detailed analysis of the di?culties lying in the problem and review most of the literature.A typical pedestrian detection system includes two modules:regions of interest(ROIs) segmentation and object recognition.This paper introduces the principle of typical methods of the two modules and analyzes their respective pros and cons.Finally,we give detailed analysis of performance evaluation and propose some research directions. Key words Pedestrian detection,driver assistance system,ROIs segmentation,object recognition 1引言 车辆辅助驾驶系统中基于计算机视觉的行人检测是指利用安装在运动车辆上的摄像机获取车辆前面的视频信息，然后从视频序列中检测出行人的位置.由于它在行人安全方面的巨大应用前景，成为智能车辆、计算机视觉和模式识别领域的前沿研究课题.欧盟从2000年到2005年连续资助了PROTECTOR[1]和SAVE-U[2]项目，开发了两个以计算机视觉为核心的行人检测系统；意大利Parma[3]大学开发的ARGO智能车也包括一个行人检测模块；以色列的MobilEye[4]公司开发了芯 收稿日期2006-3-14收修改稿日期2006-6-17 Received March14,2006;in revised form June17,2006 国家自然科学基金(60573148),教育部高等学校博士学科点专项科研基金(20060003102)资助 Supported by National Natural Science Foundation of P.R.China(60573148),Specialized Research Fund for the Doc-toral Program of Higher Education(20060003102) 1.清华大学电子工程系北京100084 1.Department of Electronic Engineering,Tsinghua University, Beijing100084 DOI:10.1360/aas-007-0084片级的行人检测系统；日本本田汽车公司[5]开发了基于红外摄像机的行人检测系统;国外的大学如CMU[6]、MIT[7,8]和国内的西安交通大学[9]、清华大学[10]也在该领域做了许多研究工作. 车辆辅助驾驶系统中基于计算机视觉的行人检测属于计算机视觉中人体运动分析的研究范畴，其主要任务是在运动摄像机下快速准确地检测行人.本文主要针对这一特定领域对相关的文献进行综述，重点分析常用方法的原理和优缺点，以期对相关的科技人员起到指导作用.对监控系统和体育运动分析领域中人体检测感兴趣的读者可以参考综述文献[11～14]. 行人检测除了具有一般人体检测具有的服饰变化、姿态变化等难点外，由于其特定的应用领域还具有以下难点：摄像机是运动的，这样广泛应用于智能监控领域中检测动态目标的方法便不能直接使用；行人检测面临的是一个开放的环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求；实时性是系统必须满足的要求，这 c 2007by Acta Automatica Sinica.All rights reserved.
计算机视觉 计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。 目录 1定义 2解析 3原理 4相关 5现状 6用途 7异同 8问题
9系统 10要件 11会议 12期刊 1定义 计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。 计算机视觉是一门关于如何运用照相机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛（照相机）和大脑（算法），让计算机能够感知环境。我们中国人的成语"眼见为实"和西方人常说的"One picture is worth ten thousand words"表达了视觉对人类的重要性。不难想象，具有视觉的机器的应用前景能有多么地宽广。 计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它
的研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。 2解析 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如美国把对计算机视觉的 计算机视觉与其他领域的关系 研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战（grand challenge）。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科，计算机视觉开始于60年代初，但在计算机视觉的基本研究中的许多重要进展是在80年代取得的。计算机视觉与人类视觉密切相关，对人类视觉有一个正确的认识将对计算机视觉的研究非常有益。为此我们将先介绍人类视觉。 3原理 计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如，计算机视觉的一个重要应用领域就是自主车辆的视觉导航，还没有条件实现象人那样能识别和理解任何环境，完成自主导航的系统。因此，人们努力的研究目标是实现在高速公路上具有道路跟踪能力，可避免与前方车辆碰撞的视觉辅助驾驶系统。这里要指出的一点是在计算机视觉系统中计算机起代替人脑的作用，但并不意味
浅谈计算机视觉与数字摄影测量 发表时间：2018-06-19T16:47:42.070Z 来源：《基层建设》2018年第12期作者：熊健1 汪军2 施航3 [导读] 摘要：计算机视觉是数字摄影测量的重要组成部分，研究其相关课题有着重要意义。 1江苏省地质勘查技术院江苏南京 210000；2安徽省第四测绘院安徽合肥 230000 3华东冶金地质勘查局八一一地质队安徽滁州 239000 摘要：计算机视觉是数字摄影测量的重要组成部分，研究其相关课题有着重要意义。本文首先对相关内容做了概述，分析了计算机视觉与数字摄影测量的处理流程，并结合相关实践经验，分别从多个角度与方面就计算机视觉技术在影像处理系统中的实际应用展开了研究，阐述了个人对此的几点看法与认识，望有助于相关工作的实践。 关键词：计算机；视觉；数字摄影；测量 1前言 计算机视觉与数字摄影测量是一项实践性较强的综合性工作，其具体实施方法的特殊性不言而喻。该项课题的研究，将会更好地提升对计算机视觉的分析与掌控力度，从而通过合理化的措施与途径，进一步优化该项工作的最终整体效果。 2计算机视觉技术核心问题 视觉问题复杂性的本质在于相对声音等物理信号的描述，视觉信号充满了非常丰富的信息，描述起来也更加困难。比如，很多图像中蕴含了大量简单（如颜色、形状、纹理、几何特征等）及复杂（如场景、字符、物体分布、人物而部特征、人体姿势等）信息并具有较大的动态范围和主观性，如何攻克图像信息提取过程中的各种难题一直是当今计算機图像学研究的热点问题。而且，在科学家们还未完全破译生物视觉系统的奥秘的前提下，大多数CV问题只能采用“逆向推导机制”—依据己知或假设的关联将视觉系统的输入（数字图像）和输出（语义描述）对应起来，通过图片猜测真实世界物体具有的形状，照明度以及颜色分布。因此，基于概率论和数理统计的数学模型是最适合解决这类逆推问题的工具，这也是目前CV领域普遍采用各种统计模型和机器学习算法的本质原因。由于各种学习机制和统计模型需要基于先验知识并建立在对待测图像内容的约束、简化及假设的基础上，和生物视觉几亿年的发展进化相比，其建立的数学模型也只能片而而且粗糙地描绘出视觉系统输入与输出之间的关系。因此，对某组特定图像检测时表现十分优秀的系统，往往对另一组语义相同的图片素手无策；很多看似稳定的机器学习机制，在增加样本种类和数量后，检测率反而会下降；很多设计复杂的检测算法在实际应用中的表现反而不如一些简单且基本的数学描述困。 3计算机视觉与数字摄影测量的处理流程 3.1立体视觉 立体视觉是计算机视觉中的一个重要分支，一直是计算机视觉研究的重点和热点之一，在20多年的发展过程中，逐渐形成了自己的方法和理论。立体视觉的基本原理是从两个（或多个）视点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算像像素间的位置偏差（即视差）来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。一个完整的立体视觉系统通常可分为图像获取、摄像机定标、特征提取、影像匹配、深度确定及内插等6个大部分。其中影像匹配是立体视觉中最重要也是最困难的问题，也是计算机视觉和数字摄影测量的核心问题。 3.2影像匹配 立体视觉的最终目的是为了恢复景物可视表面的完整信息。当空间三维场景被投影为二维图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的诸多因素，如光照条件，景物几何形状和物理特性、噪声干扰和畸变以及摄像机特性等，都被综合成单一的图像中的灰度值。因此，要准确地对包含了如此之多不利因素的图像进行无歧义的匹配，显然是十分困难的。 在摄影测量中最基本的过程之一就是在两幅或者更多幅的重叠影像中识别并定位同名点，以产生立体影像。在模拟摄影测量和解析摄影测量中，同名点的识别是通过人工操作方式完成的；而在数字摄影测量中则利用计算机代替人工解决同名点识别的问题，即采用影像匹配的方法。 3.3多目立体视觉 根据单张相片只能确定地面某个点的方向，不能确定地面点的三维空间位置，而有了立体像对则可构成与地面相似的立体模型，解求地面点的空间位置。双目立体视觉由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，就像人有了两只眼睛，才能看三维立体景观一样，然后通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。现在的数字摄影测量中的立体像对技术通常是在一条基线上进行的，但是由于采用计算机匹配替代人眼测定影像同名像对时存在大量的误匹配，使自动匹配的结果很不可靠。其存在的问题主要是，对存在特殊结构的景物，如平坦、缺乏纹理细节、周期性的重复特征等易产生假匹配；在摄像机基线距离增大时，遮挡严重，能重建的空间点减少。为了解决这些问题，降低双目匹配的难度，自1986年以来出现了三目立体视觉系统，即采用3个摄像机同时摄取空间景物，通过利用第三目图像提供的信息来消除匹配的歧义性。采用“多目立体视觉技术”可以利用摄影测量的空中三角测量原理，对多度重叠点进行“多方向的前方交会”，既能较有效地解决随机的误匹配问题，同时又能增加交会角，提高高程测量的精度。这项技术的应用，将很大程度地解决自动匹配结果的不可靠性，提高数字摄影测量系统的准确性。 4计算机视觉技术在影像处理系统中的实际应用 4.1计算机视觉技术关于图像的预处理的應用 影像测量系统在采集图像的时候，很容易受到周围环境的影响，例如：电磁波的干扰，光的折射，温度的影响等，这将很容易导致测量系统采集到事物图像在播发过程中都会夹杂着刺耳的噪声，对测量物品的边缘描述过于模糊，使得零件的精准度的测量受到了影响。因此需要把计算机视觉技术和影响测量系统的应用结合在一起，在测量产品，处理图像过程中，需要进行原始图像的修改和清晰度的矫正并且选择性的过滤影响产品测量的噪声。由于在测量过程中结合了计算机视觉技术，所以在图像的预处理的时候，不需要对图画质量的降低，可以运用计算机视觉技术对于图像进行修改，重要的部位采用灰色直方图修改技术特别标出，其他部位选择性消除。虽然计算机技术跟影像测量系统的结合很好的处理了这些的问题，但是也要避免在测量过程中受到噪音的干扰，从而使得图像变质。因此，在测量的时候可以先对周围环境进行预处理，采用计算机视觉技术中的边缘保持滤波算法降低周围环境的噪声影响，从而保证了测量图像的精确性。 4.2计算机视觉技术关于图像边缘处理的应用