1视觉系统相关基础知识（硬件、软件及理论）
1.1视觉系统硬件的基本组成（参见图＃1）
典型的视觉系统一般包括图像采集系统、图像处理部分、通信和I/O部分以及输入输出和执行机构等。
图像采集环节负责将对象的可视化图像和特征转换为能被计算机处理的一系列数据。
由于机器视觉系统强调速度和精度，因此图像采集系统需要及时、准确地提供清晰图像。
图像采集系统一般由光源、镜头、摄像机、图像采集卡等组成。
1.1.1板卡
For personal use only in study and research; not for commercial use
图像采集卡是图像采集部分和图像处理部分的接口。
图象经过采样、量化以后转换为数字图象并输入、存储到帧存储器的过程，叫做采集、数字化。
由于图像信号的传输需要很高的传输速度，通用的传输接口不能满足要求，因此需要图像采集卡。
图像采集卡还提供数字I/O的功能。
由于通过高速PCI总线可实现直接采集图象到VGA显存或主机系统内存，这不仅可以使图象直接采集到VGA，实现单屏工作方式，而且可以利用PC机内存的可扩展性，实现所需数量的序列图象逐帧连续采集，进行序列图象处理分析。
此外，由于图象可直接采集到主机内存，图象处理可直接在内存中进行，因此图象处理的速度随CPU速度的不断提高而得到提高，因而使得对主机内存的图象进行并行实时处理成为可能。
当图像采集卡的信号输入速率较高时，需要考虑图像采集卡与图像处理系统之间的带宽问题。
在使用PC时，图像采集卡采用PCI接口的理论带宽峰值为132MB/S。
在实际使用中，PCI接口的平均传输速率为50～90MB/S，有可能在传输瞬间不能满足高传输率的要求。
为了避免与其他PCI设备产生冲突时丢失数据，图像采集卡上应有数据缓存。
一般情况下，2MB的板载存储器可以满足大部分的任务要求。
For personal use only in study and research; not for commercial use
在机器视觉系统中，输入/输出的控制很重要。
系统中常要根据处理过程的需要来决定摄像机的拍摄时间。
如果采用了可重设的摄像机，需要产生重设信号。
在一些系统中，由于需要设定拍摄的帧率，应该有像素时钟发生器。
外同步是指不同的视频设备之间用同一同步信号来保证视频信号的同步，它可以保证不同设备输出的视频信号具有相同的帧行起止时间。
为了实现外同步，需要给摄像机输入一个复合同步信号或复合视频信号。
如果图像采集卡已经具有数字I/ O功能，能够产生摄像机和其他电子设备所需的选通、触发及其他电子信号，对系统是很有用的，否则将需要独立的数字I/ O卡。
1.1.1.1图像采集卡的种类
For personal use only in study and research; not for commercial use
按图像采集卡的主要特性可作如下分类
（1）彩色图像采集卡与黑白图像采集卡
根据系统中摄像机的不同，图像采集卡也相应地分为彩色图像采集卡和黑白图像采集卡。
但是，彩色图像采集卡也可以采集同灰度级别的黑白图像。
（2）For personal use only in study and research; not for commercial use
（3）
（4）模拟图像采集卡与数字图像采集卡
目前现场广泛应用的摄像机是模拟信号摄像机，与此相应所采用的图像采集卡也是模拟图像采集卡。
模拟图像采集卡上设有A/D转换芯片，其对输入信号以4:2:2格式进行采样，然后进行量化，一般对YUV（也即对RGB）各8位量化，则传入的视频信号转换为数字图像信号。
与数字摄像机配套使用的图像采集卡，可称为数字图像采集卡。
（5）For personal use only in study and research; not for commercial use
（6）
（7）面扫描图像采集卡和线扫描图像采集卡
与面扫描相机配套的采集卡是面扫描图像采集卡，其一般不支持线扫描相机。
配合线扫描相机使用的是线扫描图像采集卡。
支持线扫描相机的图像采集卡往往也支持面扫描相机。
1.1.1.2板卡的基本技术参数
图像采集卡的技术参数主要有以下几方面：
（1）图像传输格式
图像采集卡需要支持系统中摄像机所采用的输出信号格式。
大多数摄像机采用RS422或EIA644（LVDS）作为输出信号格式。
在数字相机中，IEEE1394，USB2.0和CameraLink 几种图像传输形式则得到了广泛应用。
（2）图像格式（像素格式）
黑白图像：通常情况下，图像灰度等级可分为256级，即以8位表示。
在对图像灰度有更精确要求时，可用10位，12位等来表示。
彩色图像：彩色图像可由RGB（YUV）3种色彩组合而成，根据其亮度级别的不同有8－8－8，10－10－10等格式。
（3）传输通道数
当摄像机以较高速率拍摄高分辨率图像时，会产生很高的输出速率，这一般需要多路信号同时输出，图像采集卡应能支持多路输入。
一般情况下，有1路，2路，4路，8路输入等。
（4）分辨率
采集卡能支持的最大点阵反映了其分辨率的性能。
一般采集卡能支持768*576点阵，而性能优异的采集卡其支持的最大点阵可达64K*64K。
单行最大点数和单帧最大行数也可反映采集卡的分辨率性能。
（5）采样频率
采样频率反映了采集卡处理图像的速度和能力。
在进行高度图像采集时，需要注意采集卡的采样频率是否满足要求。
目前高档的采集卡其采样频率可达65MHZ。
（6）传输速率
主流图像采集卡与主板间都采用PCI接口，其理论传输速度为132MB/S。
1.1.1.3板卡的软件包
1.什么是视觉板卡的软件包：
我们大家都知道，任何一个采集卡都需要一套软件包来支持。
这是因为，就象任何计算机的硬件配件一样，视觉卡同样需要依靠软件才能将其潜力发挥至极。
硬件是躯体而软件则是灵魂。
视觉软件包，由早期的标准C语言，发展至今OCX及ActiveX Control技术的普及。
视觉软件包已经变得越来越容易被用户使用。
2.软件包的基本功能与构成：
与板卡配套的视觉软件包，通常包括以下几个模块：
∙图象预处理部分：对图象进行预处理的功能模块。
如二值化、边缘锐化等等。
∙图象处理部分：对图象进行分析、测量的功能模块。
如边缘寻找、目标寻找等等。
∙字符识别部分（OCR）：对字符进行识别的功能模块。
∙数据提取部分：对条形码、二维码进行提取的功能模块。
∙图象资源管理部分：对于图象进行管理、存储的功能模块。
如，图象缓冲区、图象硬盘存储、图象格式轮换等。
∙实际应用部分：专为某一特定领域的视觉系统，所提供的软件工具。
如BGA检测。
∙显示功能部分：如，图象放大功能、画图功能等。
∙其他功能部分：如，数据管理模块等。
3.为什么要使用软件包：
使用与板卡相匹配的软件包，不仅可以避免在板卡的实际应用过程中，出现“软硬不配”的问题。
同时，如果我们对软件中的各种工具，可以熟练的善加利用。
还可以大大缩短应用系统的开发周期、并且可以使我们便于优化系统，易于进行系统维护、源代码管理
1.1.1.4如何选用板卡
随着市场上越来越多的视觉板卡，及配套的软件包大量涌现。
相信大家都会觉得，难以决定到底选用哪一家公司的产品才是最佳选择。
在展开讨论之前，首先要纠正一个普遍存在的错误观念：即，在我们选用板卡的标准不是“好”与“坏”、“强”与“弱”，而是“适合”与“不适合”。
一张设计出色的采集卡外加功能强大的软件配套，自然是一个“好”的选择。
但如果在你的二次开发应用系统中，只用到了其软件包中一半的函数。
那么，对于你们公司来说，整套产品虽然是“好”的产品，但却不是适合的产品
1.板卡硬件功能的对比
目前市场上的视觉板卡，主要可分为三类：一、视觉采集卡。
这就是我们最提到的Frame Grabber。
它最主要的功能就是将相机中输出的模拟图象信号，转换成数字信号，最终传至电脑中的内存中去；二、具有显示功能的视觉卡。
这种板卡，在上一种采集卡的基础之中，又另加入了图象显示功能。
即，可以将图象直接显示到任何显示器上；三、自带处理器的板卡。
这种板卡本身就带有处理器，进行图象处理工作的程序，不必在电脑中而可以直接在板卡上运行。
由于以上三种板卡在硬件上就有很大不同，很难作横向对比。
因此我们仅就板卡一些常见的功能作分析对比。
∙相机支持：随首市场上各种新功能相机的出现，板与相机的匹配问题便更加显得重要了。
一、制式。
CCD相机有各种不同制式，如CCIR、RS170等等。
确定板卡是否支持所有制式的信号；二、异步信号。
异步信号可以节省拍照
时间。
不过在选用具有异步信号功能的相机之前，首先要确定板卡也有此功
能。
这一功能对于运行速度要求极高的系统来说，至关重要。
以RS170为
例，如果没有这一功能，系统等待拍照的时间为0～40毫秒；三、逐行扫描。
越来越多的系统会使用到逐行扫描相机，因此要首先知道板卡是否支持这种
相机；四、多分辨率支持。
不是每张板卡都可以支持所有分辨率的相机；五、
多频道。
多数板卡，都可以同时控制二下以上的相机。
至于，其他一些不常
见的功能，如时钟功能等，这里略过不提。
∙灯源激发：相当多的板卡带有灯源激发功能。
这不仅缩短了系统总体运行的时间，简化了编程人员的工作。
更重要的在于，这一功能可以更加有效地使
灯源与相机同步工作。
∙图象存储：大家已经知道，相机拍照的时间最多为40毫秒，而系统对于图象进行分析、测量的时间则要漫长得多。
因此，在实际操作中，常常会出现
相机“等待”电脑的情况。
因此，一些板卡便另设有一些内存，作为图象的
缓冲区。
即，在前一幅图象尚未分析完之间，接下来相机所传来的图象，暂
时存放到缓冲区中。
之后，再以先进先出的方式，逐一送至电脑内存。
不过，
关于板卡的这一硬件功能，市场上有两个全然相反的评价。
∙其他参数：如，信号转换速度等。
2.板卡软件包的对比
面对不同公司的视觉软件包时，该如何作出正确的选择？根据上面所讲“软件包的基本功能与构成”一节，就其中较重要的部分，下面我们一一作出分析。
***我们首先要考虑的问题是：哪一家公司的软件更加容易使用，即在此软件包基础上作二次开始，是否容易上手、能否缩短开发时间。
从以下几个方面来考虑：∙开发硬件环境：此软件包在你公司所选用的电脑硬件系统下是否能正常运行。
如，是否支持PCI接口、显示卡等。
∙开发操作系统；此软件包在你们公司所选用的操作系统下能否正常运行。
如，是否支持WIN2000，Linux等等。
∙开发语言：此软件包是否适用于你们公司所选用的开发语言。
如，使用VC ＋＋，VB、CPB、DELPHI等语言作二次开发，是否简单易用。
***当然我们还要对比不同公司的软件包，在图象处理方面的功能的优劣。
∙边缘寻找功能：边缘寻找，是图象处理中最为基本也是最为常用的工具。
此功能主要以下几个参数作对比：一、精度。
可以查阅软件包的产品介绍或是
使用说明；二、稳定性。
可使用不同图象对软件进行实际测试，如，进行
GR&R测试；三、多样性。
是否能够应付各种不同的实际情况。
如，不同形
状的边缘寻找，不同明暗情况下的边缘寻找等等；四、速度。
可在统一的情
况下（如，使用同一图象）对不同系统进行实际测试。
∙目标定位功能：目标定位功能，是图象处理中另一基本且常用的工具。
同样有以下几个参数作对比：一、精度。
可以查阅软件包的产品介绍或是使用说
明；二、稳定性。
可使用不同图象对软件进行实际测试；三、速度。
对于目
标定位功能来说，其运行速度的快慢，可以认为是其软件水平高低的直接标
志之一。
可在统一的情况下（如，使用同一图象、同一速度电脑）对不同系
统进行实际测试；四、操作复杂程度。
由于目标定位功能比边缘寻找功能在
算法上要复杂得多，这就使得此功能参数设置的繁简程度，会直接影响二次
开发的难易。
∙图象欲处理功能：图象欲处理功能（如，二值化、边缘锐化、反差调节等等），可以提高图象分析速度、简化分析工程。
∙字符读取功能（OCR）：对于那些主要应用于各种字符读取的视觉系统来说，此功能尤为重要。
∙数据读取功能：目前，绝大多数公司的软件包中，都带有条形码、二维码的读取功能。
大家所要注意的是，不同软件应付在不良情况的能力，如，光源
不足、图象不清、源码残缺等情况。
∙图象缓冲功能：与板卡的“图象存储”功能相似，这一功能的主要目的，是为了缓解拍照与运算时间上不同步的矛盾。
与板卡上硬件缓冲区所不同的
是，这一功能纯由软件来实现。
通常的概念是，在内存中开辟一固定空间，
从板卡传来的图象信号，在电脑分析完之前都会按序存在这一空间里。
每幅
图象地址的指针，另存在一堆栈中。
图象以先进先出的方式清除。
∙实际应用功能：很多公司，为了适应越来越激烈的市场竞争，在原有的底层软件基础上，又开发出可应用于某一特定领域的软件包，以方便这一行业中
的视觉二次开发商。
如，半导体行业中BGA检测工具；显示器生产业中的
显示检测工具；机器手行业中的系统定位工具等等。
∙接口功能：软件包是否能够方便地与其他软件或控件接口，一起运行。
∙其他辅助功能：除以上所讲的各功能以外。
各视觉公司，又各自开发出一些其他非图象处理的软件工具，以方便开发者使用。
如，数据分析工具（SPC）、
图象显示工具、画图工具等等。
3.应用系统开发时限及功能
在对该选用哪家公司板卡的问题上，作出决定之前。
我们还要考虑公司所要开发的目标系统，要拥有哪些功能？在确定了系统这些功能之后，接下来要考虑这些功能是否要由自己来完成，还是使用板卡公司所提供的底层软件包，等等一系列的问题。
下面，我们就将这些问题按思考步骤综合一下：
a)系统功能：首先确定所要开发的系统，应该有哪些基本功能。
b)开发时限：再根据项目的具体要求，确定系统开发周期。
c)供应商支持：软件包开发商是否有详尽的使用说明；是否能提供足够的源代
码；如果在本地区有技术支持人员；技术支持人员是否会说中文－－如果不
会，你们的开发人员是否能与他们很好地沟通。
d)人力资源：考虑能够参与开发工作的人力资源，包括：编程能力、视觉知识
等等方面。
考虑这个问题，是因为通常选用功能完备的软件包，并不一定能
缩短开发时间，但却能够简化开发工作，使源程序便于优化。
e)分析软件包功能：确定软件包所提供的工具，是否能够支持系统所要求实现
的功能。
f)最后决定：根据系统所要实现的功能－－哪家公司的软件包，能够覆盖最多
的系统功能；项目要求的开发时间－－哪家公司的软件最容易使用、开发周
期最短；公司的人力资源－－哪家公司的软件包，最适合你公司开发人员的
水平。
综合以上各点最决定：哪家的公司的板卡及软件包，最适合你。
4.公司经营方向
其实，在我们决定选用哪家视觉公司的板卡的同时，也是在确定自己公司的经营发展方向。
原因很简单，开发一套实际应用视觉系统所需要的成本相当昂贵。
如果没有非常充分的理由，一般来说我们是不会选用另一家公司的板卡，重新作开发的。
于是，在我们决定选用哪张板卡的同时，还要考虑下面这个问题：
∙系统开发成本：公司所能承受的开发成本是多少，这包括：一套软件包的起始工具箱，以及整组开发人员开发期间的工资等。
一般来说，性能较好功能完备的板卡及软件包，都是比较贵的。
系统开发成本，直接影响公司资金运作。
∙系统销售成本：系统开发成果之后的销售成本是多少。
这包括：软件运行执照，以及系统维护人员的工资等。
系统销售成本，直接影响公司的产品市场定位。
∙软件包换代：软件包开发商是否经常推出新产品，并允许客户更新新版本软件。
软件版本更新是否免费。
实际应用：软件开发商，在你们公司所要从事的领域里，其软件包中的视觉工具，是否具有技术优势。
1.1.2
1.1.3相机
1.1.3.1工业相机的分类
●以不同图象传感器分类：CCD相机与CMOS相机
CCD相机：使用CCD式感光芯片为图象传感器的相机。
CMOS相机：使用CMOS式感光芯片为图象传感器的相机。
CCD相机，是目前绝大多数机器视觉系统中所使用的相机。
现在市场上公开销售的CCD 相机，无论是在图象格式、分辨率还是敏感度等各个方面都有着广阔的选择空间。
可以这样说：CCD相机所提供给我们的优越性能，可以满足99％的项目要求。
与CCD相机相比，虽然CMOS相机有着如：工艺简单、成本低廉、低功耗、系统整合性好、区域读取图象灵活等诸多优点。
但由于生产工艺上的差距，CMOS目前在除噪及灵敏度方面仍逊于CCD，因此使得CMOS相机现在处于民用阶段，尚无法达到工业领域的要求。
●以不同图象颜色分类：单色相机与彩色相机
单色相机：输出图象为单色图象的相机。
彩色相机：输出图象为彩色图象的相机。
多数彩色CCD相机所采用的技术，是在单一传感器前装置一系列彩色滤片，从而令不同色彩的光进入到不同CCD点象素中去，也就是说不同象素中所感受到的只是某一种单色光的灰度。
就目前的生产工艺来说，由于使用滤片使得彩色相机的灵敏度远低于单色相机。
同时由于彩色相机中的象素只“存放”一种色光的灰度值，因此彩色相机的分辨率也远远不及单色相机。
这便使得彩色相机只能用于需要“色彩认识”的系统，还不能被普通使用于高精度的测量、定位等系统。
●以不同传感器格式分类：面扫描相机与线扫描相机
面扫描相机：CCD感光芯片上的点阵呈面状分布的相机，其所成图象为二维“面”图象。
线扫描相机：CCD感光芯片上的点阵呈线状（一行或两行）分布的相机，其所成图象为一维“线”图象。
顾名思义，线扫描相机里的CCD感光芯片，只是一条线（或是两条线），但这条线却很长：1K，2K，4K甚至更长。
也就是说线扫描相机一次拍出的图象，只是一条线。
为了得到整个二维图象，通常需要移动被测物或相机本身，同时间断地拍照。
与扫描相机一次成象相比，线扫描相机需要多次成象后，将所成的“线”象拼成一幅完整的图象。
因此，线扫描相机更多地被用于分辨率要求极高的项目里。
同时还需要大口径镜头、强亮度灯源以及口光圈，以适应其非常高的成象速度
●以不同传传方式分类：模拟信号相机与数字信号相机
模拟信号相机：在模拟信号相机中，从传感器中传出的信号，被转换成模拟电压信号，即普通视频信号，后再传到图象采集卡中。
数字信号相机：在数字信号相机中，信号自传感器中的每一个象素输出后，在相机内部就被数字化了，数字化之后的图象可直接被计算机所接受。
模拟信号相机的成本一般上低于数字信号相机。
但是在除噪、速度方面则比数字信号相机来得差。
如我们常常听到的，EIA，RS－170、NTSC、CCIR、PAL，都是常用模拟信号传输标准。
数字信号相机除了在除噪及速度方面优于模拟信号相机外，由于是数字信号传输
方式，因此在计算机中所得到的由数字信号相机拍出的图象，更加“逼真”。
而且，数字信号相机在分辨率及万象速度方面有更多选择。
CameraLInk和Firewire是数字信号相机最常见的传输标准。
从上面的分析中，大家不难看出：数字信号相机取代模拟信号相机，是不可逆转的大趋势。
不过目前我们常见的数字信号相机，多是家用CMOS数字相机。
1.1.3.2相机硬件的基本构成及技术参数
相信大家都同意－－正确的选择相机，是设计整个机器视觉系统关键的第一步。
CCD 工业相机生产工艺发展到今天，技术已经日趋完善。
体积越来越小，成象时间的控制越来越自如，快门速度越来越快、灵敏度越来越高。
接下来，我们主要讨论最常用的工业相机－－单色CCD面扫描模拟信号相机－－的基本工作原理及相关技术参数。
●相机基本工作原理（参见图＃2）
相机一般上都可以分为两大部分：图象获得部分、图象输出部分。
下面我们就参照图＃2中所示，对相机的各个部分分别加以讨论：
⏹CCD的基本原理
面扫描式相机成象部分的核心，是CCD感光芯片。
CCD感光芯是一片，由许多光敏感材料制成的象素，组合成二维面阵。
此种光敏感性材料，可以将入射的光线中的光量子，转变成电子，并累积成电荷。
CCD曝光之后，相机再将CCD芯片中每一个象素的的电荷，诸行提出送入一个缓冲区。
我们在计算机内存中，从相机中得到的数字图象。
就是系统把CCD每个象素中的电压通过一系列处理，最终得到一个数字化的数值。
另外有一个值得我们注意的问题：CCD对于不同波长的光有着不同的灵敏度（参见图＃3）。
从图中曲线一（实线）的走向，大家可以发现CCD的两个特点：1，CCD 对于波长500～600的光，即红色光，最为敏感。
这就是为什么在实际应用中，红色灯源被用的最为广泛；2，CCD对于红外线（波长小于500）仍有一定的敏感度。
也就是说CCD极易受温度的影响，因此CCD相机不宜在在高温环境下工作。
一般上，高级的CCD相机都装有红外消除滤片，其感光特征如曲线二（虚线）所示。
⏹图象的获取
CCD相机中图象获取模块，实际上就是一片由光敏感性材料（矽氧化物）制造而成的芯片。
相机拍照时，快门打开，光线射入CCD芯片的感光部分。
上面说到，CCD 芯片中的象素，将光能转换成电能，最终成为电压信号。
此信号将从CCD芯片输送到相机的下一个模块――图象输出模块。
由于光敏感性物质感光的关键在于感光时间，由此可以知道CCD相的快门时间，就是其成象的关键参数。
目前市场上的相机，都普遍设有机械及电子快门两种选择。
⏹图象的输出
在图象输出模块中，相机会产生出适用于图象处理的视频信号。
而在产生视频信号的过程当中，相机会按照不同标准生成不同制式的视频信号，如：CCIR、EIA、PAL 等等。
下面简要介绍一下图象输出的过程：
图象获取模块完成了图象的获取，即CCD芯片已经感光完成。
于是相机便从CCD 芯片的左上角开始逐行扫描。
扫描从第一行的第一个象素起，取出第一个象素中的电压再扫描第二个象素，累积了第二个象素中的电压后，开始扫描第三个。
以此类推，将第一行所有象素全部扫描过之后，便将整行象素的电压传输至缓冲区。
接下来开始扫描CCD芯片的第三行。
