BumbleBee2 双目视觉系统技术说明

本文所包含的内容：

讲述了bumblebee 立体视觉的原理

讲述了bumblebee Demo 程序中各项参数的含义及如何调整

讲述了为什么在深度图像和重构的3D 图像中有无效的像素

本文的阅读方法：

红色字体是关键的地方

立体视觉

本文将试着去阐述立体视觉技术。阅读完本文后你将对数据如何在系统中流动和其间所有可调整的参数有一个更深入的了解。这将使你可以量身定做自己的系统来完成特殊的任务。

立体视觉的基本原理

立体视觉的任务是完成空间的测量，这种测量是基于空间上存在偏移的相机所采集到的图像的。立体视觉的处理过程可分为如下三步：

建立从不同观测角度所获得的同一场景图像特征的相关。

计算每幅图像中相同特征的相对位移

根据相机的几何结构，决定特征相对于相机的3D 位置

考虑如下两幅图片。这两幅图片取自一对存在水平偏移的Triclops 相机模型。我们可以在两幅图片中分别定义两个点A 和B 。点left A 对应于点right A ，同样的，点left B 对应于点right B 。

使用一把尺子，如果你测量一个点到图像边缘的水平距离，你会发现左图的这个距离比右图中对应点到图像边缘的水平距离要大。例如，左图中边缘到电话听筒的距离要大于右图中边缘到电话听筒的距离。我们就可以根据这个距离（也被叫做视差）来确定电话听筒到相机模型的距离。

我们把左图和右图中相同特征在各自坐标系中的值的差定义为视差。你会发现在两幅图中，图像上端到所匹配的特征的距离完全相同，这是因为相机是水平排列的，因此只有水平的位移。

于是特征A 的视差被定义成D(A) = x(A left ) – x(A right )，B 的则为D(B) = x(B left ) – x(B right )，其中x(A left )是A left 点的x 轴坐标。

如果你去计算D(A) 和D(B)，你会发现 D(A)

建立相关

Triclops 库使用绝对相关偏差和的方法来建立图像间的相关。这种方法的原理如下： 对于图像中的中每一个像素

在参照图像中，按照给定的正方形尺寸选择一个邻域

将这个邻域沿着同一行与另一幅图像中的一系列邻域相比较

找到最佳的匹配

结束

邻域的比较方法如下面的公式所示：

]][[]][[22

22max min min j y d i x I j y i x I left right j i d d d m m

m m

+++?++∑∑?=?== 其中：

min d 和max d 是最小和最大视差（disparity ）

m 是模板尺寸（mask size ）

right I 和left I 是右面的图像和左面的图像

计算距离

物体到相机的距离可由视差和相机的几何结构确定。所匹配的特征的距离是视差，镜头焦距的长度，CCD 的分辨率和基线长度（两相机间的距离）的函数。

Triclops 库提供了深度映射转化为距离图像的函数。

下面的方程给出了视差与距离的关系以及单个相机中世界坐标与像坐标的关系：

d bf Z =；f u Z X =；f

v Z Y = 其中：

（X ，Y ，Z ）是3D 点在世界坐标系中的位置

f 是相机的焦距

（u ，v ）是像坐标

d 是视差值

b 是相机间的基线长度

Triclops 库中的数据流程

Triclops 库中的数据流程如下图所示。系统首先从相机模型中获得raw 格式的图像，最终将其处理成深度图像。在系统中有两个主要的处理模块。第一个处理模块是一个应用了低通滤波、图像校正和边缘检测的预处理模块。第二个处理模块用来做立体匹配、结果确认和亚像素插值。最后的处理结果就是一幅深度图像。

预处理（Pre-processing ）

为了校正一幅图像，事先对其进行平滑是非常重要的。所以如果要校正一幅图像，事先将低通滤波器打开是很好的方法。当然不使用低通滤波器同样可以校正图像，但校正后的图像可能会出现混淆的现象。如果要提高处理速度，可以将低通滤波器关掉。

校正（Rectification）

校正是用来修正镜头所产生的畸变的。在原始图像中可以看到镜头所带来的这种畸变。例如，场景中的一条直线在原始图像中会变成一条曲线，这种效果在图像的边角处尤为明显。校正就是为了修正这种类型的畸变。

进一步来讲，如果没有正确的校正，那么沿着行或者列所做的特征搜索将可能产生错误的结果。

边缘检测（Edge detection）

边缘检测是一项任选的特性，它使用亮度的变化来匹配特征。当系统中的相机具有自动增益功能时，这项功能是非常有用的。如果每个相机的自动增益的变化是不一致的，那么图像间的绝对亮度是不一致的，而虽然绝对亮度是不一致的，但亮度的变化却是一个常数。因此边缘检测适用于光照有很大变化的环境当中。虽然边缘检测可以改善检测的结果，但这相当于又引入了另外的处理步骤，因此要权衡结果的改善状况和速度之间的关系来使用这项功能。注意，确认功能仅在边缘检测模式下有效。

立体处理（Stereo processing）

立体处理使用前面所讲过的绝对相关偏差和的算法。

视差范围（Disparity range）

视差范围是立体算法为了在两幅图像中搜寻最佳匹时，所搜寻的像素的范围。在Triclops系统中0个像素的视差代表了无穷远处的物体。最大的视差定义了能被检测到的最近的物体。我们需要根据实际的任务来设置合适的视差范围。减小视差范围可以加快系统的运行速度，并降低误匹配的几率。

相关模板（Correlation mask）

相关模板是围绕着一个像素的一个正方形邻域，这个像素就是系统想要为其寻找匹配的像素。我们可以设定这个相关模板的尺寸。大的模板会产生更密集更平滑的深度图像，然而，在识别不连续深度位置的精度上会有所欠缺。另一方面，小的模板所产生的图像较为稀疏且会有更多的噪声，但在定位不连续深度的时候会有上佳的表现。

为了生成相同的结果，模板的尺寸要与被处理图像的分辨率成一定的比例。就是说为了得到具有可比性的结果，对于160x120图像的5x5的模板，对于320x240图像的时候模板要增大到9x9。模板的尺寸必须是奇数。3x3，5x5，7x7是有效的模板尺寸，而4x4，6x6，8x8则是无效的模板尺寸。Triclops提供了最大为15x15和最小为1x1的模板。另外，Triclops中提供了一个新的用于实验的函数：troclopsSetAnyStereoMask，这个函数允许用户设置任意尺寸的相关模板。

确认（Validation）

在一些情况下，例如封闭的缺乏变化的质地，是无法建立图像之间的相关的。如果相关建立的不正确，那么测量的结果也就是不正确的了。为了避免不正确的测量，系统引入了两个确认的方法：

质地确认（Texture validation）是基于相关模板的质地的水平的，它决定了视差值是否有效。如果质地的水平不足以产生一个正确的匹配，这个像素就会被声明为无效。

唯一性确认（Uniqueness validation）是指对于一个特定像素的最佳匹配和这个相关模板下的其他匹配比起来是不是足够好。即使相关模板的质地满足要求，由于封闭的原因，可能还是

用户可以设定两个阈值来控制确认的严格程度——一个是质地另一个是唯一性。

双目视觉成像原理

双目视觉成像原理 1.引言 双目立体视觉(BiｎoculａｒStereo Viｓｉoｎ)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Dｉｓpａrity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体）测量中，由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点Ａ（X,Y,Z)在左右摄像机的成像面ＣL和CＲ上的像点分别为ａl(ｕl,vl)和ａr(ur,vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Oｒ的连线，即投影线ａlOl和arＯr,它们的交点即为世界空间中的对象点A(X,Y,Z)。这就是立体视觉的基本原理。 图1:立体视觉系统 ３.双目立体视觉相关基本理论说明 3．1双目立体视觉原理 双目立体视觉三维测量是基于视差原理,图2所示为简单的平视双目立体成像原理图,两摄像机的投影中心的连线的距离,即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处,坐标系如图２所示。事实上摄像机的成像平面在镜头的光心后,图２中将左右成像平面绘制在镜头的光心前f处,这个虚拟的图像平面坐标系O1uｖ的u轴和v轴与和摄像机坐标系的x轴和ｙ轴方向一致,这样可以简化计算过程。左右图像坐标系的原

基于HALCON的双目立体视觉系统实现

图1双目立体成像原理图图3一般双目立体视觉系统原理图 由此可计算出空间中某点P在左摄像机坐标系中的坐标为: 因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，就可以确定这个点的三维坐标。 1．2双目立体视觉的系统结构以及精度分析 由上述双目视觉系统的基本原理可知，为了获得三维空间中某点的三维坐标，需要在左右两个摄像机像面上都存在该点的相应点。立体视觉系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体。图3为原理图。这样通过求得两个图像中相应点的图像坐标，便可以由双目立体视觉测量原理求取三维空间坐标。事实上，获取两幅图像也可以由一个摄像机实现，如一个摄像机通过给定方式的运动，在不同位置观测同一个静止的物体，或者通过光学成像方式将两幅图像投影到一个摄像机，都可以满足要求。 各种双目视觉系统结构各有优缺点，这些结构适用于不同的应用场合。对要求大测量范围和较高测量精度的场合，采用基于双摄像机的双目立体视觉系统比较合适；对测量范围要求比较小，对视觉系统体积和质量要求严格，需要高速度实时测量对象，基于光学成像的单摄像机双目立体视觉系统便成为最佳选择。 基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上，在进行双目视觉系统标定以及应用该系统进行测量时，要确保摄像机的内参(比如焦距)和两个摄像机相对位置关系不能够发生变化，如果任何一项发生变化，则需要重新对双目立体视觉系统进行标定。 视觉系统的安装方法影响测量结果的精度。测量的精度可由下式得出: 上式中⊿z表示测量得出的被测点与立体视觉系统之间距离的精度，z指被测点与立体视觉系统的绝对距离，f指摄像机的焦距，b表示双目立体视觉系统的基线距，⊿d表示被测点视差精度。 为了得到更高的精度，应该使摄像机的焦距以及基线长度增大，同时应该使被测物体尽可能的靠近立体视觉系统。另外这个精度和视差的精度有直接的关系。在HALCON中一般情况下视差结果可以精确到1/5~1/10个像素，如果一个像素代表7.4μm那么视差的精度可以达到1μm。图4表示深度测量的精度和各个参数之间的关系（假设视差精度为1μm）。 如果b和z之间的比值过大，立体图像对之间的交迭区域将非常小，这样就不能够得到足够的物体表面信息。b/z可以取的最大值取决于物体的表面特征。一般情况下，如果物体高度变化不明显，b/z可以取的大一些；如果物体表面高度变化明显，则b/z的值要小一些。无论在任何情况下，要确保立体图像对之间的交迭区域足够大并且两个摄像机应该大约对齐，也就是说每个摄像机绕光轴旋转的角度不能太大。

BumbleBee2 双目视觉系统技术说明

本文所包含的内容： 讲述了bumblebee 立体视觉的原理 讲述了bumblebee Demo 程序中各项参数的含义及如何调整 讲述了为什么在深度图像和重构的3D 图像中有无效的像素 本文的阅读方法： 红色字体是关键的地方 立体视觉 本文将试着去阐述立体视觉技术。阅读完本文后你将对数据如何在系统中流动和其间所有可调整的参数有一个更深入的了解。这将使你可以量身定做自己的系统来完成特殊的任务。 立体视觉的基本原理 立体视觉的任务是完成空间的测量，这种测量是基于空间上存在偏移的相机所采集到的图像的。立体视觉的处理过程可分为如下三步： 建立从不同观测角度所获得的同一场景图像特征的相关。 计算每幅图像中相同特征的相对位移 根据相机的几何结构，决定特征相对于相机的3D 位置 考虑如下两幅图片。这两幅图片取自一对存在水平偏移的Triclops 相机模型。我们可以在两幅图片中分别定义两个点A 和B 。点left A 对应于点right A ，同样的，点left B 对应于点right B 。 使用一把尺子，如果你测量一个点到图像边缘的水平距离，你会发现左图的这个距离比右图中对应点到图像边缘的水平距离要大。例如，左图中边缘到电话听筒的距离要大于右图中边缘到电话听筒的距离。我们就可以根据这个距离（也被叫做视差）来确定电话听筒到相机模型的距离。 我们把左图和右图中相同特征在各自坐标系中的值的差定义为视差。你会发现在两幅图中，图像上端到所匹配的特征的距离完全相同，这是因为相机是水平排列的，因此只有水平的位移。

于是特征A 的视差被定义成D(A) = x(A left ) – x(A right )，B 的则为D(B) = x(B left ) – x(B right )，其中x(A left )是A left 点的x 轴坐标。 如果你去计算D(A) 和D(B)，你会发现 D(A)

基于双目立体视觉三维重建系统的制作流程

本技术公开了一种基于双目立体视觉三维重建系统，涉及三维重建系统技术领域；机箱的底部四角处均固定安装有行走轮，机箱的内部分别固定安装有蓄电池与处理计算机，机箱的上端分别固定安装有显示器与安装架，安装架上通过轴承座固定安装有主轴，主轴的下端固定安装有安装齿轮，安装齿轮与驱动齿轮相啮合，驱动齿轮固定安装有驱动电机的轴上，驱动电机通过螺栓安装在安装架上，主轴的上端固定安装有连接轴，连接轴为横向设置，连接轴的两端固定安装有双摄像头，连接轴的中上端固定安装有照明灯；本技术能够实现快速控制，稳定性高，且控制准确，操作简便，能够节省时间；使用方便，结构简单，且效率高，能够在检测时进行补光。 技术要求

1.一种基于双目立体视觉三维重建系统，其特征在于：包括机箱、行走轮、蓄电池、处理计算机、显示器、安装架、驱动齿轮、驱动电机、安装齿轮、主轴、连接轴、双摄像头、照明灯；机箱的底部四角处均固定安装有行走轮，机箱的内部分别固定安装有蓄电池与处理计算机，机箱的上端分别固定安装有显示器与安装架，安装架上通过轴承座固定安装有主轴，主轴的下端固定安装有安装齿轮，安装齿轮与驱动齿轮相啮合，驱动齿轮固定安装有驱动电机的轴上，驱动电机通过螺栓安装在安装架上，主轴的上端固定安装有连接轴，连接轴为横向设置，连接轴的两端固定安装有双摄像头，连接轴的中上端固定安装有照明灯，蓄电池通过导线与处理计算机、显示器的电源端电连接，双摄像头通过导线与处理计算机的输入端电连接，处理计算机的输出端分别与驱动电机、照明灯电连接，显示器与处理计算机的输入、输出端电连接。 2.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述显示器为触摸式显示屏。 3.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述行走轮为减震式万向行走轮。 4.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述驱动电机为低速电机。 5.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述照明灯为LED灯。 技术说明书 一种基于双目立体视觉三维重建系统 技术领域 本技术属于三维重建系统技术领域，具体涉及一种基于双目立体视觉三维重建系统。 背景技术

双目视觉成像原理讲解学习

双目视觉成像原理

双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。

图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目 立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v ==

双目视觉原理

Bumblebee 双目测量基本原理 一．双目视觉原理： 双目立体视觉三维测量是基于视差原理。 图 双目立体成像原理 其中基线距B=两摄像机的投影中心连线的距离；相机焦距为f 。 设两摄像机在同一时刻观看空间物体的同一特征点(,,)c c c P x y z ，分别在“左眼”和“右眼”上获取了点P 的图像，它们的图像坐标分别为(,)left left left p X Y =，(,)right right right p X Y =。 现两摄像机的图像在同一个平面上，则特征点P 的图像坐标Y 坐标相同，即 left right Y Y Y ==，则由三角几何关系得到： () c left c c rig h t c c c x X f z x B X f z y Y f z ?=???-=???=? ? (1-1) 则视差为：left right D isparity X X =-。由此可计算出特征点P 在相机坐标系下的三维坐标为： left c c c B X x D isp a rity B Y y D isp a rity B f z D isp a rity ? =???= ?? ?= ?? (1-2) 因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，

就可以参与上述运算，从而获取其对应的三维坐标。 二．立体视觉测量过程 1．图像获取 (1) 单台相机移动获取 (2) 双台相机获取：可有不同位置关系（一直线上、一平面上、立体分布） 2．相机标定：确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。 (1)内部参数：相机内部几何、光学参数 (2)外部参数：相机坐标系与世界坐标系的转换 3．图像预处理和特征提取 预处理：主要包括图像对比度的增强、随机噪声的去除、滤波和图像的增强、伪彩色处理等； 特征提取：常用的匹配特征主要有点状特征、线状特征和区域特征等 4．立体匹配：根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。 立体匹配有三个基本的步骤组成：1)从立体图像对中的一幅图像如左图上选择与实际物理结构相应的图像特征；2)在另一幅图像如右图中确定出同一物理结构的对应图像特征；3)确定这两个特征之间的相对位置，得到视差。其中的步骤2是实现匹配的关键。 5．深度确定 通过立体匹配得到视差图像之后，便可以确定深度图像，并恢复场景3－D信息。 三．Triclops库中的数据流程 Triclops库中的数据流程如下图所示。系统首先从相机模型中获得raw格式的图像，最终将其处理成深度图像。在系统中有两个主要的处理模块。第一个处理模块是一个应用了低通滤波、图像校正和边缘检测的预处理模块。第二个处理模块用来做立体匹配、结果确认和亚像素插值。最后的处理结果就是一幅深度图像。 1．预处理（Pre-processing）

双目视觉传感器系统

双目视觉传感器系统 视觉检测广泛地应用于工件的完整性、表面平整度的测量:微电子器件(IC芯片、PC板、BGA)等的自动检测;软质、易脆零部件的检测;各种模具三维形状的检测;机器人的视觉导引等。最具有吸引力的是由视觉传感器阵列组成的大型物体(如白车身)空间三维尺寸多传感器视觉检测系统。 双目视觉传感器由两台性能相同的面阵CCD摄像机组成,基于立体视差的原理,可完成视场内的所有特征点的三维测量,尤其是其它类型的视觉传感器所不能完成的测量任务,如圆孔的中心、三棱顶点位置的测量等。因此,双目视觉传感器是多传感器视觉检测系统的主要传感器之一。要实现双目视觉传感器直接测量大型物体关键点的三维测量,就必须知道传感器的内部参数(摄像机的参数)、结构参数(两摄像机间的位置关系)及传感器坐标系与检测系统的整体坐标系的关系(即全局标定)。因此,在实际测量之前,先要对摄像机进行参数标定。一般方法是,传感器被提供给整个系统使用前,就离线完成传感器的内部参数及结构参数的标定,采用一标准二维精密靶标及一维精密导轨,通过移动导轨来确定坐标系的一个坐标,通过摄像机的像面坐标及三个世界坐标的对应关系求得这些参数。 这种方法的缺点是:标定过程中,需要精确调整靶标与导轨的垂直关系,而且需多次准确移动导轨;同时标定过程的环境与实际测量的情形有差异;传感器在安装的过程中,易引起部分参数的变化,需多次的拆卸;摄像机还需进行全局标定。由此可知标定的劳动强度大,精度难以保证。本文提出了一种现场双目传感器的标定方法,只需先确定摄像机的部分不易变化的参数,其它参数在摄像机安装到整个系统后进行标定。该方法大大地减少了上述因素的影响,能得到满意的标定精度。 双目视觉测量探头由2个CCD摄像机和1个半导体激光器组成，如下图所示。

双目视觉地图像立体匹配系统说明书文档

双目视觉的图像立体匹配系统文档 1 引言 计算机视觉技术的发展将光与影的艺术和计算机的逻辑性紧密结合起来，而双目立体视觉技术更将这种结合从平面二次元上升到立体的角度，为我们的生产生活提供了新的技术和工具，例如已经被普遍运用的3D电影技术，研发中的虚拟现实、谷歌视觉眼镜、汽车自动驾驶技术，即将上市的淘宝虚拟实景购物等，不断改变着我们的生活，另外双目立体视觉在军事、医学、工业等领域都有其重要的作用，是机器感知物体几何层级的基础，因此对双目视觉的理论研究成为推动立体视觉乃至计算机视觉技术在各个领域创造更高价值的重要因素。 在双目视觉的研究和运用中，最重要的一个阶段无疑为将平面图像转化为可计算机可识别的立体模型，这里将用到立体匹配技术，目前双目视觉研究领域用到的立体匹配算法及其衍生算法有很多种，算法的效率和匹配精度将直接影响到算法运用的响应时间和准确度[1]，当今各种视觉智能设备的发展需要将立体匹配过程直接嵌入到单片机中，这种场景下，算法的效率和匹配精度将直接决定不同运算性能的嵌入式设备的选择和产品推广后的用户体验度，也将直接决定设备成本，因此研究出更加速度快、精度高的立体匹配算法在各领域都具有划时代的重要意义。 2 系统方案设计 2.1 双目视觉的图像立体匹配系统 说起立体视觉系统，要从人的双眼说起，人眼是一个典型的双目视觉系统，每只眼睛是一个摄像机，两只平行的眼睛是两台平行的摄像机，因为两只眼睛的位置不同，看到的图像是有差异的，这个差异就是立体视觉的基础，视觉信号传入大脑，大脑利用其强大的匹配能力，就可以基本确定图像中的物体的立体信息，或者叫做图像的深度信息。随着人们知识和生产生活的发展，需要通过仿真立体视觉的原理，让计算机获取到图像从2D向3D发展，即获取图像的深度信息，以实现一些和空间视觉有关的需求，这就出现了机器立体视觉技术。

双目立体视觉

双目立体视觉 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi 语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图图3 一般双目立体视觉系统原理图

双目视觉成像原理

双目视觉成像原理 1、引言 双目立体视觉(Binocular Stereo Vision)就是机器视觉得一种重要形式,它就是基于视差原理并利用成像设备从不同得位置获取被测物体得两幅图像,通过计算图像对应点间得位置偏差,来获取物体三维几何信息得方法。融合两只眼睛获得得图像并观察它们之间得差别,使我们可以获得明显得深度感,建立特征间得对应关系,将同一空间物理点在不同图像中得映像点对应起来,这个差别,我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场得在线、非接触产品检测与质量控制。对运动物体(包括动物与人体形体)测量中,由于图像获取就是在瞬间完成得,因此立体视觉方法就是一种更有效得测量方法。双目立体视觉系统就是计算机视觉得关键技术之一,获取空间三维场景得距离信息也就是计算机视觉研究中最基础得内容。 2、双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示,图中分别以下标L与r标注左、右摄像机得相应参数。世界空间中一点A(X,Y,Z)在左右摄像机得成像面C L与C R上得像点分别为al(ul,vl)与ar(ur,vr)。这两个像点就是世界空间中同一个对象点A得像,称为“共轭点”。知道了这两个共轭像点,分别作它们与各自相机得光心Ol与Or得连线,即投影线alOl与arOr,它们得交点即为世界空间中得对象点A(X,Y,Z)。这就就是立体视觉得基本原理。 图1:立体视觉系统 3、双目立体视觉相关基本理论说明 3.1 双目立体视觉原理 双目立体视觉三维测量就是基于视差原理,图2所示为简单得平视双目立体成像原理图,两摄像机得投影中心得连线得距离,即基线距为b。摄像机坐标系得原点在摄像机镜头得光心处,坐标系如图2所示。事实上摄像机得成像平面在镜头得光心后,图2中将左右成像平面绘制在镜头得光心前f处,这个虚拟得图像平面坐标系O1uv得u轴与v轴与与摄像机坐标系得x轴与y轴方向一致,这样可以简化计算过程。左右图像坐标系得

双目立体视觉技术简介

双目立体视觉技术简介 1. 什么是视觉 视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统，用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学，视觉心里学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中，计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一，如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，计算机视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述；从广义上说，是根据周围的环境和观察者的意愿，在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力，这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等)，而且能进一步对它们进行描述、存储、识别与理解，计算机视觉己经发展起一套独立的计算理论与算法。 2. 什么是计算机双目立体视觉 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图一。 图一、视差（Disparity）图像 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。 双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系

基于HALCON的双目立体视觉系统实现

基于HALCON的双目立体视觉系统实现 段德山（大恒图像公司） 摘要双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。本文将主要介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率提供了参考。 关键词双目视觉三维重建立体匹配摄像机标定视差 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论介绍

1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到： 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差：

双目立体视觉

计算机双目立体视觉 双目立体视觉技术是仿照人类利用双目线索感知深度信息的方法，实现对三维信息的感知。为解决智能机器人抓取物体、视觉导航、目标跟踪等奠定基础。 双目立体视觉（Binocular Stereo Vision ）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点之间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获取的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作为视差（Disparity ）图像。 双目立体视觉系统 立体视觉系统由左右两部摄像机组成，如图，世界空间中的一点A(X,Y ,Z)在左右摄像机的成 像面1C 和r C 上的像点分别为）（111,v u a 和） （r r r v u a ,。这两个像点是世界空间中同一个对象点A 的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心1O 和r O 的连线，即投影线11O a 和r r O a ，它们的交点即为世界空间中的对象点A 。这就是立体视觉的基本原理。 双目立体视觉智能视频分析技术 恢复场景的3D 信息是立体视觉研究中最基本的目标，为实现这一目标，一个完整的立体视觉系统通常包含六个模块：图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频

分析（运动检测、运动跟踪、规则判断、报警处理）。 图像获取（Image Acquisition ） 数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般为双目图像，有的采用夺目图像。图像的获取方式有很多种，主要有具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求，而且考虑视点差异、光照条件、摄像机的性能和场景特点等方面的影像。 摄像机标定（Camera Calibration ） 图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空 间物体表面相应点的几何位置有关。这些位置的相互关系由摄像机成像几何模型来决定。该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机定标。 立体视觉系统摄像机标定是指对三维场景中对象点在左右摄像机图像平面上的坐标位置）（111,v u a 和） （r r r v u a ,与其世界空间坐标A （X, Y , Z ）之间的映射关系的确立，是实现立体视觉三维模型重构中基本且关键的一步。 特征提取（Feature Acquisition ） 特征提取的目的是获取匹配得以进行的图像特征，图像特征的性质与图像匹配的方法选择有着密切的联系。目前，还没有建立起一种普遍适用的获取图像特征的理论，因此导致了立体视觉研究领域中匹配特征的多样化。像素相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映着信号的结构信息，对图像的高频噪声有很好的一直作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。或者是像素的集合，也可以是它们的抽象表达，如图像的结构、图像的目标和关系结构等。常用的匹配特征主要有点状特征、线装特征和区特征等几种情形。 一般而言，尺度较大的图像特征蕴含较多的图片信息，且特征本身的数目较少，匹配效率高；但特征提取和描述过程存在较大的困难，定位精度也较差。而对于尺度较小的图像特征来说，对其进行表达和描述相对简单，定位的精度高；但由于特征本身数码较多，所包含的图像信息少，在匹配时需要采用较为严格的约束条件和匹配策略，一尽可能的减少匹配歧义和提高匹配效率。总的来说，好的匹配特征应该具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。 图像匹配（Image Matching ） 在立体视觉中，图像匹配是指将三维空间中一点A （X, Y , Z ）在左右摄像机的成像面1C 和r C 上的像点）（111,v u a 和） （r r r v u a ,对应起来。图像匹配是立体视觉中最重要也是最困难的问题，一直是立体视觉研究的焦点。当空间三维场景经过透视投影（Perspective Projection ）变换为二维图像时，同一场景在不同视点的摄像机图像平面上成像会发生不同程度的扭曲和变形，而且场景中的光照条件、被测对象的几何形状和表面特性、噪声干扰和畸变、摄像机特性等诸多因素的影响都被集中体现在单一的图像灰度值中。显然，要包含了如此之多不利因素的图像进行精准的匹配是很不容易的。

基于双目立体视觉的动态体积测量系统.

基于双目立体视觉的动态体积测量系统 王畅1，赵彩霞2，韩毅1 1. 长安大学汽车学院，陕西西安（710064） 2. 长安大学电控学院，陕西西安（710064） E-mail ：wangchang0905@https://www.doczj.com/doc/3b2713961.html, 摘要：以双目立体视觉为基础，设计了一种动态体积测量系统。系统主要应用于粉末状药物的流散性分析。系统中采用三台数字式CCD 摄像机对被测物进行图像采集，利用Visual C++.net以及OpenGL 对测量过程中所得到图像进行三维重构，还原物体的三维形状，同时得到在每个测量时刻药堆的体积, 实现了对药堆的连续非接触式测量。 关键词：双目立体视觉；非接触式测量；三维重构 中图分类号：TP29 文献标识码：A 1. 引言 药品生产过程中，药物的流散性直接影响到药品自动压装的生产工艺。本文设计了一种用于动态测量粉末状药物体积的非接触式测量系统，通过药堆体积随时间增长的关系曲线来判断药物的流散性能。系统模拟药品的填装过程，采用一个玻璃漏斗，下面安装一个透明量杯。药品从漏斗下落时，安装在量杯周围的摄像机对量杯底部的药堆进行实时图像采集，通过图像处理及三维重构得到采集过程被测对象的形状和体积。 2. 系统构成

系统的主要测量对象是粉末状药物或者其他粉末状物质，在药物下落过程中，药堆的体积不断增长。系统中的三台数字摄像机从三个不同角度对药堆进行图像采集，对采集到的图像进行三维重构后得到特定时刻序列上的三维形状及体积。图1是系统的组成图。 图1：系统组成图 2.1计算机 系统中采用两台计算机分工协作，一台用于控制系统的工作，另外一台用于图像处理及

三维重构。三维重构对计算机的性能有很高的要求，特别是对CPU 的运算速度和内存大小有很高要求。对三幅图像进行三维重构时运算量非常大，普通计算机运算起来耗时长，以Pentium 4，2.6G 的CPU ，512MB 内存进行运算时需要5分钟左右，同时容易造成死机。为了提高处理速度以及稳定性, 图像处理计算机采用了Intel Corel Q6600四核处理器，主频为 2.4G ，内存大小为4G 。用该计算机对一帧图像进行重构只需5秒左右。 2.2摄像机系统 与普遍应用的图像采集系统不同，本系统中没有采用图像采集卡采集图像。系统中所选用的摄像机是数字式的，三台数字式摄像机输出数字图像，经千兆以太网交换机与计算机的千兆网卡相连。系统中采用德国BASLER scA1000-30gm数字式黑白摄像机。该摄像机采用3/1〞SONY CCD芯片，分辨率为1034×779，采集频率为30帧每秒。摄像机内置了千兆以太网输出端口，使用六类网线进行数据传输时，传输速率能够达到320MB/s，在采集速度为30帧每秒的情况下能够很好的满足系统要求。摄像机镜头采用computar M1214-MP 2/3〞镜头，焦距为12mm ，手动调节光圈。 系统中的三台摄像机在空间以120°对称安装，摄像机俯拍角度为18.4°，镜头离地高度为175mm 。图2是单个摄像机的安装示意图。 图2：摄像机安装示意图

双目视觉测量系统的参数选择和误差分析(精)

双目视觉测量系统结构参数设计及误差分析 摘要：通过对双目视觉测量系统的研究，建立了双目视觉测量系统的误差模型，并分析了系统结构参数对测量结果的影响。在理论上对系统结构参数(两光轴夹角、基线距离等参数与测量精度之间的关系进行了系统、详尽的分析，得出了测量系统的位置误差对距离方向上的精度影响较大；光轴夹角的变化对测量误差影响不大，而距离方向的误差随着基线距离的增加而减小的结沦。本文建立的误差模型对具体的双目视觉测量系统的设计具有指导作用。 关键词：光学测量；双目视觉；误差分析；结构参数。 0 引言 近来，由于传统的测量方法低速低效，不能满足发展迅速的先进工艺制造的需求。因此，高效、智能、高精度的视觉测量方法的研究越来越受到关注。根据国内外研究，视觉测量技术将会在未来军用民用领域得到广泛应用。但是，目前视觉测量技术仍不能避免一些干扰因素，诸如视线噪声、相机性能、透镜畸变、特征提取和计算机视觉结构的影响，测量精度难以满足工业要求。因此，如何提高测量精度是工业视觉测量方法面临的最大问题。 由于图像一点的三维坐标不能反应一个相机拍摄图片的所有信息，而两个相机拍摄一点图片不能用三角函数的方法进行三维计算。因此，常常在视觉系统中加入镜面或结构光来实现双目视觉的功能。双目视觉系统具有柔性结构，易于安装并且价格低廉，被广泛应用。但是，当视觉系统选择不同的结构参数，测量精度会受到很大影响。目前，大多数视觉结构根据仿真实验确定，很少有理论依据。而且大多数视觉系统强调物体识别而不是测量精度。为了提高测量精度和扩展应用范围，对于结构参数的综合分析十分必要。 本文确立了双目测量系统结构参数的数学模型，通过分析结构参数和测量点的特征关系，明确结构参数的误差分布曲线。根据matlab的仿真结果，确定了在误差最小的范围内的最有价值的结构参数分布。 1 双目视觉系统的数学模型 1.1双目视觉系统的三维结构模型 双目视觉系统的结构参数主要包括扩：两个相机的光轴与基线形成的夹角 (α1, α2，基线是两台照相机物镜光学中心的连线（用B表示）；两台照相机的焦点(f1 ,f 2和物距。这些参数中一个变化就会引起其他几个参数的变化。

双目立体视觉中的三维重建

西安邮电大学 毕业设计（论文）题目：双目立体视觉中的三维重建 系别：自动化学院 专业：测控技术与仪器 班级：测控0802班 学生姓名：吕海斌（07） 导师姓名：江祥奎职称：讲师 起止时间：2012年3月8日至2012年6月20

诚信声明书 本人声明：我将提交的毕业论文《双目立体视觉中的三维重建》是我在指导教师指导下独立研究、写作的成果，论文中所引用他人的无论以何种方式发布的文字、研究成果，均在论文中加以说明：有关教师、同学和其他人员对本文的写作、修订提出过并为我再论文中加以采纳的意见、建议，均已在我的致谢中加以说明并深致谢意。 论文作者吕海斌时间：2012年6 月7 日 指导教师已阅时间：年月日

西安邮电大学 毕业设计(论文)任务书 学生姓名吕海斌指导教师江祥奎职称讲师 院别自动化学院专业测控0802 题目双目立体视觉中的三维重建 任务与要求 本题目要求在搭建双目立体视觉平台的基础上，通过OpenGL和MATLAB联合编程实现三维重建功能。具体任务分解如下： 1．查找文献，学习和掌握三维重建方法； 2．完成三维重建的MATLAB编程，并对实验数据进行相关分析；3．通过OpenGL，实例编程实现三维重建； 4．通过OpenGL和MATLAB联合编程，完成三维重建； 开始日期2011年12月10日完成日期2012年6月25日 院长(签字) 2012 年12 月日

西安邮电大学 毕业设计 (论文) 工作计划 学生姓名__吕海斌_指导教师__江祥奎__职称__讲师_ 院别____自动化学院____专业____测控0802___ 题目_____ 双目立体视觉中的三维重建 工作进程

基于双目立体视觉技术的空间定位系统设计与实现

? 178 ? ELECTRONICS WORLD ?技术交流 如今，三维重构技术广泛应用于工业检测、三维测量、虚拟现实等领域。同时双目立体视觉也是计算机视觉的一个重要分支。立体视觉是指从两个不同的角度去观察场景中的同一个物体，来获取不同视角下的二维图像，再运用成像几何原理来计算图像像素之间存在的位置偏差(视差)，从而获取物体的三维信息。本文通过设计一种用于目标空间三维距离、方位信息探测的立体视觉系统及实现方法，根据图像识别结果进而获得目标的三维信息。 一、立体视觉技术概述及应用 1.立体视觉技术概述 立体视觉技术是计算机视觉领域中一个非常活跃的研究热点，它结合了图像处理、计算机视觉、计算图形学以及生物生理学等诸多领域的理论和方法。它通过对多张图像的分析处理来获取物体的三维几何信息，尽可能逼真地实现模仿人类的双目视觉的功能。同时双目立体视觉也是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景，并通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。 2.本项目研究目的 设计一种用于目标空间三维距离、方位信息探测的立体视觉系统及实现方法。该系统根据双目视觉原理，利用预制三维标定物对图像获取系统的内、外参数进行标定，求出投影变换矩阵，根据图像识别结果运用灰度模板、连续性假设和对极几何约束进行识别目标的特征匹配，进而获得目标的三维信息。 3.该技术当前发展状况 立体视觉技术在国内外科学研究上都有广泛应用。在国外，华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航。国内，维视图像公司采用双目ccd 相机，从工业相机内参标定、镜头畸变标定、立体匹配、特征点分割处理等方面给出了详细的数学模型和算法接口。其双目标定软件ccas 可以实现机器人导航、微操作系统的参数检测、三维测量和虚拟现实等应用。 4.发展趋势 1）探索新的适用于全面立体视觉的计算理论和匹配择有效的匹配准则和算法结构，以解决存在灰度失真，几何畸变（透视，旋转，缩放等），噪声干扰，及遮掩景物的匹配问题； 2）算法向并行化发展，提高速度，减少运算量，增强系统的实用性。 二、双目立体视觉技术的空间定位系统设计与实现 1.本课题技术基础 面对单目视觉系统对物体深度信息不能体现的缺点，通过搭建双目视觉系统平台，从而测量目标物体，该过程主要有包含：摄像机标定、图像预处理、特征点的提取与匹配、三维重建。需要解决的问题具体如下： 1）对图像的采集 现实中利用摄像机获取场景中物体图像都是二维的，它是恢 复物体三维真实信息的基本本源，后续的处理受二维图像获取的好坏所影响。故在一般情况下，获取二维图形要考虑光照强度、摄像机的性能、所拍摄物体特点等因素，这样才能做到采集到的二维图像质量较高，为后续的特征点匹配和三维重构打下基础。可利用L abVIEW 专门为图像的采集所推出的视觉开发包。 2）对图像进行预处理 在外界环境的影响下，图像预处理是机器视觉研究过程中不可或缺的一步。因为在采集图片的过程中会伴随有一些随机噪声，且对图像进行预处理，还可提高图像的质量，剔除多余的信息，达到运用所需标准，便于今后对特征点的提取。 3）提取特征点 特征点反映图像特性是图像的主要特性。特征点在三维场景的重建，识别图像，运动物体的估计等许多方面有着广泛的运用。当前的特征点检测算法主要包含有三种，源于灰度变化的提取算法，源于图像边缘检测的提取算法以及源于模板匹配的提取算法。通过实验研究结果表明，源于灰度变化的特征点提取具有便于区分、稳定、不变形等特点，其通常用于三维重构中能够完好地恢复物体的深度信息。 4）摄像机的标定设计 在对物体进行三维测量与重建的过程中，摄像机的标定是极其重要的一步。该过程是为了确定图像二维坐标与三维坐标间的对应关系。由摄像机的内，外参数所确定，对获取摄像机的内外参数的过程被称为摄像机标定。所获取摄像机的内，外参数精确与否，对匹配与重建的结果具有重大影响。 5）构建立体匹配 立体匹配是三维重构研究和整个视觉系统中极其重要的一步。是通过一定的约束条件来确定出左右摄像机所拍摄两幅图像上特征点之间的对应关系，故其不同于普通的模板匹配，没有具体的参考模板。在实际应用中，由于受到噪声的干扰，摄像机镜头的畸变，被测对象的表面特性所影响，所获取的二维图像并不理想，对于实现准确度较高的立体匹配具有一定困难。 6）实现三维重构 三维重构的根本任务是通过摄像机标定、图像预处理、特征点提取与匹配等工作，继而获得摄像机内，外参数、畸变系数和图像特征点之间的对应关系。最后通过所获得的物体信息，运用三角测量原理将被测物体的深度信息恢复。 2.系统设计与实现 1）选择软件编程平台：优先选择LabVIEW 平台。 选择硬件配置：在硬件上选用微软的USB 摄像头，XBOX360型号。 2）分析结果：分析对基于嵌入式平台的人脸跟踪与识别系统产生误差的因素，结果和系统的经济适用性，获得所需功能。主要步骤分为：对图像的获取、图像预处理、摄像机标定、立体匹配和三维重构。 3.总体方案设计 使用L abVIEW 软件完成对图像的采集与处理以及立体匹 基于双目立体视觉技术的空间定位系统设计与实现 江苏大学 李冠贤 何思铭 费浩雯