基于图像校正与灰度相关性的立体匹配算法研究

机械 2010年第8期 总第37卷 设计与研究 ·15·

——————————————— 收稿日期：2010－03－15 作者简介：时洪光（1984－），男，山东德州市人，硕士研究生，主要研究方向为机械电子。 基于图像校正与灰度相关性的 立体匹配算法研究 时洪光，张凤生，郑春兰 （青岛大学 机电工程学院，山东 青岛 266071） 摘要：立体匹配是双目视觉系统中必不可少的环节，对特征点进行匹配求解过程复杂，而且误匹配率较高。外极线约束为立体匹配提供了便利条件，但由于实际系统中的外极线是弯曲的，使得沿外极线进行同名点搜索不仅非常耗时，而且计算过程受噪声影响大。给出一种基于图像校正与灰度相关性的立体匹配算法。首先采用图像校正方法将弯曲的外极线变为相互平行的水平外极线，简化了外极线的求取过程；再利用灰度相关性算法对同名点进行匹配。实验结果验证了本文方法的准确性和稳定性。 关键词：双目视觉；立体匹配；图像校正；灰度相关性 中图分类号：TP391 文献标识码：A 文章编号：1006－0316 (2010) 08－0015－04 Research on stereo matching method based on image rectification and gray correlation SHI Hong-guang，ZHANG Feng-sheng，ZHENG Chun-lan (College of Mechanical & Electrical Engineering，Qingdao University，Qingdao 266071，China) Abstract：Stereo matching is requisite for a binocular vision system. The process of the feature points matching is complex and with some mistake. Epipolar line restriction is convenient for stereo matching. However, the epipolar line in a practical system is curved, which makes that the searching corresponding points along epipolar line not only is time-consuming, but also is seriously effected by noise. Presents a matching algorithm based on image rectification and gray correlation. The curved epipolar line was converted into parallel straight lines, which simplified the solving process of epipolar line, and then the algorithm based on gray correlation was used to match corresponding points. Programming calculation results verified its accuracy and stability. Key words：binocular vision；stereo matching；image rectification；gray correlation 双目视觉系统被广泛应用于机器人视觉导航、智能交通、军事视觉制导等领域，而立体匹配是双目视觉系统中必不可少的环节[1]。立体匹配的本质就是给定一幅图像中的一点，寻找另一幅图像中的对应点，使得这两点为空间同一物体点的投影，进而求出二者的视差，以恢复场景的深度信息，并进一步求得该点的空间坐标。当空间的三维场景投影成二维图像时，同一物体在不同视点下的图像会有很大的不同，而且场景中的很多因素，像光照条件、镜头畸变、物理特性、噪声干扰和物体几何形状等，都会影响最终的匹配结果[2]。本文旨在研究匹配精度高、计算速度快的立体匹配方法。 1 立体匹配约束条件 一般情况下，一幅图像中的某一特征基元在另一幅图像中可能会有很多候选匹配对象，可真正同名的结构基元只有一个，因此可能出现误匹配。为提高匹配精度，必须根据某些约束条件来消除误匹配。常用的匹配约束条件有：外极线约束、唯一性约束、连续性约束、相似性约束、顺序一致性约束等[3]。其中外极线约束把一个点在另一幅图像上的可能匹配点的分布从二维降到了一维，大幅度缩小了对应点的搜索空间，不仅提高了特征点搜索速度，而且减少了误匹配，应用最为广泛。 ·16· 设计与研究 机械 2010年第8期 总第37卷

1.1 外极线约束原理 为了计算三维空间点坐标，必须在两幅图像中找到其相应点。如图1所示，点P1和P2分别为世界坐标系中同一点Pw在两幅图像中的投影，称这两个点为“同名点”。点Q1和Q2为世界坐标系中另一点Qw在两幅图像中的投影。 其中，由P1、O1和O2三点定义的平面称为外极平面，该平面在右侧图像上的投影称为外极线[4]。当在左侧图像中确定了点P1，只要在右侧图像中找到其同名点P2，即可计算出点Pw的坐标。如果全幅图像搜索点P2，不仅计算量大，也没必要。根据光学成像关系，点Pw、O1、O2、P1、P2在同一平面上，且Pw点位于P1和O1点定义的连线上，而P2点只可能位于极平面在右侧图像的投影，即外极线上。 图1 两个摄像机外极线几何结构 同理，如果给定右侧图像中一点P2，左侧图像中同名点P1也一定位于P2在左侧图像中的外极线上。通常情况下，不同的点对应不同的外极线，而且一幅图像中所有的外极线相交于同一点E，该点被称为外极点。外极点是另一个摄像机的投影中心在各自图像中的投影。由于所有外极平面都包含O1和O2点，因此外极点都位于由两个投影中心定义的直线（基线）上，这种约束条件即为外极线约束[5]。 1.2 外极线求取 利用外极线进行同名点匹配的关键是求取基本矩阵F。它是匹配点之间对应关系的数学表示[6]，包含摄像机的内参和外参信息，可根据以下关系求得： 11wwwxuySvFz⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⋅=⋅⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦ （1） 式中：S为比例系数；u、v为特征点的图像坐标；xw、yw、zw是特征点的世界坐标；F是3×4的矩阵，可由摄像机标定求得。 计算出基本矩阵后，就可以利用它和一个视图中的特征点计算出另一个视图中匹配点所在的外极线。假设基本矩阵F在摄像机标定阶段已经求出，根据外极线理论，对于左侧图像中的一点P1，其对应的右侧图像中的外极线I2可以表示为： 21IFP= （2） 相应的右侧图像中的一点P2在左侧图像中的外极线I1可以表示为： T12IFP= （3） 每条外极线用归一化的三个参数a、b、c可以表示为： 0aubvc×+×+= （4） 2 基于图像校正与灰度相关性的立体匹配 2.1 图像校正 图2所示为标准外极线几何结构。在标准外极线几何结构中，某一点的外极线就是与该点行坐标相同的直线，左右两幅图像中的同名点只有水平方向的位置差，不存在垂直方向的位置差，对应点的搜索只需沿着图像的水平扫描线进行，搜索耗时极少。然而，实际中将两个摄像机按该几何结构严格对齐是非常困难的，而且镜头成像的畸变不可避免，因此，难以得到标准外极线几何结构。这里通过图像校正方法，将相交光轴的双目视觉几何结构转换为标准外极线几何结构，以加速同名点搜索，提高立体匹配速度。 图2 标准外极线几何结构 为了校正图像，首先将两个新的成像平面放置在同一平面上，变换过程中保持两个投影中心的空间位置不变，即Or1＝O1，Or2＝O2。然后旋转两个摄像机坐标系使它们的x轴与基线方向相同。另外，创建两个新的主点Cr1和Cr2，使它们之间的连接向量与基线平行，同时从主点到各自投影中心的向量垂直于基线。转换结果如图3所示。 用于图像校正的转换矩阵是根据系统标定时得PwP1 P2 O1 O2 Q1 QwQ2 E1 E2 Pw P1P2 O1O2 E1E2 机械 2010年第8期 总第37卷 设计与研究 ·17·

到的摄像机内外参数以及上面的约束条件，通过一次图像最小化计算得到，并保存起来。在利用双目视觉系统进行目标定位时，直接调用预先保存的转换矩阵进行运算，即可得到校正后的标准图像对，因此图像校正的速度非常快。立体图像校正后，同名点位于两幅校正图像的同一行。校正后的系统外极线为水平方向，将匹配过程由二维搜索变为了一维搜索，显著提高了运算速度和匹配精度。 图3 双目视觉几何结构转换为标准外极线几何结构 2.2 灰度相关性匹配 立体匹配的目的是找到图像中点的视差值，求视差的过程可看成是模板匹配的过程。在左侧图像中当前点的周围给定一个尺寸为(2n＋1)×(2n＋1)的矩形窗口，然后必须沿右侧图像中的外极线找到一个最相似的窗口。灰度相关性匹配算法利用图像的灰度计算窗口的相关性，计算量小，速度快。常用计算相关性的方法是计算模板与图像灰度之间差值的绝对值的总和SAD和所有差值的平方和SSD： 122SAD(,,)1|(,)(,)|(21)nnjninrcdgricjgricjdn=−=−=++−++++∑∑（5） 2122SSD(,,)1((,)(,))(21)nnjninrcdgricjgricjdn=−=−=++−++++∑∑（6） 这两种方法很相似，如果模板和图像相同，那么它们得到的相关系数为0；如果图像与模板不同，那么相关系数将大于0。相关系数越大，模板与图像之间的区别就越大。 为了在图像中找到模板的实例，可以使用一个给定的上限对相似性图像SAD(r,c)和SSD(r,c)进行阈值分割。这两种方法的运算速度非常快。但有一个共同的缺点，即光照变化对算法精度的影响较大。由于两个摄像机视角不同，光照变化在双目视觉中是经常出现。为此。本文采用归一化互相关算法NCC计算相似度，以减小光照变化对匹配算法精度的影响。该算法可表示为： 112212222(,)(,)1NCC(,,)(21)(,)(,)(,)(,)nninjngricjmricjrcdnsricjgricjdmricjdsricjd=−=−++−++=++++++−+++⋅+++∑∑ （7） 式中：mi和si（i＝1,2）分别表示左侧图像和右侧图像中窗口部分的均差和标准差。 只有在NCC(r,c)＝±1的情况下，模板与图像之间才完全匹配。 一般情况下，归一化互相关系数的绝对值越大就表示模板与正在检测的部分图像之间越接近，归一化互相关系数的绝对值越接近于零就表示模板与图像越不一致。设置一个阈值，在它们的相关系数高于NCC某个值时才接受该匹配结果，该阈值在实验中获得。 3 实验结果分析 为了验证本文匹配方法的准确性和稳定性，在光照变化的条件下进行立体匹配实验。采用国际象棋棋盘格作为实验板，对棋盘格中间36个角点进行实验。首先对立体图像对进行图像校正，然后对左侧图像进行角点提取，获得图中36个角点的坐标，然后根据外极线约束条件沿水平方向在右侧图像中搜索计算每一个窗口的灰度值，按照NCC灰度相关性计算相关系数，找到灰度值最相近的点作为匹配的同名点，实验结果如图4所示。在左侧图像中共提取特征点36个，通过匹配找到相应的同名点36个，用时0.6 s。而对未校正的图像进行匹配只找到同名点35个，用时1.1s。由此可见，本文的方法在光照变化的条件下可以准确快速的进行立体匹配。 图4 立体匹配实验效果图 4 结论 基于外极线约束的立体匹配只有当某一点的外极线是与该点行坐标相同的直线，即在标准外极线 （下转第33页） P1 P2 O2 Pr1 Pr2 C1 C2 Cr1 Cr2 Pw Or1 Or2 O1