当前位置：文档之家 › 一种基于多方向约束的立体匹配算法

一种基于多方向约束的立体匹配算法

  • 格式：pdf
  • 大小：1.12 MB
  • 文档页数：7

第３３卷第１１期　２０１１年１１月　红外技术　Ｉｎｆｒａｒｅｄ　Ｔｅｃｈｎｏｌｏｇｙ　、，０１．３３　Ｎｏ．１ｌ　ＮＯＶ．　２０１１　

一种基于多方向约束的立体匹配算法　

陈思，王敬东，李鹏　

（南京航空航天大学自动化学院，江苏南京２１００１６）　

摘要：针对传统ＤＰ算法精度不高，出现条纹瑕疵以及边界区域明显误匹配等问题，提出了一种新的　

立体匹配算法。该算法采用水平、垂直及物体边界多方向约束作为平滑性约束，物体边界方向约束针　

对物体边界像素点，以前一行边界点的视差信息对当前边界点进行约束，强化物体边界像素点的视差　不连续性，提升了边界区域像素点匹配准确率，大大减少了边界误匹配现象。由于物体表面的纹理信　

息会影响物体边界方向约束的准确性，对物体的边缘提取方法进行了处理，使提取的物体边缘只保留　物体边界轮廓信息。最后在三状态ＤＰ的状态转换选择上，应用边界轮廓信息及多方向约束，避免了　

三状态状态转换与实际物理情况不符的局面，提升了匹配精度。实验表明，该方法不仅解决了条纹瑕　疵、边界区域误匹配问题，且执行速度快，匹配精度高。　

关键词：立体匹配；动态规划；边界提取；多方向约束　中图分类号：ＴＰ３９１　文献标识￣ｉ－ｑ－Ａ　文章编号：１００１．８８９１（２０１１）１１－０６３９．０７　

Ａ　Ｓｔｅｒｅｏ　Ｍａｔｃｈｉｎｇ　Ａｌｇｏｒｉｔｈｍ　Ｂａｓｅｄ　ｏｎ　Ｍｕｌｔｉ－ｄｉｒｅｃｔｉｏｎａｌ　Ｃｏｎｓｔｒａｉｎｔｓ　

ＣＨＥＮ　Ｓｉ，ＷＡＮＧ　Ｊｉｎｇ—ｄｏｎｇ，ＬＩ　Ｐｅｎｇ　

（Ｃｏｌｌｅｇｅ　ｏｆＡｕｔｏｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎａｎｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＡｅｒｏｎａｕｔｉｃｓ＆Ａｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ　２１００１６，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｃｏｎｖｅｎｔｉｏｎａｌ　ＤＰ　ｈａｓ　ｎｏｔ　ｂｅｅｎ　ｓａｔｉｓｆａｃｔｏｒｙ　ａｎｄ　ｈｏｒｉｚｏｎｔａｌ　ｓｔｒｅａｋｓ　ｏｃｃｕｒ　ｗｈｅｎ　

ａｐｐｌｉｅｄ　ｔｏ　ｔｈｅ　ｓｔｅｒｅｏ　ｍａｔｃｈｉｎｇ　ｐｒｏｂｌｅｍｓ．Ｔｏ　ｓｏｌｖｅ　ｔｈｅｓｅ　ｐｒｏｂｌｅｍｓ，ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｗｅ　ｐｒｏｐｏｓｅ　ａ　ｎｅｗ　ｓｔｅｒｅｏ　

ｍａｔｃｈｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｕｓｉｎｇ　ｔｈｅ　ｃｏｎｓｔｒａｉｎｔｓ　ｉｎ　ｈｏｒｉｚｏｎｔａｌ，ｖｅｒｔｉｃａｌ　ｄｉｒｅｃｔｉｏｎｓ　ａｎｄ　ｉｎ　ｔｈｅ　ｄｉｒｅｃｔｉｏｎ　ｏｆ　ｔｈｅ　ｅｄｇｅｓ　ｏｆ　ｏｂｊｅｃｔｓ　ａｓ　ｔｈｅ　ｓｍｏｏｔｈｎｅｓｓ．Ｆｏｒ　ｔｈｅ　ｂｏｕｎｄａｒｙ　ｐｉｘｅｌｓ　ｏｆ　ｔｈｅ　ｉｍａｇｅ，Ｃｏｎｓｔｒａｉｎｉｎｇ　ｔｈｅ　ｃｕｒｒｅｎｔ　ｐｉｘｅｌｓ　ｂｙ　ｕｓｅ　ｏｆ　

ｐｒｅｖｉｏｕｓ　ｍａｔｃｈｉｎｇ　ｉｎｆｏｒｍａｔｉｏｎ　ｔｏ　ｓｔｒｅｎｇｔｈｅｎ　ｔｈｅ　ｏｂｊｅｃｔ　ｂｏｕｎｄａｒｙ　ｐｉｘｅｌｓ’ｄｉｓｐａｒｉｔｙ　ｄｉｓｃｏｎｔｉｎｕｉｔｉｅｓ．Ｗｅ　ａｌｓｏ　ｉｍｐｒｏｖｅｓ　ｔｈｅ　ｏｂｊｅｃｔ　ｅｄｇｅ　ｄｅｔｅｃｔｉｏｎ　ｍｅｔｈｏｄ　ｉｎ　ｏｒｄｅｒ　ｔｏ　ｅｘｃｌｕｄｅ　ｕｎｎｅｃｅｓｓａｒｙ　ｅｄｇｅ　ｉｎｆｏｒｍａｔｉｏｎ．Ａｔ　ｌａｓｔ　ｗｅ　ａｐｐｌｙ　ｔｈｅ　ｂｏｕｎｄａｒｙ　ｃｏｎｔｏｕｒ　ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　ｍｕｌｔｉ—ｄｉｒｅｃｔｉｏｎａｌ　ｃｏｎｓｔｒａｉｎｔｓ　ｔｏ　ｔｈｅ　ｃｈｏｉｃｅ　ｏｆ　ｓｔａｔｅ　ｔｒａｎｓｉｔｉｏｎｓ　ｏｆ　ｔｒｉ－ｓｔａｔｅ　ＤＥ　Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｉｓ　ｍｅｔｈｏｄ　ａｌｌｅｖｉａｔｅ　ｔｈｅ　ｅｆｆｅｃｔ　ｏｆ　ｈｏｒｉｚｏｎｔａｌ　ｓｔｅａｋｓ，ｍｉｓｍａｔｃｈｅｓ　ｉｎ　

ｔｈｅ　ｄｉｒｅｃｔｉｏｎ　ｏｆ　ｂｏｕｎｄａｒｙ　ａｎｄ　ｈａｓ　ａ　ｈｉｇｈ　ｍａｔｃｈｉｎｇ　ａｃｃｕｒａｃｙ　ａｎｄ　ａ　ｆａｓｔ　ｓｐｅｅｄ．　

Ｋｅｙ　ｗｏｒｄｓ：ｓｔｅｒｅｏ　ｍａｔｃｈｉｎｇ，ｄｙｎａｍｉｃ　ｐｒｏｇｒａｍｍｉｎｇ，ｅｄｇｅ　ｄｅｔｅｃｔｉｏｎ，ｍｕｌｔｉ—ｄｉｒｅｃｔｉｏｎａｌ　ｃｏｎｓｔｒａｉｎｔｓ　

引言　

立体视觉是由不同位置的两台或两台以上的摄　

像机（ＣＣＤ）拍摄同一幅场景，通过计算空间点在每　

幅图像中的视差，获得该点的三维坐标值（深度信　息）。由于图像有较高分辨率，且环境信息完整，符　

合人类的认知习惯，因此立体视觉技术在机器人导　航、三维测量等领域中得到了广泛关注。　

立体匹配是立体视觉中最核心的步骤。立体匹配　

问题就是对于左图像上一点如何在右图像上寻找对　

应点的过程。目前的很多立体匹配算法在精度方面都　取得了较大进展，但不约而同的，计算量与处理时间　

都显著提高。这样在应用上会遇到很多不利的情况。　

譬如在有限的硬件资源上实现实时性的要求，又或是　在线性内存访问中对低内存占用要求等等。在众多的　

立体匹配算法中，ＤＰ（Ｄｙｎａｍｉｃ　Ｐｒｏｇｒａｍｍｉｎｇ动态规　划）方法具有计算量小、处理速度快等优点，即使在　

较低的硬件条件下，依然可以满足实时性的需求。所　以尽管有许多更精确的复杂方法存在，在实际应用　

中，ＤＰ法仍然被大量地使用。　Ｇｅｉｇｅｒ等…最早提出基于像素对亮度差异的ＤＰ　

立体匹配算法，然而，该传统ＤＰ方法由于缺少扫描　

收稿日期：２０１１－０９．０７；修订日期：２０１１－１１－０３．　作者简介：陈思（１９８７一），男，硕士研究生，研究方向：机器视觉，图像处理。Ｅｍａｉｌ：　ｃｓ１７０５３２０７７￣１６３．ｃｏｍ　基金项目：国家自然基金项目（编号：６１０７４１６１）。　

６３９　第３３卷第１１期　２０１１年１１月　红外技术　Ｉｎｆｒａｒｅｄ　Ｔｅｃｈｎｏｌｏｇｙ　、，０１＿３３　ＮＯ．１１　ＮＯＶ．　２０１１　

线之间的约束限制，极易产生严重的条纹瑕疵现象。　Ｃｏｘ等［　］提出了利用扫描线间的一致性约束作为垂直　

方向平滑约束的ＤＰ算法。该方法较好地解决了条纹　瑕疵问题，但整体匹配精度较低。Ｖｅｋｓｌｅｒ等ｐＪ提出了　

一种树形结构来替代传统的基于扫描行的ＤＰ方法，　

该方法更大地加强了扫描线内部及之间的约束。然　而，与其它大计算量的全局匹配算法相比，该算法整　

体匹配精度仍然不高，且由于其将边界点当做普通像　

素点一起处理，在物体的边界周围会出现较严重的误　匹配。Ｃｈｅｎｇ　Ｌｅｉ等　提出的基于区域树的ＤＰ算法，　

匹配精度虽然很高，但在计算复杂度上并不明显优于　其它大计算量的全局匹配算法。为满足实际应用的需　

求，本文采用ＤＰ算法作为全局匹配算法。针对目前　各ＤＰ法存在的问题，分别通过添加不同的平滑约束　

项来解决。添加水平、垂直方向约束来增强扫描线间　

约束来解决条纹瑕疵的问题；对于物体的边界周围易　出现较严重的误匹配问题，本文将边界点单独处理，　

通过添加物体边缘多方向约束，用上一行边界点的视　差信息对当前边界点进行约束，强化物体边界像素点　

的视差不连续性，进而提升边界区域像素点匹配准确　率。各方向约束的添加，加强了像素点在图像中整体　

位置约束，也从而提升了整体匹配精度。　

１改进的全局能量函数　

本文采用Ｂｉｒｃｈｆｉｅｌｄ和Ｔｏｍａｓｉ［５Ｊ提出的ＢＴ法测度　

函数获取初始匹配代价，然后直接利用该初始代价生　成ＤＳＩ（ｄｉｓｐａｒｉｔｙ　ｓｐａｃｅ　ｉｍａｇｅ视差空间图），从而进行　

动态规划寻径。该方法已被证明可以减小对图像采样　

效应敏感程度，但在寻径时会产生多个相等的最优能　量值，从而导致匹配的不确定性。因此，本文采用５　

×５的固定窗口对初始代价进行能量聚集，并使用盒　滤波技术进行加速处理。　

全局能量函数　一般式为：　

Ｅ（　＝Ｅｄａｔ　（　＋　ｍ。。ｔｈ（　（１）　式中：　协（　即相应点在不同视差ｄ下的初始代价值；　ｍ。。ｔｂ（　为相邻像素间的平滑性约束。动态规划寻求　

最优路径的目的，就是找出使得全局代价函数Ｅ（　最　

小的视差函数。　在　。ｏｔｈ（　不变的情况下，　ｍ。。ｔｌｌ（　决定着相邻　

像素间的约束关系。ＤＰ算法的匹配精度普遍不高，　且易出现条纹瑕疵与边界误匹配问题，最主要的原因　就是缺少相邻像素间约束条件的限制。因此本文对平　

滑性约束项进行改进，添加物体边界多方向及水平、　垂直方向约束，提出的新的全局能量函数如：　

Ｅ（ｄ）＝Ｅｄａｔａ（　＋　（　＋凰（　＋　ｄ　。（　］　（２）　式中：　（　、　（　分别为垂直与水平方向的平滑约束，　ｄｇｅ（　为物体边界多方向的平滑约束。垂直、水平方　

向的平滑约束，分别针对是扫描线之间与扫描线内部　的相邻像素间的约束关系；物体边界多方向的平滑约　

束主要解决物体边界处的误匹配问题，将物体边界点　与普通像素点区分开来，针对物体边界处的相邻像素　

之间的约束关系，以前一行边界点的视差信息对当前　

边界点进行约束，从而保证边界区域匹配的准确性，　提升整体匹配精度。　

１．１水平方向平滑约束　在水平方向上，本文通过比较当前点与其相邻前　

一点的视差值，若当前点所取视差值与之前点视差值　

相等，则说明该两点为连续匹配点，那么就不用为其　考虑水平方向上的平滑约束值。若两点视差值不等，　

则表示该两点中至少有一点为遮挡点，需要给当前点　的水平平滑约束项加上一个遮挡惩罚值。由于取左图　

为参考图，遮挡点右边必为亮度变化点。于是判断当　

前点后一点是否属于亮度纹理变化区域。若该点不属　于此区域，则说明该点处不应发生视差跳变，需加上　

水平约束值惩罚量，以增强扫描线内部的联系，保证　水平方向平滑性。用公式（３）表示如下：　

（　，ｄｏ）＝　０　ｉｆ　Ｉ　一　ｌ＝０　

Ｏｃｃ＋Ｃｈ　ｉｆ　Ｉ　一ｄｐｌ≠０＆　Ｘ＋１∈ｕｎｔｅｘｔｕｒｅｄ　ｒｅｇｉｏｎｓ（３）　

Ｏｃｃ　ｉｆ　Ｉ　一ｄｐｌ≠０＆　Ｘ＋１∈ｔｅｘｔｕｒｅｄ　ｒｅｇｉｏｎｓ　

式中：　为当前点所取视差；ｄｏ为之前点视差；Ｏｃｃ　为遮挡惩罚；ｃｈ为水平约束值。　

１．２垂直方向平滑约束　

为改善动态规划算法的条纹瑕疵的现象，增强扫　描线之间的联系，文献［６］提出了改进的垂直一致性约　

束的顺序方法。该方法通过记录当前扫描线前面所有　扫描线的匹配信息，并定义一个路径常数。当之前扫　

描线出现匹配状态时，路径常数进行累加，并根据该　扫描线与当前行的距离乘以一个比例系数，以体现距　

离远近的影响。当前行进行匹配时，再减去该累加的　路径常数。该方法使当前的路径不会过分依赖于前一　

行的估计的质量，　加强了扫描线间约束，提高了匹配　

精度。因此本文采取该方法作为垂直方向平滑约束。　

１．３物体边界多方向平滑约束　物体的边界区域是整幅场景的重要组成部分。边　

界区域的像素点包括遮挡点与实际物体的边缘点。一　般的ＤＰ算法如文献［１］、【３］等并没有将边界区域的像　

素点单独处理，而是与其它普通点一起代入全局能量

合集下载

测绘技术中的卫星立体像对生成方法与图像匹配原理

测绘技术中的卫星立体像对生成方法与图像匹配原理

测绘技术中的卫星立体像对生成方法与图像匹配原理

引言

在测绘技术中，卫星立体像对生成方法与图像匹配原理是非常重要的。立体像对生成方法可以实现卫星影像的三维重建，为城市规划、地质调查、环境监测等领域提供了重要的数据支持。而图像匹配原理则是获取立体像对的关键步骤之一，可以使得卫星影像之间的对应点确定，进而实现三维模型的构建。

一、卫星立体像对生成方法

卫星立体像对的生成方法主要包括几何模型和密集匹配，下面将对这两种方法进行介绍。

1. 几何模型

几何模型方法是一种常用的立体像对生成方法。其基本原理是通过对卫星影像进行几何模型化处理，确定像点之间的几何关系。常用的几何模型包括平行视差模型、立体视差模型和立体约束模型等。这些模型通过对卫星影像的几何参数进行估计，可以实现像对的生成。

2. 密集匹配

密集匹配方法是另一种常用的立体像对生成方法。其基本原理是通过计算机算法对卫星影像进行像素级别的匹配，确定相应像素之间的对应关系。这种方法可以实现对整幅影像的像素匹配，进而生成立体像对。常用的密集匹配算法包括基于相似度测度的匹配算法、基于光流的匹配算法和基于特征点的匹配算法等。

二、图像匹配原理 图像匹配原理是卫星立体像对生成中的关键步骤之一。其基本原理是通过对卫星影像进行特征提取和匹配，确定像点之间的对应关系。下面将介绍常用的图像匹配原理。

1. 特征提取

特征提取是图像匹配的第一步。其目的是从卫星影像中提取具有鲁棒性和独特性的特征点，用于后续的匹配过程。常用的特征点提取方法包括Harris角点检测、SIFT特征点检测和SURF特征点检测等。

2. 特征匹配

特征匹配是图像匹配的核心步骤。其目的是确定卫星影像之间的对应特征点，以建立像点之间的对应关系。常用的特征匹配算法包括基于相似度测度的匹配算法、基于几何约束的匹配算法和基于随机抽样一致性（RANSAC）的匹配算法等。这些算法通过计算特征点之间的距离或相似度等指标，寻找最佳的匹配点对，从而确保匹配结果的准确性。

利用平面约束的月球车立体匹配

利用平面约束的月球车立体匹配

利用平面约束的月球车立体匹配

李海超;李莹;顾征

【摘 要】为了满足月球车视觉系统检测障碍物的时效性和可靠性需求,提出了一种基于平面约束和自适应惩罚参数的半全局立体匹配算法.首先,对极线校正后的两幅图像进行SIFT特征点提取与匹配,同时提取边缘特征;然后,利用匹配的SIFT特征点拟合空间平面,并根据平面估计左右图像所有像素点的视差搜索范围;最后,基于传统的半全局匹配算法,采用自适应惩罚参数对左右图像进行立体匹配.实验结果表明:所提出的算法有效地降低了计算复杂度,其计算复杂度只有传统方法的19.9％,对于视差不连续区域以及遮挡区域都能够获得正确的匹配结果.较传统半全局匹配方法无论在速度还是匹配精度上都得到明显提高,为立体匹配的实际应用奠定了基础.

【期刊名称】《光学精密工程》

【年(卷),期】2019(027)002

【总页数】7页(P433-439)

【关键词】月球车;立体匹配;平面拟合;半全局匹配;视差图

【作 者】李海超;李莹;顾征

【作者单位】钱学森空间技术实验室,北京100094;北京空间飞行器总体设计部,北京100094;北京空间飞行器总体设计部,北京100094

【正文语种】中 文

【中图分类】TP391;P184

1 引 言

月球车是我国探月计划第二、第三阶段以及后续计划中的一项核心和关键技术，实现月面漫游是月球车进行后续科学工作的基础[1]。而月球表面的地形快速三维重构是保证月球车顺利行进的关键问题，目前主要通过激光雷达和立体视觉进行三维重建。激光雷达可以产生高精度的深度信息，相对于立体视觉的优势在于计算量小，但是存在设备功耗大、价格昂贵、体积和重量较大等缺点[2]；而立体视觉系统具备视场大、功耗、体积与质量较小、成本低等特点，符合搭载设备质量、能耗与体积尽可能小的发射和使用要求。

特别随着处理器处理速度的提高和立体视觉技术的进步，立体视觉在地外天体探测领域具有广泛的应用前景。例如，2004年着陆的美国勇气号和机遇号火星车就利用立体视觉来绘制三维地形图；2012年8月着陆火星的好奇号火星车也采用立体视觉作为主要的避障、路径规划、导航定位的主要技术手段；2013年12月我国的嫦娥三号搭载的“玉兔”号月球车，也是采用立体视觉技术实现月面未知环境的三维重建，实现了基于立体视觉的自主避障。

基于FPGA的实时SGM匹配算法研究与实现

基于FPGA的实时SGM匹配算法研究与实现

基于FPGA的实时SGM匹配算法研究与实现

冯彬彬;蒋新华;林俊杰;聂明星

【摘 要】Traditional Semi Global Matching algorithm is not suitable for

running on real-time embedded platform because of its complex structure,

and high demand for hardware resources. Thus, this paper puts forward

the Real-Time SGM algo-rithm based on FPGA embedded platform. Real-Time SGM selects three directions as the optimization direction to reduce

the demand for hardware resources. Then, the algorithm can run in the

condition of Pipeline by designing a new structure, and improve the

operation speed. Moreover, it puts forward a new kind of median filter

algorithm to optimize the results. Finally, simulation is done on the PFGA

platform. Experimental results show that compared with the original

algorithm, the new algorithm has lower resource requirements, and has a

一种基于物体追踪的改进语义SLAM_算法

一种基于物体追踪的改进语义SLAM_算法

第 22卷 第 10期2023年 10月Vol. 22 No. 10Oct. 2023软件导刊Software Guide

一种基于物体追踪的改进语义SLAM算法

杜小双，施展，华云松（上海理工大学 光电信息与计算机工程学院，上海 200093）

摘要： 在视觉同步定位与建图（SLAM）算法中，使用语义分割和目标检测以剔除异常点的方法成为主流，但使用中无法对物体语义信息进行充分追踪。为此，提出一种基于物体追踪的改进语义SLAM算法，通过YOLACT++网络分割物体掩码，提取物体特征点后，利用帧间匹配实现物体追踪。该方法对匹配特征点进行深度、重投影误差和极线约束三重检测后判断物体动静态，实现物体追踪并判断运动状态。通过对TUM RGB-D数据集测试，实验表明该方法可有效追踪物体，且轨迹估计精度优于其他SLAM算法，具有较好实用价值。关键词： 视觉SLAM；语义分割；物体追踪；动态场景；几何约束DOI：10.11907/rjdk.222298开放科学（资源服务）标识码（OSID）：中图分类号：TP301 文献标识码： A文章编号：1672-7800（2023）010-0205-06An Improved Semantic SLAM Algorithm Based on Object Tracking

DU Xiaoshuang， SHI Zhan， HUA Yunsong（School of Optical-Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China）Abstract： In the visual SLAM （simultaneous localization and mapping）， the method of using semantic segmentation and object detection to detect dynamic objects and remove outliers has become the mainstream， but its disadvantage is that it is unable to fully track the semantic in⁃formation of objects. Therefore， this paper proposes an improved semantic SLAM algorithm based on object tracking， which uses YOLACT++network to segment object mask， extract object feature points， and use inter frame matching to achieve object tracking. The method detects the depth， reprojection error and epipolar constraint of the matched feature points， and then judges the dynamic and static state of the object to achieve object tracking and judge the motion state. After testing the TUM RGB-D dataset， the experiment shows that the method can effective⁃ly track objects， and the trajectory estimation accuracy is better than other SLAM algorithms， which has practical value.Key Words： visual SLAM； semantic segmentation； object tracking； dynamic environment； geometric constraint