大区域无人机影像快速无缝拼接方法_董梅

（山东临沂烟草有限公司，山东 临沂 ２７６０００）
摘 要：文章提出了一种面向大区域、多航带无人机序列影像快速、无缝拼接方法：以影像序列的航带排布特 性作为先验知识，加快影像间多度重叠 ＳＩＦＴ 特 征 点 的 匹 配； 通 过 Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ方 法 平 差 求 解 拼 接 区 域 各影像的变换参数；根据中心投影的像点位移规律与影像间的相对位置关系进行重叠区影像的优选与接边处影 像的融合。实验结果表明该方法对于平地、丘陵、山地等不同地形的无人机影像数据都具有很好的适应性。
无人 机 影 像 拼 接 的 需 求， 从以下几个方面对同名点 的匹 配 策 略 进 行 了 优 化： ①为了减少特征点的个数 和匹配遍历次数、提高特 征点 的 鲁 棒 性， 在 ＳＩＦＴ 特征点极值探测时增大了 极值点阈值，当差分影像 中 的 极 值 点 大 于 １０ 时， 才提 取 该 点 作 为 特 征 点。 ②为了提高匹配效率、增 加匹配结果的可靠性，在 进行匹配时利用了金子塔 图１ 无人机影像拼接流程 匹配策略，当上层金字塔 匹配完 成 后， 利 用 匹 配 点 求 解 影 像 间 的 投 影 矩 阵， 然后在下一层影像匹配时利用这种投影变换关系进 行匹配点搜索范围约束。③为了提高匹配结果的正 确率，对于 处 在 匹 配 搜 索 范 围 内 的 点 集，采 用 １２８ 维特征向量间的欧式距离作为衡量关键点之间相似 度的准则。匹配过程中首先找出与待匹配关键点欧 式距离最近的两个关键点，然后计算最近距离与次 近距离之间的比 值，当 该 比 值 小 于 ０．３ 时，则 接 受 该匹配点对。④为了快速的获得多度重叠点，避免 摄区范围内所有影像间进行盲目的两两匹配，充分 利用了无人机影像的航带分布特性，最终对于每张 影像只与其航带内部左右相邻的几张影像与上下航 带间一定范围内的影像进行匹配，大大提高了算法 效率。 ３．２ 非 线 性 方 程 组 的 建 立
较为成熟的一 种 方 法 。 ［９］ 其 具 体 形 式 可 以 用 式 （３）
表示，其中Ｊ 表示方 程 组 的 雅 可 比 矩 阵，δ 表 示 搜 索最佳未知参数的步长。
（ＪＴΣｘ－１ Ｊ＋μＩ）δ ＝ＪＴΣｘ－１ε
（３）
３ 无人机影像拼接流程
整个流程包含特征点提取、多度重叠点匹配、 匹配点提纯、 变 换 参 数 区 域 网 平 差 解 算、 影 像 优 选与融合后影像输出６个部分，如图１所示。 ３．１ 基于 ＳＩＦＴ 算子的多度重叠点匹配
作 者 简 介： 董 梅 （１９６４）， 女， 硕 士， 现从事企业生产经营管理工作。 Ｅ－ｍａｉｌ：ｄｍｅｉ６４＠１６３．ｃｏｍ
收 稿 日 期 ：２０１３－０７－０１
况很难 处 理，所 以 无 法 满 足 无 人 机 影 像 拼 接 要 求。 ③基于图像特征的方法。该类方法主要由特征提取、 特征匹配、选取变换模型和求取参数、坐标变换及 插值四 个 部 分 组 成，是 航 空 影 像 拼 接 的 主 要 方 法， 其关键在于特征 因 子 的 选 取。为 此，张 迁 等［４］提 出 了基于 ＳＵＳＡＮ 算 子 的 配 准 方 法，该 算 法 分 成 粗 细 两级匹配，但是对于小区域重叠的航空影像难以配 准。Ｌ．Ｋ．Ｈｅｎｇ、Ｅ．Ｍ．Ｈｗａ等［５］提出了基于层次 法 的配准方法，但只适用于图像间存在小角度旋转（大 约０°～５°）的 情 况。尚 明 姝［６］采 用 Ｈａｒｒｉｓ提 取 角 点， 利用最小中值法去除局外点，实现图像拼接，但是 由于最小中值法计算复杂度较高且不能处理小区域 重叠的影像，所提取的特征点为像素级的，定位精 度有待提高。韩文超［７］利用ＳＩＦＴ 算子实现了无人机 影像的自动拼接，但因为采用的是依次向后传递拼 接参数的方式，在进行多张影像拼接时存在误差累 积的问题，无法实现大区域的无缝拼接。
（ｘ１，ｙ１）、（ｘ２，ｙ２）分 别 为 图 像 变 换 前 后 的 像 素 坐 标 ， 则投影变 换 矩 阵 模 型 的 齐 次 坐 标 变 换 式 如 式 （１）所
示。模型 中 共 有 ８ 个 独 立 参 数， 其 中 ｍ０、ｍ１、ｍ３、 ｍ４ 代表图像的尺度和旋转量，ｍ２ 和 ｍ５ 分别代表图 像在水平和垂直方向上的位移，ｍ６ 和 ｍ７ 则代表图像 在 水 平 和 垂 直 方 向 上 的 变 形 量 ， 比 例 系 数ρ 为 标 量 。 其非线性形式如式（２）所示。
本文选取Fra Baidu bibliotek影像拼 接 参 数 模 型 为 式 （２）所 示 的
非线性投影变换模型，模型中共有８个未知参数，
参数的求解是一个最小化马氏距离εＴΣｘ－１ε，ε ＝ｘ －＾ｘ 的过程，实质是一个非线性最小二乘问题。 在 解决 该 问 题 时 Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ（ＬＭ）算 法 结 合了高斯一牛顿法与最速下降法的双重优势，是
当完成了图像间的同名特征点匹配之后，就可 以选择合适的几何变换模型，并通过这些同名特征
１３０
测绘科学
第 ３９ 卷
点集的映射关系来估算变换参数。在众多的变换模
型中，投影变换是一种复杂的几何变换模型，又称
为透视变换，它 可 以 描 述 图 像 间 存 在 平 移、 旋 转、
水平和垂直方向位移、缩放等多种变换情况。假定
与传统的 依 次 利 用 相 邻 影 像 间 匹 配 点 最 小 化 两幅影像 间 的 重 投 影 误 差， 然 后 通 过 影 像 间 的 临 近关系进行递推拼接］ 不同，本文利用影像间的多 度重叠点 对 待 拼 接 的 所 有 影 像 进 行 整 体 平 差， 最 终得到全局最优的变换参数。 ３．３ ＬＭ 与 ＲＡＮＳＡＣ 相结合求解方程组
关键词：影像拼接；无人机；投影矩阵；影像匹配；影像融合 【中图分类号】ＴＰ７５ 【文献标识码】Ａ 【文章编号】１００９－２３０７（２０１４）１１－０１２９－０４
１ 引言
无人机遥感是近年来兴起的一种新型遥感系统， 因具有 快 速、灵 活、低 成 本、高 影 像 分 辨 率 等 特 点［１］，正日益 成 为 一 项 空 间 数 据 获 取 的 重 要 手 段， 在灾害应急、灾害评估、战场侦察、火灾监测等领 域发挥重要的作用。由于无人机遥感具有广阔的应 用前景，相应的图像处理技术也得到了广泛的关注 和重视，无人机影像拼接就是其中的一个研究热点。 现有的影像拼接主要包括影像配准和影像融合两个 关键环节。在国内外影像拼接技术研究中，主要的 重点都放在了影像配准这一核心环节上。根据影像 配准的方法大致可将影像拼接技术分为三类：①基 于影像灰度的方法：该类方法通过计算图像间重叠 部分灰度 差 的 ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）［２］等 相似度衡量指标，来对模型参数做优化，因为计算 出的参数对于光照条件，旋转角度等比较敏感，所 以对于无人机影像并不适合；②基于变换域的方法： 该类方法利用傅立叶变换首先将影像由空域变换到 频域，然后通过它们的相互功率直接计算得出两幅 影像间的平移矢 量，进 而 实 现 影 像 的 配 准［３］。但 因 为算法要求欲配准影像间有较大的重叠度，且对于 无人机影像中存在的镜头旋转和比例尺不一致等情
DOI:10.16251/j.cnki.1009-2307.2014.11.028
第 ３９ 卷 第 １１ 期 ２０１４ 年 １１ 月
测绘科学 Ｓｃｉｅｎｃｅ ｏｆ Ｓｕｒｖｅｙｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ
Ｖｏｌ．３９Ｎｏ．１１ Ｎｏｖ．
大区域无人机影像快速无缝拼接方法
董梅，苏建东，杨举田，刘广玉，李乃会，黄泽祥，田雷
第 １１ 期
董梅等 大区域无人机影像快速无缝拼接方法
１３１
点集。另外， 在 利 用 ＬＭ 法 进 行 非 线 性 方 程 组 迭 代求解过程中，好的迭代初值对于最终的平差结 果具有至关重要的作用，因此迭代初始值的求解 也是此步骤需要考虑的问题。为了完成这些工作 本文引入了 ＲＡＮＳＡＣ 算法， 并 将 其 与 ＬＭ 算 法 进 行了有机的结合。
针对上述 总 结 的 无 人 机 影 像 拼 接 的 三 个 难 点， 本文结合已有的研究成果给出了新方法的拼接流程。
２ 相关理论
２．１ ＳＩＦＴ 特征算子 由于无 人 飞 行 平 台 的 不 稳 定 性， 预 先 定 义 的
相邻影像 之 间 的 关 系 不 能 严 格 保 证， 相 邻 影 像 之 间重叠度变化大，旋转角 变 化 大，特 征 不 连 续， 一般用于 无 人 机 的 影 像 匹 配 多 是 基 于 尺 度 不 变 特 征的，其中 ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎ ｔ Ｆｅａ ｔｕｒｅ Ｔｒａｎｓ－ ｆｏｒｍ ）算子 最 ［８］ 具代表性。本文采用了该算法。 ２．２ 投 影 变 换 模 型
熿ｘ１燄 熿ｍ０ ｍ１ ｍ２燄熿ｘ２燄 ρ ｙ１ ＝ ｍ３ ｍ４ ｍ５ ｙ２
燀１燅 燀ｍ６ ｍ７ １燅燀１燅
（１）
ｘ１
＝
ｍ０ｘ２ ＋ｍ１ｙ２ ＋ｍ２， ｍ６ｘ２ ＋ｍ７ｙ２ ＋１
ｙ１
＝
ｍ３ｘ２ ＋ｍ４ｙ２ ＋ｍ５ ｍ６ｘ２ ＋ｍ７ｙ２ ＋１
（２）
２．３ Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ非 线 性 方 程 组 求 解
ＳＩＦＴ 特征是图像的局部特征，其对旋转、尺度 缩放、亮度变化保持不变性，因而特别适用于飞行 姿态不稳定的低空无人机影像匹配。但是ＳＩＦＴ 算子 具有多量性，即使很小的影像或少数几个物体也能 产生大量的特征点。如果利用标准的ＳＩＦＴ 算法来遍 历比较每个特征点是不现实的。因此将ＳＩＦＴ 算子应 用于遥感影像匹配时必需利用各种约束条件来减少 遍历。对于多航带无人机影像拼接而言，匹配点主 要是作为观测值用来平差求解各影像的拼接参数。 根据平差理论可知，一定数量的高精度多度重叠点 可以获得最优的平差结果。为此，本文针对大范围
由 于 无 人 机 影 像 场 景 的 复 杂 性 ， 通 过 ３．１ 节 获 取的匹配 点 难 免 会 存 在 一 些 误 匹 配 点， 而 ＬＭ 算 法又对粗 差 特 别 敏 感， 所 以 如 果 将 这 些 误 匹 配 点 加入到平差模型中将严重影 响最 终 的 拼 接效 果。 同时应该 指 出， 因 为 我 们 在 影 像 拼 接 过 程 中 基 于 二维匹配 点 集 建 立 的 变 换 模 型 只 是 对 影 像 成 像 过 程中的三 维 中 心 投 影 构 象 模 型 的 近 似， 所 以 并 不 是所有的 正 确 匹 配 点 都 严 格 满 足 变 换 模 型， 为 了 获得理想 的 拼 接 效 果， 我 们 还 必 须 从 粗 差 剔 除 后 的正确匹 配 点 集 中 进 一 步 优 选 出 满 足 拼 接 模 型 的
３．４ 影 像 优 选 与 影 像 合 成 全局最优 变 换 参 数 求 解 完 成 后 就 可 以 进 行 影
像合成了。一 般 而 言， 无 人 机 影 像 的 航 向 重 叠 度 大于６０％，旁向 重 叠 度 大 于 ３０％， 所 以 在 拼 接 影 像上，除了航 区 边 界， 任 一 像 素 点 都 可 以 找 到 至 少两张（有时可能会 达 到 ８ 张）原 始 影 像 与 之 对 应。 由于地形起伏与无人机飞行平台的不稳定性，同 一地物点在不同影像上的像点位移往往不同。而 我们所采取的投影变换，无法完全纠正这种复杂 的像点位移 差 异。 因 此， 严 格 来 说 对 于 拼 接 影 像 的某一像 素 点 用 不 同 的 原 始 影 像 填 充 结 果 会 有 微 小差异，如 何 选 取 最 优 的 像 素 源 填 充 拼 接 影 像 是 此步骤的关键。本文根据影像间的空间排布关系， 以像点位移最小化为影像优选准则，通过对原始 影像的投影区域进行逐级裁剪尽而获取最优的方 式，给出了 一 种 影 像 优 选 与 影 像 拼 接 线 求 取 的 有 效方法。同时，利 用 拼 接 线 两 侧 区 域 外 扩 与 外 扩 后重叠区域影像加权融合的方法消除了影像拼接 线两侧的微小色彩差异，最终得到了色彩过渡自 然、地物地貌连续性好的拼接影像。