一种基于无人机位姿信息的航拍图像拼接方法-程争刚

２０１６．２０１５０５６７． ＣＨＥＮＧ Ｚｈｅｎｇｇａｎｇ，ＺＨＡＮＧ Ｌｉ．Ａｎ Ａｅｒｉａｌ Ｉｍａｇｅ Ｇｅｏｄａｅｔｉｃａ
ｅｔ
Ｍｏｓａｉｃ Ｍｅｔｈｏｄ Ｂａｓｅｄ
ｏｎ
ｕＡＶ Ｐｏｓｉｔｉｏｎ ａｎｄ Ａｔｔｉｔｕｄｅ
ＩｎｆｏｒｍａｔｉｏｎＥＪ］．Ａｃｔａ
Ｃａｒｔｏｇｒａｐｈｉｃａ
Ｓｉｎｉｃａ，２０１６，４５（６）：６９８—７０５．ＤＯＩ：１０．１１９４７／ｊ．ＡＧＣＳ．２０１６．２０１５０５６７．
Ｆｉｇ．１
Ｊ冬１
小Ｍ视角的航扪Ｈ像
Ａｅｒｉａｌ ｉｍａｇｅ ｆｒｏｍ ｄｉｆｆｅｒｅｎｔ ａｎｇｌｅｓ ｏｆ ｖｉｅｗ
度。文献［１４］通过分块Ｈａｒｒｉｓ角点的方法均匀
提取图像中的角点，然后采用金字塔光流算法进 行角点配准，缩短了航拍图像的匹配时间。这些 方法对于航拍图像的配准和一般图像的配准相 同，首先是对航拍图像进行特征点的提取，然后通 过相似性度量进行特征点匹配，最后根据得到的 两幅图像中对应特征点的坐标关系，采用 ＲＡＮＳＡＣ算法［１明计算出最佳匹配的变换矩阵，
阱疆。１［：；：］
Ｘ。
㈤
１两幅航拍图像的配准
１．１
航拍图像间的单应变换矩阵 如图１所示，无人机在位置０。和０。对地面
乙肾卜ｔ， ＝皿阱…，
Ｌ
Ｚ。 １
万方数据
７００
Ｊｕｎｅ ２０１６ Ｖ０１．４５ Ｎｏ．６ ＡＧＣＳ
ｈｔｔｐ：／／ｘｂ．ｓｉｎｏｍａｐｓ．ｃｏｍ
中姿态角可以通过无人机上装有的惯性导航单元 （ＩＭＵ）获得，坐标可由ＧＰＳ获得，飞行高度可由 气压计获得。但是一般情况下，得到的测量结果 会受到误差的干扰，这对于单应变换矩阵的计算 影响较大。因此要得到准确的单应变换矩阵，就
间３个姿态角的变化量叭０、妒和两个视点的坐标
例），其中图（ａ）为直接测量得到的８０组结果，图 （ｂ）为对应的计算结果，对比这两组结果并计算 出测量误差如图（ｃ）所示。由试验结果可以得到
驴㈦００三０；］ 胪㈠霸 驴胃训
ｔ一［ｚ ２一ｚｌ
Ｙ ２－－ｙｌ
ｚ
测量值与测量误差之间的相关系数为０．９０２ ６，说 明这两个量是高度相关的。通过ＲＡＮＳＡＣ算 法［１钉拟合出测量误差与测量结果的关系为
毛［：｝］＝蚓
÷０ ｄｘ
Ｋ＝＝＝
０ ０
㈣
厂
“ｏ
÷口ｏ
ｄｙ Ｏ
，
（３）
１
并没有利用航拍图像特有的优势。文献［１６—１７］
结合了航拍时的参数信息进行图像配准，提高了 航拍图像拼接的速度，但是还没有完全发挥航拍 参数对图像配准的作用。文献［１８］针对机载传感 器的精度问题，提出了一种混合的方法，利用基于 图像的方法校正由位姿计算带来的拼接误差。本 文结合无人机航拍的特点，利用航拍时获得的航 拍参数来计算图像问的变换矩阵，然后通过变换 矩阵的分解推导出多幅图像连续拼接的变换矩 阵，基本不依赖拍摄图像的质量情况，提出了一种 快速的航拍图像配准方法。
一种基于无人机位姿信息的航拍图像拼接方法
程争刚，张利
清华大学电子工程系，北京１０００８４
Ａｎ
Ａｅｒｉａｌ
Ｉｍａｇｅ
Ｍｏｓａｉｃ
Ｍｅｔｈｏｄ
Ｂａｓｅｄ
ｏｎ
ＵＡｖ
Ｐｏｓｉｔｉｏｎ
ａｎｄ
Ａｔｔｉｔｕｄｅ
Ｉｎｆｏｒｍａｔ ｉｏｎ
ＣＨＥＮＧ Ｚｈｅｎｇｇａｎｇ，ＺＨＡＮＧ Ｌｉ
Ｄｅｐｏｒｔｍｅｎｔ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １０００８４，Ｃｈｉｎｏ
Ｐ＝厂（ｃ）一０．０５７
Ｏ．０８３ ２
ｌｃ ３－－０．１６０ ９ｃ ２＋０．４８４ ９ｃ—
（１３）
式中，ｃ为当前的测量结果；ｅ为测量误差。这样 就得到了测量结果的误差补偿量，从而就能对测 量的航拍参数进行校正，保证了单应变换矩阵计 算的精度。
（１２）
２－－２：１］１
从而两幅航拍图像之间的变换矩阵就可以通 过这６个参数计算得到。由式（９）中可以看出本 文对航拍图像间单应变换矩阵的推导要求图像中 所有点的ｄ相同，也就是要保证Ｏ。视点下图像 里所有的场景都要在一个成像深度中，否则图像 之间就不能满足单应变换。 １．２测量参数的校正 由１．１节可知，通过对航拍参数的测量就可 以计算得到对应航拍图像间的单应变换矩阵。其
ａ ｃａｎ
Ｆｉ ｒｓｔｌｙ，ｔｈｅ ｃｏｏｒｄｉｎａｔｅｓ
ｂｅ
ｏｂｔａｉｎｅｄ
ｂｙ
ａｉ ｒｂｏｒｎｅ
ＧＰＳ ａｎｄ
ｉｎｅｒｔｉａｌ
ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ（ＩＭＵ），ａｎｄ ｅａｃｈ ａｅｒｉａｌ ｉｍａｇｅ ｈａｓ ｈｏｍｏｇｒａｐｈｙ ｍａｔｒｉｘ ｂｅｔｗｅｅｎ
ｔｗｏ
ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｐｏｓｉｔｉｏｎ ａｎｄ ａｔｔｉｔｕｄｅ ｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｅ ｔｈｅ ｐｏｓｉｔｉｏｎｓ ａｎｄ ａｔｔｉｔｕｄｅ ｉｎｆｏｒｍａｔｉｏｎ
场景进行拍摄，得到图像Ｊ。和Ｊ：。Ｍ（Ｘ。，Ｙ。，
Ｚ。）Ｔ为场景中的一点，Ｍ。（Ｘ叫Ｙ叫Ｚ，，）Ｔ和 Ｍ。（Ｘ∥ｙｆ。，Ｚ，，）Ｔ表示Ｍ在两个位置的相机坐
标。ｍ１（“ｌ，ｕｌ，１）Ｔ和ｍ ２（“２，ｕ２，１）Ｔ分别为Ｍ在 图像ｊ，和ｆ：上对应的点。如果矩阵Ｈ能满足
ｍ ２一ｓｈｉｎｌ （１）
则称矩阵Ｈ为图像ｊ。到ｊ：的单应变换矩阵。 其中ｓ为非零常数项。
由上节可知根据航拍图像对应的坐标和姿态 角可以直接计算出图像间的单应变换矩阵，因此 Ｈ。．。可直接算出，进而可以得到第１次的拼接结果 Ｊ。．。但图像Ｊ。，并没有对应的航拍参数信息，因此 Ｊ。．和Ｊ。的变换矩阵Ｈ。．，无法直接得到。所以要 实现多幅图像的连续拼接，关键就是要知道上一次 的拼接图像与下一幅航拍图像之间的变换矩阵。 ２．２单应矩阵的分解 设无人机在位置０，和Ｏ。分别拍摄到图像 ｊ。和ｆ。，Ｊ。到，。的单应变换矩阵为ＨⅢ。从Ｏ。 到ｏ。可以看作是首先从０。到０。，然后再从０。 到Ｏ。，如图３所示。若Ｊ。为无人机在Ｏ。拍摄到
万方数据
第６期
程争刚，等：一种基于无人机位姿信息的航拍图像拼接方法
７０１
得到第２次的拼接结果Ｊ。。，直到拼接完所有的 图像。这样不断变换基准图的拼接策略可以减少
拼接误差的累积Ⅲ屯引。
帧序歹
（ａ）
帧序列
（ｂ）
帧序列
（ｃ）
图２偏航角的校正
Ｆｉｇ．２ Ｃｏｒｒｅｃｔｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｙａｗ ａｎｇｌｅ
Ａｂｓｔｒａｃｔ：Ａｓ ｔｈｅ ｅｘｉｓｔｉｎｇ ｍｅｔｈｏｄｓ ｆｏｒ ａｅｒｉａｌ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ
ｏｎ
ｉｍａｇｅ ｍｏｓａｉｃ ｔａｋｅ ｈｉｇｈ ｃｏｍｐｕｔａｔｉｏｎａｌ，ａ ｆａｓｔ ａｎｄ ｅｆｆｅｃｔｉｖｅ
ｔｈｅ ｐｏｓｉｔｉｏｎ ａｎｄ ａｔｔｉｔｕｄｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅｓ（ＵＡＶ）ｉｓ ｐｒｏｐｏｓｅｄ． ａｎｄ ａｔｔｉｔｕｄｅ ａｎｇｌｅｓ ｏｆ ＵＡＶ
ｃａｎ
ｂｅ ｓｔｉｔｃｈｅｄ ａｎｄ ｔｈｅ ｗｈｏｌｅ ｐａｎｏｒａｍａ ｇｏｔ。Ａ ｌａｒｇｅ ｎｕｍｂｅｒ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ
ｄｅｍｏｎｓｔｒａｔｅ ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｉｓ ｅｆｆｉｃｉｅｎｔ． Ｋｅｙ ｗｏｒｄｓ．ａｅｒｉａｌ ｉｍａｇｅ；ｐｏｓｉｔｉｏｎ ａｎｄ ａｔｔｉｔｕｄｅ；ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ；ｈｏｍｏｇｒａｐｈｙ ｍａｔｒｉｘ；ｐａｎｏｒａｍａ Ｆｏｕｎｄａｔｉｏｎ ｓｕｐｐｏｒｔ：Ｔｈｅ ＮａｔｉｏｎａＩ ＮａｔｕｒａＩ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ Ｏｆ Ｃｈｉｎａ（Ｎｏｓ．６１１７２１２５；６１１３２００７）
第４５卷第６期
２０１６年６月测源自绘学报Ｃａｒｔｏｇｒａｐｈｉｃａ Ｓｉｎｉｃａ
ＶｏＩ．４５，Ｎｏ．６ Ｊｕｎｅ，２０１６
Ａｃｔａ Ｇｅｏｄａｅｔｉｃａ ｅｔ
引文格式：程争刚，张利．一种基于无人机位姿信息的航拍图像拼接方法ＥＪ］．测绘学报，２０１６，４５（６）：６９８—７０５．ＤＯＩ：１０．１１９４７／ｊ．ＡＧＣＳ．
ｎＴ－一１ 一１
ｘ－＃）７（（７）
需要对测量的参数进行校正。 根据式（９），如果已知两幅图像的单应变换矩 阵Ｈ和相机的内参数矩阵Ｋ，通过奇异值分解的
［莘］一象ＫＲ（Ｊ一号ｎＴ）Ｋ一１［三：］
方法就可以计算出摄像机参数［２…。本文首先在
ｃ８，
离线情况下对测量系统进行校准，得到参数测量 误差的补偿量，然后再通过航拍参数进行图像的 配准。参数校准的具体步骤如下： （１）在离线情况下通过特征点匹配的方法对 航拍图像进行配准，得到图像之间的单应变换矩
２多幅图像的拼接
２．１
多幅图像的拼接方法 多幅图像的拼接一般就是多次图像的两两拼
接。假设有待拼接的图像Ｊ。～Ｊ。，首先拼接图像 ｊ。和Ｊ：，得到第一次的拼接结果Ｊ。。。图像Ｉ。， 包含两部分内容，一部分是ｆ。变换后的图像Ｊ，．： （假设以Ｊ：作为基准图像），另一部分则是完整的 图像Ｉ：，两部分的重叠区域进行加权平均，从而 就将Ｊ。和Ｊ。融合为ｆ。，。然后再拼接Ｉ。，和ｆ。
基金项目：国家自然科学基金（６１１７２１２５；６１１３２００７）
近几年无人机受到了人们越来越多的关注，无 人机图像拼接方法也随之得到了快速发展。无人机 图像拼接是指在无人机平台上对多幅在不同时刻、 从不同视角获得的航拍图像经过对齐处理后，然后 无缝地融合在一起，从而得到一幅视野更大、分辨率 更高的全景图像。目前被广泛应用于数字地图绘 制、城市建设规划以及战场态势评估等领域。 航拍图像的拼接一般包括４个步骤：待拼接 图像的获取、图像畸变校正、图像配准以及图像融 合。其中图像配准是整个图像拼接技术的核心部 分，它直接关系到图像拼接的质量［１］，其主要目的
是得到两幅图像之间的变换矩阵。目前无人机图 像配准技术主要是基于特征点匹配的方法，该方 法利用图像中提取到的局部特征进行匹配，其关 键步骤是图像特征的提取和匹配［２］，其中基于 ＳＩＦＴ特征点匹配的方法被广泛地应用于航拍图 像的配准。该方法能够有效地适应航拍图像间存
在的视角和尺度变化，由文献［３—４］在１９９９年提
ｃａｎ
ａｅｒｉａＩ
ｉｍａｇｅｓ
ｗｉｔｈ
ｂｅ
ｃａｌｃｕｌａｔｅｄ．Ｔｈｅｎ ｔｈｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｔｈｅ ｍｏｓａｉｃ ｉｍａｇｅｓ ｉｓ ｏｂｔａｉｎｅｄ ｂｙ ｔｈｅ ｏｐｅｒａｔｉｏｎ ｏｆ ｈｏｍｏｇｒａｐｈｙ ｍａｔｒｉｘ． Ｆｉｎａｌｌｙ，ｔｈｅ ｍｕｌｔｉｐｌｅ ｉｍａｇｅｓ
出，并在２００４年又对该算法进行了完善口＿］。后 来又出现了很多改进的ＳＩＦＴ算法应用到图像配 准中［５－９］。文献Ｅ５－１提出的ＰＣＡ—ＳＩＦＴ方法，采用 主成分分析对ＳＩＦＴ算子进行降维操作，大大减
万方数据
第６期
程争刚，等：一种基于无人机位姿信息的航拍图像拼接方法
６９９
少了计算时间。文献ｌ－６－１提出的尺度和仿射不变 量兴趣点检测的ＧＬＯＨ算法，采用一种ＳＩＦＴ变 体的描述子，用对数极坐标分级结构替代ＳＩＦＴ 使用的４象限，之后再做ＰＣＡ将其降维，因此保 有和ＳＩＦＴ一样精简的表示方法。文献［７－１提出 的ＳＵＲＦ算法，采用快速Ｈｅｓｓｉａｎ方法进行特征 点检测，是ＳＩＦＴ算法的加速版。文献［８］提出扩 展ＳＵＲＦ描述符，采用邻域采样点的局部归一化
灰度统计信息以及二阶梯度值细节信息，增强了
描述符的约束性与独特性。文献［９］提出的 ＡＳＩＦＴ算法，通过模拟不同经纬度的图像，克服 了ＳＩＦＴ算法的不完全仿射性。但是上述图像配 准方法的一个明显不足就是提取特征点比较耗 时，从而导致图像拼接速度较慢。为了提高航拍 图像的拼接速度，近几年国内外研究者提出了多 种拼接方法ｎ０。１４’１６。１ ８｜。文献［１０］中估计变换矩阵 以及图像间关系的不确定性，并考虑如何消除图 像拼接中的累积误差。文献［１１—１２］通过预测拼 接图像的重叠区域减少拼接的时间消耗。文献 ［１３］提出的Ｆ－ＳＩＦＴ图像拼接算法，采用基于子 图像块的频域相位相关算法提高图像拼接的速
Ｈ—ＫＲ（Ｊ一号聘Ｔ）Ｋ‘１一ＫＲＫ叫一ｉ１躲细ＴＫ。１
阵Ｈ。
（２）根据文献Ｅ２０］的方法由Ｈ计算出航拍
参数。 （３）将直接测量的航拍参数与参数的计算结 果进行对比（试验选择比较８０组结果），然后通过 多项式拟合的方法得到测量参数的误差补偿量 （本文选择３次多项式）。 试验结果如图２所示（以偏航角的校正为
摘
要：针对现有航拍图像拼接方法处理速度较慢的问题，提出一种基于无人机位姿信息的快速拼接方
法。首先从机栽ＧＰＳ和惯性导航单元获得无人机航拍时的坐标和姿态角，根据每一幅航拍图像对应的 无人机坐标和姿态角计算它们之间的单应变换矩阵，实现航拍图像之间的快速配准。然后通过单应变 换矩阵的运算得到拼接图像之间的配准，最后完成多幅图像的拼接得到整个区域的全景图。试验结果 证明该方法快速有效。 关键词：航拍图像；位置和姿态；图像配准；单应矩阵；全景图 中图分类号：Ｐ２３１ 文献标识码：Ａ 文章编号：１００１—１５９５（２０１６）０６．０６９８—０８