一种全景图像拼接算法的实现

宽视角的图像，但广角镜头的边缘会产生难以避 免的扭曲变形。随着计算机和图像处理技术的发 展，图像拼接技术为得到全景图提供了很好的解 决方案。它将一系列有重叠边界的普通图像进行 无缝拼接而得到全景图[2]。
收稿日期：2005-11-01 作者简介：王仲训（1965-），男，山东烟台人，副教授，在读博士，主要研究方向为雷达检测与图像处理。
⎡− 2 0 2⎤
⎡− 2 −1 − 2⎤
Sx
=
⎢ ⎢
−
1
0
1⎥⎥
和
Sy
=
⎢ ⎢
0
0
0
⎥ ⎥
⎢⎣− 2 0 2⎥⎦
⎢⎣ 2 1 2 ⎥⎦
假定两幅原始图像为f 1和f 2，则可以得到式 (1) 中的Egeometry计算公式为
第2期
王仲训等：一种全景图像拼接算法的实现
·115·
Egeometry = Diff ( f1 ( x, y) , f2 ( x, y) ) Diff 的求解是通过计算两幅图像f1 和f2在x 和y方向的梯度之差的积得到。 3.2 确定最佳缝合线 根据此准则，将两幅图像重叠的部分作差运 算生成一幅差值图像；然后对此差值图像运用动 态规划的思想从重叠区域的第1行出发， 建立以 该行上每一个像素为起点的缝合线；最后从这些 缝合线中寻找一个最佳的缝合线。 具体步骤如下： （1）初始化 第1行各列像素点对应为一条 缝合线，其强度值初始化为各个点的准则值，该 缝合线的当前点为其所在的列值； （2）扩展 已经计算过缝合线强度的一行 向下扩展，直到最后一行为止。扩展的方法是将 每一条缝合线的当前点与该点紧邻的下一行中 的3个像素准则值相加进行比较，取最小强度值 所对应的下一行的这3 个像素的之一作为该缝 合线的扩展方向，更新此缝合线的强度值为最小 强度值，并将缝合线的当前点更新为得到最小强 度值所在的下一行中的紧邻像素值所在的列； （3）选择最佳缝合线 从所有的缝合线中 选择强度值最小的作为最佳缝合线。
=
a
tan( x
− w/ r
2)
⎪⎩l = (x − w / 2)2 + r 2
由此可以得到
⎪⎪⎧u
=
r
∗θ
+
w/
2
=
r
∗
atan(x
− w/ r
2)
+
w/
2
⎨ ⎪v
=
r
∗
y
−h/
2
+
h/
2
=
r
∗
y −h/ 2
+h/2
⎪⎩
l
(x − w/ 2)2 + r2
其中 柱面半径r可以取照相机的焦距。 一旦将图像投影到统一的柱面上之后，全景
左图 Hl 像 f1
2 幂子 图像 g1
hl
2 幂子 图像 g2
hr
右图
像 f2 Hr
Wl
图 1 相邻图像对齐时的 2 幂子图像
把左右子图的起点坐标分别设为
⎪⎧ ⎪⎩⎨
x lp ylp
= Wl − wl = (H l − hl
)/
2
⎪⎧ ⎪⎩⎨
x
p r
y
p r
= =
0 (H r
−
hr
)
/
2
xlp ，ylp 分别表示左图子图的横坐标和纵坐
第2期
王仲训等：一种全景图像拼接算法的实现
·113·
图像拼接分为4个步骤：投影，匹配，拼接， 融合。在拼接整个过程中最难处理的就是曝光差 异和鬼影。
曝光差异又称曝光瑕疵[3]，指相邻两幅图像 由于曝光不同造成的拼接后图像色彩的明显不 协调。产生曝光差异的原因一个是普通数码相机 不易被人工控制曝光时间，另一个原因是非专业 用户一般并不注意曝光调节。
不过这个理论看似简单，在实现中却存在很 多问题。比如在公式中，只有当x0，y0都大于0时， 规格化互功率谱进行逆变换所得到的冲激函数 中，遍历该函数平面能找到该冲激值；当然若两 者都小于0也可以做相应的交换可以遍历出冲激
·114·
工程图学学报
2006 年
值。但是当x0，y0符号不相等时却似乎无能为力， 因为此时冲激值不在所求得的平面上，遍历不 到。
图的拼接问题就转化为在柱面上图像间的平移 问题，确定一幅图像相对于上一幅图像的水平和 垂直偏移量。也就是如何进行图像配准。
2 用约束的相位相关度法求取水平 垂直偏移量
2.1 相位相关度法[6] 相位相关度法由于较小的计算时间开支而
广泛应用在图像全局对齐中。一般的图像匹配算 法都是基于空间域的，然而相位相关度法是基于 频域计算的，如二维傅立叶变换。这种方法利用 了二维傅立叶变换的平移性质。两幅图像的平移 矢量可以通过它们互功率谱的相位直接计算出 来，也就是说，相位相关是基于互功率谱的相位 估计的。原理如下：
标；
xrp
，
y
p r
分别表示左图子图的横坐标和纵坐
标。尽管这种子图的取法充分保证了子图尽可能
的重叠，但还是不能解决上述所提出的问题。
2.2 约束的相位相关度法 利用一些先验知识，对相位相关度法进行约
束以解决上面的问题，提高处理速度：首先定义
空间域平移公式为： f2(x, y) = f1(x − x0, y − y0) ，
（2）在几何结构上，要求缝合线上的像素 点在两幅原始图像上的结构最相似。
通过对图像的分析和实验，推出最佳缝合线 求解准则
E(x, y) = Ecolor(x, y)2+Egeometry(x, y) （1） 其中 Ecolor表示两幅原始图像上重叠像素点的 颜色值之差，而Egeometry表示两幅原始图像上 重叠像素点的结构差值。Egeometry是通过修改 梯度计算Sobel 算子实现的。 利用Sobel 算子进 行梯度计算时，计算在x方向和y方向的梯度分别 采用模板
F1 (ξ ,η)F2∗ (ξ ,η) F1 (ξ ,η)F2∗ (ξ ,η)
IFT
= e− j(εx0+ηy0 ) ←δ (x − x0 , y − y0 )
其中 F*是复数F的共轭，左边是规格化互功率 谱，规格化互功率谱的傅立叶的反变换是互相关 的。规格化互功率谱的结果是简单复指数，即相 位差。相位差的傅立叶反变换是在平移运动坐标 上的脉冲，也就是说，除了需要对齐两幅图像的 偏移位置，其他任何地方几乎都是0。搜索最大 值的位置就是两幅图像的对齐点。
Abstract: Image mosaics are very important in creating panorama. At first, proceeding to several pictures with the particular mode projection, meanwhile getting the horizontal offset and vertical offset with restricted phase correlation, then a best seam-line can be fined. After that, the mosaic image can be created by a multiresolution method which can wipe off ghosting and exposure difference. The whole work is realized through programming of Visual C++, and the effectiveness of algorithm is proved by the results.
后会变成折线。为了保持实际景物的空间约束关
系，必须将得到的反映各自投影平面的图像映射
到一个标准投影——柱面投影上。进行柱面投影 后才能进行拼接得到视觉一致的全景图像。
假设平面图像坐标为(x，y)，在柱面展开图 上的新坐标为(u，v)，平面图像的高宽分别为 h 和 m 。柱面的半径为r。
可以先计算出
⎪⎧θ ⎨
2006 年 第2期
工程图学学报
JOURNAL OF ENGINEERING GRAPHICS
2006 No.2
一种全景图像拼接算法的实现
王仲训， 丁 挺， 丁晓丹， 岑伟迪
（烟台大学光电信息科学技术学院，山东 烟台 264005）
摘
要：图像拼接在制作全景图的过程中具有重要作用。对多幅图像进行特定模式
设两幅离散图像 f1(x, y) 和 f2(x, y)在空间域 简单的平移相关
f2 (x, y) = f1(x − x0 , y − y0 )
相应的傅立叶变换 F1 和 F2 是相关的
F2 (ξ ,η) = e− j(εx0 +ηy0 ) F1 (ξ ,η)
两个图像 f1 和 f2 的规格化互功率谱用相应 的傅立叶变换 F1 和 F2 表示时，相位相关度的公 式如下
已有的文献均未能很好地同时解决鬼影和 曝光差异问题[5]。作者提出新的算法，解决这两 个问题的同时，提高了算法的速度，并用Visual C++加以实现。
1 进行特定模式投影
相机采集到的反映全景的1组图像是相机在 不同角度下拍摄的，它们并不在同一投影平面
上，如果对重叠的图像直接进行无缝拼接，会破
坏实际景物的视觉一致性，如景物中的直线拼接
文献标识码：A
文 章 编 号：1003-0158(2006)02-0112-05
Implement of an Algorithm for Panorama Image Mosaics
WANG Zhong-xun, DING Ting, DING Xiao-dan, CEN Wei-di
( The Institute of Science and Technology for Opto-Electronic Information of Yantai University, Yantai Shandong 264005, China )