基于空间映射图像拼接算法探讨
- 格式:pdf
- 大小:1.55 MB
- 文档页数:5
基于SIFT特征点的图像拼接技术研究一、本文概述图像拼接技术作为计算机视觉领域的重要研究方向,旨在将多幅具有重叠区域的图像进行无缝连接,生成一幅宽视角或全景图像。
这一技术在许多领域都有着广泛的应用,如遥感图像处理、虚拟现实、全景摄影等。
近年来,随着数字图像处理技术的快速发展,基于特征点的图像拼接方法因其高效性和稳定性受到了广泛关注。
其中,尺度不变特征变换(SIFT)作为一种经典的特征提取算法,在图像拼接中发挥着重要作用。
本文旨在深入研究基于SIFT特征点的图像拼接技术,分析其基本原理、算法流程以及关键步骤,并通过实验验证其在实际应用中的效果。
文章将介绍SIFT算法的基本原理和特征提取过程,包括尺度空间的构建、关键点检测和描述子的生成等。
将详细阐述基于SIFT特征点的图像拼接流程,包括特征匹配、几何变换模型的估计、图像配准和融合等步骤。
同时,还将讨论在拼接过程中可能出现的问题和相应的解决方法。
本文将通过实验验证基于SIFT特征点的图像拼接方法的有效性。
实验中,将使用不同场景和不同类型的图像进行拼接,分析算法在不同情况下的性能表现。
还将与其他图像拼接算法进行对比,以评估SIFT算法在图像拼接中的优势和局限性。
文章将总结基于SIFT特征点的图像拼接技术的研究成果和实际应用价值,并展望未来的研究方向和发展趋势。
通过本文的研究,旨在为图像拼接技术的发展和应用提供有益的参考和借鉴。
二、SIFT算法原理尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)是一种广泛应用于图像处理和计算机视觉领域的特征检测和描述算法。
SIFT算法的核心思想是在不同的尺度空间上查找关键点,并计算出关键点的方向,生成一种描述子,这个描述子不仅包含了关键点,也包含了其尺度、方向信息,使得特征具有尺度、旋转和亮度的不变性,对于视角变化、仿射变换和噪声也保持一定的稳定性。
SIFT算法主要包括四个步骤:尺度空间极值检测、关键点定位、关键点方向赋值和关键点描述子生成。
无人机图像拼接算法的研究及实现随着近年来无人机技术的飞速发展,无人机图像拼接技术也得到了广泛的应用。
该技术可以将无人机拍摄得到的相邻区域的图像进行拼接,生成高分辨率的全景图像,提供了一种高效的地图制作和空中监测的手段。
本文将从无人机图像拼接的原理入手,分析其算法的研究,介绍常见的图像拼接算法以及其应用场景,并在最后给出一个无人机图像拼接的实现实例。
一、无人机图像拼接原理无人机的航拍图像拼接是借助现代数字图像处理技术来实现的。
该技术需要处理大量的数据,并结合图像的特征进行定位,将相邻图像进行拼接,生成全景图像。
以下是无人机图像拼接的原理图:如图所示,相机通过对地面连续拍摄,得到多幅重叠区域较多的图像。
在无人机图像拼接中,首先需要对相机进行标定,得到相机的内外参数。
然后,根据每张拍摄的图像的特征,例如SIFT特征,计算出每幅图像的特征点。
接着,通过匹配不同图像之间的特征点,建立不同图像之间的关系。
最后,运用优化算法对关系进行优化,完成图像拼接,生成全景图像。
二、无人机图像拼接的算法研究目前,无人机图像拼接的算法主要有以下几种:1. 基于特征点匹配的无人机图像拼接算法这种算法主要的思路是在多副图像上提取一些稀有的、具有代表性的特征点。
然后根据特征点的相似程度进行匹配,得到匹配点对。
匹配点对的质量好坏非常重要,其正确率和准确度直接决定了拼接后的图像质量。
这种算法的核心是对特征点的提取和匹配两个部分的处理。
由于SIFT, SURF和ORB等算子在特征提取和匹配上有着良好的效果,因此应用广泛。
2. 基于区域分割的无人机图像拼接算法该算法主要是先将输入的拍摄图像进行区域分割,将该图像分为多个区域,然后根据区域之间的相似度,通过一系列的变换操作,将这些不同区域的图像配准后合并起来生成全景图像。
这种算法具有很好的兼容性和可扩展性,能够处理不同场景和不同光照下的图像拼接。
但是该算法也存在着一些缺陷,例如耗费计算时间比较长而导致对计算机处理性能的要求比较高。
基于SURF的图像配准与拼接技术研究共3篇基于SURF的图像配准与拼接技术研究1近年来,图像配准与拼接技术已经成为了数字图像处理的重要研究方向之一。
在许多应用领域中,例如遥感影像、医学影像、三维建模等,图像配准与拼接技术已经得到了广泛的应用。
随着计算机视觉技术的不断发展,图像配准与拼接技术也在不断的完善和提高。
其中一种最具有代表性的图像配准与拼接技术就是基于SURF的图像配准与拼接技术。
SURF(Speeded-Up Robust Features)是一种高效的图像特征提取算法,它可以在保证特征点数量和质量的同时,提高提取速度。
利用SURF算法提取的特征点几乎不受图像缩放、旋转、平移等变换的影响,具有较好的鲁棒性和准确性。
基于SURF算法的图像配准与拼接技术,可以较好地解决图像缩放、旋转、平移等问题,为数字图像处理提供了更好的技术保障。
在基于SURF的图像配准与拼接技术中,首先需要选取参考图像和待配准图像。
然后,利用SURF算法对两幅图像提取特征点,并进行特征点匹配。
通过对特征点的匹配,可以找到两幅图像之间的几何变换关系。
接下来,可以利用图像配准技术对待配准图像进行校正对准,从而使其与参考图像达到一致。
最后,可以利用图像拼接技术将校正后的待配准图像与参考图像进行拼接,得到最终的拼接结果。
其中,特征点匹配是图像配准与拼接的关键步骤之一。
SURF算法的特征点匹配策略使用的是一种特殊的描述子匹配算法——KD树。
KD树是一种数据结构,在高维空间中构建KD树,可以实现高效的最近邻搜索。
通过KD树可以快速地找到两幅图像中距离最近的特征点,并将其匹配起来。
通过特征点的匹配,可以计算出两幅图像之间的变换关系,并对待配准图像进行校正对准。
除了特征点匹配外,还有一些其他的关键步骤也需要注意。
例如,在图像配准中,需要对待配准图像进行坐标转换,从而使得其与参考图像的坐标系一致。
在图像拼接中,需要实现拼接过程中的图像去重、光照一致性等问题。
基于区域的图像拼接算法
吴乐富;丁广太
【期刊名称】《计算机工程与设计》
【年(卷),期】2010(031)018
【摘要】为了在实时视频监控中能够有效地检测和跟踪目标,提出了一种基于区域的图像拼接算法.该算法根据空间几何知识建立摄像机旋转投影模型,对需要拼接的图像进行二维空间坐标变换,使所有的图像都转换到同一坐标系下.最后,根据已知的云台旋转参数来设定配准特征空间,进而对图像进行配准和拼接.算法中建立了一种新的摄像机旋转投影模型,可以有效地进行图像的空间坐标转换,并且通过设定配准特征空间,有效地改进了配准和拼接算法.在PC机上的实验结果表明了该算法的准确性和有效性.
【总页数】4页(P4044-4046,4050)
【作者】吴乐富;丁广太
【作者单位】上海大学,计算机工程与科学学院,上海,200072;上海大学,计算机工程与科学学院,上海,200072
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.基于轮廓特征区域的图像拼接改进比值算法 [J], 张鹏飞
2.基于区域分块与尺度不变特征变换的图像拼接算法 [J], 李玉峰;李广泽;谷绍湖;
龙科慧
3.基于灰度相关和区域特征的图像拼接算法 [J], 田伟峰;陈贝;刘茜
4.一种基于图像拼接的区域化特征匹配算法 [J], 秦丽娟; 林一方
5.基于区域分块与A-KAZE的齿轮图像拼接算法 [J], 杜猛;徐杰;吉卫喜;王玉源因版权原因,仅展示原文概要,查看原文内容请购买。
三维环境下的图像拼接算法研究与应用随着技术的不断发展和进步,三维环境下的图像拼接算法逐渐成为了近几年来计算机视觉领域的热门研究方向。
因为三维环境下对图像的处理需要更高的精度和更强的可靠性,所以图像拼接在三维环境下的应用也具有相对高的要求。
一、三维环境下的图像拼接算法研究现状目前,三维环境下的图像拼接算法主要分为两大类:基于快速匹配的算法和基于深度信息的算法。
基于快速匹配的算法依赖于快速检测图像中特征点的技术,如SIFT算法和SURF算法等。
这种算法主要适用于特定场景拍摄的图像,比如室外风景、建筑群等。
基于深度信息的算法主要利用三角测量原理确定像素之间的距离,从而计算不同图像之间的深度,实现图像拼接。
二、基于深度信息的图像拼接算法在基于深度信息的算法中,主要有两种经典的方法:基于3D重建的拼接算法和基于多视图几何的拼接算法。
其中,基于3D重建的算法主要依赖于三维建模软件,如3Ds MAX等。
这种算法需要使用多张图像进行三维重建,然后将多个三维模型拼接起来,生成一个完整的三维环境模型。
与此类似的是,基于多视图几何的算法也需要多个视角的图像进行处理,依次计算每一张图像之间的相对位置和距离,根据三角测量原理确定像素间的深度,最终拼接成一个完整的三维场景。
三、基于快速匹配的图像拼接算法与基于深度信息的算法相比,基于快速匹配的算法更加通用,可以适应多种场景的图像拼接需求。
该类算法主要依赖于SIFT算法或SURF算法等形式,交叉匹配两幅图像间的特征点,从而计算两幅图像之间的变换矩阵,利用该矩阵对图像进行变换,实现拼接目的。
该类算法主要分为两种方法:图像拼接和图像融合。
图像拼接方法是最常见和直观的应用形式,即将两张或多张图像拼接在一起,形成一个完整的大图像。
这种方法通常需要处理一些残留和镜头变形等问题,但是在处理大图像时表现出的效果比较优秀,能够很好地保持图像的连续性和完整性。
图像融合方法主要用于处理图像中的光照问题,即将两张或多张图像的亮度、对比度和颜色等参数进行调整,以达到某种意图的目标。
图像拼接方法总结图像拼接方法总结 (1)引言 (1)1 基于网格的拼接 (3)2基于块匹配的拼接(也叫模板匹配) (4)3基于比值法拼接 (6)4 基于FFT的相位相关拼接 (7)基于特征的图像配准方法 (9)5 Harris角点检测算法 (10)6基于SIFT尺度不变特征的图像拼接 (15)SIFT主要思想及特点 (16)SIFT算法详细过程 (16)SIFT匹配算法实现 (20)7 基于surf 的图像配准 (22)SURF算法介绍 (22)算法详细过程 (23)8 基于最大互信息的图像配准 (24)9 基于小波的图像拼接 (27)10 基于轮廓特征的图像拼接技术 (27)引言首先研究了图像拼接的基本技术,包括图像预处理、图像配准、图像融合,图像的预处理包括:图像预处理的主要目的是为了:降低图像配准的难度,提高图像配准精度。
图像预处理包括:图像投影、图像去噪、图像修正等。
图像配准采用的算法主要有两类:一类是基于区域的算法,是指利用两张图像间灰度的关系来确定图像间坐标变化的参数,其中包括基于空间的像素配准算法包括(1基于块匹配,2基于网格匹配,3基于比值匹配),基于频域的算法(4既是基于FFT的相位相关拼接)等。
另一类是基于特征拼接的算法,是利用图像中的明显特征(点,线,边缘,轮廓,角点)来计算图像之间的变换,而不是利用图像中全部的信息,其中包括5 Harris角点检测算法,6 SIFT(角点)尺度不变特征转换算法,7 surf(角点,这种方法是sift方法的改进,速度提高)特征算法,第三类是8 基于最大互信息的拼接,9 基于小波(将拼接工作由空间域转向小域波,即先对要拼接的图像进行二进小波变换,得到图像的低频、水平、垂直三个分量,然后对这三个分量进行基于区域的拼接,分别得到三个分量的拼接结果,最后进行小波重构即可获得完整的图像)。
图像的融合:1直接平均值法、2基于小波变换、3线性加权法4 最大值法5 多元回归算法1 基于网格的拼接优缺点:计算量大,精度高,很难选择初始步长。
基于深度学习的全景图像拼接与三维场景重建研究全景图像拼接与三维场景重建在现代计算机视觉领域中占据着重要地位。
随着深度学习技术的迅猛发展,基于深度学习的方法在全景图像拼接和三维场景重建方面取得了显著的进展。
本文将介绍基于深度学习的全景图像拼接与三维场景重建的研究现状和主要方法。
首先,全景图像拼接是将多个局部图像拼接成一个全景图像的过程。
传统的全景图像拼接方法通常基于特征点匹配和图像对齐的算法,但在处理大规模场景和复杂纹理时存在一定的局限性。
基于深度学习的全景图像拼接方法通过使用卷积神经网络(CNN)进行特征提取和匹配,能够更准确地获得图像间的对应关系,从而实现更好的全景图像拼接效果。
例如,Pix2pix网络通过生成对抗网络(GAN)的训练方式,能够实现语义级别的全景图像拼接,使得拼接后的图像具有更好的连续性和真实感。
其次,三维场景重建是利用图像信息恢复三维场景的过程。
传统的三维场景重建方法通常基于结构光、多视图几何等技术,但对于复杂场景的重建效果不佳。
基于深度学习的三维场景重建方法通过训练深度神经网络,能够直接从图像中预测出场景中每个像素的深度信息,从而实现更精确的三维场景重建。
例如,ShapeNet网络利用卷积神经网络学习图像和深度信息之间的映射关系,能够实现快速而准确的三维场景重建。
在基于深度学习的全景图像拼接和三维场景重建的研究中,研究者们还提出了许多改进方法。
其中之一是使用注意力机制,通过学习图像中不同区域的重要性,进一步提高图像匹配和深度预测的准确性。
另外,一些研究者探索了使用更复杂的网络结构,如生成对抗网络和循环神经网络,来提高全景图像拼接和三维场景重建的质量和真实感。
然而,基于深度学习的全景图像拼接和三维场景重建仍然面临一些挑战。
首先,深度学习方法通常需要大量的训练数据,但获取大规模带有标注信息的全景图像和三维场景数据是一项耗费时间和资源的任务。
其次,深度学习方法对于不同场景和光照条件的适应性仍然有待提高,特别是在夜间或光照不均匀的情况下。
图像拼接算法简介图像拼接算法是一种用于将多个图像合并成一个更大图像的技术。
该算法通过找到输入图像之间的共同特征点并对齐它们,然后通过一些图像处理方法来融合它们,从而生成一个完整的图像。
拼接算法可应用于多个领域,如摄影、航拍、医学图像等。
在这些领域中,往往需要获取更大的视野范围或更高的分辨率,因此使用拼接算法可以满足这些需求。
基本步骤图像拼接算法通常包括以下几个基本步骤:1.特征点检测:首先对输入图像进行特征点检测,例如使用SIFT(尺度不变特征变换)算法。
特征点是图像中具有显著特征的一组像素。
2.特征点匹配:将不同图像中的特征点进行匹配,并根据匹配程度将它们分组。
常见的算法有RANSAC(随机抽样一致性)算法。
3.图像对齐:通过对齐特征点,将不同图像进行几何变换,从而使它们在同一坐标系下对齐。
常见的变换包括平移、旋转、缩放等。
4.图像融合:将对齐后的图像进行融合,使它们看起来无缝连接。
常见的融合方法有线性融合、金字塔融合、平面拼接等。
算法实现以下是一个简单的图像拼接算法的示例实现:import cv2import numpy as npdef stitch_images(images):# 特征点检测sift = cv2.SIFT_create()keypoints = []descriptors = []for image in images:kp, des = sift.detectAndCompute(image, None) keypoints.append(kp)descriptors.append(des)# 特征点匹配matcher = cv2.BFMatcher(cv2.NORM_L2)matches = []for i in range(len(keypoints) -1):matches.append(matcher.match(descriptors[i], descriptors[i+1]))# 图像对齐homography_matrices = []for i in range(len(matches)):src_pts = np.float32([keypoints[i][m.queryId x].pt for m in matches[i]]).reshape(-1, 1, 2)dst_pts = np.float32([keypoints[i+1][m.trainI dx].pt for m in matches[i]]).reshape(-1, 1, 2)M, _ = cv2.findHomography(src_pts, dst_pts, c v2.RANSAC, 5.0)homography_matrices.append(M)# 图像融合result = images[0]for i in range(len(images) -1):result = cv2.warpPerspective(result, homograp hy_matrices[i], (result.shape[1] + images[i+1].sh ape[1], result.shape[0]))result[0:images[i+1].shape[0], 0:images[i+1]. shape[1]] = images[i+1]return result结果展示下面是使用示例实现对两张图像进行拼接的结果展示:import cv2import matplotlib.pyplot as pltimage1 = cv2.imread('image1.jpg')image2 = cv2.imread('image2.jpg')result = stitch_images([image1, image2])plt.imshow(cv2.cvtColor(result, cv2.COLOR_BGR2RG B))plt.axis('off')plt.show()总结图像拼接算法是一种用于将多个图像合并成一个更大图像的技术。
收稿日期:2018-03-19作者简介:王恒立(1976-),男,辽宁人,高级工程师,主要研究方向为光电工程与光电图像处理.全景拼接技术在机器人、计算机视觉、监控和虚拟现实等领域有着广泛的应用[1-4],能为观察者提供全局态势感知能力。
根据全景图像获取方式的不同,分为单相机扫描和多相机拼接两种方式,单相机扫描方式利用单个相机转动一周获取的图像拼接成一幅全景图像;多相机拼接方式利用安装角度固定、视场重叠的多个相机输出图像拼接成一幅全景图像。
单相机扫描方式一般要求相机视场角较小,并且相邻图像之间有较大的重叠面,将相机绕中心旋转一周获取的图像拼接成一幅水平方向上的全景图像,但无法获得4π空间的全景图像,且无法满足实时性要求。
应用最为广泛的全景拼接算法是Szeliski R 等人提出的8参数方法[5],使用非线性最小二乘法来估计两个图像之间的运动参数,根据相邻图像运动参数信息实现全景拼接。
随后,ZHONG Min 等人提出·信号与信息处理·基于空间映射图像拼接算法探讨王恒立,张强(中国电子科技集团公司光电研究院,天津300308)摘要:针对传统全景拼接算法拼接精度低、拼接图像接缝明显的问题,提出一种基于空间映射图像全景拼接算法。
首先,测量每台相机输出图像畸变中心和镜头畸变参数,对图像进行畸变校正处理,获取指定视场大小的无畸变图像;再根据相邻相机重叠视场区域相似性计算得到每台相机的实际安装位置,并对畸变后图像进行亮度一致性处理和边界融合处理,增强拼接图像的整体性和消除拼接接缝;最后,根据相机实际安装位置、图像视场大小和图像分辨率,通过计算图像拼接表获得拼接图像,得到拼接图像。
实验结果表明,文中算法拼接精度高且拼接图像无缝平滑。
关键词:全景拼接;畸变校正;亮度一致性处理;边界融合中图分类号:TP391文献标识码:A文章编号:1673-1255(2018)-03-0035-04Discuss of Space -mapping Based Image Stitching AlgorithmWANG Heng -li,ZHANG Qiang(Academy of Opto -Electronics,China Electronics Technology Group Corporation (AOE CETC),Tianjin 300308,China)Abstract:Space -mapping based image panorama stitching algorithm is proposed to solve the problems thatthe results of the traditional image panorama stitching algorithms have low accuracy and obvious seams.At first,the image distortion center and lens distortion parameters from each camera are measured,and the ideal image with specified size of field of view is obtained by image distortion correction processing.And then,the actual installation location of each camera is calculated by using the similarity of overlapping field region of view of the adjacent cam⁃eras.The accuracy of image stitching is improved and image stitching seams is removed using brightness uniformity processing and boundary fusion methods.At last,according to actual installation location of each camera,the field of view and image resolution,panorama image is obtained by calculating image stitching table.Experimental resultsshow that the algorithm has high stitching accuracy and the stitching images are seamless and smooth.Key words:panorama stitching;distortion correction;brightness uniformity processing;boundary fusion 第33卷第3期2018年6月光电技术应用ELECTRO-OPTIC TECHNOLOGY APPLICATIONV ol.33,No.3June ,2018光电技术应用第33卷一种基于SIFT特征匹配的全景拼接算法[6],采用SIFT和RANSAC算法检测重叠图像特征点对,提高了相机运动参数计算精度,但此类算法仍无法满足实时显示全景图像的要求。
杜威等人提出一种动态场景的全景拼接算法[7],通过图像纹理匹配和融合方法,将定点拍摄图像合成一幅全景图像,由于算法要求两幅图像之间具有较大的重叠区域,并且匹配运算量较大,这些都限制了算法的实际应用。
封靖波等人提出一种基于相似性曲线的全景自动拼接算法[8],通过寻找列梯度最大点自动找到两幅图像相似区域,实现自动全景拼接,由于算法将图像梯度作为图像匹配的基础,对于背景简单的图像很难获取准确的图像匹配结果。
Kyungyoon C等人实现一种多相机的实时全景视频系统[9],由于系统没有对各个相机进行灰度一致性处理,造成拼接图像灰度差异明显。
采用多相机拼接获取实时全景图像,需要对各个相机输出图像进行畸变校正处理,消除由于光学镜头设计原因引起的图像几何畸变;再根据各个相机安装位置和视场等参数,将相机成像坐标系下输出图像转换到同一坐标系下,建立各个相机输出图像的空间位置关系;对相邻图像进行亮度一致性处理,消除由于相机视场内环境差异引起的图像亮度差异,并利用视场重叠区域对拼接图像接缝进行过渡处理,消除拼接图像接缝;最后,建立成像面与输出图像的空间映射关系,输出大视场全景拼接图像。
1基于空间投影图像全景拼接算法全景拼接技术应用多个分别安装不同朝向相机输出图像,经过畸变校正、亮度一致性处理和边缘处理后,获取任意指定视线角和指定视场的无缝平滑图像。
1.1畸变校正受相机镜头设计和实现的影响,相机输出图像存在一定的几何畸变,需要经过畸变校正处理,获得理想小孔成像模型下无畸变图像。
图像畸变校正过程包括图像坐标映射和灰度插值两个步骤。
根据测量得到镜头畸变参数和输出图像畸变中心,通过几何变换得到理想图像像点与实际图像点之间的映射关系。
然而,通过坐标映射得到的像点不可能总是落在实际图像像点上,需要对坐标映射得到的像点进行灰度插值处理,根据实际图像上该点附近各像点的灰度值来估计该点的灰度值,从而得到与之对应的理想图像上映射点的灰度值。
畸变校正原理图如图1所示。
图1中A i为畸变校正后的图像中第i个像点的灰度值;B i为畸变校正表中第i个元素值,存储原始图像地址信息;C i为原始图像中地址为B i像点的灰度值,畸变校正映射关系如下式所示Ai=Ci[]Bi(1)对畸变图像进行畸变校正效果图如图2所示。
受镜头设计因素的影响,相机输出网格图像存在一定的几何畸变,并且越靠近边缘视场畸变越严重(如图2a所示),通过对图像进行畸变校正处理得到无畸变图像(如图2b所示)。
1.2图像全景拼接由于相机理论安装位置与实际安装位置存在一定的偏差,影响图像拼接精度,需要根据相邻相机输出图像视场重叠区域相似性计算相机实际安装位置。
并且,由于不同相机存在个体差异,造成不同相机输出图像存在一定的非一致性,通过一致性校准方法减少个体差异造成的非一致性影响。
在拼接图像中,以一幅图像为基准,根据相邻图像视场重叠区域灰度比值来校准相邻图像,其计算公式如下式所示(a)畸变校正后图像(b)畸变表(c)原始图像图1畸变校正原理图(a)网格图像原图(b)畸变校正后网格图像图2畸变校正效果图36第2期(5)I ′n =k ⋅I n k =m im j(2)式中,m i 和m j 分别为基准图像和与其相邻图像视场重叠区域灰度均值;k 为计算得到的相关系数;I n 和I n ’分别为校准前后拼接图像像点灰度值。
相机个体差异同时会造成拼接图像接缝处灰度差异明显,影响拼接图像视觉效果。
通过采用边界融合方法将拼接接缝处灰度差异分散到其邻域像素中来消除拼接接缝,提高拼接精度,其计算公式(3)所示I ′m=I m -w i ⋅d m(3)式中,d m 为拼接图像接缝处灰度差;w i 为权重系数,其值大小与校正点和接缝处像点距离成反比;I m 和I m ’分别为校正前后校正点灰度值。
通过对每台相机输出图像进行亮度一致性校正和边界融合处理,消除输出图像的亮度差异和拼接图像接缝。
确定相关坐标系的定义和转换关系,根据各个相机的安装角度,建立每台相机输出图像在同一坐标系下的空间位置关系,文中提出两种全景显示方式:漫游显示和柱面全景显示。
图3为漫游显示和柱面全景显示中成像面与相机输出图像的映射关系图。
全景拼接算法中包括两个坐标系:相机坐标系和成像面空间坐标系,如图4所示。
相机坐标系o -xyz 的原点o 位于相机的投影中心,ox 轴为光轴,垂直于镜头向外,oy 平行于成像平面,指向成像平面的下方,oz 平行于成像平面,指向成像平面的右方。
成像面空间坐标系O -XYZ 的原点O 位于每台相机投影中心上,OX 轴向右,OY 轴竖直向上,OZ 轴垂直于OXY 面且满足右手定律。
根据相机输出图像宽度、高度和视场大小,计算出成像面中心与相机投影中心的距离,其计算公式如下式所示d =w 2×tan(angle)(4)式中,w 为输出图像宽度;angle 为输出图像半视场大小;d 为相机的放大系数。
漫游显示成像面空间坐标计算,根据各个相机的安装角和计算得到的成像面与相机投影中心距离,计算得到各个相机输出图像中像点在成像面空间坐标系下的空间坐标。
设图像中任意一点(m ,n ),可以得到该点在初始位置下(视线角为(0,0))成像面空间坐标系中的坐标为(d ,n-w /2,w /2-m ),通过坐标转换计算该点在实际视线角下的空间坐标。