边界重叠图像的网格拼接算法

毕业设计（论文）说明书题目：边界重叠图像的网格拼接算法系名计算机科学与技术系专业软件工程学号 6007203156姓名徐御臣指导教师殷妍2011年6月3日摘要图像拼接技术是将一组相互间重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。

图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。

一般来说，图像拼接的过程由图像获取，图像配准，图像合成三步骤组成，其中图像配准是整个图像拼接的基础。

针对边界部分有重叠的图像，提出了一种基于网格匹配的快速对准算法，并通过平滑因子对图像实现了无缝拼接。

提出了一种适宜于生成全方位全景图像的拼接和平滑算法，给出了一种消除拼接积累误差的方法，进而首次在立方体表面拼接成功了全方位全景图像，并由此生成了球面上的全方位全景图像。

关键词：图像拼接；图像配准；图像融合；全景图AbstractImage mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, we present a fast stitching algorithm for overlapping images based on grid matching, which makes images matching correctly, stitching images seamless and smooth. Both a mosaic method and a smoothing method that are adaptive to be used to create omni-directional images are proposed. A method by which the mosaic accumulative error can be eliminated is also proposed. As the first time, anomni-directional image is created on cube face, through which an omni-directional image on a sphere face is created.Keywords: image mosaic; image registration; image fusion; panorama。

重叠网格总结内容分为四个部分：（1）重叠网格大致介绍（2）重叠网格的优点及重点注意事项（3）重叠网格工作过程，包括挖洞、建立区域连通及插值方法的描述（4）重叠网格精度说明，引用文献的动网格计算结果来对比说明1 重叠网格重叠网格由背景网格和部件网格相互重叠而组成。

各网格区域在空间上重叠，但不存在连通关系，相互独立存在，须由前处理软件完成挖洞、匹配插值点等操作后，建立起连通关系。

图重叠网格示例前处理器将重叠网格处理成洞单元、离散（计算）单元及插值单元，流体控制方程各自在背景网格和部件网格上进行求解，插值单元构成内部边界条件，用来传递数据，最终得到整个计算域内的流场信息。

图重叠网格单元类型2 重叠网格优点及使用事项重叠网格的优点主要体现在两方面：（1）简化复杂几何的网格划分，不同计算区域可选择最恰当的网格形式。

（2）有利于相对运动部件的网格生成；特别是，可以比较方便地调整网格相对位置，以便开展参数化研究。

图锥形单向阀——小开口图锥形单向阀——大开口为了更好发挥重叠网格方法的优点，使用时须特别注意：（1）采用双精度求解器重叠网格方法高度依赖于插值精度，因此要使用双精度求解器，以减少计算机的舍入误差。

（2）网格重叠区域尽量均匀一致插值精度与重叠区域网格的相对尺寸、方位、长宽比、偏斜率等指标与直接相关。

重叠区域网格划分必须提前细致规划，提供均匀、高质量的网格，否则极易出现孤立单元（orphan cell）。

（3）基于梯度的网格自适应插值误差与边界点和donor单元之间的数据梯度直接相关。

单元间流体参数梯度大，严重影响插值精度。

因此，重叠网格方法最好与网格自适应相结合，使得重叠区域的流体参数平滑分布，以便得到最佳的插值效果。

3 重叠网格工作过程（参考Handbook of Grid Generation—chapter 11&SUGGAR）重叠网格处理过程可分为挖洞、建立区域连通性、进行插值计算等主要步骤。

第3卷第5期1998年5月中国图象图形学报Jou rnal of I m age and Grap h icsV o l.3,N o .5M ay .1998重叠图象拼接算法Ξ钟力　胡晓峰(国防科技大学七系,长沙　410073)摘　要　全景视频是一种利用360度全景图象建立虚拟环境的新方法。

全景图象是通过将普通照相机拍照到的边界部分重叠的图象进行拼接而创建的。

本文利用图象重叠部分对应像素的相似性,提出了一种行之有效的拼接算法,使得到的图象无缝平滑。

关键词　图象拼接,全景视频,算法,重叠图象1　引　言全景视频(Pano ram ic V ideo )是一种利用实景图象组成全景空间的技术,它将多幅图象拼接成360度柱面全景,并利用多幅全景图象之间的超链建立起可供用户观察的虚拟环境,通过在不同全景图象之间的切换来实现在虚拟环境中的漫游,使用户能主动地从不同的观察点和方向了解环境[1]。

360度全景图象的素材,是通过利用普通照相机采集的照片,经过数字化得到的边界部分重叠的图象。

因为全景图象表示的是人在某一视点观察空间,视点不动而观察方向改变。

所以在拍照时将照相机固定在支架上,尽量避免转动时镜头的偏斜和俯仰,并以镜头为轴转动一周连续拍照。

拍照时使相邻图象具有一定程度的内容重叠,以便于拼接而得到全景图象。

图1是组成全景的边界部分重叠的图象,可以看到,这里的主要工作首先是确定相邻图象在宽度、高度上的重叠程度(拍照不可避免地造成了垂直方向上的错位),去掉重叠,然后再进行平滑连接得到全景图象。

图象重叠范围的确定主要是基于2图象重叠部分对应像素的相似性,即在R GB 或YUV 空间上具有基本相同的值。

过去的一种作法是基于面积的算法,即取前一幅图象中的一块作为模板,在第2幅图象中搜索具有相同(或相似)值的对应块,从而确定2幅图象的重叠范围[2]。

但这种算法计算量太大,而且受光照条件的影响,所以往往不实用。

我们在从事全景视频空间研究的项目中,提出了一种新的图象拼接算法,并在实验中予以证实,发现它不仅计算量大大减少而且行之有效,而且还可用于立体图象对的配准。

第26卷第2期2004年4月湖州师范学院学报Journal of Huzhou Teachers CollegeVol.26No.2Apr.,2004一种基于线条特征的图像拼接算法X徐奕(湖州师范学院信息工程学院,浙江湖州313000)摘要:全景图像是通过将普通照相机拍摄到的、边界部分有重叠的图像进行拼接而创建形成的.利用图像重叠部分对应像素的相似性,提出了一种行之有效的拼接算法,即通过特征线条的数据分布来配准图像,使得到的图像无缝平滑.关键词:图像拼接;算法;重叠图像;全景图像中图分类号:TP391.41文献标识码:A文章编号:10091734(2004)020133030引言真实的世界是一个丰富的信息源,而视觉信息又是其中最重要的信息.我们通常能够获取现实世界中的一系列图像,而把这些图像合成为全景图像常常对我们更为重要.图像拼接技术的目的就是把一系列真实世界的图像合成为一个单一的、更大的、更复杂的全景图像,使我们可以更加客观、形象地认识和理解真实世界.我们所用的全景图像素材是通过普通照相机采集的照片,经过数字化得到的边界部分重叠的图像.因为全景图像表示的是人在某一视点观察到的空间,视点不动而观察方向改变.所以在拍照时将照相机固定在支架上,尽量避免转动时镜头的偏斜和俯仰,并以镜头为轴转动一定角度连续拍照.拍照时使相邻图像具有一定程度的内容重叠,以便于拼接而得到全景图像.要实现图像拼接,必须先实现图像配准,即对图像进行匹配.目前图像配准的主要方法有两类:基于区域的配准和基于特征的配准.前者是把一幅图像中某一像素的像素值领域作为模板,然后在另一幅图像中搜索具有相同(或相似)像素值分布的对应点领域.如文献[1]中的方法是直接利用图像像素值,计算量较大,并且容易受到光照条件的影响;后者是通过图像像素值导出符号特征(如特征点、特征线段等)来实现匹配.例如文献[2]~[3]中的方法对于光照变化相对稳定,同时它可以通过对特征属性的简单比较来实现配准,因此比基于区域的方法要快得多.1配准拼接图像拼接一般要进行三方面的处理,首先是图像预处理,包括各图像间的平移、旋转、畸变以及光强等的校正;其次是图像的对准,根据图像中重叠部分来定位图像;最后是无缝拼接,消除拼接起来的图像中的缝隙效应.两张图片的拼接可以分为水平拼接和垂直拼接,这两种方法的实现原理基本一致.本文以水平拼接为例来说明.1.1预处理考虑到普通照相机采集的照片基本上没有畸变,且拍摄时间相当接近,光照变化不明显,所以为了方便拼接处理,只需对其进行大小调整就行.用软件ACDSee将所需的照片打开,可以发现,通常的照片规格为:X收稿日期:20040325作者简介:徐奕(1981-),女,浙江海宁人,湖州师范学院信息工程学院04届本科毕业生,研究方向:图形学.134湖州师范学院学报第26卷长1124像素,宽816像素,文件格式为jpeg.处理时,先选择菜单栏上的/工具0,打开其中的/调整大小0命令,在弹出的/图像调整大小0对话框中设置新的大小,长、宽均缩至512像素.此时,文件格式仍为jpeg,而我们要求的文件格式为bmp,所以还需通过Windows自带的/画图0程序将调整大小之后的图片另存为bmp格式的图像.1.2配准定位图像配准的工作就是搜寻相邻两幅图像中的相同内容,从而确定它们的相对位置.也就是确定相邻图像在宽度、高度上的重叠程度(拍照时不可避免地会造成水平或垂直方向上的错位),去掉重叠,然后再进行平滑连接得到全景图像.1.2.1算法思路算法的思路是利用图像间隔的一定距离的2列上的部分像素,即在前一幅图像的重叠区域中分别从2列上取出部分像素,用它们的比值作为模板,然后在第2幅图像中搜索最佳匹配,即对于第2幅图像,由左至右依次从间距相同的2列上取出部分像素,并逐一计算其对应像素比值,然后将这些比值依次与模板进行比较,其最小差值对应的列就是最佳匹配.虽然在比较中只利用了一组数据,其实可以说是利用了2列像素及其所包含的区域的信息.一般情况下相邻图像重叠的范围大约是30%~50%.具体作法:在第1幅图像的右边,相隔20个像素距离的2列上,取对应的2组数,各有200个像素.计算其比值得到一个浮点数组base[200],将它作为比较的模板.在第2幅图像中,相隔同样距离的2列上各取出300个像素的数据,取的点相对于模板上下多出50个像素,这是因为第2幅图像可能有垂直方向上的交错,同时又假定错开距离不超过50个像素.计算它们的比值,得到浮点数组image[300].在开始时取第1、21列,接着取第2、22列,视重叠宽度的多少依次下去.具有不同数量的数组,一般取图像宽度的一半(与重叠量有关),即取到第I mage_width/2,Im-age_width/2+20列.匹配时,首先要进行垂直方向的比较,对第2幅图像中所取的每一个数组,要计算对应元素值差的平方和,因为上下可能交错为50个像素,所以需计算101个垂直方向的差值平方和.设垂直方向交错距离为dis,则对每一dis(0~100)进行计算,就得到一个E[dis],其中E[dis]=E199i=0(image[i+dis]-base[i])2.计算差值平方和的目的是寻求与模板的最佳匹配,从而确定重叠交错距离.对应最小值的就认为是组内最佳匹配,并记录垂直方向距离dis.接着循环计算所有的数组与模板对应值的差值平方和,得到每个数组的组内最佳匹配和垂直方向距离.最后将每个数组的组内最佳匹配值进行水平方向的比较,得到的最小值就认为是全局最佳匹配.由它对应数组的垂直方向距离dis就可决定垂直方向上的交错距离,由它的对应数组的位置和第1幅图中的模板位置就可决定水平方向的重叠距离.1.2.2算法描述设模板两列像素的距离为D,具体算法如下:Procedure image matchingbegininput base[200]//输入模板值for(k=0;k<image2_width/2;k++)input part of column k+1,k+1+D of image2y image[300]//输入第2幅图像for(dis=0;dis<=100;dis++)E[dis]=E199i=0(image[i+hdis]-base[i])2//计算差值平方和y_small=100//设组内最小值初值(垂直方向)for(dis=0;dis<=100;dis++)if(E[dis]<y_small)y_small=E[dis]//组内最小值(垂直方向)m_dis[k]=dis//组内最佳匹配距离(垂直方向)bestmch[k]=y_smallx_small=110//设全局最小值初值(水平方向)for(k=0;k<image2_width/2;k++)if (bestmch[k]<x_small)x_dis=k;y_dis=m_dis[k]//得到决定重叠交错距离的横向、纵向方向距离end得到的x_hdis 、y_hdis 可决定重叠交错距离.例如,如果模板的前一列距离图像右边为100个像素,k 等于120,则重叠220个像素;如果模板列从第60个像素取数,image[i ]从第10个像素取数,又y_dis=40,则交错10个像素,说明第2幅图像相对第一幅图像偏上10个像素.1.3无缝拼接找到了重叠范围之后,如果仅仅是简单的叠加,则会造成图像的模糊和明显的边界,这是图像拼接所不能容忍的.平滑连接就是要使拼接区域平滑,提高图像质量.因此我们可以采用淡入淡出的思想,利用渐入渐出的方法[5],即在重叠部分由前一幅图像慢慢过渡到第2幅图像,并删去水平方向错开的图像部分.具体做法为:设渐变因子为0<d<1,对应的前后2幅图像重叠部分像素值为image1、image2,结果为ima ge3,则im -age3=d*image1+(1-d)*image2,其中的d 由1慢慢变化到0,它与图像之间的水平方向重叠距离有关.但是对于图像要求在高保真度的情况下(比如拼接病理切片),只要图片基本不存在畸变,也可以不采用图像平滑算法,只要准确定位,就能够实现无缝拼接.[4]2实验结果及分析在实验中,我们以山西省人民医院远程病理科门诊患者的病理切片在显微镜下采集的彩色图片作为实验图像,图像重叠区域为20%~30%,最后取得较为满意的结果,如图1所示.待配准图像a1待配准图像b1图像a1和b1的拼接结果c1图1待配准图像a1和b1的拼接待配准图像a2待配准图像b2图像a1和b1的拼接结果c2图2待配准图像a2和b2的拼接试验中的算法是利用图像像素的RGB 值.在处理效果上,当图像本身质量较好时,算法能做到准确无误地匹配拼接,边界融合相当完美.有时由于拍照的原因造成图像质量下降(图像偏暗或偏亮),但只要在一定程度之内,算法也能进行准确地拼接.当然,算法也有其局限性,在配准点附近可能存在着不稳定性,这时如果存在干扰很可能埋没图像特征,有可能导致拼接失败.在时间花费上,处理时间与模板维数(像素个数)和事先选定的水平方向最大重叠距离以及垂直方向最大交错距离密切相关.在这里所选定的这3者分别是200个像素、第2幅图像宽度的一半以及50个像素,结果处理时间也比基于面积的方法大大减少.如果根据具体情况调节这些参数的大小,就会进一步减少运算量,从而减少时间的花费.(下转第140页)135第2期 徐奕:一种基于线条特征的图像拼接算法140湖州师范学院学报第26卷参考文献:[1]李存斌,樊建平.ASP高级编程及其项目应用开发[M].北京:中国水利水电出版社,2003.125~202.[2]宣小平,但正刚,张文毅.ASP数据库系统开发实例导航[M].北京:人民邮电出版社,2003.98~152,211~293.[3]John J.SQL基础(第二版)[M].高京义,汤严译,北京:清华大学出版社,2003.22~125.The Design and Implementation of the On lineMerchand ise Sale S ystem Based on the ASP TechnologyW ANG Jue(Faculty of Information&Engineerin g,Huzhou T eachers College,Huzhou313000,China)Abatract:We have set up an on line merchandise sale system based on the ASP and SQL Server technology.This paper describes the concrete design thought and imple menta tion method of each function module,including the creation of front flat web pages,the design of module of back flat database,the dynamic link between the front fla t system and the back flat system,the disposition of data source,etc.Key words:E business;on line merchandise sale system;ASP;SQL Server2000(上接第135页)参考文献:[1]王立峰,潘志庚,石教英.全景图像的拼合及优化算法[J].计算机应用研究,1999,16(6):59~61.[2]钟力,张茂军,孙立峰,等.360度柱面全景图像生成算法及其实现[J].小型微型计算机系统,1999,20(12):899~903.[3]钟力,胡晓峰.重叠图像拼接算法[J].中国图像图形学报,1998,3(5):367~370.[4]韩丽萍,杨永红,陈礼民.一种改进的病理切片图片拼接算法[J].计算机应用与软件,2003,20(7):56~58.A Stitching Algorithm Based on Character LinesXU Yi(Faculty of Information&Engineerin g,Huzhou T eachers College,Huzhou313000,China)Abstract:The panoramic images can be created by0stitching0together overlapping images taken with an ordinary camer-a.In this paper the author puts forward a valid algorithm,which makes use of the corresponding pixels.similarity of overlapping ima ges portion to make the ima ges seamless and smooth.Key words:image stitching;algorithm;overlapping ima ge;panoramic image。

目录摘要·························· - 2 - 第1章绪论······················ - 3 - 1.1课题背景····················· - 3 - 1.2图像拼接技术的发展概况·············· - 3 - 1.3图像拼接技术研究现状··············· - 5 - 1.4图像拼接技术研究的核心问题············ - 5 - 第2章图像拼接及其关键技术·············· - 6 - 2. 1图像获取···················· - 6 - 2.2图像匹配····················· - 7 - 2.3图像拼接算法··················· - 9 -2.3.1 基于面积匹配的算法·············· - 9 -2.3.2 基于比值匹配的算法··············- 10 -2.3.3 基于网格匹配的快速算法············- 11 - 2.4图像融合·····················- 12 -2.4.1 基于平均值的融合···············- 12 -2.4.2 基于渐变因子的融合··············- 13 -2.4.3 基于颜色的融合················- 13 - 第3章拼接算法的MATLAB实现··············- 17 -3.1图像拼接的MATLAB实现··············- 17 - 3.2实验结果及其评价·················- 18 - 结束语·························- 19 - 参考文献························- 20 - 附录··························- 21 -1.基于网格特征的拼接算法程序：············- 21 -2.基于列对特征的拼接算法程序·············- 26 -摘要图像拼接是数字图像处理领域的一个重要研究方向，在数学视频、计算机视觉、计算机图形学、虚拟现实技术、遥感图像处理、医学图像分析等领域都有广泛的应用价值。

多重合并区域计算
多重合并区域计算是指在二维平面上给定多个区域，并计算它们的合并结果。

常见的应用场景包括图像处理、地理信息系统等领域。

具体的计算方法可以根据需求选择不同的算法。

下面介绍几种常用的多重合并区域计算算法：
1. 基于边界的算法：首先计算每个区域的边界，并将边界进行合并。

合并的方法可以是简单的相交或者融合。

这种算法适用于区域边界明确的情况。

2. 基于像素的算法：将每个区域表示为二值图像，通过对图像进行像素级的操作实现合并。

常见的操作包括逻辑运算（如并、交、补等）、图像融合等。

这种算法适用于区域以像素为基本单位的情况。

3. 基于图的算法：将每个区域表示为图的节点，并通过图的遍历和连接操作实现合并。

常见的算法包括最小生成树、最大流、最短路径等。

这种算法适用于区域之间存在复杂连接关系的情况。

4. 基于分割的算法：将整个平面划分为若干个区域，并通过区域的分割和合并操作实现最终的合并结果。

常见的算法包括分层聚类、区域生长等。

这种算法适用于区域个数较多且结构复杂的情况。

无论采用哪种算法，其关键是确定合并的规则和条件，以及对结果的评估和优化。

这需要根据具体的应用场景和需求进行调整和改进。

图像拼接方法总结图像拼接方法总结 (1)引言 (1)1 基于网格的拼接 (3)2基于块匹配的拼接（也叫模板匹配） (4)3基于比值法拼接 (6)4 基于FFT的相位相关拼接 (7)基于特征的图像配准方法 (9)5 Harris角点检测算法 (10)6基于SIFT尺度不变特征的图像拼接 (15)SIFT主要思想及特点 (16)SIFT算法详细过程 (16)SIFT匹配算法实现 (20)7 基于surf 的图像配准 (22)SURF算法介绍 (22)算法详细过程 (23)8 基于最大互信息的图像配准 (24)9 基于小波的图像拼接 (27)10 基于轮廓特征的图像拼接技术 (27)引言首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合，图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。

图像预处理包括：图像投影、图像去噪、图像修正等。

图像配准采用的算法主要有两类：一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。

另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，速度提高）特征算法，第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这三个分量进行基于区域的拼接，分别得到三个分量的拼接结果，最后进行小波重构即可获得完整的图像）。

图像的融合：1直接平均值法、2基于小波变换、3线性加权法4 最大值法5 多元回归算法1 基于网格的拼接优缺点：计算量大，精度高，很难选择初始步长。