全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机
最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。
诚信声明 本人声明： 我所呈交的本科毕业设计论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人完全意识到本声明的法律结果由本人承担。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期：2010 年05 月20日
毕业设计（论文）任务书 设计（论文）题目： 学院：专业：班级： 学生指导教师（含职称）：专业负责人： 1．设计（论文）的主要任务及目标 (1) 了解图象匹配技术的发展和应用情况，尤其是基于特征的图象匹配技术的发展和应用。 (2) 学习并掌握图像匹配方法，按要求完成算法 2．设计（论文）的基本要求和内容 （1）查阅相关中、英文文献，完成5000汉字的与设计内容有关的英文资料的翻译。（2）查阅15篇以上参考文献，其中至少5篇为外文文献，对目前国内外图象匹配技术的发展和应用进行全面综述。 （3）学习图象匹配算法，尤其是基于特征的图象匹配算法。 （4）实现并分析至少两种基于特征的图象匹配算法，并分析算法性能。 3．主要参考文献 [1]谭磊, 张桦, 薛彦斌．一种基于特征点的图像匹配算法[J]．天津理工大学报，2006， 22(6)，66-69． [2]甘进，王晓丹，权文．基于特征点的快速匹配算法[J]．电光与控制，2009，16(2)， 65-66． [3]王军，张明柱．图像匹配算法的研究进展[J]．大气与环境光学学报，2007，2(1)， 12-15．
本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，
视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容
上面这段文字的大体意思就是说： SURF意指加速的具有鲁棒性的特征，由Bay在2006年首次提出，这项技术可以应用于计算机视觉的物体识别以及3D重构中。SURF算子由SIFT算子改进而来，一般来说，标准的SURF算子比SIFT算子快好几倍，并且在多幅图片下具有更好的鲁棒性。SURF最大的特征在于采用了harr特征以及积分图像integral image的概念，这大大加快了程序的运行时间。 surf提出算法参见http://www.vision.ee.ethz.ch/~surf/papers.html有paper下载地址。 1、提取特征点 2、提取特征描述符 1. 特征点的提取 1）利用Hessian矩阵，计算特征值α 其中Lxx(x, σ)是高斯滤波后图像g(σ)的在x方向的二阶导数,其他的Lyy(x, σ)、Lxy(x, σ)都是g(σ)的二阶导数。为了减小计算量，原文使用了一个简单的方法，并利用了积分图像的优势（大大的减少计算量），方法其实很简单就是在模糊的基础上将原本的模块近似下。 总所周知，一般计算图像的二阶导时，利用下面的公式 d2f(x)/dx2=(f(x+1)-f(x))-(f(x)-f(x-1))=-2*f(x)+f(x+1)+f(x-1)。但是f(x)=g(h(x))【h(x)为图像的灰度值，f(x)
是将h(x)高斯滤波处理的灰度函数】 图一模板近似 以9X9滤波器为例，如上图所示，左边两幅图分别为灰度图像在中心点（黑色点）处的二阶导数d2f(x)/dx2和 d2f(x)/dxdy的模板对应的值, 近似后变成右边的两幅图，图中灰色部分像素值为0。可是这样计算特征值不是也很复杂么？当然，所以作者提供了一种新思路--使用积分图像。 积分图像，顾名思义，即指当前像素点所在位置距原点（0,0）所包围面的所有灰度之和。 绿色的部分为当前像素点，红色为积分区域。 这样计算图像中任意一块矩形区域的灰度之和Sx只需要利用矩形4个顶点(Xi,Yi)(i=1,2,3,4 顺序为从上之下，先左后右)的积分值S（x,y）即可。 Sx=S(X1,Y1)+S(X4,Y4)-S(X2,Y2)-S(X3,Y3) 至此，大家应该知道近似二阶导数的高斯模板并引入积分图像的好处了吧，只需要在函数定义之前计算各个坐标点的积分图像，然后就能方便的求出hessian的特征值。 不过由于函数模板的近似，这里需要修正下特征值α的求解公式： 这里Dxx和Dxy就是根据图一得到的，而Dyy和Dxx类似，只需要导致一下模板即可。 2）根据是否为领域极大值判断特征点
本文基于相关性分析来实现图像匹配 第一步：读取图像。 分别读取以下两幅相似的图片，显示效果如下： 第二步：选择一副图像的子区域。用户可以通过鼠标选择需要截取的图像部分，用于匹配。随机选取图片的一块区域，如下图：
第三步：使用相关性分析两幅图像 采用协方差的方式计算相关系数，分析图片的相似性。 1．协方差与相关系数的概念 对于二维随机变量(,)X Y ，除了关心它的各个分量的数学期望和方差外，还需要知道这两个分量之间的相互关系，这种关系无法从各个分量的期望和方差来说明，这就需要引进描述这两个分量之间相互关系的数字特征——协方差及相关系数。 若X Y 与相互独立,则()( )0 Y E X EX Y EY σ--???? =≠;若()()0E X EX Y EY --≠????,则表 示X 与Y 不独立,X 与Y 之间存在着一定的关系 设 (,)X Y 是二维随机变量， 则称()()E X EX Y EY --????为X 与Y 的协方差（Covariance ），记为 ()cov ,X Y 或XY σ，即 ()()()cov ,XY X Y E X EX Y EY σ==--???? 若 0X σ≠ 且0Y σ=≠，则称 XY XY X Y σρσσ== 为X 与Y 的相关系数（Correlation Coefficient ）。()c o v ,X Y 是 有量纲的量，而XY ρ则是无量纲的量．协方差常用下列公式计算
()() =-? cov,X Y E XY EX EY 2．用全搜索和协方差计算截取图片与另外一幅图片的各点的相似度。c=normxcorr2(sub_I1(:,:,1),I2(:,:,1)); 第四步：找到整幅图像的偏移。 [max_c,imax]=max(abs(c(:))); [ypeak,xpeak]=ind2sub(size(c),imax(1)); [m,n]=size(sub_I1); xbegin=xpeak-n+1; ybegin=ypeak-m+1; xend=xpeak; yend=ypeak; 从原图像提取匹配到的图像 extracted_I1=I2(ybegin:yend,xbegin:xend,:); 第五步：显示匹配结果。 相关性匹配图： 找出峰值即最相似区域的中心
图像处理技术——模板匹配算法 左力2002．3． 认知是一个把未知与已知联系起来的过程。对一个复杂的视觉系统来说，它的内部常同时存在着多种输入和其它知识共存的表达形式。感知是把视觉输入与事前已有表达结合的过程，而识别也需要建立或发现各种内部表达式之间的联系。 匹配就是建立这些联系的技术和过程。建立联系的目的是为了用已知解释未知。 章毓晋《图像工程下册》P.163 一．模板匹配的基本概念 模板就是一幅已知的小图像。模板匹配就是在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置。 以8位图像(其1个像素由1个字节描述)为例，模板T( m ? n个像素)叠放在被搜索图S( W ? H个像素)上平移，模板覆盖被搜索图的那块区域叫子图Sij。i，j为子图左上角在被搜索图S上的坐标。搜索范围是： 1 ≤ i ≤ W – M 1 ≤ j ≤ H – N 通过比较T和Sij的相似性，完成模板匹配过程。 注意：图像的数据是从下到上、从左到右排列的。 可以用下式衡量T和Sij相似性： ∑∑ = =- = N n ij M m n m T n m S j i D 12 1 )] , ( ) , ( [ ) ,(被搜索图 S 模板 T m i {
∑∑ ∑∑ ∑∑ ======+?-=N n M m N n ij M m N n ij M m n m T n m T n m S n m S 1 2 1 1 1 1 2 1 )] ,([),(),(2)],([ 上式的第一项为子图的能量，第三项为模板的能量，都与模板匹配无关。第二项是模板和子图的互相关，随( i, j )而改变。当模板和子图匹配时，该项有极大值。将其归一化，得模板匹配的相关系数： ∑∑∑∑∑∑======?= N n M m N n ij M m N n ij M m n m T n m S n m T n m S j i R 1 2 1 1 2 1 1 1 )] ,([)],([) ,(),(),( 当模板和子图完全一样时，相关系数R( i, j ) = 1。在被搜索图S 中完成全部搜索后，找出R 的最大值Rmax( im, jm )，其对应的子图Simjm 即为匹配目标。显然，用这种公式做图像匹配计算量大、速度较慢。 另一种算法是衡量T 和Sij 的误差，其公式为： ∑∑ ==-=N n ij M m n m T n m S j i E 1 1 |),(),(|),( E( i, j )为最小值处即为匹配目标。为提高计算速度，取一个误差阈值E 0，当E( i, j )> E 0时就停止该点的计算，继续下一点计算。 试验结果如下： 注：以上试验是在赛扬600 PC 机上用VC6.0进行的。 结果表明：被搜索图越大，匹配速度越慢；模板越小，匹配速度越快。误差法速度较快，阈值的大小对匹配速度影响大，和模板的尺寸有关。 二．改进模板匹配算法 我在误差算法的基础上设计了二次匹配误差算法： 第一次匹配是粗略匹配。取模板的隔行隔列数据，即四分之一的模板数据，在被搜索图上进行隔行隔列扫描匹配，即在原图的四分之一范围内匹配。由于数据量大幅度减少，匹配速度显著提高。 为了合理的给出一个误差阈值E0，我设计了一个确定误差阈值E0的准则： E 0 = e 0 * (m+1)/2 * (n+1)/2
第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对
MPIG Seminar0045 Feature Extraction 陈伟杰 Machine Perception and Interaction Group (MPIG) https://www.doczj.com/doc/f712567316.html, cwj@https://www.doczj.com/doc/f712567316.html,
Feature Extraction Refined based on the book: Mastering OpenCV with Practical Computer Vision Projects_full.pdf and Bay H, Tuytelaars T, Van Gool L. Surf: Speeded up robust features [M]. Computer vision–ECCV 2006. Springer. 2006: 404-417.
or F for [R|t]Drawing path The main steps of Visual Odometry images parameters Feature Extraction Feature matching Compute E
First Feature Extraction What feature is? Characteristics can be easily identified in images Edges Corners Blobs lines points
Harris SIFT SURF Commonly used algorithm: ?Corner extractor ?Fast operation ?Poor resolution ?Not applicable when scale changes ?Blobs extractor ?Slow operation ?Good resolution ?Scale invariance ?Upgrade from SIFT ?Speed up ?More robust
关于各种图像匹配方法的报告 图像匹配方法，大致可以分为三类：基于特征点、灰度分布和频域。本文的主要工作就是研究这三类图像匹配方法，分析各种方法的优缺点，其中重点研究了基于特征的匹配方法。注：为了控制篇幅，本报告只对相关算法进行了很简单的叙述，故附有两个文件夹，文件夹“报告相关文档”相对详细地叙述了各算法（节号相对应）。如果还不够详细、清楚，可参照文件夹“References”。 1、基于特征点匹配方法 1.1 SUSAN 特征点算法 SUSAN算法的基本原理是通过以一个点为中心的局部区域内亮度值的分布情况来判断平滑区域、边缘及角点。如图1所示，一个在图像上移动的圆形模板，模板的中心称为核心，它的位置有以下五种形式。图像一定区域的每个像素的亮度值与核心点的亮度值相比较，把比较结果相似或相同的点组成的区域叫做USAN（单值分割相似核心）。USAN区域含有图像在某个局部区域的结构信息，而大小反映了图像局部特征的强度。 SUSAN算子使用的是圆形模板来进行角点探测，一般使用模板的半径为3-4个像元，模板在图像上滑动，在每一个位置求亮度相似比较函数，并计算合计值，就得到了USAN区域的面积，而后再跟一个给定阈值进行比较。计算重心求出核
到重心的距离，对应正确角点，若重心距离核较远，就能以距离消除虚假角点的影响。最后使用非最大抑制（No Max Suppression）方法，这样就可以找出角点。 1.2 A New SUSAN Based Image Sharpness Function 对于Susan的改进，Yu Song等人提出了一种自适应阈值的检测算法，解决了SUSAN算子对灰度细节丰富的图像检测效果不佳的问题。 下面是原SUSAN算法中使用的相似度函数： 而这种新的SUSAN算法的与原SUAN算法的区别就在于它使用了不依赖于固定阈值的相似度函数。Yu Song等人的文章中提出了7种相似度函数，如下：
SURF算法 SURF是一种尺度、旋转不变的detector和descriptor。最大的特点是快！在快的基础上保证性能（repeatability,distinctiveness 和robustness）。 SURF采用有效策略的主要有：1）积分图像（用于对图像卷积）2）detector 是基于Hessian矩阵，descriptor是基于分布的。 下面是SURF算法的具体实现： 1.兴趣点检测 SURF对于兴趣点的检测是基于最基本的Hessian近似矩阵。 1.1积分图像
1.2 用于检测兴趣点的Hessian矩阵 中得到启发，采用了盒子型滤波器（box filter）对上面的滤波器进行近似。盒子型滤波器见图1.3.
再根据filter的大小做一个归一化。这对于尺度不变性是有必要的。 有了前面的着一些准备工作，就可以对一幅图像I计算每个点的近似Hessian矩阵的行列式值，将这些值存储，备用！ 1.3尺度空间表示 算法的尺度不变性主要靠不同尺度下寻找感兴趣点。谈到不同尺度就不得不说‘金字塔’。Lowe在其SIFT大作中是这样构造尺度空间的：对原图像不断地进行Gauss平滑+降采样。得到金字塔图像后，又进一步得到了DOG图，边和斑状结构就是通过DOG图得到其在原图的位置。SURF中的做法与SIFT是有所不同的。SIFT算法在构造金字塔图层时Gauss滤波器大小不变，改变的是图像的大小；而SURF则恰恰相反：图像大小保持不变，改变的是滤波器的大小。 之所以这么做的目的考虑的主要目的还是效率问题（这样可以利用积分图有关的快速计算，用不同size的Mask进行卷积运算，复杂度是一样的，仅仅是三个加减法而已）。而且，由于没有对图像进行降采样，所以不存在混叠现象。 与SIFT类似，SURF的尺度空间也是按组（Octaves）划分的。每一个Octave 里是对输入图像用size不断增加的filter进行滤波后得到的一系列响应。总的来说，一组包含了一个缩放因子。每一组内的层数是一个常量。
蒙娜丽莎的图像匹配---SURF算法 1.图像匹配 1.1.图像匹配的概念 图像匹配成为计算机视觉和图像处理中的一个重要技术。其方法思想就是根据己知的图像在其他图像中查找出含有己知图像的过程。图像匹配的架构流程如图1.1。该技术的研究涉及到许多相关的知识领域,如图像预处理、图像采样、特征提取等,同时将计算机视觉、多维信号处理和数值计算等紧密结合在一起。图像匹配技术还与图像融合、图像匹配等研究方向系系相关,为图像理解和图像复原等相关领域的研究提供基础。 图1.1 图像匹配流程图 图像匹配技术作为图像处理的关键技术之一，在国防领域和医学领域等得到广泛的研究和应用[2]。如果在不同视角，或是不同时间，或是使用了不同的传感器获取到的两幅或多幅图像间存在共同区域，如何寻找到图像间的共同区域，就是图像匹配需要解决的问题。 1.2.图像匹配的算法组成 图像匹配技术的分支很多，对图像匹配提出的构架也是千姿百态，根据布朗提出了图像匹配的组成要素，将图像匹配的要素主要分为四个方面，分别是图像的特征空间，为求取变换参数定义的搜索空间和搜索策略，图像匹配的相似性度量。 特征空间是指在待配图像和参考图像上提取到的一系列特征集合。将提取到的特征进行描述后参与最后的匹配，因此特征选取的好坏直接影响匹配的可行性和匹配的效果。好的特征是满足自动匹配的前提，因此选取的特征一般包含图像的关键信息，此类特征存在以下特性：首先，此类特征具有公有性、唯一性和显著性，保证匹配的顺利进行和匹配的精度；其次，此类特征具有多量性，而且分布合理，保证匹配的稳定性。合理的特征空间会降低匹配算法的计算量，提高算法的性能。 相似性度量是指评判待匹配图像和参考图像上特征的相似程度，它很大程度上决定了参与匹配的因素，一般采用某种代价函数或者是距离函数来进行度量。好的相似性度量不仅可以减少算法的计算量，而且对于算法的匹配性能和鲁棒性起着重要的作用。 搜索空间为求取图像变换参数的空间。它为图像间可能存在的所有变换组合的空间。搜索空间的组成取决于图像畸变的类型，而搜索空间的取值围取决于图像畸变的强度。假如图像间只存在平移和旋转变换，那么搜索空间为简单的二维
、原始依据 1.工作基础 特征点是数字图像中重要的几何特征，特征点的准确提取对于图像处理和图像测量具有重要意义。Harris算子是C. Harris和J. Stephens在1988年提出的一种基于信号的点特征提取算子。Harris角点检测算法是一种非常经典的提取算法，这种算子受信号处理中自相关函数的启发。给出与自相关函数相联系的矩阵M。M阵的特征 值是自相关函数的一阶曲率，如果两个曲率值都高，则认为该点是特征点。Harris算 法具有计算简单、提取的角点特征均匀合理、可以定量提取特征点以及算子稳定的特点。 2?研究条件 系统的开发已经具备的外界条件是具有藏书丰富的天津大学仁爱学院图书馆，并 且随时可以得到指导老师的辅导和指点，系统开发所使用的电脑已经介入In ternet，能方便的在外网上进行查阅资料。开发环境是普通个人计算机，软件支持是Windows 系列的操作系统。 3?应用环境 论文在解决图像特征点的提取问题上积极应用并改进Harris算法，并运用多个不 同类型的图像实验比较算法的优缺点。 4.工作目的 掌握使用Harris算法提取图像特征点的方法以及Harris算法的原理。考证不同类型图像使用Harris算法提取图像特征点的优劣。 二、参考文献修改同开题 [1]陈利军.图像角点检测和匹配算法的研究[D].西安：西安电子科技大学， 2005. 163—168. [2]李兰友，王学彬.Visual C#图像处理程序设计实例[M].北京：北京国防工业出版社，2003. 88— 102. [3]李玲玲，李印清.图像配准中角点检测算法的研究与比较[J].郑州：郑州航空工业管理学院学报 (社会科学版)，2006, 25(2): 190—192. [4]W ANG Wei ，TANG Yi-ping. Image Corner Detection Technique Research on Machine Vision[R] . Beijing : National Natural Scienee Foundation of China 2006. 46—58. ⑸Kitchen L，Rosenfeld A. Gray -Level Corner Detection[J]. Netherlands： Pattern Recog ni tion Letters， 1982，13(2)：163—175. [6]Moravia HP . Towards Automatic Visual Obstacle Avoidance[C]. Proceedings of International Joint Conference on Artificial Intelligenee, Cambridge, MA . USA: 1977. 10—12. [7]Smith S M. Brady M. SUSAN-a New Approach to Low Level Image Processi ng
图像拼接算法及实现（二） 3.3.2 特征点匹配法 比值匹配法利用图像特征较少，而且在图像发生小角度旋转的时候容易发生误匹配。基于特征点的匹配法可以很好的解决这类问题。特征点主要指图像中的明显点，如房屋角点、圆点等。用于点特征提取得算子称为有利算子或兴趣算子。自七十年代以来出现一系列各不相同、各有特色的兴趣算子，较知名的有Moravec算子、Hannah算子与Foistner等。 本文采用Moravec算子进行特征点提取: Moravec算子的基本思想是，以像素点的四个主要方向上最小灰度方差表示该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值，然后在图像的局部选择具有最大的兴趣值得点(灰度变化明显得点)作为特征点，具体算法如下: （1）计算各像素点的兴趣值IV (interest value)，例如计算像素点(c,r)的兴趣值，先在以像素点((cr)为中心的n n的影像窗口中(如图3.3.2所示的 5 5的窗口)，计算四个主要方向相邻像元灰度差的平方和。 图3.3.2 Moravec 算子特征点提取示意图 V = V = V = V = 其中k=INT(n/2)。取其中最小者为像元((c,r)的兴趣值: IV(c,r)=V=min{ V , V , V , V } (2)根据给定的阂值，选择兴趣值大于该阐值的点作为特征点的候选点。设V 为事先设定好的闭值，如果V V ，则V为特征点的候选点。 阑值得选择应以候选点中包括需要的特征点，而又不含过多的非特征点。
(3)在候选点中选取局部极大值点作为需要的特征点。在一定大小的窗口内(可不同于兴趣值计算窗口)，去掉所有不是最大兴趣值的候选点，只留下兴趣值最大者，该像素即为一个特征点。 在有了以上的特征点提取的基础上，基于特征点匹配算法主要步骤如下: (1)在参考图像T的重叠部分中选取4个区域，每个区域利用Moravec算子找出特征点。 (2)选取以特征点为中心的区域，本文大小选择7X7的区域，在搜索图S 中寻找最相似的匹配。因为有4个特征点，故有4个特征区域，找到相应的特征区域的匹配也有4块。 (3)利用这4组匹配的特征区域的中心点，也就是4对匹配的特征点，代入方程式(3-2-2)求解，所求的解即为两幅图像间的变换系数。 (3-2-2) 该算法的主要优点: (1)图像的特征信息得到了利用，能够有的放矢，不是在盲目的搜索。 (2)误匹配发生的概率小，因为利用了参考图像T包含特征点的特征区域来寻找相应匹配，因此在搜索图S中相应的特征区域容易确认。 该算法的主要缺点: (1)计算的代价高，计算量大。该算法需要计算出特征点以及特征点的匹配点，同时还要将所有4对特征点带入式3-2-2求解变换系数，计算量大。 3.4 本章小结 本章分析了现有的多种图像配准算法以及图像配准中的难点。 第四章图像融合技术 4.1 图像融合技术的基本概念 数字图像融合（Digital Image Fusion）是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。
一、原理： Sift算法的优点是特征稳定，对旋转、尺度变换、亮度保持不变性，对视角变换、噪声也有一定程度的稳定性；缺点是实时性不高，并且对于边缘光滑目标的特征点提取能力较弱。 Surf（Speeded Up Robust Features）改进了特征的提取和描述方式，用一种更为高效的方式完成特征的提取和描述。 二、Surf实现流程如下： 1. 构建Hessian（黑塞矩阵），生成所有的兴趣点，用于特征的提取 黑塞矩阵（Hessian Matrix）是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。由德国数学家Ludwin Otto Hessian于19世纪提出。 surf构造的金字塔图像与sift有很大不同，Sift采用的是DOG图像，而surf采用的是Hessian矩阵行列式近似值图像。Hessian矩阵是Surf算法的核心，构建Hessian矩阵的目的是为了生成图像稳定的边缘点（突变点），为下文的特征提取做好基础。 每一个像素点都可以求出一个Hessian矩阵。 Hessian矩阵的判别式为： 当Hessian矩阵的判别式取得局部极大值时，判定当前点是比周围邻域内其他点更亮或更暗的点，由此来定位关键点的位置。 在SURF算法中，图像像素l(x，y)即为函数值f(x，y)。但是由于我们的特征点需要具备尺度无关性，所以在进行Hessian 矩阵构造前，需要对其进行高斯滤波，选用二阶标准高斯函数作为滤波器。 通过特定核间的卷积计算二阶偏导数。通过特定核间的卷积计算二阶偏导数，这样便能计算出H矩阵的三个矩阵元素L_xx, L_xy, L_yy从而计算出H矩阵： 由于高斯核是服从正态分布的，从中心点往外，系数越来越低，为了提高运算速度，Surf使用了盒式滤波器来近似替代高斯滤波器，提高运算速度。 盒式滤波器（Boxfilter）对图像的滤波转化成计算图像上不同区域间像素和的加减运算问题，只需要简单几次查找积分图就可以完成。 每个像素的Hessian矩阵行列式的近似值： 在Dxy上乘了一个加权系数0.9，目的是为了平衡因使用盒式滤波器近似所带来的误差： 2. 构建尺度空间 同Sift一样，Surf的尺度空间也是由O组L层组成，不同的是，Sift中下一组图像的尺寸是上一组的一半，同一组间图像尺寸一样，但是所使用的高斯模糊系数逐渐增大；而在Surf中，不同组间图像的尺寸都是一致的，但不同组间使用的
一、VS2010中建立一个OPENCV的工程 使用的opencv版本号是2.4.4 以上两图分别是匹配原图和匹配一张无关图的匹配结果。可以看出匹配结果准确。匹配准确率需要后面实验测试得到结论。 匹配结论中包括：两张图各自的特征点数，匹配的点数，最大和最小距离（该距离是欧式距离），优秀的匹配点。 上图是MFC设计的简要界面。点击开始匹配后，弹出上面的匹配结果。 二、学习的知识点 1、sift算法（surf算法基本与sift算法相同） sift算法是一种基于尺度空间的算法。该算法利用的特征是图像的局部特征，使其对旋转、尺度缩放、亮度变化具有保持不变性，并在对视角变化、放射变换、噪声也具有很好的保持一定程度的稳定性。 其独特性好，信息量丰富，适用于在大量数据库中进行快速、准确的匹配。 sift算法步骤： S1：提取关键点。对图像进行处理，提取出图像的关键点，产生关键点集合。 S2：建立两幅图像之间的对于关系。通过两张图像的特征点进行两两比较，找出相匹配的若干对特征点。然后用线连接起来。 S3：消除错误匹配点。用参数估计的方法，对匹配点反复测试、不断迭代运算，消除错误的匹配点。
S4：统计匹配点和匹配点的相关信息。 流程图如下 2、SURF算法和SIFT算法的区别主要在于速度和精度上。SURF描述子大部分是基于强度的差值，计算更快捷，而SIFT描述子通常在搜索正确的特征时更加精确。 两者在OPENCV具体实现中没有很大的差异。都使用了cv::FeatureDetector接口，使用cv::drawKeypoint函数。 3、在面对尺度变化问题时，需要分析图像在拍摄时与目标物体的距离。而SIFT算法具有尺度不变的特性，每个检测的特征点都伴随着对应的尺寸因子。能克服这个问题。SURF算法是SIFT算法的高效变种。同样具有尺幅不变的特征。两者在3D视点变化上的性特，都有一定的体现，具体性能指标需要实验测试。 所谓的尺度空间，在OPENCV中被形象地描述为一个图像金字塔，向下采样一般用高斯金字塔。（理论知识，不太懂） 接下来的计划： 进一步完善MFC的界面，提高人机交互的友好型。 研究原理。 测试相关的实验数据，完善论文框架，提高论文结论的可靠性。
一种汽车全景图像拼接算法的设计与实现 针对传统的全景图像算法，提出一种专门应用在车载系统的车载全景图像拼接算法，并通过C#进行仿真和实现，最大限度提高算法的运行效率，满足车载系统的实时性要求，辅助驾驶员安全驾驶。 标签：计算机视觉;图像拼接;实时 1 引言 当前主流的汽车全景拼接主要通过图像像素的相似性将摄像头采集到的多幅图像拼接为一副较大的图像，最大程度反映現场的场景，降低由于拼接带来的图像失真。主要的处理流程包括图像预处理、特征提取、图像配准和图像融合等。在拼接处理过程中，上述的步骤有多种算法的计算配合，例如基于尺度空间的尺度不变特征转换，必然带来较大的计算量，对于车载设备的性能要求较高。本文从实际出发提出一种汽车全景图像拼接算法，在满足失真度小的同时提高了整体的算法效率，计算量较小，可以为全景图像拼接在汽车智能化中的应用提供一种参考。 2 预处理 为了后期图像信息的完整性和可靠性，系统可以在汽车的前端、后端和左右两侧各部署一个210°的超广角镜头。软件将四个摄像头收集到的图像信息进行预处理、畸变校正、逆投影变化和全景图像拼接融合完成对全景图像的整个拼接过程。整个预处理的关键在于超广角镜头的引入将会引入相应的图像畸变，以普通的广角镜头为例，其畸变在80°以后将会变得更加严重。参考相关算法，此处可以采用最小二乘法对曲线进行拟合。算法主要计算来自校正参数方程的系数。 另一方面，由于摄像头安装在汽车上，与地面存在一定的距离和角度，因此采集到的原始图像将会存在透视效果，而在汽车全景图像中要求的是一个90°的俯视图效果，因此必须对图像信息逆投影计算，去除透视效果。将系统图像进行小孔成像模型变化即可快速完成坐标转换。设原始图像中的坐标点A坐标为（X，Y），转换完毕后坐标点为A（x，y），摄像头在车上距离地面高度为h，整体图像的长宽尺寸为W和H，为摄像头的视场角，为摄像头安装的俯视角，转换的具体公式可以如（1）-（2）： （1） （2） 3 拼接算法的改进及设计 拼接的核心在于特征匹配，而特征匹配其主要目的在于根据图像的实际特征
C#+EmguCV中SURF算法的实现 EmguCV的官方网站上的例子中，有SURF算法的实现，其实现的时候利用的GPU的加速，看着比较复杂。此外，官网上例子的实现并没有做界面，看着不舒服，加载图片也不是很方便，因此，为了学习，我将官网上的例子进行了修改，去掉了GPU加速的部分，然后在做了显示界面，操作起来更友好些。 我是在Vs2012下使用2.9 Alpha版本的EmgucV做的。 首先显示界面如下图所示，显示界面是两个窗体，第一个如下： 窗体上有两个PictureBox控件，一个用来显示待匹配的源图像，一个用来显示匹配的目标图像。 然后相对应的有三个Button控件，第一个用来打开源图像，第二个用来打开目标图像，第三个用来匹配，当点击第三个Button控件实现匹配，匹配的图像显示在新的窗体上，新的窗体很简单，就一个窗体，图像我们使用窗体的Paint 事件绘制在上面，第二个窗体如下：
其中button1实现的是打开源图像，代码如下： private void buttonSrc_Click(object sender, EventArgs e) { //Create open dialog; OpenFileDialog opnDlg = new OpenFileDialog(); opnDlg.Filter = "All Image files|*.bmp;*.gif;*.jpg;*.ico;*png"; //Seting the title of dialog; opnDlg.Title = "Open Src image files"; opnDlg.ShowHelp = true; if (opnDlg.ShowDialog() == DialogResult.OK) { curFileNameSrc = opnDlg.FileName; try { curBitmapSrc = new Bitmap(curFileNameSrc); pictureBoxSrc.Image = curBitmapSrc; } catch { MessageBox.Show("programe error");