关于各种图像匹配方法的报告
图像匹配方法，大致可以分为三类：基于特征点、灰度分布和频域。本文的主要工作就是研究这三类图像匹配方法，分析各种方法的优缺点，其中重点研究了基于特征的匹配方法。注：为了控制篇幅，本报告只对相关算法进行了很简单的叙述，故附有两个文件夹，文件夹“报告相关文档”相对详细地叙述了各算法（节号相对应）。如果还不够详细、清楚，可参照文件夹“References”。
1、基于特征点匹配方法
1.1 SUSAN 特征点算法
SUSAN算法的基本原理是通过以一个点为中心的局部区域内亮度值的分布情况来判断平滑区域、边缘及角点。如图1所示，一个在图像上移动的圆形模板，模板的中心称为核心，它的位置有以下五种形式。图像一定区域的每个像素的亮度值与核心点的亮度值相比较，把比较结果相似或相同的点组成的区域叫做USAN（单值分割相似核心）。USAN区域含有图像在某个局部区域的结构信息，而大小反映了图像局部特征的强度。
SUSAN算子使用的是圆形模板来进行角点探测，一般使用模板的半径为3-4个像元，模板在图像上滑动，在每一个位置求亮度相似比较函数，并计算合计值，就得到了USAN区域的面积，而后再跟一个给定阈值进行比较。计算重心求出核
到重心的距离，对应正确角点，若重心距离核较远，就能以距离消除虚假角点的影响。最后使用非最大抑制（No Max Suppression）方法，这样就可以找出角点。
1.2 A New SUSAN Based Image Sharpness Function
对于Susan的改进，Yu Song等人提出了一种自适应阈值的检测算法，解决了SUSAN算子对灰度细节丰富的图像检测效果不佳的问题。
下面是原SUSAN算法中使用的相似度函数：
而这种新的SUSAN算法的与原SUAN算法的区别就在于它使用了不依赖于固定阈值的相似度函数。Yu Song等人的文章中提出了7种相似度函数，如下：
之后对它们进行了实验，结果如下：
根据结果，由于最后一个函数的表现最好，故选择它。
1.3 SIFT 特征点算法
SIFT特征点匹配算法是David G Lowe在1999年提出的，并于2004年总结了现有的基于不变量技术的特征检测方法的基础上，提出的一种基于尺度空间的特征匹配算法。SIFT特征匹配算法分五个步骤来实现：
1、尺度空间极值检测。在尺度空间通过高斯函数来检测潜在的对于尺度和旋转不变的兴趣点。
2、精确关键点定位。在兴趣点位置上，确定关键点的位置和尺度。
3、关键点主方向分配。基于图像局部的梯度方向，给每个关键点分配方向。
4、关键点描述子的生成。在每个关键点的领域内测量图像局部的梯度。最终用一个特征向量来表达。
5、通过比较描述子之间的欧氏距离，进行进行匹配。匹配的方法是：在获得第一幅图像的特征向量后，将采样点的欧式距离作为相似性度量。取帧图像中某个关键点，找出其与图像中欧式距离最近的前两个关键点，在这两个关键点中，
如果最近的距离与次近的比值小于某个阈值，则接收这一对匹配点。降低比例阈值，SIFT 匹配点数目会减少，但匹配更稳定可靠。
1.4 ASIFT 算法
ASIFT 算法是一种对SIFT 算法的改进，它克服了拍摄倾角过大造成的仿射变换的影响，确保了特征稳定性，提高了鲁棒性。由于相机正面拍摄物体时，相机的光轴方向可能发生变化，带来扭曲，所以第一步是对每张图片进行变换，模拟所有可能的仿射扭曲。这些扭曲由两个参量决定：水平角度φ和垂直角度θ。对数字图像来说，倾斜图像由具有方向性的 t 倍二次采样(t-subsampling)得到。它要求之前在 X 轴上有一次反锯齿处理(antialiasing filter)，最大限度的减少图像失真。该滤波由标准差为c 12 t 的高斯卷积完成。在文献中 Lowe 建议该值取c = 0.8。文献中证明了该取值图像失真度较小。
对图像进行旋转变换和倾斜变换可以模拟有限的一些不同水平角度，垂直角度拍摄图像。对这些参数进行采样能保证模拟图像在不同的φ 和θ 引起的视角变换下保持近似。所有模拟倾斜后的图像一般将通过 SIFT 算法进行匹配比较。
上图显示了 ASIFT 算法概貌：正方形 A,B 分别代表被比较的图像 u 和 v 。ASIFT 算法模拟了所有相机视轴坐标方向变化引起的扭曲。图中的平行四边形代表模拟扭曲后的图像，该图像将运用 SIFT 进行后续的匹配计算。
1.5 SURF 特征点算法
2006年，Herbert Bay提出了SURF算法，其整体思路同SIFT类似，特征点检测理论也是基于尺度空间，但在整个过程中采用了与SIFT不同的方法。首先，在尺度s 上定义Hessian矩阵，用该矩阵的行列式计算图像上特征点的位置和尺度信息。其次，通过积分图像极大地简化了计算。最后，为保证旋转不变性，确定特征点的主方向。以特征点为中心，将坐标轴旋转到主方向，将其划分成4×4的子区域，在每个子区域形成四维分量的矢量，对每一特征点会形成4×（4×4）=64维的描述向量，再进行归一化，从而对光照具有一定的鲁棒性。SURF在各方面的性能均接近或者超越了SIFT的性能，但是计算速度却是SIFT 的3倍左右。
2、基于图像灰度相关的匹配算法
2.1 归一化互相关匹配算法
归一化互相关匹配算法是一种经典的统计算法，通常写为（Normalized Correlation）算法。这种算法通过计算模板和待匹配图像的互相关值来确定匹配的程度。互相关值最大时的搜索窗口位置决定了模板图像在待匹配图像中的位置。
1982年，Rosenfeld提出的互相关法。它像是一种相似性度量或者匹配程度的表征，而不是一种图像匹配的完整方法，但是把互相关的思想作为度量测度，在许多匹配算法里都会用到。
对于一幅图像 f (x, y) 和相对于图像较小尺度的模板T ，归一化二维交叉相关函数C(u,v)表示了模板在图像上每一个位移位置的相似程度：
如果除了一个灰度比例因子外，图像和模板在位移(i, j)处正好匹配时，交叉相关函数就在C(i, j)出现峰值。这时，交叉相关函数有否归一化是必须注意的，否则相似度的度量将会受到局部图像灰度影响。
2.2 ABS 算法
ABS（Absolute Balance Search）算法的思想是用模板图像和待匹配图像上的搜索窗口间的像素灰度值的差别来表示二者的相关性。假设待匹配图像为
F(x,y)，而模板图像为G(x,y)，并且待匹配图像大小为M×N，模板图像大小为P×Q，则在待匹配图像中共有(M-P+1)×(N-Q+1)个可能的匹配点存在，每个可能的匹配点对应1 个P×Q 的搜索窗口。因此匹配也可以是大小等于模板图像的搜索窗口在待匹配图像上按照某一顺序滑动，每滑动1 次就进行1 次模板图像和搜索窗口间的计算，以此来判断当前的搜索窗口是否匹配。如果差别小于预定的阈值，则可认为匹配成功；否则，就认为匹配失败。一般来说，计算ABS 值有3 种算法。可根据不同的匹配场合来选择合适的算法计算：
2.3 序贯相似度检测匹配算法SSDA
1972年，Barnea等人根据传统相关方法提出了一种为之有效的算法SSDA，从而得到很好的效果。这种算法在两方面有了显著的改进，一是简化计算，利用图像f和模板T之间的差值来表示变化。与相关法相比处理效果差不多，同时显著的提高了运算速度。二是改进使用了一种序列搜索的策略，由检测范围和模板大小定义了一系列窗函数和阈值，而每一个窗函数作用到图像中，当相似性超过阈值后，就进行次数累加，而后在次数最多的窗口里进行匹配，重复迭加细化直至得到所需要的结果。
3、基于变换域的图像匹配的方法
基于变换域的图像匹配方法最主要就是傅里叶变换方法，还有基于Gabor 变换和基于小波变换的匹配。这些匹配方法主要有以下一些优点：对噪声不敏感，检测结果不受光照变化影响，图像的平移、旋转、镜像和缩放等变换在变换域中都有相应的体现。这里只介绍傅里叶变换方法。
3.1傅里叶变换方法
该方法有成熟的快速算法并且易于硬件实现。算法是考虑两幅图像 I 1(x ,y )和I 2( x , y )之间存在一个平移量(d x ,d y ) ，即：
对其进行傅里叶变换，在频域上F 1 与 F 2 有下面的关系：
上式说明两幅图像变换到频域中幅值相同，但有平移量有一个相位差，这就是说两幅图像的相位差由图像间的平移量直接决定。根据平移定理，这一相位差等于两幅图像的互功率谱的相位谱：
上式的右边部分为一个虚指数，对其进行傅里叶逆变换会得到一个冲击函数，其只有在峰值点也就是平移量(d x ,d y )处不为零，这个位置就是所需求的匹
配位置。
4、上述算法的优缺点对比 算法名称
优点 缺点
SUSAN 特征点算法 具有很好的准确性和可靠性。边缘交界处的连续性很好。对于不同亮度区域之间微小变化也适用。检需要人为地选取固定阈值t 。在复杂图像或者图像中目标与背景的对比度变化
测效果不受物体方向和噪声的限制。比较大的情况下，此种一尘不变的做法就将直接影响到角点提取的效果；图像中的噪声或噪声块中的中心点易被误选为角点。
A New SUSAN Based Image Sharpness Function 具有自适应的阈值，与
SUSAN相比具有更好的角
点提取效果。具有很好的
准确性和可靠性。边缘交
界处的连续性很好。对于
不同亮度区域之间微小变
化也适用。检测效果不受
物体方向和噪声的限制。
图像中的噪声或噪声块中
的中心点易被误选为角
点。
SIFT 特征点算法对于旋转、尺度缩放、亮
度变化保持不变性，而且
对视角变化、仿射变换、
噪声也保持一定程度的稳
定性。对特征点的个数和
有效点的比例没有要求。
当特征点不是很多时，经
优化的SIFT匹配算法甚
至可以达到实时的要求。
而且可以很方便的与其他
形式的特征向量进行联
合。
图像得满足足够多的纹
理，否则构造出的128维
向量区别性就不是太大，
容易造成误匹配，极限情
况如指纹图像的匹配，星
图识别等这类图像特征点
周围根本没有什么纹理，
这时SIFT算法就完全失
效了。当过渡倾角超过2
时，该方法会完全失效。
ASIFT算法具有SIFT算法的优点且
可以避免拍摄倾角过大造
成的仿射变换的影响，确
保了特征稳定性，提高了
鲁棒性。
时间复杂度较SIFT略微
上升。
Surf除了具有SIFT算法
稳定高效的特点外，还极
Surf算法在求主方向阶段
太过于依赖局部区域像素
SURF 特征点算法大的降低了SIFT算法复
杂度，其计算速度是SIFT
的3倍左右，大大提高了
特征检测和匹配的实时
性。
的梯度方向，有可能使得
找到的主方向不准确，后
面的特征向量提取以及匹
配都严重依赖于主方向，
即使角度偏差不大也可能
造成后面特征匹配的误差
放大。
ABS 算法简单、实现方便。一旦待匹配图像或是模板
图像之一的灰度值发生线
性变换，就无所适从了。
不同的图像和模板有着不
同的背景灰度值和不同的
搜索窗口，所需的阈值也
各不相同，很难事先选定
阈值，因而误匹配率很高。
这种算法只适用于待匹配
图是模板图像中部分的情
况。
序贯相似度检测匹配算法定位精度较好, 受噪声的
影响小, 很适合跟踪既没
有明显特征又没有高背景
对比度的红外图像。
该算法的计算量相对较
大。因此, 在不降低可靠
性的情况下, 减小计算量
是一个关键。
归一化互相关匹配算法该方法步骤简单，较好的
解决了对于光照变化敏感
的问题。
矩形窗口的选用是一个缺
憾。因此它只适合于具有
平移和小角度旋转关系的
图像配准。其次，它需要
将模板图在搜索图上遍历
所有可能的位置，当模板
图很大的情况下，显然其
计算量是相当大的。
傅里叶变换方法对噪声不敏感，检测结果
不受光照变化影响。有成
熟的快速算法并且易于硬
件实现。
该方法仅符合存在平移量
的剧像间的配准，然而在
实际中，图像间不仅存在
平移量的不同，而且还有
旋转角度、缩放尺度等的
不同。（改进的方法中对此
有所解决）
图像匹配的主要方法分析 在我国的图像处理中，有很多的关键技术正在不断的发展和创新之中。这些相关技术的发展在很大程度上推动了我国图像处理事业的发展。作为图像处理过程中的关键技术，图像匹配技术正在受到越来越多的关注。文章针对图像匹配的主要方法进行详细的论述，希望通过文章的阐述和分析能够为我国的图像匹配技术的发展和创新贡献微薄力量，同时也为我国图像处理技术的发展贡献力量。 标签：图像处理；图像匹配；特征匹配；方法 在我国的图像处理技术中，图像的匹配技术不仅仅是其中的重要组成部分，同时还是很多图像技术的发展创新的技术基础。例如图像技术中的立体视觉技术；图像技术中的运动分析技术以及图像技术中的数据融合技术等。通过上述内容可以看出，在我国的图像技术中，图像匹配技术具有非常广泛的应用。随着我国的相关技术不断的创新和发展，对于图像匹配技术的要求也是越来越高。这样就要求我国的图像匹配技术有更深层次的研究和发展。我国现阶段的研究主要是针对图像匹配过程中的匹配算法进行研究，希望借助研究能够更加有效的提升在实际的工作应用中的图像质量，同时也能够在很大程度上提升图像处理的图像分别率。文章的主要陈述点是通过图像匹配技术的具体方法进行优点和缺点的分析，通过分析优点和缺点来论述我国图像处理技术中的图像匹配技术的发展方向以及改进措施。近些年出现了很多的图像匹配方法，针对现阶段的新方法以及新的研究思路我们在实际的应用过程中要有一个非常清醒的选择。文章针对这一问题主要有三个内容的阐述。第一个是图像匹配技术的算法融合；第二个是图像匹配技术中的局部特征算法；最后一个是图像匹配技术中的模型匹配具体算法。 1 现阶段在世界范围内较为经典的图像匹配技术的算法 关于现阶段在世界范围内的较为经典的图像匹配技术的算法的阐述，文章主要从两个方面进行分析。第一个方面是ABS图像匹配算法。第二个方面是归一化相互关图像匹配算法。下面进行详细的论述和分析。 （1）算法一：ABS图像匹配算法。ABS图像匹配算法最主要的原理就是要使用模板的图像以及相应的匹配图像的搜索用窗口之间的转换差别来显示两者之间的关联性。图像匹配的大小在数值上等同于模板图像的窗口滑动顺序。窗口的每一次滑动都会引起模板图像的匹配计算。现阶段ABS的算法主要有三个，如下： 在选择上述三种计算方法的过程中要根据实际情况社情相应的阀值，否则会出现很高的失误率。上述的三种算法使用范围较狭窄。只使用与等待匹配的图像在模板影像的计算。 （2）算法二：归一化相互关图像匹配算法。归一化相互关的图像匹配算法在现阶段是较为经典的算法。通常专业的称法为NC算法。此计算方法主要是采
图像记忆的原理和方法[图像拼接原理及方法] 第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR ）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR 从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说
360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和 仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键 环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术
诚信声明 本人声明： 我所呈交的本科毕业设计论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人完全意识到本声明的法律结果由本人承担。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期：2010 年05 月20日
毕业设计（论文）任务书 设计（论文）题目： 学院：专业：班级： 学生指导教师（含职称）：专业负责人： 1．设计（论文）的主要任务及目标 (1) 了解图象匹配技术的发展和应用情况，尤其是基于特征的图象匹配技术的发展和应用。 (2) 学习并掌握图像匹配方法，按要求完成算法 2．设计（论文）的基本要求和内容 （1）查阅相关中、英文文献，完成5000汉字的与设计内容有关的英文资料的翻译。（2）查阅15篇以上参考文献，其中至少5篇为外文文献，对目前国内外图象匹配技术的发展和应用进行全面综述。 （3）学习图象匹配算法，尤其是基于特征的图象匹配算法。 （4）实现并分析至少两种基于特征的图象匹配算法，并分析算法性能。 3．主要参考文献 [1]谭磊, 张桦, 薛彦斌．一种基于特征点的图像匹配算法[J]．天津理工大学报，2006， 22(6)，66-69． [2]甘进，王晓丹，权文．基于特征点的快速匹配算法[J]．电光与控制，2009，16(2)， 65-66． [3]王军，张明柱．图像匹配算法的研究进展[J]．大气与环境光学学报，2007，2(1)， 12-15．
图像匹配与拼接 分匹配和拼接两部分 一、匹配 当然匹配的方法，有sift，surf什么的，这里主要就介绍一下我自己的方法啦！ 特征点提取是必须的，不然搜索范围太大哇！并且可能不可靠，所以特征点提取是必须的。什么点适合做特征点呢？这方面的论文很多啦，主要还是看你用什么方法匹配了，如果是用互相关作为相似性准则的话，那自相关系数随各个方向变化大的点就适合作特征点了，当然还要考虑稳定性，即特征点应该不太受光照、噪声、缩放、旋转等的影响，这样的才是好的特征点。当然，如果确定了应用坏境，不一定要满足不受上四个因素影响的，比如平行的双目匹配、全景图的匹配等，具体问题具体分析吧！角点特征是个人比较喜欢的特征。这里我自己定义了一种局部特征，效果还行，匹配采用互相关为准则的匹配，大概效果如下： 目测这几个匹配点还是正确的哇！在一些应用中，可能需要的匹配点数相当多，这就需要较密集的匹配了。密集的匹配可以根据初始的匹配结果估计搜索范围，这可以加速搜索，同时也要提取更多的特征点呀！话不多说了，下面是密集的匹配：
虽然这样的密度对于三维重构来说还不够，但对于一般的图像拼接来说足够了。匹配完了，下面就要将第二步了。 二、矫正 匹配好两幅图像了，接下来干啥呢？把它们对准呗。可惜了，两幅图像之间不但存在平移，还存在旋转缩放什么的，更复杂的，可能还存在所谓的3D变换，那就复杂啦！不管怎么样，所谓的对准，也就是矫正，总是基于一定的模型的，即基于相机拍摄两幅图像的相对姿态。对于全景图拼接（个人觉得是最简单的且较实用的拼接），需要根据相机焦距或者视场角投影到柱面上，然后两幅图像间的位置就只有一维的平移关系了。但是这对拍摄的相机也是有要求的，就是要保证拍摄两幅图像时，物防焦点是重合的，这样才能根据稀疏的几个点确定所有重叠区域内点的相对位置呀！但实际中很难做到物方焦点重合，比如数码相机或者所谓的智能手机的全景图拍摄，一般人都是拿着相机或者手机绕人旋转，而非绕物方焦点旋转拍摄的，这样拼接起来是绝对有误差的呀！特别是拼接近景，误差就更大了，远景还好。怎么克服这个缺点呢？简单的改进方法就是绕着摄像头旋转吧，虽然这也不是严格绕物方焦距旋转，但起码误差小得多啦，拼接的效果当然也就好得多了，可以试一试哦！ 不扯了，第二种模型就是认为两幅图像间存在的变换关系是有2D旋转、缩放、平移的，可以通过一个旋转、缩放、平移矩阵来矫正，这个也不难，但是应用范围却相当有限，不详说了。 第三种模型就是不用模型，或者说认为两幅图像间的对应点存在的是一种线性变换关系，这样只要解一个线性方程组就可以了，似乎也挺简单的。但可惜的是，不是任给的两幅图像间都只存在线性变换呀！它可能是一个3D的线性变换，那就麻烦了，这个必须需要密匹配呀！不然就一定是有误差的，即不能通过稀疏的匹配点来矫正两幅图像的所有对应点的。 还有更多的模型，比如各方位的全景图，需要投影到球面上的哇！不过这个模型也不难。最难的当然是拍摄两幅图像时，相机不同，相机姿态也不同了，这个是很有挑战的，我也很惧怕这个。下面展示三种矫正结果： 1、2D线性模型： 2D矫正，认为匹配点之间存在线性变换，X=ax+by+c，Y=dx+ey+e这样的模型，业内称之放射变换，其中x，y是第一幅点的坐标，X,Y是对应的第二幅图像中的点坐标，使用最小二乘法计算a、b、c、d、e、f，第二幅图相对于第一幅图矫正的结果就是这样的了
第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待
在借鉴国外相对成熟理论体系与技术应用体系的条件下,国内的增强技术与应用也有了很大的发展。总体来说,图像增强技术的发展大致经历了初创期、发展期、普及期与应用期4个阶段。初创期开始于20世纪60年代,当时的图像采用像素型光栅进行扫描显示,大多采用中、大型机对其进行处理。在这一时期由于图像存储成本高,处理设备造价高,因而其应用面很窄。20世纪70年代进入了发展期,开始大量采用中、大型机进行处理,图像处理也逐渐改用光栅扫描显示方式,特别就是出现了CT与卫星遥感图像,对图像增强处理提出了一个更高的要求。到了20世纪80年代,图像增强技术进入普及期,此时的计算机已经能够承担起图形图像处理的任务。20世纪90年代进入了应用期,人们运用数字图像增强技术处理与分析遥感图像,以有效地进行资源与矿藏的勘探、调查、农业与城市的土地规划、作物估产、气象预报、灾害及军事目标的监视等。在生物医学工程方面,运用图像增强技术对X射线图像、超声图像与生物切片显微图像等进行处理,提高图像的清晰度与分辨率。在工业与工程方面,主要应用于无损探伤、质量检测与过程自动控制等方面。在公共安全方面,人像、指纹及其她痕迹的处理与识别,以及交通监控、事故分析等都在不同程度上使用了图像增强技术。图像增强就是图像处理的重要组成部分,传统的图像增强方法对于改善图像质量发挥了极其重要的作用。随着对图像技术研究的不断深入与发展,新的图像增强方法不断出现。例如一些学者将模糊映射理论引入到图像增强算法中,提出了包括模糊松弛、模糊熵、模糊类等增强算法来解决增强算法中映射函数选择问题,并且随着交互式图像增强技术的应用,可以主观控制图像增强效果。同时利用直方图均衡技术的图像增强也有许多新的进展:例如提出了多层直方图结合亮度保持的均衡算法、动态分层直方图均衡算法。这些算法通过分割图像,然后在子层图像内做均衡处理,较好地解决了直方图均衡过程中的对比度过拉伸问题,并且可以控制子层灰度映射范围,增强效果较好。 20世纪20年代图片第一次通过海底电缆从伦敦传往纽约。当时人们通过字符模拟得到中间色调的方法来还原图像。早期的图像增强技术往往涉及硬件参数的设置,如打印过程的选择与亮度等级的分布等问题。在1921年年底提出了一种基于光学还原的新技术。在这一时期由于引入了一种用编码图像纸带去调制光束达到调节底片感光程度的方法,使灰度等级从5个灰度级增加到15个灰度等级,这种方法明显改善了图像复原的效果。到20世纪60年代早期第一台可以执行数字图像处理任务的大型计算机制造出来了,这标志着利用计算机技术处理数字图像时代的到来。1964年,研究人员在美国喷气推进实验室(JPL)里使用计算机以及其它硬件设备,采用几何校正、灰度变换、去噪声、傅里叶变换以及二维线性滤波等增强方法对航天探测器“徘徊者7号”发回的几千张月球照片进行处理,同时她们也考虑太阳位置与月球环境的影响,最终成功地绘制出了月球表面地图。随后她们又对1965年“徘徊者8号”发回地球的几万张照片进行了较为复杂的数字图像处理,使图像质量进一步提高。这些成绩不仅引起世界许多有关方面的注意而且JPL本身也更加重视对数字图像处理地研究与设备的改进,并专门成立了图像处理实验室IPL。在IPL里成功的对后来探测飞船发回的几十万张照片进行了更为复杂的图像处理,最终获得了月球的地形图、彩色图以及全景镶嵌图。从此数字图像增强技术走进了航空航天领域。 20世纪60年代末与20世纪70年代初有学者开始将图像增强技术用于医学图像、地球遥感监测与天文学等领域。X射线就是最早用于成像的电磁辐射源之一,在1895年X射线由伦琴发现。20世纪70年代Godfrey N、Hounsfield先生与Allan M、Cormack教授共同发明计算机轴向断层技术:一个检测器围绕病人,并用X射线源绕着物体旋转。X射线穿过身体并由位于对面环中的相应检测器收集起来。其原理就是用感知的数据去重建切片图像。当物体沿垂直于检测器的方向运动时就产生一系列的切片,这些切片组成了物体内部的再现图像。到了20世纪80年代以后,各种硬件的发展使得人们不仅能够处理二维图像,而且开始处理三维图像。许多能获得三维图像的设备与分析处理三维图像的系统已经研制成功了,图像处理技术
上面这段文字的大体意思就是说： SURF意指加速的具有鲁棒性的特征，由Bay在2006年首次提出，这项技术可以应用于计算机视觉的物体识别以及3D重构中。SURF算子由SIFT算子改进而来，一般来说，标准的SURF算子比SIFT算子快好几倍，并且在多幅图片下具有更好的鲁棒性。SURF最大的特征在于采用了harr特征以及积分图像integral image的概念，这大大加快了程序的运行时间。 surf提出算法参见http://www.vision.ee.ethz.ch/~surf/papers.html有paper下载地址。 1、提取特征点 2、提取特征描述符 1. 特征点的提取 1）利用Hessian矩阵，计算特征值α 其中Lxx(x, σ)是高斯滤波后图像g(σ)的在x方向的二阶导数,其他的Lyy(x, σ)、Lxy(x, σ)都是g(σ)的二阶导数。为了减小计算量，原文使用了一个简单的方法，并利用了积分图像的优势（大大的减少计算量），方法其实很简单就是在模糊的基础上将原本的模块近似下。 总所周知，一般计算图像的二阶导时，利用下面的公式 d2f(x)/dx2=(f(x+1)-f(x))-(f(x)-f(x-1))=-2*f(x)+f(x+1)+f(x-1)。但是f(x)=g(h(x))【h(x)为图像的灰度值，f(x)
是将h(x)高斯滤波处理的灰度函数】 图一模板近似 以9X9滤波器为例，如上图所示，左边两幅图分别为灰度图像在中心点（黑色点）处的二阶导数d2f(x)/dx2和 d2f(x)/dxdy的模板对应的值, 近似后变成右边的两幅图，图中灰色部分像素值为0。可是这样计算特征值不是也很复杂么？当然，所以作者提供了一种新思路--使用积分图像。 积分图像，顾名思义，即指当前像素点所在位置距原点（0,0）所包围面的所有灰度之和。 绿色的部分为当前像素点，红色为积分区域。 这样计算图像中任意一块矩形区域的灰度之和Sx只需要利用矩形4个顶点(Xi,Yi)(i=1,2,3,4 顺序为从上之下，先左后右)的积分值S（x,y）即可。 Sx=S(X1,Y1)+S(X4,Y4)-S(X2,Y2)-S(X3,Y3) 至此，大家应该知道近似二阶导数的高斯模板并引入积分图像的好处了吧，只需要在函数定义之前计算各个坐标点的积分图像，然后就能方便的求出hessian的特征值。 不过由于函数模板的近似，这里需要修正下特征值α的求解公式： 这里Dxx和Dxy就是根据图一得到的，而Dyy和Dxx类似，只需要导致一下模板即可。 2）根据是否为领域极大值判断特征点
本文基于相关性分析来实现图像匹配 第一步：读取图像。 分别读取以下两幅相似的图片，显示效果如下： 第二步：选择一副图像的子区域。用户可以通过鼠标选择需要截取的图像部分，用于匹配。随机选取图片的一块区域，如下图：
第三步：使用相关性分析两幅图像 采用协方差的方式计算相关系数，分析图片的相似性。 1．协方差与相关系数的概念 对于二维随机变量(,)X Y ，除了关心它的各个分量的数学期望和方差外，还需要知道这两个分量之间的相互关系，这种关系无法从各个分量的期望和方差来说明，这就需要引进描述这两个分量之间相互关系的数字特征——协方差及相关系数。 若X Y 与相互独立,则()( )0 Y E X EX Y EY σ--???? =≠;若()()0E X EX Y EY --≠????,则表 示X 与Y 不独立,X 与Y 之间存在着一定的关系 设 (,)X Y 是二维随机变量， 则称()()E X EX Y EY --????为X 与Y 的协方差（Covariance ），记为 ()cov ,X Y 或XY σ，即 ()()()cov ,XY X Y E X EX Y EY σ==--???? 若 0X σ≠ 且0Y σ=≠，则称 XY XY X Y σρσσ== 为X 与Y 的相关系数（Correlation Coefficient ）。()c o v ,X Y 是 有量纲的量，而XY ρ则是无量纲的量．协方差常用下列公式计算
()() =-? cov,X Y E XY EX EY 2．用全搜索和协方差计算截取图片与另外一幅图片的各点的相似度。c=normxcorr2(sub_I1(:,:,1),I2(:,:,1)); 第四步：找到整幅图像的偏移。 [max_c,imax]=max(abs(c(:))); [ypeak,xpeak]=ind2sub(size(c),imax(1)); [m,n]=size(sub_I1); xbegin=xpeak-n+1; ybegin=ypeak-m+1; xend=xpeak; yend=ypeak; 从原图像提取匹配到的图像 extracted_I1=I2(ybegin:yend,xbegin:xend,:); 第五步：显示匹配结果。 相关性匹配图： 找出峰值即最相似区域的中心
研究配准进两年的时间，有幸看到一个技术文档，做了一下的总结，如有不妥之处敬请大家谅解，多提出意见 废话不多说，书归正传！ 这里主要讲解的是多模态或者说是多序列MRI图像配准。采用的图片是人体膝盖图。配准暂且分为五部 Step1. 下载图片 Step2. 初始配准（粗配准） Step3. 提高配准精度 Step4. 利用初始条件提高配准精度配准 Step5. 结果满意不满意，你说了算 下面一一详细说明以上几个步骤！ 一，下载图片 这里采用的图片是matlab子带的两张MR膝盖图， “knee1.dcm”作为参考图像，"knee2.dcm"为浮动图像！ Plain Text code ? 1 2 fixed = dicomread('knee1.dcm'); % 读参考图像fixed moving = dicomread('knee2.dcm'); % 读浮动图像moving 可能接下来大家关注的问题就是这两幅图像到底有什么区别，这种区别又有多大的可视化程度，下面就为推荐两个比较好用的函数用于观测两幅图像的区别。Plain Text code ? 1 2 figure, imshowpair(moving, fixed, 'method'); title('Unregistered'); imshowpair函数就是指以成双成对的形式显示图片，其中一个重要的参数就是‘method’，他又4个选择 （1）‘falsecolor’字面意思理解就是伪彩色的意思了，其实就是把两幅图像的差异用色彩来表示，这个是默认的参数。 （2）‘blend’这是一种混合透明处理类型，技术文档的翻译是 alpha blending，大家自己理解吧。 （3）‘diff’这是用灰度信息来表示亮度图像之间的差异，这是对应 ‘falsecolor’的一种方式。 （4）参数‘monotage’可以理解成‘蒙太奇’，这是一种视频剪辑的艺术手法，其实在这里我们理解成拼接的方法就可以了。 为什么在这里罗里吧嗦的说这么多的显示呢，大家知道"人靠衣装，美靠...."(就不多说了吧)，总之就是一个好的视觉效果能给人以耳目一新的效果。
第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对
图像增强方法的研究 摘要 数字图像处理是指将图像信号转换成数字格式并利用计算机对其进行处理的过程。在图像处理中，图像增强技术对于提高图像的质量起着重要的作用。本文先对图像增强的原理以及各种增强方法进行概述，然后着重对灰度变换、直方图均衡化、平滑和锐化等几种常用的增强方法进行了深入的研究，在学习数字图像的基本表示与处理方法的基础上，针对图像增强的普遍性问题，研究和实现常用的图像增强方法及其算法，通过Matlab实验得出的实际处理效果来对比各种算法的优缺点，讨论不同的增强算法的适用场合，并对其图像增强方法进行性能评价。如何选择合适的方法对图像进行增强处理，是本文的主要工作，为了突出每种增强方法的差异，本文在Matlab的GUI图形操作界面中集合了四种常用算法的程序，以达到对各种算法的对比更直观和鲜明的效果。 关键词：图像增强直方图均衡化灰度变换平滑锐化
目录 1 图像增强的基本理论 (3) 1.1 课题背景及意义 (3) 1.2 课题的主要内容 (4) 1.3 数字图像基本概念 (5) 1.3.1数字图像的表示 (5) 1.3.2 图像的灰度 (5) 1.3.3灰度直方图 (5) 1.4 图像增强概述 (6) 1.5图像增强概述 (8) 1.5.1图像增强的定义 (8) 1.5.2常用的图像增强方法 (8) 1.5.3图像增强的现状与应用 (9) 2 图像增强方法与原理 (10) 2.1 图像变换 (10) 2.1.1 离散图像变换的一般表达式 (10) 2.1.2 离散沃尔什变换 (11) 2.2 灰度变换 (12) 2.2.1 线性变换 (12) 2.2.2 分段线性变换 (13) 2.2.3 非线性变换 (13) 2.3 直方图变换 (14) 2.3.1 直方图修正基础 (14) 2.3.2 直方图均衡化 (16) 2.3.3 直方图规定化 (17) 2.4 图像平滑与锐化 (18) 2.4.1 平滑 (18) 2.4.2 锐化 (19)
二分图的最优匹配（KM算法） KM算法用来解决最大权匹配问题：在一个二分图内，左顶点为X，右顶点为Y，现对于每组左右连接XiYj有权wij，求一种匹配使得所有wij的和最大。 基本原理 该算法是通过给每个顶点一个标号（叫做顶标）来把求最大权匹配的问题转化为求完备匹配的问题的。设顶点Xi的顶标为A[ i ]，顶点Yj的顶标为B[ j ]，顶点Xi与Yj之间的边权为w[i,j]。在算法执行过程中的任一时刻，对于任一条边(i,j)，A[ i ]+B[j]>=w[i,j]始终成立。 KM算法的正确性基于以下定理： 若由二分图中所有满足A[ i ]+B[j]=w[i,j]的边(i,j)构成的子图（称做相等子图）有完备匹配，那么这个完备匹配就是二分图的最大权匹配。 首先解释下什么是完备匹配，所谓的完备匹配就是在二部图中，X点集中的所有点都有对应的匹配或者是 Y点集中所有的点都有对应的匹配，则称该匹配为完备匹配。 这个定理是显然的。因为对于二分图的任意一个匹配，如果它包含于相等子图，那么它的边权和等于所有顶点的顶标和；如果它有的边不包含于相等子图，那么它的边权和小于所有顶点的顶标和。所以相等子图的完备匹配一定是二分图的最大权匹配。 初始时为了使A[ i ]+B[j]>=w[i,j]恒成立，令A[ i ]为所有与顶点Xi关联的边的最大权，B[j]=0。如果当前的相等子图没有完备匹配，就按下面的方法修改顶标以使扩大相等子图，直到相等子图具有完备匹配为止。 我们求当前相等子图的完备匹配失败了，是因为对于某个X顶点，我们找不到一条从它出发的交错路。这时我们获得了一棵交错树，它的叶子结点全部是X顶点。现在我们把交错树中X顶点的顶标全都减小某个值d，Y顶点的顶标全都增加同一个值d，那么我们会发现： 1）两端都在交错树中的边(i,j)，A[ i ]+B[j]的值没有变化。也就是说，它原来属于相等子图，现在仍属于相等子图。 2）两端都不在交错树中的边(i,j)，A[ i ]和B[j]都没有变化。也就是说，它原来属于（或不属于）相等子图，现在仍属于（或不属于）相等子图。 3）X端不在交错树中，Y端在交错树中的边(i,j)，它的A[ i ]+B[j]的值有所增大。它原来不属于相等子图，现在仍不属于相等子图。 4）X端在交错树中，Y端不在交错树中的边(i,j)，它的A[ i ]+B[j]的值有所减小。也就说，它原来不属于相等子图，现在可能进入了相等子图，因而使相等子图得到了扩大。（针对之后例子中x1->y4这条边） 现在的问题就是求d值了。为了使A[ i ]+B[j]>=w[i,j]始终成立，且至少有一条边进入相等子图，d应该等于： Min{A[i]+B[j]-w[i,j] | Xi在交错树中，Yi不在交错树中}。 改进 以上就是KM算法的基本思路。但是朴素的实现方法，时间复杂度为O(n4)——需要找O(n)次增广路，每次增广最多需要修改O(n)次顶标，每次修改顶标时由于要枚举边来求d值，复杂度为O(n2)。实际上KM算法的复杂度是可以做到O(n3)的。我们给每个Y顶点一个“松弛量”函数slack，每次开始找增广路时初始化为无穷大。在寻找增广路的过程中，检查边(i,j)时，如果它不在相等子图中，则让slack[j]变成原值与A[ i ]+B[j]-w[i,j]的较小值。这样，在修改顶标时，取所有不在交错树中的Y 顶点的slack值中的最小值作为d值即可。但还要注意一点：修改顶标后，要把所有的不在交错树中的Y顶点的slack值都减去d（因为：d的定义为 min{ (x,y)| Lx(x)+ Ly(y)- W(x,y), x∈ S, y? T }
图像特征特点及常用的特征提取与匹配方法 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1） 颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2） 颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡 的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3） 颜色矩
图像处理技术——模板匹配算法 左力2002．3． 认知是一个把未知与已知联系起来的过程。对一个复杂的视觉系统来说，它的内部常同时存在着多种输入和其它知识共存的表达形式。感知是把视觉输入与事前已有表达结合的过程，而识别也需要建立或发现各种内部表达式之间的联系。 匹配就是建立这些联系的技术和过程。建立联系的目的是为了用已知解释未知。 章毓晋《图像工程下册》P.163 一．模板匹配的基本概念 模板就是一幅已知的小图像。模板匹配就是在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置。 以8位图像(其1个像素由1个字节描述)为例，模板T( m ? n个像素)叠放在被搜索图S( W ? H个像素)上平移，模板覆盖被搜索图的那块区域叫子图Sij。i，j为子图左上角在被搜索图S上的坐标。搜索范围是： 1 ≤ i ≤ W – M 1 ≤ j ≤ H – N 通过比较T和Sij的相似性，完成模板匹配过程。 注意：图像的数据是从下到上、从左到右排列的。 可以用下式衡量T和Sij相似性： ∑∑ = =- = N n ij M m n m T n m S j i D 12 1 )] , ( ) , ( [ ) ,(被搜索图 S 模板 T m i {
∑∑ ∑∑ ∑∑ ======+?-=N n M m N n ij M m N n ij M m n m T n m T n m S n m S 1 2 1 1 1 1 2 1 )] ,([),(),(2)],([ 上式的第一项为子图的能量，第三项为模板的能量，都与模板匹配无关。第二项是模板和子图的互相关，随( i, j )而改变。当模板和子图匹配时，该项有极大值。将其归一化，得模板匹配的相关系数： ∑∑∑∑∑∑======?= N n M m N n ij M m N n ij M m n m T n m S n m T n m S j i R 1 2 1 1 2 1 1 1 )] ,([)],([) ,(),(),( 当模板和子图完全一样时，相关系数R( i, j ) = 1。在被搜索图S 中完成全部搜索后，找出R 的最大值Rmax( im, jm )，其对应的子图Simjm 即为匹配目标。显然，用这种公式做图像匹配计算量大、速度较慢。 另一种算法是衡量T 和Sij 的误差，其公式为： ∑∑ ==-=N n ij M m n m T n m S j i E 1 1 |),(),(|),( E( i, j )为最小值处即为匹配目标。为提高计算速度，取一个误差阈值E 0，当E( i, j )> E 0时就停止该点的计算，继续下一点计算。 试验结果如下： 注：以上试验是在赛扬600 PC 机上用VC6.0进行的。 结果表明：被搜索图越大，匹配速度越慢；模板越小，匹配速度越快。误差法速度较快，阈值的大小对匹配速度影响大，和模板的尺寸有关。 二．改进模板匹配算法 我在误差算法的基础上设计了二次匹配误差算法： 第一次匹配是粗略匹配。取模板的隔行隔列数据，即四分之一的模板数据，在被搜索图上进行隔行隔列扫描匹配，即在原图的四分之一范围内匹配。由于数据量大幅度减少，匹配速度显著提高。 为了合理的给出一个误差阈值E0，我设计了一个确定误差阈值E0的准则： E 0 = e 0 * (m+1)/2 * (n+1)/2
在借鉴国外相对成熟理论体系和技术应用体系的条件下，国内的增强技术和应用也有了很大的发展。总体来说，图像增强技术的发展大致经历了初创期、发展期、普及期和应用期4个阶段。初创期开始于20世纪60年代，当时的图像采用像素型光栅进行扫描显示，大多采用中、大型机对其进行处理。在这一时期由于图像存储成本高，处理设备造价高，因而其应用面很窄。20世纪70年代进入了发展期，开始大量采用中、大型机进行处理，图像处理也逐渐改用光栅扫描显示方式，特别是出现了CT和卫星遥感图像，对图像增强处理提出了一个更高的要求。到了20世纪80年代，图像增强技术进入普及期，此时的计算机已经能够承担起图形图像处理的任务。20世纪90年代进入了应用期，人们运用数字图像增强技术处理和分析遥感图像，以有效地进行资源和矿藏的勘探、调查、农业和城市的土地规划、作物估产、气象预报、灾害及军事目标的监视等。在生物医学工程方面，运用图像增强技术对X 射线图像、超声图像和生物切片显微图像等进行处理，提高图像的清晰度和分辨率。在工业和工程方面，主要应用于无损探伤、质量检测和过程自动控制等方面。在公共安全方面，人像、指纹及其他痕迹的处理和识别，以及交通监控、事故分析等都在不同程度上使用了图像增强技术。图像增强是图像处理的重要组成部分，传统的图像增强方法对于改善图像质量发挥了极其重要的作用。随着对图像技术研究的不断深入和发展，新的图像增强方法不断出现。例如一些学者将模糊映射理论引入到图像增强算法中，提出了包括模糊松弛、模糊熵、模糊类等增强算法来解决增强算法中映射函数选择问题，并且随着交互式图像增强技术的应用，可以主观控制图像增强效果。同时利用直方图均衡技术的图像增强也有许多新的进展：例如提出了多层直方图结合亮度保持的均衡算法、动态分层直方图均衡算法。这些算法通过分割图像，然后在子层图像内做均衡处理，较好地解决了直方图均衡过程中的对比度过拉伸问题，并且可以控制子层灰度映射范围，增强效果较好。 20世纪20年代图片第一次通过海底电缆从伦敦传往纽约。当时人们通过字符模拟得到中间色调的方法来还原图像。早期的图像增强技术往往涉及硬件参数的设置，如打印过程的选择和亮度等级的分布等问题。在1921年年底提出了一种基于光学还原的新技术。在这一时期由于引入了一种用编码图像纸带去调制光束达到调节底片感光程度的方法，使灰度等级从5个灰度级增加到15个灰度等级，这种方法明显改善了图像复原的效果。到20世纪60年代早期第一台可以执行数字图像处理任务的大型计算机制造出来了，这标志着利用计算机技术处理数字图像时代的到来。1964年，研究人员在美国喷气推进实验室(JPL)里使用计算机以及其它硬件设备，采用几何校正、灰度变换、去噪声、傅里叶变换以及二维线性滤波等增强方法对航天探测器“徘徊者7号”发回的几千张月球照片进行处理，同时他们也考虑太阳位置和月球环境的影响，最终成功地绘制出了月球表面地图。随后他们又对1965年“徘徊者8号”发回地球的几万张照片进行了较为复杂的数字图像处理，使图像质量进一步提高。这些成绩不仅引起世界许多有关方面的注意而且JPL本身也更加重视对数字图像处理地研究和设备的改进，并专门成立了图像处理实验室IPL。在IPL里成功的对后来探测飞船发回的几十万张照片进行了更为复杂的图像处理，最终获得了月球的地形图、彩色图以及全景镶嵌图。从此数字图像增强技术走进了航空航天领域。 20世纪60年代末和20世纪70年代初有学者开始将图像增强技术用于医学图像、地球遥感监测和天文学等领域。X射线是最早用于成像的电磁辐射源之一，在1895年X射线由伦琴发现。20世纪70年代Godfrey N. Hounsfield先生和Allan M. Cormack教授共同发明计算机轴向断层技术：一个检测器围绕病人，并用X射线源绕着物体旋转。X射线穿过身体并由位于对面环中的相应检测器收集起来。其原理是用感知的数据去重建切片图像。当物体沿垂直于检测器的方向运动时就产生一系列的切片，这些切片组成了物体内部的再现图像。到了20