下载文档原格式
如何进行高效的图像匹配和图像配准图像匹配和图像配准是计算机视觉领域中常见的任务，其目的是通过计算机算法将两幅或多幅图像进行比较，从而找出它们之间的相似性或者进行图像的对齐。
本文将介绍一些高效的图像匹配和图像配准的方法。
一、图像匹配图像匹配即是将一幅图像中的特征在另一幅图像中找到对应物体或者区域。
下面是一些常见的图像匹配方法：1.特征点匹配特征点匹配是最常见的图像匹配方法之一，它通过在图像中提取特征点，并计算特征点的描述子，然后使用某种度量来比较两幅图像的特征点，找出最相似的特征点对。
常用的特征点匹配算法包括SIFT、SURF和ORB等。
2.直方图匹配直方图匹配是一种基于图像全局颜色或纹理分布的匹配方法，它将图像的直方图进行比较，通过计算直方图之间的相似性度量来进行匹配。
直方图匹配适用于颜色和纹理信息较为明显的图像匹配任务。
3.模板匹配模板匹配是一种基于像素点灰度值的匹配方法，它通过将一个预定义的模板图像滑动或者扫描到待匹配图像上，计算模板和图像之间的相似性度量，从而找到最佳匹配位置。
模板匹配适用于物体检测和目标跟踪等应用场景。
4.特征描述子匹配特征描述子匹配是一种将图像中的局部特征点的描述子进行比较的匹配方法，它通过计算特征点描述子之间的相似性度量找到最佳匹配。
常用的特征描述子匹配算法包括基于二值描述子的BRISK和ORB，基于二进制描述子的BRIEF和FREAK，以及基于浮点数描述子的SIFT、SURF和AKAZE等。
二、图像配准图像配准是将两幅或多幅图像进行对齐，使得它们在空间上或者几何上具有一致性。
下面是一些常用的图像配准方法：1.特征点配准特征点配准是将两幅图像中的特征点进行对应的一种配准方法，它通过计算特征点的几何变换关系，然后将其中一幅图像进行变换，使得两幅图像的特征点对应一致。
常用的特征点配准方法包括RANSAC、LMS和Hough变换等。
2.像素级配准像素级配准是将两幅图像的像素进行一一对应的配准方法，它通过计算图像间的几何变换关系，然后将其中一幅图像进行变换，使得两幅图像在几何上对应一致。
基于深度学习的图像配准基于深度学习的图像配准概述图像配准是计算机视觉领域中的一个重要研究方向，它通过将不同图像对齐以实现对其像素级别的比较和分析。
随着深度学习技术的快速发展，基于深度学习的图像配准方法在近年来逐渐得到广泛应用，并在医学影像处理、遥感图像分析、计算机辅助设计等领域取得了显著的成果。
传统图像配准方法存在的问题在介绍基于深度学习的图像配准方法之前，我们先简要回顾一下传统的图像配准方法存在的问题。
传统图像配准方法通常从图像的低层特征入手，如边缘、纹理等，使用特征提取和匹配的方法进行图像对齐。
然而，传统方法需要人工选取和设计特征，受限于特征的选择和特征匹配的准确性，鲁棒性较差，对噪声和变形较为敏感。
此外，传统方法无法处理一些特殊情况，如大尺度、形变较大的图像配准等。
基于深度学习的图像配准方法的原理基于深度学习的图像配准方法采用卷积神经网络（Convolutional Neural Network, CNN）进行特征提取和匹配。
CNN是一种由多个卷积层、池化层和全连接层构成的深度神经网络，能够自动从图像中提取高层次的特征信息。
基于深度学习的图像配准方法主要包括两个步骤：特征提取和特征匹配。
特征提取特征提取是基于深度学习的图像配准方法的关键步骤之一。
在特征提取过程中，卷积神经网络通过多层卷积和池化操作，将输入的图像逐渐转换为多维特征向量。
具体来说，卷积层通过滑动窗口和卷积核对图像进行滤波和卷积操作，提取出图像的低级特征；池化层通过对特征图像进行下采样，提取出特征的局部不变性。
通过多层卷积和池化操作，卷积神经网络能够从图像中提取出丰富的高层次特征，同时具备了较好的空间不变性和抽象能力。
特征匹配特征匹配是基于深度学习的图像配准方法的另一个关键步骤。
在特征匹配过程中，通过计算不同图像的特征向量之间的相似度来确定两张图像之间的对应关系。
常用的特征匹配方法包括余弦相似度、欧式距离等。
通过特征匹配，可以获得两张图像之间的位移矩阵，从而实现图像的对齐。
MATLAB中的图像配准与匹配方法图像配准与匹配是计算机视觉领域的重要研究方向。
配准指的是将多幅图像在空间上对齐，使得它们之间的特定特征点或特征区域对应一致。
匹配则是在已经配准的图像中寻找相似的图像区域。
在实际应用中，图像配准与匹配常用于医学图像分析、遥感影像处理、计算机视觉等领域，具有广泛的应用前景。
MATLAB作为一种强大的数值计算与数据可视化软件，提供了丰富的图像处理和计算机视觉函数，使得图像配准与匹配任务变得更加简便和快捷。
下面将介绍几种常用的MATLAB图像配准与匹配方法。
一、基于特征点的图像配准特征点是图像中具有鲁棒性和独特性的点，常常用于图像配准任务。
在MATLAB中，可以使用SURF(Speeded-Up Robust Features)或SIFT(Scale-Invariant Feature Transform)等函数来检测图像中的特征点。
然后可以通过计算特征点间的相似度或使用一致性约束等方法来对图像进行配准。
二、基于图像区域的图像配准除了特征点外，图像的局部区域也可以作为配准的参考。
一种常用的方法是使用归一化互相关(Normalized Cross Correlation)来度量两幅图像之间的匹配度。
在MATLAB中，可以使用normxcorr2函数来实现归一化互相关操作。
该函数将两幅图像进行归一化，并计算它们之间的互相关系数，从而确定最佳的配准位置。
三、基于形态学的图像配准形态学图像处理是一种基于形态学运算的图像处理方法。
它利用图像中的形状、结构和拓扑信息来进行图像处理和分析。
在图像配准中，形态学操作可以用来提取图像区域的形状信息，并进行形状匹配。
在MATLAB中，可以使用bwmorph函数进行形态学操作，例如腐蚀、膨胀、开运算、闭运算等，从而实现图像的配准与匹配。
四、基于变换模型的图像配准图像配准中常常涉及到图像的几何变换，例如平移、旋转、缩放、投影变换等。
在MATLAB中，可以使用imwarp函数来对图像进行几何变换和配准。
使用计算机视觉技术实现图像匹配和配准的方法和技巧计算机视觉技术在图像匹配和配准方面起着重要的作用。
图像匹配和配准是指通过计算机对两幅或多幅图像进行比较和对齐的过程，目的是找到它们之间的相似性和重叠区域。
在计算机视觉领域中，图像匹配和配准的方法和技巧正在不断发展和改进，为各种应用提供了强大的工具。
一、图像匹配的方法和技巧1. 特征提取：图像匹配的第一步是对图像中的特征进行提取。
常用的特征包括角点、边缘、纹理等。
通过提取关键点和描述子，可以用于后续的匹配和配准过程。
2. 特征匹配：在特征提取的基础上，需要对两幅图像中的特征进行匹配。
常见的特征匹配方法包括最近邻匹配、最近邻搜索、RANSAC等。
最近邻匹配将待匹配特征点与目标图像中最相似的特征进行匹配。
3. 特征描述：对匹配到的特征进行描述是图像匹配中的关键步骤。
常用的特征描述算法有SIFT（尺度不变特征变换）、SURF（加速稳健特征）和ORB （Oriented FAST and Rotated BRIEF）等。
这些算法可以提取图像中的局部特征，并将其转化为能够容易匹配的向量表示。
4. 特征筛选：通过匹配得到的特征点可能存在误匹配和几何变化等问题。
因此，需要对匹配结果进行筛选和校正。
常用的方法包括基于几何变换模型的筛选和基于一致性检验的筛选。
5. 特征配准：匹配到的特征点可以用于图像配准，即将两幅图像进行对齐。
常用的配准方法有基于特征点的配准、基于区域的配准和基于自动的配准等。
配准过程的目标是通过对图像进行变换，使得它们在几何和视觉上尽可能地对齐。
二、图像配准的方法和技巧1. 基于特征点的配准：特征点在图像中具有明显的区分度和稳定性。
通过提取两幅图像中的特征点，并进行匹配和筛选，可以得到图像的相似变换模型，并实现图像的配准。
2. 基于区域的配准：图像的全局特征可以通过提取图像中的区域来实现。
通过提取两幅图像中的区域，并对这些区域进行匹配和筛选，可以得到图像的相似变换模型，并实现图像的配准。
基于特征点匹配的图像配准与融合算法作者：杨小青来源：《电脑知识与技术》2020年第34期摘要：图像重建技术是图像处理领域中的重要环节，将不同视角下的多重图像重建为高清完整全方位目标像需要进行图像配准、拼接以及融合，以最大限度保留原场景的完整性。
本文主要研究在拼接过程中的图像配准和融合算法，应用SIFT算法查找确定特征点、特征向量进行特征匹配，采用RANSAC算法直线拟合优化重叠区域较多的目标图像，同时对连接缝进行平滑处理，以人工湖图像拼接验证，算法实现良好融合效果。
关键词：图像拼接;SIFT算法;RANSAC算法;图像融合中图分类号： TP18 文献标识码：A文章编号：1009-3044（2020）34-0198-02在图像处理领域，将不同视角下的多重图像重建为全方位目标像是一个重要研究内容，要对不同目标像依次进行配准、融合，以最大限度保留原场景完整性，获得全视野图像。
图像重建[1]技术对多种行业发展起到重要作用，对图像拼接融合技术研究具有应用价值。
本文主要研究在拼接过程中的图像配准的算法以及图像拼接和融合的算法，主要应用尺度不变特征转换SIFT（Scale Invariant Feature Transform）算法[2]查找确定特征点、特征向量进行图像之间特征点匹配，以及随机抽样一致性RANSAC（Random Sample Consensus）算法[3]对重合区域较多的不同目标像进行直线拟合，消除无关点，精简高效实现图像配准与拼接。
1图像特征向量提取图像配准是将不同时间、视角、拍摄环境下获取到的两幅甚至多幅图像进行叠加、去重、匹配等过程处理，以得到单一目标像。
在图像数据信息中，特征点保留了图像关键信息，通过扫描搜索，根据特征性质查找提取待拼接图像的特征点，生成特征向量表，对比待匹配图像之间的特征集合，对提取的关键信息进行特征处理，同时借鉴其他信息符号，有利于提高算法匹配速度和效果，适用范围较广，增强了匹配准确性。
一种基于仿射参数估计的图像配准方法专利名称：：一种基于仿射参数估计的图像配准方法技术领域：：本发明属于计算机图像处理领域，涉及一种图像配准方法。
背景技术：：图像配准是同一场景的两幅或多幅图像在空间上的对准。
它在医学，遥感图像分析、图像融合、图像检索、目标识别等领域得到广泛的应用。
同时它也是多传感器图像融合、遥感图像镶嵌、目标变化检测、三维重建等领域中提高精度和有效性的瓶颈，是必需的前期工作。
图像配准方法分为基于图像灰度和基于图像特征的配准。
其中，基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度，实现起来比较简单，经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，如互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法等。
基于特征的匹配方法首先要对待配准图像进行预处理，也就是图像分割和特征提取的过程，再利用提取得到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像之间的配准映射关系。
由于图像中有很多种可以利用的特征，因而产生了多种基于特征的方法。
常用到的图像特征有特征点(包括角点、高曲率点等)直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等。
以上两种方法虽然都有各自的优势，且都取得了不错的效果，但这两种方法也都有自己的不足之处，基于图像灰度的配准方法配准速度比较慢；基于图像特征的配准方法算法复杂，而且往往由于特征提取的不完全，导致匹配率较低，对误匹配比较敏感，随着误匹配率的增大，配准效果会有明显的下降。
这在很大程度上限制了以上两种方法在实际工程中的应用，由于现有的基于灰度和基于特征的图像配准方法对误匹配均比较敏感，因此对特征点配准准确度提出了很高的要求，然而在许多实际工程中，例如航遥感空影像配准，由于飞机飞行姿态受气流影响比较严重，导致相邻帧图像之间存在很大的畸变，在进行点配准时误匹配在所难免，利用传统方法进行图像配准就会出现较大的偏差。
图像配准技术中常见挑战及优化方法图像配准技术在计算机视觉和图像处理领域具有广泛的应用，例如医学影像分析、遥感数据处理以及图像拼接等。
然而，由于图像本身存在各种各样的变化，如尺度、旋转、平移、畸变等，图像配准过程中常常面临着一系列挑战。
为了克服这些挑战，研究者们提出了许多优化方法。
本文将介绍图像配准技术中常见的挑战，并重点探讨几种常用的优化方法。
首先，图像配准技术中常见的挑战之一是图像的尺度和旋转变化。
当两幅图像存在尺度和旋转变化时，传统的图像配准算法可能无法准确匹配相应特征点，导致配准结果不准确。
为了解决这个问题，研究者们提出了基于尺度不变特征变换（SIFT）和速度不变特征变换（SURF）等算法，这些方法可以在不同的尺度和旋转下提取到鲁棒的特征点。
其次，在图像配准的过程中，图像可能会存在平移变化。
当图像出现平移变化时，匹配算法可能会存在误匹配的问题。
为了解决这个挑战，一种常用的方法是基于亮度梯度的特征描述算法，例如方向梯度直方图（HOG）和边缘方向直方图（EOH）。
这些算法可以提取到图像中的边缘信息，并利用边缘信息进行准确的匹配。
此外，在某些图像配准任务中，图像可能会存在畸变，如镜头畸变或者形变。
这种畸变会导致传统的图像配准算法无法精准地进行匹配。
为了解决这个问题，研究者们提出了基于模型的图像配准方法。
这些方法会建立一个畸变模型，并利用该模型对图像进行校正，从而实现准确的配准。
除了上述挑战外，图像配准技术还需要面对图像的亮度变化、噪声和局部特征不明显等问题。
为了处理这些挑战，研究者们提出了许多优化方法。
其中，基于光流的方法广泛应用于运动图像的配准。
光流方法可以通过分析图像中物体的运动轨迹，从而获取到图像间的变换关系。
此外，基于深度学习的图像配准方法也逐渐成为研究的热点。
这些方法利用深度神经网络对图像进行特征提取和匹配，能够在处理复杂图像时取得较好的配准效果。
另一种优化方法是基于多模态图像配准。
在某些应用场景下，只有单一模态的图像信息无法准确地进行配准，因此需要融合多模态信息。
第21卷第2期2009年2月计算机辅助设计与图形学学报JO U RN A L O F COM PU T ER AID ED D ESIG N &COM P U T ER G RA PH ICS Vo l.21,N o.2Feb.,2009收稿日期:2008-04-19;修回日期:2008-07-07.基金项目:香港特区政府研究资助局研究项目(CU HK 4185 00E );香港中文大学研究基金(2050345).白小晶,女,1984年生,博士研究生,主要研究方向为图像处理、模式识别、数值分析与算法.陈允杰,男,1980年生,博士,讲师,主要研究方向为图像处理、模式识别、数值分析与算法.张洁玉,女,1980年生,博士研究生,主要研究方向为图像处理、模式识别.孙怀江,男,1968年生,博士,教授,博士生导师,CCF 高级会员,主要研究方向为图像处理、模式识别.王平安,男,1961年生,博士,教授,博士生导师,主要研究方向为交互式科学计算可视化、三维医学图像、虚拟现实.夏德深,男,1941年生,博士,教授,博士生导师,主要研究方向为图像处理、卫星遥感、模式识别.基于抽象匹配流的彩色图像配准模型白小晶1) 陈允杰2) 张洁玉1) 孙怀江1) 王平安3) 夏德深1)1)(南京理工大学计算机科学与技术学院 南京 210094)2)(南京信息工程大学数学系 南京 210044)3)(香港中文大学计算机科学与工程学系 香港)(baix j307@)摘要 在抽象匹配流框架下,构造能够克服大色差问题的彩色图像配准模型.该模型中,数据项采用互相关函数作为2幅图像间的相似性度量,以解决大色差问题;正则项采用各向异性扩散滤波器约束图像演化,从而实现在演化过程中对图像特征的有效保持.扩散滤波器中的扩散系数定义为关于彩色结构张量的函数,以使图像演化能够综合各通道信息,解决了各通道所得位移场不一致而引起的色彩混迭问题.实验结果表明,文中模型对具有大色差的彩色图像能够实现有效配准.关键词 彩色图像配准;抽象匹配流;互相关函数;各向异性扩散;彩色结构张量中图法分类号 T P391Color Image Registration Model Based on Abstract Matching FlowBai Xiao jing 1) Chen Yunjie 2) Zhang Jiey u 1) Sun H uaijiang 1) Pheng Ann H eng 3) Xia Deshen 1)1)(Sc hool of Comp uter S cie nce &T ec hnology ,N anj ing Univ ersity of S cience and T ech nology ,N anj ing 210094)2)(Dep artment of M athematic s,N anj ing Unive rsity of I nf ormation S cie nce and Te chnolog y ,N anj ing 210044)3)(Dep artment of Comp ute r Sc ienc e &E ngineer ing ,T he Chine se Univ ersity of H ong K ong ,H ong K on g )Abstract A colo r image registration m odel w ithin the fr am ew or k of abstract matching flow is pro posed to deal w ith the pr oblem of serio us co lor difference betw een reg istered images.T he m odel is com po sed of a data term and a reg ular ization term.The data ter m employs the cross cor relation as the similarity measur em ent betw een tw o images,in order to cope w ith the lar ge color difference pr oblem.The reg ularization term into which an anisotropic flow driven diffusion is introduced,aim s at preserv ing image features during the im age ev olution.T he diffusion structure tensor in the diffusion coefficient function is a vector valued str ucture tensor,w hich integrates the intensity and structure inform ation of each channel,as w ell as the co rrelation am ong channels.Ex perimental results validate the proposed mo del,especially for im ag es o f large color difference.Key words color imag e registr ation;abstr act m atching flow ;cr oss corr elation;flow drivenaniso tr opic regularizatio n;color structure tensor 彩色图像配准在机器视觉、医学图像处理等领域具有重要的应用价值,但目前的图像配准方法研究主要集中于灰度图像;彩色图像配准的实现,一般是将灰度图像的配准方法运用到彩色图像的各个通道上,将各通道配准后的结果图所合成的彩色图像作为最终的彩色图像配准结果[1 3].这种方法实质上是将彩色图像各对应通道作为灰度图像进行单独匹配,因而完全忽视了通道间的相关信息[4 5];另外,若使用上述针对灰度图像的匹配方法来实现彩色图像的有效配准,就要求2幅彩色图像各对应通道具有相似的亮度值,即要求2幅彩色图像的颜色差异很小,而实际所得的图像很难满足这一要求.由于上述原因,一般的彩色图像配准方法对色彩差异较大、结构复杂的图像无法正确配准.图像间存在大色彩差异,是彩色图像配准中最常遇见且很难解决的问题.为了克服大色差问题,本文在抽象匹配流框架下,建立了彩色图像的配准模型.该模型能够通过相似度项和正则项来约束图像演化,从而实现对大色彩差异图像的有效地配准.模型的数据项采用互相关相似性度量函数,通过对图像结构而非图像亮度的相似性度量,有效地克服了图像大色差问题对配准过程造成的影响;正则项函数定义为关于彩色结构张量的各向异性扩散滤波器,在综合各通道信息的同时,实现了图像特征在图像演化过程中的有效保持.1 抽象匹配流图像间的色彩差异是影响彩色图像配准效果的主要问题,而色彩差异体现为各对应通道间的亮度差异,因此,彩色图像的大色差问题可归结为灰度图像的大亮度差异问题.由于一般的刚性配准、弹性配准以及基于物理模型的配准等配准方法都基于亮度常量假设[1,3],因而此类方法只对亮度差异不大的图像有效,无法实现大亮度差异图像的有效配准.当前研究非常活跃且已成功地应用于医学实践的多模态图像配准方法是专门针对不同模式 亮度差异很大的图像进行配准的方法.多模态图像配准的诸多方法[6 8]中,H ermosillo等[9]建立了采用偏微分方程方法实现图像配准的抽象匹配流框架,基于抽象匹配流的配准方法是将图像的配准过程抽象为流的演化过程,通过构造针对特定问题的约束项来约束图像按照特定要求进行演化.该方法已通过数学证明保证了解的适定性,医学实践也证明了其有效性.本文在该框架下,针对彩色图像构造适用于彩色图像配准的变分模型,以处理大色差问题.抽象匹配流将2幅图像I1:n 和I2:n的配准过程定义为在感兴趣区域 上寻求作用于待配准图像上每点x处的位移量h(x)!2的过程,该位移场h的求解可以归结为在H ilbert空间H的线性子空间F中寻找最小化能量泛函的问题E(h)=ar g minh!F(J(h)+ R(h)),E:F;其中,用I2(I d+h)表示原待配准图像I2经位移场h调整所得的演化图像,则J(h)为衡量基准图像I1与演化图像I2(I d+h)之间差异程度的相似性度量函数,该项促进待配准图像向着2幅图像间差异越来越小的方向演化;R(h)作为正则项,用于防止演化过于剧烈,保证演化的光滑性,其作用力大小由正则系数 调节.给定初始值h0!H,采用梯度下降法来求解能量泛函E(h),可将以上能量最小化问题转化为初始值问题d hd t=-(H J(h)+ H R(h))h(0)(∀)=h0(∀)(1)在以上抽象匹配流的变分表达式中,数据项J(h)促进图像朝着提高相似度的方向演化;正则化项R(h)约束演化过程光滑进行.以上函数可以看作关于时间t的可微函数,其渐进t#时的解h(t)(t#)即为配准所要求解的位移场.在该框架下,模型的建立与扩展归结为针对特定问题构造相应的相似度函数和正则化函数的问题.2 互相关函数图像配准的目标是要使配准后的图像与基准图像之间达到某种意义下的最为相似,衡量这种相似性的准则函数称为相似度函数.在抽象匹配流框架下的图像配准过程中,相似度函数促进待配准图像朝着2幅图像间差异越来越小的方向演化.抽象匹配流框架是针对多模态图像提出的,该方法区别于一般图像配准方法的关键在于其引入了统计及信息论知识作为相似性度量函数,以考察图像对应单元间的结构相关性而非亮度相似性,因而对于亮度差异较大的图像,它仍能取得很好的配准效果.相似度函数的定义是多模态图像配准的核心,诸多形式中,基于统计理论和基于信息理论的定义最为流行[6,10 12],各种定义形式都有其特点及适用对象.由于用基于信息理论的互信息来定义的相似度函数能够较好地度量图像对应区域的相关程度,因而其在多模态医学图像配准中比较流行;但由于互信息易陷入局部极小值,特别是基于互信息的配230计算机辅助设计与图形学学报 2009年准方法复杂性很高,因而极大地阻碍了其实际应用.本文采用的相似度函数是基于统计理论的互相关函数,由于其计算简单,且能够保证解的全局性,因而已作为一种鲁棒的比较函数而被广泛应用于图像配准中[11].统计相似度准则的基本思想是将2种模式下的图像亮度值作为2个随机过程的样本,2种模态之间通过2幅图像间的联合概率密度函数来联系.互相关函数由其样本的均值和方差来定义J CC(h)=-v1,2(h)2v1v2(h)!1=∃i1p(i1)d i1v1=∃i21p(i1)d i1-!21v1,2(h)=∃i1i2p(i,h)d i-!1!2(h)(2)其中,i=(i1,i2),表示基准图像i1=I1(x)和配准后图像i2=I2(x+h(x))上相应点x处的亮度值所组成的向量;J CC(h)表示互相关定义下的相似度函数,对应变分表达式(1),图像演化过程需计算相似度项的梯度值H J CC(h)(x)=L CC(I n(x),h)I2(x)+h(x))(3)其中,L CC(i,h)=12ECC(i,h),E CC(i,h)=-1v1v2(h)(2v1,2(h)i2(i1-!1)+J CC(h)v1i2(i2-2!2(h))).基于互相关的相似性度量函数,通过统计量来考察图像对应点处的结构相关性而非亮度相似性,有效地评判了图像空间位置的相似性,实现了对大亮度差图像的相似性评价,从而避免了图像间的大色差问题对配准过程造成的影响.3 各向异性扩散正则项图像的配准过程即待配准图像在作用力驱动下向基准图像演化的过程,数据项促进待配准图像朝着2幅图像间差异越来越小的方向演化,但该作用可能导致图像演化过于剧烈.另外,该项无法针对不同结构自动调节作用力大小,从而会因无法在图像边缘与拐角处停止扩散而导致图像特征的严重丢失.为了使图像能够根据其局部几何特征实现自适应演化,需要设计具有自适应性的正则项.扩散滤波方法能够根据图像的局部结构特征自动调节扩散系数,从而实现图像的自适应演化.本文采用扩散滤波器作为图像配准的正则项,以实现图像演化的自适应调节,达到防止图像剧烈演化和保证演化过程有效保持图像特征的目的.扩散滤波具有多种形式[13],考虑到配准所用图像往往存在结构复杂、位移情况不明确,且彩色图像存在各通道间相互影响等问题,为了尽可能适应图像结构的复杂性,利用彩色图像各通道间的相关性,本文采用具有作用力自动调节能力的各向异性扩散滤波器作为模型的正则项.位移场h的扩散方程及其Euler Lagrange方程表达式为R(h)= ∃ h T D(I)h d x(4) R H(h)= t h= div(g(D(I))h),i=1,2(5)其中,D(I)是关于图像I的结构张量,能够反映图像的局部结构特征;g为通过作用于该张量来控制局部扩散量的函数.针对彩色图像,由于各通道间的相关性包含有重要的空间、亮度等关联信息,因而需要设计一个关于三通道的正则化函数,该函数结合各通道的信息来得到综合的图像几何特征,从而影响图像演化. Dizenzo提出的向量值结构张量能够综合各通道信息,反映图像综合的结构特征[4 5],为向量值图像的自适应演化提供了依据.本文针对三通道的彩色图像,定义正则项为关于彩色结构张量的扩散函数.三通道的彩色图像I=(R,G,B)对应的彩色结构张量为G=R2x+G2x+B2x R x R y+G x G y+B x B yR x R y+G x G y+B x B y R2y+G2y+B2y=g11g12g21g22,g12=g21(6)彩色结构张量对应的特征值∀+ -和特征向量#+ -计算公式为!+ -=g11+g22%2(!+>!-)#+ -2g12g22-g11%(7)其中=(g11-g22)2+4g212.结构张量的特征值和特征向量反映了图像的局部几何结构,因而可以通过定义关于特征值和特征向量的函数来实现图像根据其结构特征进行的自适应演化,即实现各向异性扩散.因此,彩色图像配准正则项的构造问题就归结为定义关于彩色结构张量D(I)=G的扩散函数g的问题.本文采用对图像的边缘和拐角等图像特征具有很好保持能力的扩散函数定义形式[14]:用#+,#-和!+,!-(!+>!-)分别2312期白小晶等:基于抽象匹配流的彩色图像配准模型表示图像上每点处结构张量的特征向量及其特征值,#&+,#&-和∀+,∀-(∀+>∀-)表示新定义扩散张量的特征向量及其特征值;令结构张量的特征向量与原特征向量保持一致,即(#+,#-)=(#&+,#&-),结构张量的特征值定义为关于原特征值(式(7))的函数∀+=∃, if!+=01-ex p-%1!4+, otherw ise,∀-=∃, if!+=!-∃+(1-∃)ex p-%2(!+-!-)2,o therw ise;其中,0<∃<1,%1,%2>0.以上定义的特征值使得图像在!+0及!+=!-所在的同质区域进行同质扩散,即∀+=∃,∀-=∃;在!+值很大的图像边缘处,垂直于边缘的#&-方向的扩散量取很小的值∀+=1-ex p -%1!41,从而抑制了垂直于边缘的扩散.为了增强图像结构的一致性,定义一致性方向#&-上的扩散量随(!+-!-)的增大而增大.以上定义通过控制特征值实现了图像的各向异性扩散和一致性增强,根据所定义的特征值和特征向量,可计算出新的结构张量的各分量值J11=0.5∋(∀1+∀2)+(∀1-∀2)g11-g22(g11-g22)2+4g212+%,J22=0.5∋(∀1+∀2)-(∀1-∀2)g11-g22(g11-g22)2+4g212+%,J12=J21=(∀1-∀2)g12(g11-g22)2+4g212+%;从而得到扩散函数g(D(I))=J11J12J21J22;则以该扩散函数为系数的扩散方程对应的Euler Lag rang e表达式为t h= div(g(D(I))h)= div J11J12J21J22h(8)正则项实现了对图像数据项的正则化,约束图像光滑演化.本文正则项采用各向异性扩散滤波器,扩散系数定义为关于彩色结构张量的函数以综合图像各通道信息,新定义的扩散函数具有良好的图像特征保持能力.4 彩色图像配准模型及其数值实现彩色图像配准变分模型由互相关相似项和各向异性扩散项耦合而成.将以上构造的数据项(式(2))和正则项(式(4))代入变分配准模型(式(1)),得到配准表达式为E(h)=J CC(h)+ R(h)= -v1,2(h)2v1v2(h)+ ∃ (h)T D(I)h d x.采用梯度下降法求解能量函数E(h),将各项梯度(式(3)和式(8))代入能量函数对应的初始值问题表达式(1)中,可得d hd t=-(H J(h)+ H R(h))=L C C(I h(x),h)I2(x+h(x))+ divJ11J12J21J22h. 该扩散方程解的适定性证明类似于文献[15]中一般扩散方程解的适定性证明.在图像处理中,变分算法一般采用迭代方法来实现,本文的彩色图像配准变分模型总的位移场迭代表达式为h k+1=h k+ t h k d t, on ∋(0,#)h0=h(t=0), onT k h k,n=0, on&∋(0,#)(9)其中,d t为迭代步长, ∀,∀表示内积运算,&是位移场h k的边界,n是&的法向量;条件 T k h k,n= 0为Neumann边界条件,表示扩散在边缘处停止.迭代的关键是位移场变化量的计算,能量函数对应的Euler Lagrange方程式(1)的迭代计算式为 t h k=-(H J k CC(h)+ H R k(h)).则位移场变化量由数据项和正则项的梯度计算得到,数据项和正则项的梯度式(3)和(5)对应的迭代表达式分别为H J k CC(h)=-1v1v k2(h)(2v k1,2(h)i k2(i1-!1)+ J k CC(h)v1i k2(i k2-2!k2(h)))I2(x+h k(x))(10)H R k(h)= div(g(D(I2(x+h k(x)))h k)(11)式(10),(11)中,i k2=I2(x+h k(x))表示经过第k次配准校正后的图像;!k2(h)和v k2(h)分别表示i k2对应的均值和方差,v k1,2(h)表示(i1,i k2)的协方差.根据模型的迭代表达式,每次迭代可通过分别计算相似度函数项和正则项,然后对其结果进行耦合得到,具体的迭代过程如下:已知第k步配准后的图像I2(x+ h k(x)),将该图像作为第k+1次迭代的待配准图像,分别按照式(10),(11)计算出数据项的梯度值H J k CC和正则项的梯度值H R k(h);由梯度值计算第k+1次迭代的位移场h k+1(x),并由该位移场校正图像I2(x+h k(x)),得到新的配准后图像I2(x+232计算机辅助设计与图形学学报 2009年h k+1(x));若I2(x+h k+1(x))与I1(x)之差已达阈值,则I2(x+h k+1(x))即为最终的配准结果,否则继续迭代.本文模型能够克服图像的大色差问题,并能够对图像特征实现有效保持,这些性能都是通过加入各项约束实现的,因而会增加算法复杂度.分析本文模型可知,互相关相似性度量函数计算简单,复杂度仅由数据规模决定,因而该项复杂度为O(M)(M表示图像像素点数).本文模型的复杂度主要在于正则项,每步迭代要计算原彩色结构张量及新构造的结构张量,其复杂度为O(M32).因此,本文模型总的计算复杂度为O(k∋M32),k为迭代次数.5 实验及结果分析为了验证本文模型对彩色图像进行配准的有效性,我们在P(3.0GH z CPU,1GH z内存平台下的M atlab7.1环境中,选用了2组真实场景下的实物图以及虚拟人项目中的真实人脑图进行配准实验.为了说明采用灰度图像配准方法来实现彩色图像配准的一般方法对大色差图像不能准确配准,我们将其结果与本文模型的结果进行比较.)一般方法∗选用基于光流场的配准方法来实现各对应通道的配准,基于光流场模型的图像配准方法是采用偏微分方程实现非刚性配准的典型方法.本文模型强调对各通道信息的综合以及对图像特征的有效保持能力,体现为能够避免各通道所得位移场不一致引起的色彩混迭现象,以及能够得到在图像的边缘和拐角处停止扩散的光滑位移场.以下对实验结果的比较分析主要从以上两方面进行讨论.每组实验都给出了本文模型的配准结果,以及采用)一般方法∗所得的各通道配准结果的彩色合成图.另外,为了更清晰地反映配准过程对应的位移场,每组实验均给出了位移场对应的矢量图和伪彩色图.对于彩色图像配准效果的评价,本文采用互信息量来衡量各对应通道的相关性,从而反映配准结果的精确性.2幅图像A和B间的互信息定义为I(A,B)=H(A)+H(B)-H(A,B).其中,H(A)和H(B)分别对应图像A和B的熵, H(A,B)为2幅图像的联合熵[6].各组实验对应的互信息量值如表1所示.表1 各组实验中的结果图与基准图对应通道间的互信息量实验实验图红色通道绿色通道蓝色通道各通道总和基准图&待配准图像1.08591.08481.08293.2536第一组(花朵图像)基准图&一般方法结果1.27811.27991.27333.8313基准图&本文方法结果1.28331.28421.28113.8486基准图&待配准图像1.08291.08171.06483.2294第二组(碑角图像)基准图&一般方法结果1.16421.18061.13583.4806基准图&本文方法结果1.24081.23151.20943.6817基准图&待配准图像1.16701.16811.16793.5030第三组(大脑图像)基准图&一般方法结果1.26941.25641.25453.7803基准图&本文方法结果1.31241.29601.28693.89531)真实场景下的实物图像配准真实场景下的实体图像配准研究在机器视觉等领域具有重要的现实意义.以下2组实验分别对真实场景中的实物图像进行配准实验,配准结果如图1,2所示.第一组实物图是以不同的视角、在不同的亮度下采集得到的花朵图像.从图1a,1b可以看到,2幅图像间存在明显的色差和位移,从如图1c,1d可以看到,2种方法虽然都能取得总体位置的较准确映射,但本文方法具有以下两方面的突出优点:a.由于数据项采用了相似度函数,因而能够较好地保持图像色彩,且有效避免各通道间的色彩混迭,如图中绿框框出的花蕊处,本文模型能够保持原色彩,而一般方法会引起色彩变化;b.由于正则项采用了各向异性扩散函数,本文方法具有更好的特征保持能力,表现为本文方法对图中框出部位的花蕊、花瓣边缘及叶茎脉络等特征能够较好保持,而一般方法会导致这些结构的严重模糊.图1e所示位移场的矢量图表明,2332期白小晶等:基于抽象匹配流的彩色图像配准模型本文模型能够准确定位位移发生的位置及方向,扩散能够在边缘处停止;图1f所示伪彩色图表明位移场总体变化光滑而不剧烈.图1g所示一般方法所得位移场矢量及其伪彩色图表明,该方法所得位移场十分杂乱,且会产生强烈的位移变化.因而,本文方法能够得到位置准确、变化光滑的位移场.表1中的互信息量值表明本文方法的配准精确性远高于一般方法,进一步说明了本文方法的配准有效性.图1真实场景下的花朵图像配准图2 真实场景下的碑角图像配准第二组实物图为不同视角和亮度下采集得到的碑角图.本组实验的图2a,2b之间存在比第一组实验更大的色彩和位移差异.从图2c,2d可以看到,本文模型能够有效地克服大色差问题,从而较好地保持图像本身的色彩.本文模型的特征保持能力在实验中得到更充分的体现,如图像左上角的文字,一般方法丢失了该信息,而本文模型保持了该信息且对其实现了较准确配准;另外,本文方法也能够较好地保持碑的边缘和拐角等特征.图2e清晰地反映了本文模型的特征保持能力.图2g表明扩散不能在边缘处停止,故导致图像特征的丢失.对照2种方法的位移场伪彩色图2f,2h可以看到,本文模型所得位移场十分光滑,而一般方法下的位移场有剧烈变化,说明了一般方法不能得到准确的配准结果.表1中的互信息量值进一步说明本文方法能够实现大色差图像的有效配准.234计算机辅助设计与图形学学报 2009年2)真实人脑图像的配准图像配准是虚拟人项目中进行三维重建和数据合成的关键步骤,但由于图像采集过程会受到光照、移位等影响,导致不同层的图像往往具有较大的色彩差异和位移差别,为了更好地实现三维重建,就需要实现对图像的准确配准.本组实验对选自中国虚拟人项目中的中国男一号数据的不同层大脑图像进行配准,实验结果如图3所示.图3 经预处理的人脑图像配准图3a,3b 所示为对数据库中的原始图像进行手工去壳处理后的图像.采用本文模型迭代200次后的配准结果如图3c 所示,图3e 表明,本文模型能够准确定位配准过程中发生位移的组织位置及位移方向;其伪彩色图3f 表明本文模型所得位移场光滑而无剧烈变化,因而可以较准确地反映对应组织的位置映射.如图3d 所示,由于各对应通道的亮度差异较大,导致各通道的配准结果差异很大,因而最后的合成图杂乱而无法实用;图3g 及其伪彩色图3h 反映了位移场位置的错杂及位移量的剧烈变化.本文模型的特征保持能力表现得十分突出,如图中框出的脑室等组织结构,本文模型能够很好地保持其细节,但一般方法下的组织会严重模糊,且色彩混迭严重,因而无法辨识.表1中的互信息量值进一步说明了本文方法对复杂的大脑图像能够实现有效配准.本文选用了2组真实场景下的实物图像和一组取自中国虚拟人项目的真实人脑图进行配准.实验结果表明,本文模型能够有效克服大色差问题,准确定位发生位移的位置和方向,较好地保持图像特征,因而是一种有效的彩色图像配准模型,能够应用于工程实践.6 结 论本文针对彩色图像配准中经常遇到的大色差问题,在抽象匹配流框架下,建立了彩色图像配准的变分模型.模型的数据项采用了互相关函数来实现对图像结构的相似性度量,有效克服了大色差问题,同时,保证了解的全局性和计算的有效性.正则项采用了各向异性扩散滤波器,扩散函数定义为关于彩色结构张量的函数,以综合图像各通道的信息,函数定义式充分考虑了对图像特征的保持,因而能够约束图像进行自适应的光滑演化.真实场景图像和大脑图像的配准实验表明,本文模型对彩色图像能够较准确配准,特别对大色差图像能够实现有效配准.参 考 文 献[1]Umeda K,Godin G,Rioux M .Registration of range and color images usin g gradient constraints and ran ge inten sity images [C] Proceedings of th e 17th IEEE International Conference on Pattern Recogn ition ,M in nes ota,2004:12 15[2]Palos G,Betrouni N,Coulanges M ,e t al .M ultimodal matching by maximization of mu tu al inform ation and optical2352期白小晶等:基于抽象匹配流的彩色图像配准模型。
