当前位置:文档之家› 图像配准算法综述

图像配准算法综述

图像配准算法综述
图像配准算法综述

杭州电子科技大学

毕业设计(论文)文献综述

毕业设计题目SIFT特征研究及应用

文献综述题目图像配准算法综述学院生命信息及仪器工程学院

专业电子信息技术及仪器

姓名

班级

学号

指导教师

图像配准算法综述

一.前言

图像配准是指找出场景中同一物体表面的结构点在不同图像上的投影像素点之间的对应关系,是图像信息处理领域中一项非常重要的技术,同时也是其它一些图像分析技术,如立体视觉、运动分析、数据融合等的基础。

目前图像配准广泛应用于虚拟现实、视频压缩、图像复原、图像数据库检索等技术中。图像配准的研究是计算机视觉中最困难也是最重要的任务之一。不同的图像配准方法总是对应于某种适用的图像变换模型,其核心问题是提高配准的速度、精度和算法的稳健度。

随着科学技术的发展现在约40%的机器视觉应用中都会使用图像匹配技术,所涉及的领域有:工业检测,导弹的地形匹配,光学和雷达的图像跟踪,交通管理,工业流水线的自动监控、工业仪表的自动监控,医疗诊断,资源分析,气象预报,文字识别以及图像检索等。

图像匹配研究按其处理步骤可以分为样本采集、样本预处理、样本分割、样本的特征提取等,并且与计算机视觉、多维信号处理和数值计算方法等紧密结合。它也是其它一些图像分析技术,如立休视觉、运动分析、数据融合等的基础。正因为其应用的广泛性,新的应用和新的要求逐步产生,使得匹配算法的研究逐步走向深入,出现了快速、稳定、鲁棒性好的匹配算法。因此,研究图像的匹配算法对于如何提高实际工程中的图像处理质量和识别精度具有非常重要的意义。

本文主要分析图像匹配常用方法的优点和不足之处,讨论了图像匹配中需要进一步研究和解决的问题。

二.图像配准算法的研究现状

图像配准是立体视觉、运动分析、数掘融合等实用技术的基础,在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域有重要的应用价值。国内外学者针对不同的图像配准应用问题进行了大量的研究工作,早在1992年英国剑桥大学的Lisa Gottesfeld Brown在文献[1]习中就总结了图像配准的主要理论及图像配准在各个领域的应用。当时他讨论的图像配准技术主要还是著眼于医学图像处理、遥感图像处理等传统应用领域。图像配准是图像镶嵌技术的核心问题。

微软研究院的Richard Szeliski在1996年SIGGRAPH上提出了基于运动模型的全景图拼接算法[7]。Szeliski采用了非线性优化的方法来最小化像素两幅图像的亮度差以确定变换参数。该方法使用了全部像素进行优化处理,所以配准精度较高,但是计算速度较慢,且稳健性不佳。

国内的赵向阳。杜立民在2004年提出了一种基于特征点匹配的图像自动拼接算法[2],其中使用了Harris算法[3]提取角点并进行匹配。赵的算法采用了鲁棒变换估计技术,在一定程度上提高配准算法的稳健性,但是计算速度依然较慢,且无法配准重

叠区域较小、运动物体较多的图像。M.Brown 在2003年ICCV 大会上发表了一篇名为Recognising Panoramas 的文章[4],文中使用了基于不变量技术[5]的SIFT 算法[6]进行图像配准,算法完全自动完成且效果较好。M.Brown 的大会发言再次掀起了全景图拼接技术研究的热潮。

另外,B.Reddy 和B.Chatterji [7]中提出了一种基于FFT 的图像配准方法,可以处理包含平移、缩放和尺度变化在内的图像配准问题;李忠新等在2004年提出了一种基于频域相关的柱面全景图拼接技术[8]。这些方法都是在变换域进行图像配准的例子。下面就介绍几种常见的图像配准算法:

1.基于像素灰度的匹配[9]的序贯相似性检测法(SSDA)

SSDA 算法是一种快速图像匹配算法,它使用式(1)作为相似性度量

∑∑==-=m i n

j Xij ij b a Y mn b a D 11

),(1),( (1) SSDA 随机选取位置),(l i 上的像素,但选取不能重复,求和时并不计算所有的像素,只要其和超过设定的阀值,则说明当前位段为非匹配位置,停止本次计算,否则进行下一位置的测试,直至找到匹配点为止。

2.归一化积相关灰度匹配

归一化积相关具有不受比例因子误差影响和抗白噪声干扰能力强等优点,其度量定义如式(2)

∑∑∑∑∑∑=======m i n j m i n j m i n j ij

b a Y il X ij

b a XijY b a R 111111

2),(2),(),( (2)

比较参考图像与输入图像在各个位置的相关系数值最大的点就是最佳匹配位置。 刘煜 李言俊等在文献[10]中提到了一种解决几何形变所带来的模板匹配误差的方法。根据单像素的偏移将导致相关性的骤降,而多像素的偏移会使相关性缓慢减少的特性,采用多像素边缘匹配方法,克服了当实时图与基准图之间存在局部变形时,单像素边缘匹配方法将会影响实时图与它在基准图真实位置的相关性的缺点, 使之仍能保证整体上较大的相似性,减小了相关算法受边缘变形等的影响。

2.1图像匹配的三要素

(1)特征空间

特征空间是由参与匹配的图像特征构成的,特征可以是灰度值,也可以是边界、轮廓、表面、显著特征、统计特征、高层结构描述与句法描述等。选择合理的特征可以提高匹配性,降低搜索空间、减小噪声等不确定性因素对算法的影响,提高适应性;

(2)相似性度量

相似性度量指用什么来确定待匹配特征之间的相似性,它通常是某种代价函数或者是距离函数的形式,经典的相似性度量包括相关函数和Minkowski距离,最近人们又提出了Hausdorff距离、互信息作为匹配度量;

(3)搜索策略

搜索策略是用合适的搜索方法在搜索空间中找出平移、旋转等变换参数的最优估计,使得图像之间经过变换后的相似性最大。搜索策略有穷尽搜索、分层搜索、模拟退火算法、Powell方向加速法、动态规划法、遗传算法和神经网络法等。

2.2算法分类及优缺点

图像匹配的算法很多,但基本原则是不变的:有效性,稳定性以及实时性。本文将匹配算法分为基于区域的匹配方法、基于特征的匹配方法、基于模型的匹配和基于变换域的匹配。

基于区域的匹配方法又称为基于图像灰度的配准方法,通常直接利用整幅图像的灰度信息,建立两幅图像之间的相似性度量,然后采用某种搜索方法,寻找使相似性度量值最大或最小的变换模型的参数值。基于图像灰度的配准方法不需要对图像做特征提取,而是直接利用全部可用的图像灰度信息,因此能提高估计的精度和鲁棒性[11]。但是它计算量大,难以达到实时性要求,而且一旦进入信息贫乏的区域,会导致误匹配率的上升。

基于图像特征的配准方法[12]需要对图像进行预处理,然后提取图像中保持不变的特征,如边缘点、闭区域的中心、线特征、面特征、矩特征等,作为两幅图像配准的参考信息。这类方法的主要优点是它提取了图像的显著特征,大大压缩了图像的信息量,使得计算量小,速度较快,而且它对图像灰度的变化不敏感。但另一方面,正是由于其不依赖于图像的灰度信息,这种方法对特征提取和特征匹配的错误十分敏感,匹配性能依赖于特征提取的质量,需要可靠的特征提取和鲁棒的特征一致性,匹配精度低于基于灰度的匹配方法。

基于模型的匹配方法在计算机视觉领域中的应用非常广泛,它可以分为刚体形状匹配和变形模板匹配[13]两大类。Kass提出的Snake主动轮廓模型是比较典型的自由式变形模板模型。由于不受全局结构的限制,所以Snake模型能表示任意的形状,但是该模型对于模板的初始位置和噪声比较敏感,对于凹边缘的收敛性较差,而且容易陷入局部最小值。

基于变换域的匹配的方法有基于傅立叶变换、基于Gabor变换和基于小波变换的匹配,这些匹配方法对噪声不敏感,检测结果不受照度变化影响,可以较好的处理图像之间的旋转和尺度变化。

三.总结

目前对于彩色图像的匹配研究最多的是基于颜色特征的图像检索,而对其在形状、纹理、轮廓或者多种特征的组合匹配到目前引入学习机制(监督学习、非监督学

习、Bayes学习、SVM动态学习、相关反馈等)用于图像高层语义的图像匹配方法的研究甚少,因此这也是一个值得研究的问题。各种匹配算法各有其特点及应用范围。使其相互借鉴、渗透及融合,以克服单个算法的局限性,提高匹配的适应性。图像匹配研究作为计算机视觉和图像处理中的主要内容,有着重要的理论和实践意义。由于成像过程中各种不可预知因素的影响,该问题至今尚未得到很好的解决,但已经取得了很大的进展。

四.参考文献

[1] Lisa Gottesfcld Brown. A survey of image registration techni ques[J]. ACM

Computing Surveys. V01. 24, No, 4, December 1992: p325-376

[2] 赵向阳,杜立民.一种全自动稳健的图像自动拼接融合算法田.中国图象图形学

报;Z004,9(4):p417-422

[3] C.Harris, M.Stephens.A combined comer and edge detector[C].The 4th

VisionConference,147-151,1988

[4] M.Brown and DG Lowe.Re.ognising Panoramas[C].Proceedings of IEEE International

Conference OR ComputerVision 2003.page(s):1218·1225 v01.2

[5] M.Brown and D.Lowe.Invariant Features from Interem Point Groups[C].In Proe of

the 13th British Machine Vision Conference, P 253-262, Cardiif, 2002.

[6] K.Mikolajczyk,C.Schmid.Scale & Affine invariant interest point detectors[C].In

LiCV 1(60):63-86,2004.

[7] B. Reddy and B.Chatterji.A FFT-Based Technique for Translation,Rotation,and

Scale Invariant Image Registration[J].IEEE Trans.Pattern Analysis and Machine Intelligence,v01,5(8),PP.1266-127l,1996.

[8] 李忠新,茅耀斌,王执铨.一种基于频域相关技术的柱面全景图生成方法[J].计算机

工程与应用.2004 V01. 40 No.11 pp81-82,145

[9] 黄诚,王国营.一种基于颜色聚合向量的图像检索方法[J].计算机工程,

2006,32(2):194-199.

[10] 刘煌,李言俊.飞行器下视景像边缘提取和定位方法研究[J]中国图象图形学

报,2008,13(11).

[11] 沈振康,孙仲康.数字图像处理及应用[M].北京:国防工业出版社.1983.

[12] 郑南宁.计算机视觉与模式识剐[M].北京:国防工业出版社.1998.

[13] 施鹏飞.图像匹配算法及其应用[D].上海交通大学硕士论文.2000.

地的总结图像配准算法

图像配准定义为:对从不同传感器、不同时相、不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程[2]。图像配准需要分析各分量图像上的几何畸变,然后采用一种几何变换将图像归化到统一的坐标系统中。在配准过程中,通常取其中的一幅图像作为配准的标准,称之为参考图像;另一幅图像作为配准图像。 图1-1 图像配准的基本流程 图1-2 图像配准方法分类

根据配准使用的特征,图像配准的方法大致可分为三类: (1)基于图像灰度的配准算法。首先从参考图像中提取目标区作为配准的模板,然后用该模板在待配准图像中滑动,通过相似性度量(如相关系数法、差的平方和法、差的绝对值法、协方差法)来寻找最佳匹配点。 (2)基于图像特征的配准算法。该算法是以图像中某些显著特征(点、线、区域)为配准基元,算法过程分为两步:特征提取和特征匹配。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。对于非特征像素点利用插值等方法作处理推算出对应匹配关系,从而实现两幅图像之间逐像素的配准。 (3)基于对图像的理解和解释的配准算法。这种配准算法不仅能自动识别相应像点,而且还可以由计算机自动识别各种目标的性质和相互关系,具有极高的可靠性和精度。这种基于理解和解释的图像配准涉及到诸如计算机视觉、模式识别、人工智能等许多领域。不仅依赖于这些领域中理论上的突破,而且有待于高速度并行处理计算机的研制。 从自动化角度来看,可以将配准过程分为自动、半自动和手动配准。 存在问题:如何提高图像的配准速度将是大范围遥感图像自动配准问题的要点;选取何种自动配准方案以保证图像的配准精度将是大范围遥感图像自动配准问题的另一要点。 2(,)[1((, f x y g f h x y 其中,h表示二维空间坐标变换。g表示灰度或辐射变换,描述因传感器类型的不同以及成像时气候等环境的影响所带来的图像灰度的变换。配准问题的实质就是要找到最优的空域变换h和灰度变换g,使得上述的等式成立,从而找到配准变换的参数 特征空间的选择通常要考虑以下几个因素:相似性;空间分布;唯一性。 在自动图像配准中对特征的理解可以分为两类。(1)基于灰度的方法:基于灰度的方法将重点放在特征匹配上,在其过程中并没有真正提取特征。一般所说的模板匹配法就是这种方法的代表。这种方法实际上将图像的灰度分布直接作为特征而构成匹配的基础。(2)基于特征的方法:基于特征的方法需要在图像中提取显著的特征:区域(森林、湖泊、农田等)、线(区域的边界、道路等)和点(区域的角

基于ICP算法的医学图像几何配准技术

机器人技术、计算机技术、图像处理技术与临床外科手 术相结合,产生了一个崭新的研究领域——计算机集成外科手术系统(Computer Integrated Surgical systems and ,。它旨在利用等图像信息并结合立technology CIS)CT/MRI 体定位系统对人体解剖结构进行术前显示、术前计划和术中定位,在外科手术中利用医用机器人和计算机进行干预。外科手术也逐渐从医院外科医生的单独工作,转移到包括工程技术人员和康复人员在内的一个工程系统,由他们组成的医疗小组共同制定手术计划、实施临床手术以及安排手术后的康复。其中医学图像几何配准是这个系统的关键技术,它 完成两个不同空间中对应于同一医学解剖特征的两点间的映射。医生能够利用配准的有用信息进行手术计划,引导手术进行。几何配准主要由个部分组成:术前模型的建立,术3中数据的获取和配准计算。如图所示。 1 图几何配准模块 1 基于的配准算法 1 ICP 配准算法最初由 ICP (Iterative Closest Point Algorithm)和Besl Mckey [1] 提出,这是一种基于轮廓特征的点配准方法。对同一解剖结构,提取医学图像的轮廓,得到术前模型},..,2,1,0,{k i x X i ==的一组点集和术中的一组点 集},..,2,1,0,{n i u U i ==U X 。其中和不必具有相同 n k ≥U i u X 数量的元素令。对集合中的一个点,集合, i u 中与的距离最短的点被称为最近点。图像几何配准就 是通过两个坐标系之间的旋转和平移,使得来自医学图像上 的同源点间距离最小。假设每对点 ),..,,(21im i i i u u u u =和 ),..,,(21im i i i x x x x =都是三m 维点=,为了使它们配准起来,就要找到最优的旋转( 3)矩阵和平移向量,满足目标表达式 R T [2] ()2 ,min ∑ +?T Ru x i i T R 其中,是×的旋转矩阵;是×的平移矩阵。R 33 T 31为了解决这个问题,采用叠代最近点的方法:Y X Y ?X U 获得点集,,由中对距离最近的点(1) 组成; 应用四元数法(2)[3] ,得到旋转矩阵和配准(quaternions)R 向量; T 将和作用于集合; (3)R T U 决定均方差值是否小于预先估计的临界值,如不是(4)则返回到继续进行。 (1)术前建模及数据获取 2 术前模型的建立 2.1 在计算机集成外科手术系统中,全膝置换手术占很大比例,本文以股骨为例建立三维几何模型。首先采用扫描CT 得到股骨内、外结构的截面二维几何信息。然后在Pro/软件中读取这些信息,进行二维断层图像的三维 Engineer CT 重建[4] ,得到的股骨硬组织三维模型如图所示。 2基于算法的医学图像几何配准技术 ICP 李 斌1,吴 松2,王成焘1 (上海交通大学机械与动力工程学院,上海;上海交通大学研究生院,上海) 1. 200030 2. 200030摘 要:几何配准是医学图像领域研究的重要内容,医学图像几何配准的目标就是建立术前和术中两组点的变换关系。该文利用股骨为模型,讨论了基于轮廓特征的医学图像几何配准算法,从技术上实现了术前建模和术中取点,并编制相应的算法程序。ICP ICP 关键词:几何配准;医学图像;算法 ICP Technique for Medical Image Geometrical Registration Based on ICP Algorithm LI Bin 1,WU Song 2,WANG Chengtao 1 ; (1.College of Mechanical Engineering, Shanghai Jiaotong Univ.,Shanghai 200030 2. Graduate School,Shanghai Jiaotong Univ., Shanghai 200030)【】Abstract Geometrical registration is an important research field in medical image. The goal of medical image registration is to establish a common reference frame between pre-surgical and intra-surgical 3-D data sets. This paper presents an ICP(iterative closest point ) algorithm based on contour ,:,feature. According to the example of femur model it realizes three parts of geometrical registration establishing pre-operative model selecting intra ,-operative data sets and programming ICP algorithm. 【】Key words ;;Geometrical registration Medical image ICP algorithm 第卷 第期2914№ Vol.29 14计 算 机 工 程Computer Engineering 年月 20038 August 2003 ?多媒体技术及应用? 中图分类号: TP391 文章编号:———10003428(2003)14 015103 文献标识码:A

图像配准技术研究进展

第14卷第6期2007年12月 电光与控制 EU£CTRONICSOPTICS&CONTROL V01.14№.6 Dee.2007 文章编号:1671—637X(2007)06—0099—07 图像配准技术研究进展 刘松涛,杨绍清 (海军大连舰艇学院信息与通信工程系,辽宁大连116018) 摘要:图像配堆是解决图像融合、图像镶嵌和变化检测等问题的必要前提。其应用遍及军事、遥感、医学和计算机视觉等多个领域。筒要回顾了图像配准技术的发展史和研究现状.重点阐述了当前的技术热点和应用趋势,最后展望了进一步的研究方向。 关键词:图像配准;信息论;非刚性配准;虚拟结构 中图分类号:V243.6文献标识码:A Progressinimageregistrationtechniques LIUSong—taa,YANGShao—qing (Oept.ofInformation&CommtmicdionEt,g泌rit,.g,DafianNavalAcademy,Dalian116018,舀白Ⅺ) Abstract:Imageregistrationisessentialforallimageanalysistaskslikeimagefusion,imagemosaicandchangedetection.Itisusedwidelyinmilitarysystem,medicalimaging,remotesensing,computervision,etc.Thehistoryandcurrentetatusofimageregistrationtechniquesfirereviewedkeflywithemphasisonitscurrenttechnicalhotspotsandapplicationtrends.Someinterestingaspectsforfurtherstudya”pointedoutintheend. Keywords:imageregistration;informationtheory;110n—rigidregistration;virtualstructUre 0引言 图像配准是许多应用问题必须的预处理步骤,比如:时序图像的变化检测或多模图像融合,这些问题遍及军事、遥感、医学、计算机视觉等多个领域。许多领域都需要图像配准,实际应用过程可能会有所不同,但其中关键的因素是类似的。概括地说,图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两橱或多幅图像进行最佳匹配的过程,包括像素灰度匹配和空间位置对齐。 配准方法的分类可以依据不同的准则。Bro.wn…依据变换模型的复杂程度对配准方法进行分类,并归纳了配准技术的实现步骤:特征空问、相似度测量、搜索空间和策略。Maintz”1等则提出了9 收稿日期:2006—03—09修回Et期:2006—05—15 基金项目:国防预研基金资助项目(51403030604JBl40I);国家自然科学基金资助项目(60572160) 一 作者简介:荆松涛(1978一),男,河南孟津人,博士,主要研究方向为图像融合、耳标识别、成像跟踪、DSP开发 等。条分类准则,依次为:图像维数、配准特征的来源、变换模型、坐标变换域、交互性、优化策略、成像模式、配准对象、配准目标的特点等。作者参考Brown和Mainlz的分类方法,将配准技术概括为8个方面,包括:配准对象、特征提取、特征匹配、变换模型、优化策略、坐标变换与插值、系统实现及算法评估,并考虑每项内容的技术特性进行细分,然后依据某一算法的创新点进行分类。囊括所有方法的分类准则是不存在的,所提方法侧重于从总体上对配准方法进行考察,是一种相对能反映配准方法本质特征的分类方法。依据新的分类准则,作者已对图像配准技术的8个子方向进行了系统研究uJ。 1发展史和研究现状 国外从20世纪60年代就开始在图像配准领域进行研究“】,但直到1980年代才开始引起学者们的关注。到上世纪末,单模图像配准问题已基本解决,但多模图像配准由于涉及模式和领域的复杂性.仍需密切关注。国际上对图像配准技术曾做过调查”】,其结论是1990年代初技术文献明显增加。而

图像配准技术方法研究

图像配准技术方法研究 摘要随着信息技术的迅猛发展,图像配准技术已经在军事、遥感、医学、计算机视觉等多个领域得到了广泛的应用。图像配准技术是图像处理的一个基本问题,它是将不同时间、传感器或视角下获取的相同场景的多幅图像进行匹配的图像处理的过程。三类图像配准的方法大致如下:基于灰度的图像配准方法。基于变换域的图像配准方法。基于特征的图像配准方法。本文将应用这三种方法对图像配准进行研究。并重点研究基于特征的图像配准方法。 关键词图像配准,特征点匹配,灰度插值,控制点的提取 Abstract The technology of image registration is being widely used in the military, remote sensing , medical, computer, visual and any other fields with the rapid development of information technology. The technology of image registration is a kind of process to match different pictures getting from different periods and different cameras but a same scene, it is a basic point to handle the pictures. There are three kinds of ways to do the image registration:According to the level of the color of gray getting from the pictures.According to transforming domains.According to the features The three kinds of ways will be used to discuss the image registration in the thesis, and the way according to the features will be discussed more in the thesis.

医学图像配准

《数字医学图像》报告 内容:图像配准专题 专业: 2012级信息管理与信息系统班级:信管一班 小组成员: 20120701020 韩望欣 20120701008 毕卓帅 20120701005 胡庆 指导老师:彭瑜 完成日期: 2015 年 10月 25日

图像配准专题 简介:图像配准是对取自不同时间,不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。图像配准广泛用于多模态图像分析,是医学图像处理的一个重要分支,也是遥感图像处理,目标识别,图像重建,机器人视觉等领域中的关键技术之一,也是图像融合中要预处理的问题,待融合图像之间往往存在偏移、旋转、比例等空间变换关系,图像配准就是将这些图像变换到同一坐标系下,以供融合使用。 一:图像配准方法国内外进展情况 图像配准最早在美国七十年代的飞行器辅助导航系统、武器投射系统的末端制导以及寻地等应用研究中提出,并得到军方的大力支持与赞助。经过长达二十多年的研究,最终成功地用于中程导弹及战斧式巡航导弹上,使其弹着点平均圆误差半径不超过十几米,从而大大提高了导弹的命中率。八十年代后,在很多领域都有大量配准技术的应用,如遥感领域,模式识别,自动导航,医学诊断,计算机视觉等。各个领域的配准技术都是对各自具体的应用背景结合实际情况量身订制的技术。但是不同领域的配准技术之间在理论方法上又具有很大的相似性,从而使得在某领域的配准技术很容易移植到其它相关领域。目前国内外研究图像配准技术比较多的应用领域有红外图像处理、遥感图像处理、数字地图定位和医学图像处理等领域。 二、图像配准在医学领域的应用 20世纪以来随着计算机技术的不断发展,医学成像技术得到了快速的发展。尖端的新型医疗影像设备层出不穷,如计算机线摄影、数字减影等等,这些已经成为现代医学诊断必不可少的医学数字成像手段。由于这些医学数字成像设备有不同的灵敏度和分辨率,它们有各自的使用范围和局限性。多种模式图像的结合能充分利用图像自身的特点并做到信息互补。近几十年以来,图像配准在医学上的应用日益受到医学界和工程界的重视,己在世界范围广泛展开,在相关文献中己经提出了很多种医学图像配准的方法,这些研究成果广泛地运用到医学领域中。图像配准在医学中的应用领域主要有以下几方面: ?组织切片图像的处理与显微结构三维重建 ?疾病诊断及其发展和消退的过程检测 ?神经外科手术可视化、神经外科手术一计划及术前评估 ?感觉运动和认知过程的神经功能解剖学研究 ?神经解剖变异性的形态测量分析学 ?放射治疗和立体定向放射外科治疗计划 三、图像配准的定义 对于二维图像配准可定义为两幅图像在空间和灰度上的映射,如果给定尺寸的二维矩阵F 1和F2代表两幅图像F1(X,Y)和F2(X,Y)分别表示相应位置(X,Y)上的灰度值。则图像间的映射可表示为:F (X,Y)=G(F (H(X,Y))),式中H表示一个二维空间坐标变换,即(X’,Y’)=H(X,Y),且G是一维灰度变换。 四、图像配准方法的分类 1、维数 主要是根据待配准图像的空间维数及时间维数来划分的。图像仅含空间维数或者是图像的时间序列中带有空间数,其配准可根据图像的空间维数分2D/2D,2D/3D,3D/3D,4D/4D

医学图像配准技术 综述

医学图像配准技术 A Survey of Medical Image Registration 张剑戈综述,潘家普审校 (上海第二医科大学生物医学工程教研室,上海 200025) 利用CT、MRI、SPECT及PET等成像设备能获取人体内部形态和功能的图像信息,为临床诊断和治疗提供了可靠的依据。不同成像模式具有高度的特异性,例如CT通过从多角度的方向上检测X线经过人体后的衰减量,用数学的方法重建出身体的断层图像,清楚地显示出体内脏器、骨骼的解剖结构,但不能显示功能信息。PET是一种无创性的探测生理性放射核素在机体内分布的断层显象技术,是对活机体的生物化学显象,反映了机体的功能信息,但是图像模糊,不能清楚地反映形态结构。将不同模式的图像,通过空间变换映射到同一坐标系中,使相应器官的影像在空间中的位置一致,可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准,也是一个多参数优化过程。图像配准在病灶定位、PACS系统、放射治疗计划、指导神经手术以及检查治疗效果上有着重要的应用价值。 图像配准算法 可以从不同的角度对图像配准算法进行分类[1]:同/异模式图像配准,2D/3D图像配准,刚体/非刚体配准。本文根据算法的出发点,将配准算法分为基于图像特征(feature-based)和基于像素密度(intensity-based)两类。 基于特征的配准算法 这类算法利用从待配准图像中提取的特征,计算出空间变换参数。根据特征由人体自身结构中提取或是由外部引入,分为内部特征(internal feature)和外部特征(external feature)。

【作者简介】张剑戈(1972-),男,山东济南人,讲师,硕士 1. 外部特征 在物体表面人为地放置一些可以显像的标记物(外标记,external marker)作为基准,根据同一标记在不同图像空间中的坐标,通过矩阵运算求解出空间变换参数。外标记分为植入性和非植入性[2]:立体框架定位、在颅骨上固定螺栓和在表皮加上可显像的标记。Andre G[3]等将该方法用于机器人辅助手术,对于股骨移植,位移误差小于1.5mm,角度误差小于3°,由于计算量小,可以实现实时配准。但是标记物必须事先被固定好,不能用于回顾性配准,而且该方法只适用刚体配准。 2. 内部特征 从医学影像中可以提取出点、线和面:血管的交点、血管、胸腹之间的横膈膜等,这些特征作为内标记点(internal marker) ,利用其空间位置同样可以求解出空间变换参数。Hill DL[4]用11个形态点对脑部配准,误差<1mm,方差为1.73mm。Meyer CR[5]除了血管树的交点,还使用了左右脑之间的间隔等特征。Maurer CR[6,7]赋予点、线、面等几何特征不同的权重(weighted geometrical features, WGF),进一步改进了算法。内标记点配准是一种交互性的方法,将3D图像配准简化为点、线和面的匹配,可以进行回顾性研究,不会造成患者的不适。但是医生对特征位置的判断影响到配准精度,为了克服人为误差,需要多次重复操作,以平均值作为最终结果。 表面匹配算法也利用了内部特征[8]:进行图像分割,提取出轮廓曲线、物体表面等内部特征,使2D/3D图像配准简化为2D曲线和3D曲面的匹配,不再考虑物体内部像素。典型的应用是刚体配准的“头帽”算法[9],从头部的3D图像中分割出表面轮廓,分别作为头模型和帽模型。配准的目标函数是头表面和帽表面之间的均方距离,该距离是空间变换参数的函数。表面匹配算法是一种自动算法,在物体表面轮廓相似并且清晰的情况下,配准效果很好。其不足之处在于:准确地进行图像分割很困难;不同模式的图像,如CT/PET图像,由于器官的轮廓差异较大,难于精确地匹配。 3. 在非刚体配准中的应用 进行非刚体配准前要确定物理模型,常见有弹性模型、粘稠液体模型、生物力学模型。通过在感兴趣区域中提取参考点、2D或是3D轮廓线,使待配准图像

图像配准的方法

图像配准的方法 迄今为止,在国内外的图像处理研究领域,已经报道了相当多的图像配准 研究工作,产生了不少图像配准方法。总的来说,各种方法都是面向一定范围 的应用领域,也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位 系统中的地图匹配,依据其完成的主要功能而被称为目标检测与定位,根据其 所采用的算法称之为图像相关等等。 图像配准的方式可以概括为相对配准和绝对配准两种:相对配准是指选择 多图像中的一张图像作为参考图像,将其它的相关图像与之配准,其坐标系统 是任意的。绝对配准是指先定义一个控制网格,所有的图像相对于这个网格来 进行配准,也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文 主要研究大幅面多图像的相对配准,因此如何确定多图像之间的配准函数映射 关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换,由此将图像配准函数映射关系转化为如何确定多项式的系数,最终转化为如何确定配准控制点(RCP)。目前,根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别:基于灰度信 息法、变换域法和基于特征法[25],其中基于特征法又可以根据所用的特征属 性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的 各种图像配准方法和原理。 1基于灰度信息的图像配准方法 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理,而 是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是 实现简单,但应用范围较窄,不能直接用于校正图像的非线性形变,在最优变 换的搜索过程中往往需要巨大的运算量。经过几十年的发展,人们提出了许多 基于灰度信息的图像配准方法,大致可以分为三类:互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法。 (1)互相关法

配准综述

图像配准是对取自不同时间,不同传感器或者不同视角的同一区域的两幅或者多幅图像进行匹配叠加的过程。随着技术手段的不断发展,人们对图像配准的要求也越来越离。包括配准方法的鲁棒性、算法的难易程度、算法的自主性等都是考量算法的指标。图像配准的方法中,有人提出过被广泛认同的四个巧骤: a.特征空间的选择 特征空间是指将运用到配准中元素的集合。特征空间包括很多方面,比如像素值,比如点、线,或者平面甚至是曲面。 b.搜索空间 搜索策略是指一系列配准变换操作的集合。搜索空间是建立在几何形变基础上的。而几何形变一般包括全局的和局部的几何形变。典型的全局变形包括平移,缩放,扭曲等变形以及它们的组合。而局部形变,对变换参数要求比较苛刻,因为某一套变换参数只能作用在局部形变区域,而其余区域需采用插值技术补充。然而,另外的变形区域则需要另外的变换参数去表述。在一般的处理中,我们将变换模型看成是一种先验知识。不然则需要考量所有的变换模型。 c.搜索策略 搜索策略是实施变换的依据。它的存在是为了找寻变换模型的最优解。常用的搜索策略有松弛模型法、牛顿法和共扼梯度法。 d.相似性度量 相似性度量是对采用的变换模型的评价。相似性度量主要是采用参考图像和配准图像之间的共有的特征之间的差异比较的方法来评价配准的情况。这其中的差异可以包括点位的误差,或者是灰度值相关的差异,还可以是在变换域之间的差异值等等。最常见的相似性度量是检测特征的欧氏距离。 上述的几个步骤构成了图像配准的基本框架。许许多多的算法充斥其中产生了种类繁多的配准方法。下面主要介绍下几种典型的配准算法。目前典型的配准算法中大致可分成基于灰度、基于特征和基于模型的方法。 基于灰度的配准算法 基于灰度的算法中,重点是对图像配准的过程上,而不是特征集的选择

关于图像匹配的综述

关于图像匹配的综述 1.图像匹配的背景及定义 1.1图像匹配的背景及意义 图像匹配技术广泛的应用于日常生活中的诸多领域,如医疗诊断中各种医学图片的分析与识别、遥感图片识别、天气预报中的卫星云图识别、指纹识别、人脸识别等。图像匹配技术主要指通过计算机,采用数学技术方法,对获取的图像按照特定目的进行相应的处理。图像匹配技术是人工智能的一个重要分支和应用,随着计算机技术及人工智能技术的发展,图像识别技术逐渐成为人工智能的基础技术之一。它涉及的技术领域相当的广泛,也越来越深入,其基本分析方法也随着数学工具的不断进步而不断发展。现在,图像识别技术的应用范围己经不仅仅局限于视觉的范围,也体现在机器智能和数字技术等方面。 1.2图像匹配的定义 所谓图像匹配是指在一幅(或一批)图像中寻找与给定目标图像相似的图像或者图像区域(子图像)的过程。通常将已知目标图像称为模板图像,而将待搜索图像中可能与它对应的子图称作该模板的待匹配的目标图像。图像匹配是在来自不同时间或者不同视角的同一场景的两幅或多幅图像之间寻找对应关系,该技术隶属于计算机视觉哺领域。图像匹配的具 体应用包括目标或场景识别、在多幅图像中求解3D结构、立体对应和运动跟踪等。由于拍摄时间、拍摄角度、自然环境的变化,多种传感器的使用、传感器本身的缺陷及噪声等影响,拍摄的图像会存在灰度失真和几何畸变。同时,图像预处理过程会引入的误差,这都是导致模板图像与待匹配的目标图像之间通常存在着一定程度上的差异。在这种情况下,如何使匹配算法精度高、正确匹配率高、速度快和抗干扰性强成为人们关心的问题。 2.图像匹配算法的分类 图像匹配算法的选取对图像匹配结果的影响很大。实用的匹配算法不仅要求计算量小,还必须具有良好的抗噪能力和抗几何形变的能力。通常情况下,图像匹配算法可以分为以下两大类:基于灰度相关的匹配算法、基于特征的图像匹配算法。 1) 基于灰度分布的相关匹配算法,也称为基于区域的匹配方法。常见的基于图像灰度的匹配方法有:(1)归一化灰度相关匹配、(2)最小二乘影像匹配、和(3)序贯相似性检测法匹配等。该类算法直接利用整幅图像的灰度信息,建立两幅图像之间的相似性度量,然后采用某种搜索方法,寻找使相似性度量值最大或最小的变换模型的参数值。在灰度及几何畸变

基于ICP算法的图像配准的MATLAB实现

function [TR, TT] = icp(model,data,max_iter,min_iter,fitting,thres,init_flag,tes_flag,refpn t) % ICP Iterative Closest Point Algorithm. Takes use of % Delaunay tesselation of points in model. % % Ordinary usage: % % [R, T] = icp(model,data) % % ICP fit points in data to the points in model. % Fit with respect to minimize the sum of square % errors with the closest model points and data points. % % INPUT: % % model - matrix with model points, [Pm_1 Pm_2 ... Pm_nmod] % data - matrix with data points, [Pd_1 Pd_2 ... Pd_ndat] % % OUTPUT: % % R - rotation matrix and % T - translation vector accordingly so % % newdata = R*data + T . % % newdata are transformed data points to fit model % % % Special usage: % % icp(model) or icp(model,tes_flag) % % ICP creates a Delaunay tessellation of points in % model and save it as global variable Tes. ICP also % saves two global variables ir and jc for tes_flag=1 (default) or % Tesind and Tesver for tes_flag=2, which % makes it easy to find in the tesselation. To use the global variables % in icp, put tes_flag to 0. % % % Other usage: % % [R, T] = icp(model,data,max_iter,min_iter,... % fitting,thres,init_flag,tes_flag) % % INPUT: % % max_iter - maximum number of iterations. Default=104 % % min_iter - minimum number of iterations. Default=4 % % fitting - =2 Fit with respect to minimize the sum of square errors. (default) % alt. =[2,w], where w is a weight vector corresponding to data. % w is a vector of same length as data.

图像配准算法综述

杭州电子科技大学 毕业设计(论文)文献综述 毕业设计题目SIFT特征研究及应用 文献综述题目图像配准算法综述学院生命信息及仪器工程学院 专业电子信息技术及仪器 姓名 班级 学号 指导教师

图像配准算法综述 一.前言 图像配准是指找出场景中同一物体表面的结构点在不同图像上的投影像素点之间的对应关系,是图像信息处理领域中一项非常重要的技术,同时也是其它一些图像分析技术,如立体视觉、运动分析、数据融合等的基础。 目前图像配准广泛应用于虚拟现实、视频压缩、图像复原、图像数据库检索等技术中。图像配准的研究是计算机视觉中最困难也是最重要的任务之一。不同的图像配准方法总是对应于某种适用的图像变换模型,其核心问题是提高配准的速度、精度和算法的稳健度。 随着科学技术的发展现在约40%的机器视觉应用中都会使用图像匹配技术,所涉及的领域有:工业检测,导弹的地形匹配,光学和雷达的图像跟踪,交通管理,工业流水线的自动监控、工业仪表的自动监控,医疗诊断,资源分析,气象预报,文字识别以及图像检索等。 图像匹配研究按其处理步骤可以分为样本采集、样本预处理、样本分割、样本的特征提取等,并且与计算机视觉、多维信号处理和数值计算方法等紧密结合。它也是其它一些图像分析技术,如立休视觉、运动分析、数据融合等的基础。正因为其应用的广泛性,新的应用和新的要求逐步产生,使得匹配算法的研究逐步走向深入,出现了快速、稳定、鲁棒性好的匹配算法。因此,研究图像的匹配算法对于如何提高实际工程中的图像处理质量和识别精度具有非常重要的意义。 本文主要分析图像匹配常用方法的优点和不足之处,讨论了图像匹配中需要进一步研究和解决的问题。 二.图像配准算法的研究现状 图像配准是立体视觉、运动分析、数掘融合等实用技术的基础,在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域有重要的应用价值。国内外学者针对不同的图像配准应用问题进行了大量的研究工作,早在1992年英国剑桥大学的Lisa Gottesfeld Brown在文献[1]习中就总结了图像配准的主要理论及图像配准在各个领域的应用。当时他讨论的图像配准技术主要还是著眼于医学图像处理、遥感图像处理等传统应用领域。图像配准是图像镶嵌技术的核心问题。 微软研究院的Richard Szeliski在1996年SIGGRAPH上提出了基于运动模型的全景图拼接算法[7]。Szeliski采用了非线性优化的方法来最小化像素两幅图像的亮度差以确定变换参数。该方法使用了全部像素进行优化处理,所以配准精度较高,但是计算速度较慢,且稳健性不佳。 国内的赵向阳。杜立民在2004年提出了一种基于特征点匹配的图像自动拼接算法[2],其中使用了Harris算法[3]提取角点并进行匹配。赵的算法采用了鲁棒变换估计技术,在一定程度上提高配准算法的稳健性,但是计算速度依然较慢,且无法配准重

图像匹配综述上课讲义

图像匹配综述

图像匹配综述 摘要:主要从图像匹配技术的概念、一般性描述及图像匹配技术的技术分类对图像匹配进行描述,在图像匹配技术的分类中,对各个方法的优缺点进行了详细的说明。 关键词:图像匹配;一般性描述;分类 随着科学的飞跃发展,近年来图像匹配技术在许多方面有着非常重要的应用,尤其是在医学方面、运动物体的跟踪、计算机视觉、天气预报以及各种资源分析等方面运用非常广泛。本文对图像匹配进行综述,以便读者对其有个粗略的了解。 一、图像匹配的概念 图像匹配的概念:在两幅图像中,从一幅图像中寻找与另一幅具有相同或相似的过程。 二、图像匹配的一般性描述 图像匹配可以描述为:假设给定大小分别为m×m和n ×n像素图像h1(x,y)及h2(x,y),它们的映射关系为: h2(x,y)=g(h1(a(x,y)),(2-1) 式(2-1)中,符号a是二维或者多维的几位变换(x′,y′)=a(x,y),符号g为一维或者多维图像的亮度变换。匹配图像问题的实质是寻找两幅图像的最佳几何变

换a和亮度变换,最终的目的是使预先定义的那种测度为最小值或者达到最大值,以达到两幅待匹配图像的匹配。匹配图像的关键主要是下列因素选择的一个组合:待匹配图像的特征空间、相似度、几何变换类型和参数的搜索策略。 下表2-1给出了待匹配图像的特征空间、相似度及搜索策略的几个主要要素及它们对应的内容。 表2-1 待图像匹配的三个关键因素 三、图像匹配技术的分类 图像匹配技术算法分类很多,但都遵守这样的基本原则:(1)算法必须是有效的。(2)算法必须是稳定的,当待匹配的图像发生旋转、尺度伸缩及被遮挡时,此种算法仍能使用。(3)算法必须是快速的。 1.基于图像灰度相关的匹配方法 基于图像灰度匹配算法是利用整幅图像的灰度信息进行匹配的方法。 几种常见的算法有平均绝对差算法、归一化积相关算法、互信息匹配算法、傅立叶相关算法等。下面简要介绍以下这几种算法: (1)平均绝对差算法 平均绝对差算法是这样定义的: d(x,y)= s(i+x,j+y)-T(i,j)(3-1)

基于视频序列的图像配准算法研究与应用

工学硕士学位论文 基于视频序列的图像配准算法研究与应用 王帅 哈尔滨工业大学 2007年7月

国内图书分类号:TP391.4 国际图书分类号:681.39 工学硕士学位论文 基于视频序列的图像配准算法研究与应用 硕士研究生:王帅 导师:承恒达 教授 申请学位:工学硕士 学科、专业:计算机科学与技术 所在单位:计算机科学与技术学院 答辩日期:2007年7月 授予学位单位:哈尔滨工业大学

Classified Index: TP391.4 U.D.C: 681.39 Dissertation for the Master Degree in Engineering RESEARCH AND APPLICATION OF IMAGE REGISTRATION BASED ON VIDEO SEQUENCE Candidate:Wang Shuai Supervisor:Prof. Cheng Hengda Academic Degree Applied for:Master of Engineering Specialty:Computer Science and Technology Affiliation:School of Computer Science and Technology Date of Defence:July, 2007 Degree-Conferring-Institution:Harbin Institute of Technology

哈尔滨工业大学工学硕士学位论文 摘要 随着数字技术的不断发展,视频图像的分析与处理越来越受到人们的关注。数字化图像序列可以通过摄像机等光学设备获得,是真实世界在不同时间向成像平面的一系列投影。图像帧之间具有较大的相关性和信息冗余,找到并描述图像序列间的内在联系成为研究的关键所在。图像配准技术可以有效地解决这类问题。 图像配准问题是图像处理里的一个基本问题,是将不同时间、不同传感器、不同视角及不同拍摄条件下获取的图像对齐或匹配,消除存在的几何畸变。图像配准在计算机视觉、模式识别、医学图像处理和遥感信息处理方面有着广泛的应用。 本文提出了基于自适应聚类的特征匹配方法,满足大量图像配准的需求,提高匹配的速度,该方法基于正确匹配点对间形成矢量的一致性,对匹配点对进行自适应聚类,实验证明该方法在保证正确匹配不丢失的同时,可有效剔除绝大多数错误匹配,为进一步进行RANSAC匹配提供方便,且有效地提高了整个匹配过程的速度。 本文提出一种简单有效的图像合成方法。该方法针对摄像机固定位置,水平旋转拍摄的视频序列的特点,选取图像序列中部分帧,通过H矩阵确定重叠区域,再利用线性插值进行图像融合。实验证明在转角小于180 时,合成效果较好。 本文成功运用图像配准技术完成运动员滑行数据的测量,利用图像配准技术估计图像间摄像机运动,进而消除摄像机运动的影响,得到运动员的真实运动数据。根据这一原理,首先对冰场进行合理化建模,并确定相应的视频拍摄方案,设计了运动员冰场定位算法,利用帧间的H矩阵估计摄像机旋转角度,进而估计运动员的旋转角度完成滑行数据的测量。 关键词图像配准;特征点匹配;自适应聚类 - -I

基于ITK与VTK的医学图像配准软件的开发

[1] 工作。图像配准技术已经广泛的应用于计算机视觉、医学图像处理、遥感数据分析等领域。医学图像配准是医学图像处理和分析的前提和基本技术。精确的医学图像配准结果对医学影像分析和临床辅助诊断有着重要的意义。目前已经有大量的用于医学图像处理和分析的开发应用平台,其中ITK(Insight Segmentation and Registration Toolkit)主要提供了医学图像分割和配准等方面的功能[2],VTK (Visualization Toolkit)则提供了可视化方面的功能[3,4],用于观察结果以及进行交互显示。本文借助Qt和C++开发了基于ITK和VTK的医学图像配准软件,可用于基本的图像配准工作。 1 开发工具 ■1.1 ITK简介 ITK是六位开发者合作开发的,用于图像配准和分割的软件工具包。鉴于在开发过程中做出的杰出贡献,六位合作开发者受到美国国立卫生研究院的表彰。后来所开发的源代码被整理成为今天的ITK。ITK是开源的、面向对象的、具有大量算法的软件开发包,主要针对于医学图像领域的分割与配准问题。常用的算法包括阈值分割算法、区域生长法、基于分水岭的分割算法,以及快速匹配算法等。ITK还具有跨平台的特性,不仅支持Windows,还支持Unix和Linux 等多种平台。ITK将大量实用的图像处理算法封装起来,形成了丰富的算法库,屏蔽了程序开发的细节,简化了开发的过程,为医学图像处理领域的开发工作提供了宝贵的技术资料。但是ITK没有实现相应的图像可视化功能,因此需要与VTK结合进行应用程序的开发。本文的医学图像处理软件采用Qt开发,通过ITK进行图像配准算法上的操作,同时结合VTK实现了图像的可视化。 ■1.2 VTK简介 VTK是一个免费、开源的软件开发包,主要用于计算VTK以方便性和灵活性为主要开发原则,具有如下几个的特点:(1)具有强大的三维图形显示功能。VTK既支持基于体素的体绘制法,又保留了传统的面绘制发,从而能够在最大限度的改善可视化效果的同时,又充分利用了现有的图形库和图形加速硬件。(2)VTK的体系结构具有强大的流处理和高速缓存能力,在处理的数据非常大时,不会受内存资源限制的影响。(3)VTK能够很好的支持网络工具的应用和开发。(4)VTK具有设备无关性的特征,使得用其开发的代码具有良好的可移植性。(5)VTK中具有许多宏定义,这些宏极大的简化了编程工作,并且加强了一致的对象行为。(6)VTK具有更丰富的数据类型,具有多种数据类型的处理能力。(7)VTK具有跨平台的特性,既可以工作于Windows操作系统,又可以工作于Unix等其他操作系统,极大的方便了用户。 ■1.3 Qt简介 Qt是1991年开发的一个跨平台的、具有图形用户界面的、用于C++应用程序的开发框架。它既可以开发GUI (Graphical User Interface,图形用户界面)程序,也可以开发控制台工具、服务器等非GUI程序。Qt是面向对象的应用程序开发框架,采用组件编程,使用大量的宏定义,容易扩展。同时Qt具有跨平台、面向对象、提供大量API、支持2D/3D图形渲染,以及开发文档丰富等特性。Qt Creator是一个用于Qt开发的,轻量级跨平台集成开发环境。 2 图像配准的概念 图像配准是将不同时间、不同成像设备、不同条件下获取的两幅或者多幅图像进行匹配的一个优化过程,也就是将一幅图像上的像素点映射到另一幅图像上同源点的空间转换过程。图像配准的输入数据是两幅图像,其中一幅图像被定义为参考图像F(x,y),另一幅图像被定义为待配准图 46 | 电子制作 2019年09月

相关主题
相关文档 最新文档