红外与可见光图像配准和融合中的关键技术 (1)

热红外与可见光的联合标定
首先，热红外和可见光相机的联合标定需要进行内部参数和外
部参数的标定。

内部参数包括相机的焦距、主点位置等内部特性，
而外部参数包括相机的位置和姿态等外部特性。

这些参数的标定可
以通过使用特定的标定板或者特征点来实现。

其次，联合标定还需要考虑两种相机成像结果之间的对应关系。

这可以通过在场景中放置特定的标定板或者特征点，并利用这些标
定目标在两种成像结果中的位置来建立对应关系。

另外，联合标定还需要考虑两种成像结果之间的畸变校正。

热
红外和可见光相机都会存在一定程度的畸变，需要对这些畸变进行
校正，以保证两种成像结果之间的准确对应关系。

最后，联合标定的结果可以用于将热红外和可见光成像结果进
行融合，从而得到更丰富和更准确的信息。

这种融合可以用于改善
目标检测、跟踪和识别的性能，提高系统在复杂环境下的适用性。

总的来说，热红外与可见光的联合标定是一个复杂而重要的过程，它可以将两种不同波段的成像结果进行关联和校准，为各种应
用提供更丰富和更准确的信息。

在实际应用中，联合标定的精度和
稳定性对系统的性能有着重要的影响，因此需要综合考虑各种因素，并采用合适的方法和工具来实现联合标定的目的。

２０１０年第１期　（总第１９１期）　黑龙江交通科技　

ＨＥ　ＬＬＯＮＧｄｌＡＮＧ　ｄｌＡＯＴＯＮＧ　ＫＥＪＩ　Ｎｏ．１，２０１０　

（Ｓｕｍ　Ｎｏ．１９１）　

红外与可见光图像配准在ＥＦＶＳ中的应用研究　翟　豪，申　冰，李宜，张光明　（中国民航飞行学院飞行技术学院）　

摘要：ＥＦＶＳ（视景增强系统）是一种有效的进近着陆助视系统，正逐步在民用航空器上安装运行，其核心技　术之一就是多源图像配准。红外与可见光图像配准作为一类重要的多传感器图像配准方法，在自动控制、遥　感、民用航空及军事应用等领域发挥着重要作用。研究了基于特征的配准方法在ＥＦＶＳ中的应用，并通过仿　真实验显示其对飞行员情景意识的提高。　关键词：红外图像；可见光图像；特征提取；图像配准；ＥＦＶＳ系统　中图分类号：ＴＰ９６７．２　文献标识码：Ａ　文章编号：１００８—３３８３（２０１０）０１—０１３４一Ｏ１　

１引　言　从上世纪９ｏ年代中期开始，随着成像技术的进步，人们　开始研究能穿透低能见度天气的机载红外或微波图像传感　技术，研发了增强视觉系统（ＥＦＶＳ）。ＥＦＶＳ的出现，第一次　使得机长在低能见度下都能看到航空器前方场景的动态图　像，极大地改善了机长的空间感知和情景意识。该系统在座　舱下方外安装红外成像仪或微波图像传感器，实时采集航空　器前方场景动态视频图像，经处理后和相关的飞行指引符号　叠加在ＨＵＤ（平视显示仪）上显示。尽管红外或微波图像具　有分辨率低、图像内容可理解性较差等不足，但由于增强视　觉系统采集的是实时的场景动态图像，图像内容具有较高的　真实性和可信性。特别是在航空器最后进近阶段，因为此时　航空器已对准跑道，图像传感器中所能看到的场景主要限于　跑道、灯光及附近的场面，图像内容更易分辨和理解。目前　投入使用的ＥＦＶＳ存在只能处理和显示单传感器图像、不能　融合显示多个波段和不同视点的增强视觉图像的不足。　国际上自１９９６年至今，每年举行一次“Ｅｎｈａｎｃｅｄ　ａｎｄ　Ｓｙｎｔｈｅｔｉｃ　Ｖｉｓｉｏｎ”国际会议；在每年的“ＩＥＥＥ　Ｄｉｇｉｔａｌ　Ａｖｉｏｎｉｃｓ　Ｓｙｓｔｅｍ”国际会议上也有大量关于合成视觉（ＳＶＳ）和增强视　真实场景　真实场景　真实场景　觉（ＥＦＶＳ）的工作报道。目前，包括美国、英国、加拿大、德国　等国的政府和军方研究机构，以及国际上著名的航电厂商　（如：Ｈｏｎｅｙｗｅｌｌ、Ｒｏｃｋｗｅｌｌ、Ｔｈａｌｅｓ等）仍在大力加这方面的研　究。　２　ＥＶＦＳ系统中图像配准技术的应用　由于机载传感器特性和航空器的运动方式，图像中的对　象仅是刚性的改变位置、姿态和刻度，改变的原因往往是由　摄影器材运动引起的。　所以本文拟将基于特征的图像配准技术运用于增强视　景系统中，在传感器位置、指向、焦距不同时，通过实时逆透　视变换处理，将二维图像还原到三维空间中，并对还原的各　图像序列逐帧进行时间同步和空间配准处理，以期为航空器　在低能见度下的最后进近阶段提供更容易分辨和理解的图　像。　在传感器位置、指向、焦距不同时，通过实时逆透视变换　处理，将二维图像还原到三维空间中，并对还原的各图像序　列逐帧进行时间同步和空间配准处理，以期为航空器在低能　见度下的最后进近阶段提供更容易分辨和理解的图像。　合成方案如下。　

红外与可见光图像自相似性特征的描述与匹配李俊山;朱英宏;朱艺娟;苏光伟【摘要】A point matching algorithm based on self-similarities is proposed to solve the difficulty of IR and visible images matching. Firstly,sums of square in small neighborhoods are calculated. Secondly,by introducing Gaussian scale space, feature points are extracted by FAST-9 corner detector which has scale-invariance. And the main orientation for each point is assigned according to the neighborhood information. Thirdly, correlation surfaces with corresponding scale are chosen for region. Extreme value of each correlation surface is extracted to construct a normalized descriptor with 100 dimensions. Finally,the nearest neighbor algorithm is used to match control points after eliminating non-informative descriptors. Experimental results indicate that the proposed method is robust to changes in rotation change,affine change and scale change. Meanwhile,it gets a higher correct ratio than SIFT.%针对红外与可见光图像匹配的难题,提出了一种基于自相似性的异源图像点特征匹配算法.首先对红外与可见光图像进行小邻域平方和计算;再通过构造高斯金字塔,运用FAST-9进行角点检测,使得检测的特征点具有尺度属性;然后,统计特征点邻域的特征信息以确定特征点的主方向;再求取在相应尺度下特征点邻域的相关平面,对相关平面进行区域划分,提取每个区域相关平面的极值以构造100维的自相似性描述子,并对描述子进行归一化处理;而后,剔除不良特征描述子;最后采用最近邻匹配算法进行特征匹配.实验结果表明,提出的算法能够实现红外与可见光图像在视角、旋转、尺度变换下的有效匹配;在保证运算速度的前提下,提出的算法较SIFT算法在正确匹配率方面有明显提高.【期刊名称】《激光与红外》【年(卷),期】2013(043)003【总页数】5页(P339-343)【关键词】可见光图像;红外图像;自相似性;多尺度;图像匹配【作者】李俊山;朱英宏;朱艺娟;苏光伟【作者单位】武警工程大学电子技术系网络与信息安全武警部队重点实验室,陕西西安710086【正文语种】中文【中图分类】TP3911 引言相对于单一传感器，多传感器采集的信息具有更高的冗余性、互补性、可靠性。

第39卷第7期激光与红外Vo.l39,No.7 2009年7月L ASER&I NFRARED J u l y,2009文章编号:100125078(2009)0720693207#综述与评论#红外与可见光图像配准研究现状与展望苑津莎,赵振兵,高强,孔英会(华北电力大学电气与电子工程学院,河北保定071003)摘要:红外与可见光图像配准是常见的多模态图像配准,它广泛应用于军事、遥感等领域,有必要对其研究现状进行综述。

在描述了红外与可见光图像配准问题后,首先简述了图像配准的一般方法,分为基于图像区域的配准方法和基于图像特征的配准方法,重点述评了局部不变特征方法中的SI FT算法和S URF算法;然后按文献发表时间顺序对红外与可见光图像配准的国外和国内研究现状进行了详细述评;总结了红外与可见光图像配准研究中存在的问题;最后对其进行展望,并指出未来的研究重点是以SI FT算法和S URF算法为研究基础去构造对模态不敏感的不变特征和其相应的描述子。

关键词:图像配准;红外;可见光;SI FT;S URF中图分类号:T N911.73文献标识码:AR evie w and pros pect on i n frare d/visi b le i m age registrationYUA N Ji n2sha,Z HAO Zhen2bing,G AO Q iang,KONG Y i n g2hui(School of E lectr i ca l and E l ectronic Eng i neer i ng,North Ch i na E l ec tric P o wer Un i vers it y,Baoding071003,Ch i na)Ab stra ct:Infrared/visi b le i m age registrati on is the co mm o n m ulti2modal i m age regi strati on,and it has been w i dely ap2pli ed to l ots of fie l ds such asm ilitary and re m ote sensi ng.So,it is necessary to revie w the current research situati on ofi nfrared/vi sible i m age registratio n.A fter dep icti ng the pro b le m of i nfrared/visi b le i m age registrati on,general m ethodsof i m age regi strati on is desc ri bed briefl y.They are d i vi ded i nto t wo t ypes:area2based m et hods and fea t ure2based m eth2o ds.SIFT a l gorith m and SURF a l gor it hm i n loca l i nvar i ant feat ures are m a i n l y d i scussed.According to ti m e of litera2ture pub lishi ng,the analysis and revi ew for i nfrared/visi b l e i m age registra ti on m ethods at ho m e and abroad are carriedo u t i n detai.l Then the d ifficu lties of i nfrared/vi sible i m age registratio n techn i que are su mma rized and eva l uated.A tl ast,prospects of i nfrared/vi sible i m age registratio n a re made,and the fut ure research o n t h is field could pay m ore a t2tenti on to construct i nvariant and m o da lity2i nsensiti ve features and the i r descri ptors on t he basis of research of S I FT a l2gorith m and S URF a l gorith m.K ey w or ds:i m age registratio n;i nfrared;visi b le;SIFT;SURF1引言图像配准是个极富挑战性的研究领域,所谓图像配准是指依据一些相似性度量决定图像间的变换参数,使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像,变换到同一坐标系下,在像素层上得到最佳匹配的过程[1-6]。