图像融合

图像融合的定义数字图像融合（Digital Image Fusion）是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。

由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。

正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。

数字图像融合是图像分析的一项重要技术，该技术在数字地图拼接、全景图、虚拟现实等领域有着重要应用。

虽然Photoshop等图像处现软件提供了图像处理功能，可以通过拖放的方式进行图像拼接，但由于完全是手工操作，单调乏味，且精度不高，因此，有必要寻找一种方便可行的图像融合方法。

Matlab具有强大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台。

一、图像融合算法2.1图象融合算法的层次分类图像融合系统的算法按层次结构划分可分为信号级、像素级、特征级和决策级。

信号级融合：是指合成一组传感器信号，目的是提供与原始信号形式相同但品质更高的信号。

像素级图像融合：是指直接对图像中像素点进行信息综合处理的过程。

像素级图像融合的目的是生成一幅包含更多信息、更清晰的图像。

像素级图像融合属于较低层次的融合，目前，大部分研究集中在该层次上。

特征级图像融合：是指从各个传感器图像中提取特征信息，并将其进行综合分析和处理的过程。

提取的特征信息应是像素信息的充分表示量或充分统计量，典型的特征信息有边缘、形状、轮廓、角、纹理、相似亮度区域、相似景深区域等。

在进行融合处理时，所关心的主要特征信息的具体形式和内容与多传感器图像融合的应用目的、场合密切相关。

通过特征级图像融合可以在原始图像中挖掘相关特征信息、增加特征信息的可信度、排除虚假特征、建立新的复合特征等。

特征级图像融合是中间层次上的融合，为决策级融合做准备。

特征级融合对传感器对准要求不如信号级和像素级要求严格，因此图像传感器可分布于不同平台上。

特征级融合的优点在于可观的信息压缩，便于实时处理。

由于所提出的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。

决策级图像融合：是指对每个图像的特征信息进行分类、识别等处理，形成相应的结果后，进行进一步的融合过程，最终的决策结果是全局最优决策。

决策级融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。

为此，决策级融合必须结合具体的应用及需求特点，有选择地利用特征级融合所抽取或测量的有关目标的各类特征信息，才能实现决策级融合的目的，其结果将直接影响最后的决策水平。

由于输入为各种特征信息，而结果为决策描述，因此决策级融合数据量最小，抗干扰能力强。

决策级融合的主要优点可概括为：①通信及传输要求低，这是由其数据量少决定的；②容错性高对于一个或若十个传感器的数据干扰，可以通过适当的融合予以消除；③数据要求低，传感器可以是同质或异质，对传感器的依赖性和要求降低；④分析能力强。

2.2图像融合步骤目前国内外己有大量图像融合技术的研究报道，不论应用何种技术方法，必须遵守的基本原则是两张或多张图像上对应的每一点都应对位准确。

由于研究对象、目的不同，图像融合方法亦可多种多样，其主要步骤归纳如下：（1）预处理：对获取的两种图像数据进行去噪、增强等处理，统一数据格式、图像大小和分辨率。

对序列断层图像作三维重建和显示，根据目标特点建立数学模型；（2）分割目标和选择配准特征点：在二维或三维情况下，对目标物或兴趣区进行分割。

选取的特点应是同一物理标记在两个图像上的对应点，该物理标记可以是人工标记，也可以是人体解剖特征点；（3）利用特征点进行图像配准：可视作两个数据集间的线性或非线性变换，使变换后的两个数据集的误差达到某种准则的最小值；（4）融合图像创建：配准后的两种模式的图像在同一坐标系下将各自的有用信息融合表达成二维或三维图像；（5）参数提取：从融合图像中提取和测量特征参数，定性、定量分析。

图1 图像融合步骤示意图三、小波变换（DWT）算法在众多的图像融合技术中，基于小波变换的图像融合方法已成为现今研究的一个热点。

这类算法主要是利用人眼对局部对比度的变化比较敏感这一事实，根据一定的融合规则，在多幅原图像中选择出最显著的特征，例如边缘、线段等，并将这些特征保留在最终的合成图像中。

在一幅图像的小波变换中，绝对值较大的小波系数对应于边缘这些较为显著的特征，所以大部分基于小波变换的图像融合算法主要研究如何选择合成图像中的小波系数，也就是三个方向上的高频系数，从而达到保留图像边缘的目的。

虽然小波系数（高频系数）的选择对于保留图像的边缘等特征具有非常主要的作用，但尺度系数（低频系数）决定了图像的轮廓，正确地选择尺度系数对提高合成图像的视觉效果具有举足轻重的作用。

利用离散的小波变换，将N幅待融合的图象的每一幅分解成M幅子图象，然后在每一级上对来自N幅待融合图象的M幅子图象进行融合，得到该级的融合图象。

在得到所有M级的融合图象后，实施逆变换得到融合结果。

实验程序如下：load tartan;X1=X;map1=map;load sinsin;X2=X;map2=map; %打开图像figure(1)subplot(1,2,1);image(X1),colormap(map1); title('图像map1')subplot(1,2,2);image(X2),colormap(map2); title('图像map2') %显示两幅图像[C1,L1]=wavedec2(X1,2, 'sym4');[C2,L2]=wavedec2(X2,2, 'sym4'); %分别对两幅原图像进行小波分解C=C1+C2; %对分解系数进行融合X=waverec2(C,L1,'sym4'); %对融合后的信号进行图像重构figure(2)image(X/2);colormap(map2); %显示经过小波变换融合后的图像title('图像小波变换融合') %给融合后的图像命名并显示在图上实验结果：图像map12040608010012020406080100120图像map22040608010012020406080100120图像小波变换融合2040608010012020406080100120四、图像融合的评价体系在对多源图像进行相应的融合处理后，往往需要对所得到的融合图像选用一定的评价标准来对其质量进行评价，通过对融合图像质量的判定来确定该融合图像是否达到要求，同时为融合图像的后续处理提供了一定的理论依据。

由于对融合图像质量的评价不是一个简单的问题，其涉及面很广，因此目前关于这方面的研究很多，也提出了不少评价方法，但这些方法主要可以归为以下两类：一类为主观评价标准，另一类为客观评价标准。

4.1主观评价标准人通过对融合图像从不同的角度进行观察进而给出一个对其质量全面的、定性的评价即为主观评价。

对融合图像进行主观评价是第一步，也是必不可少的一步，这是因为由于对融合图像进行主观评价具有简单、直观而且易于实现的特点，通常能够快速、方便地给出评价结果。

因此在图像融合领域，主观评价法是目前经常且广泛采用的方法之一。

虽然主观评价法在评价融合图像时具有一定的优势，但采用主观评价法对融合图像质量进行评价时，往往容易受到不同的观察者、观察者的观察角度、观察者的心理状态、观察者的视觉特性、图像的类型、周围的环境、图像的应用场合等多种因素的影响，这往往会造成评价尺度难以掌握，从而失去评价的客观性，因此主观评价法只是具有统计上的意义。

4.2客观评价标准针对主观评价法的不足之处，在众多学者的研究之下，提出了融合图像的客观评价标准。

客观评价标准在一定程度上克服了一些外在和内在等不利因素的影响，给融合图像提供了一种定量的分析方法。

虽然说目前对针对融合图像质量的客观评价标准还不太成熟，但是仍然能够说明一些问题。

目前，在图像融合领域被广泛采用的客观评价标准主要分为两类：一类需要标准参考图像，另一类不需要标准参考图像。

A.需要标准参考图像的客观评价标准为：（1）均方根误差（2）互信息：基于熵计算的。

互信息的测度能够决定信息特征内容。

（3）归一化最小方差B. 不需要标准参考图像的客观评价标准为：（1）熵：熵值的大小表示图像所包含的平均信息量的多少。

（2）标准差：标准差反应了灰度相对于灰度均值的离散情况，标准差越大，则灰度级分布越分散。

（3）空间频率：判决融合图像的清晰度，空间频率反映了一幅图像空间域的总体活跃程度和清晰程度，同时还反映出图像中微小细节反差和纹理变换特征，空间频率越大，图像越活跃、越清晰。

（4）平均梯度：可敏感地反映图像对微小细节反差表达的能力，可用来评价图像的清晰程度，还同时反映出图像中微小细节反差和纹理变换特征。

一般来说，清晰度越大，图像层次越多，表示图像越清晰。

因此可以用平均梯度来评价融合图像在微小细节表达能力上的差异。

（5）交叉熵：可用来度量两幅图像间的差异，交叉熵越小，就表示图像间的差异越小。