下载文档原格式
图像融合是将两幅或多幅图像融合在一起，以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。
融合算法应该充分利用各原图像的互补信息，使融合后的图像更适合人的视觉感受，适合进一步分析的需要；并且应该统一编码，压缩数据量，以便于传输。
图像融合可分为三个层次:1. 像素级融合2. 特征级融合3. 决策级融合其中像素级融合是最低层次的融合，也是后两级的基础。
它是将各原图像中对应的像素进行融合处理，保留了尽可能多的图像信息，精度比较高，因而倍受人们的重视。
像素级的图像融合方法大致可分为三大类:1. 简单的图像融合方法2. 基于塔形分解（如Laplace塔形分解、比率塔等）的图像融合方法3. 基于小波变换的图像融合方法小波变换是图像的多尺度、多分辨率分解，它可以聚焦到图像的任意细节，被称为数学上的显微镜。
近年来，随着小波理论及其应用的发展，已将小波多分辨率分解用于像素级图像融合。
小波变换的固有特性使其在图像处理中有如下优点：1. 完善的重构能力，保证信号在分解过程中没有信息损失和冗余信息；2. 把图像分解成平均图像和细节图像的组合，分别代表了图像的不同结构，因此容易提取原始图像的结构信息和细节信息；3. 具有快速算法，它在小波变换中的作用相当于FFT算法在傅立叶变换中的作用，为小波变换应用提供了必要的手段；4. 二维小波分析提供了与人类视觉系统方向相吻合的选择性图像。
——像素级图像融合的主要步骤以两幅图像的融合为例。
设A，B为两幅原始图像，F为融合后的图像。
若对二维图像进行N层的小波分解，最终将有(3N+1)个不同频带，其中包含3N 个高频子图像和1个低频子图像。
其融合处理的基本步骤如下：（1）对每一原图像分别进行小波变换，建立图像的小波塔型分解；（2）对各分解层分别进行融合处理。
各分解层上的不同频率分量可采用不同的融合算子进行融合处理，最终得到融合后的小波金字塔；（3）对融合后所得小波金字塔进行小波重构，所得到的重构图像即为融合图像。
图像像素级融合算法（讲稿1）2、图像融合算法研究主要集中介绍像素级融合算法。
依实现原理划分，像素级图像融合算法大体分为：代数算法，假彩色技术，图像调制技术，多分辨技术，基于视觉神经动力学的图像融合技术，等。
2.1 代数法代数法包括加权融合、单变量图像差值法、图像比值法等。
最常用的方法是加权平均法。
加权平均法主要是运用代数运算和线性运算来处理图像，是早期的图像融合方法。
它的基本原理是不对源图像进行任何的图像变换或分解，而是直接对各源图像中的对应像素进行选择（选取最大值或最小值）、平均或加权平均等简单处理后输出融合图像。
以表示融合图像的第个像素灰度值，表示参加融合的第幅图像第个像素灰度值。
表示参加融合的第幅图像第个像素的权值。
加权平均法的数学表示式为：根据实际应用的需要，代数法可采取局部和全局处理。
下面主要说明全局法的处理过程。
考虑到图像的整体性，所有融合运算采用了统一标准，因此称为全局法。
主要步骤如下：（1）求出图像灰度的最大值、最小值、均值与方差；（2）由这些参数通过一定的运算，计算出一个变换式，可将高分辨力图像的灰度变成0到1的实数；（3）用变换后的实数与低分辨力图像进行一定的运算，其所得到的结果即为融合图像；（4）这个图像往往色调比较暗，必须进行增强才能满足要求。
设高分辨力图像灰度、灰度最小值、最大值、均值与方差分别为，低分辨力图像灰度值为，融合后的灰度值为，为变换系数。
2、假彩色技术假彩色（False Color）图像融合处理的原理基于如下事实：人眼对颜色的分辨力远超过对灰度等级的分辨力。
因此，如果通过某种彩色化处理技术将蕴藏在不同原始信道图像灰度等级中的细节信息以不同的色彩来表征，可以使人眼对融合图像的细节有更丰富的认识。
以假彩色法来实现图像融合的工作由来已久，随着对人眼生理特性认识的逐步深入，这种方法也在不断改进，以期达到既能将各原始信道的图像信息尽量地表现出来，又能使融合图像的可视效果符合人眼生理习惯的目的，这是当前假彩色研究的关键所在。
图像融合技术原理1引言图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。
该技术有基本的体系，主要包括的内容有：图像预处理，图像融合算法，图像融合评价，融合结果。
图像融合系统的层次划分为：像素层融合、特征层融合、决策层融合，目前绝大多数融合算法研究都集中在这一层次上。
图像预处理技术主要包括两个方面的任务：图像去噪、图像配准；图像融合算法从最初简单的融合算法（加权、最大值法）发展为复杂多分辨率的算法（金字塔、小波法等）；图像融合的性能评价主要有两个大的方面：主观评价及客观评价，由于在实际中不存在理想图源，所以一般采用较易实现的评价标准，结合主观视觉给出最合理的评价。
2图像融合设计2.1 总体设计流程系统的总体设计流程如图1所示:图1多源图像融合系统流程示意图根据待融合图像自身的特点，图像传感器类型以及图像融合的目标，系统总体设计流程如下：①对图像进行预处理，如去除噪声、图像配准等；②确定合适的图像融合算法；③对图像融合的结果进行评估；④如果评估结果不满意，则调整参数，重新进行图像融合，转到步骤3；⑤输出图像融合结果。
2.2图像的预处理在图像融合前，对输入图像进行特征抽取、分割和匹配前所进行的处理。
图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进图像融合的效果。
预处理过程一般有数字化，平滑，复原和增强等步骤。
根据所选用的图像传感器类型及图像融合的目标，对待融合图像进行预处理。
主要包括以下几个方面：①数字化一幅原始照片的灰度值是空间变量（位置的连续值）的连续函数。
在M*N点阵上对照片灰度采样并加以量化（归为2b个灰度等级之一），可以得到计算机能够处理的数字图像。
为了使数字图像能重建原来的图像，对M N和b值的大小就有一定的要求。
在接收装置的空和灰度分辨能力范围内，M N和b的数值越大，重建图像的质量就越好。
当取样周期等于或小于原始图像中最小细节周期的一半时，重建图像的频谱等于原始图像的频谱，因此重建像与原始图像可以完全相同。
图像融合的层次根据信息表征层次的不同和融合在处理流程中所处的阶段,图像融合由低到高分为3个层次：像素级，特征级和决策级。
(1)像素级图像融合其结构如图1.2所示，即在严格的配准条件下，对多源图像直接进行信息的综合分析。
像素级图像融合是在基础数据层面上进行的信息融合,其主要完成的任务是对多源图像中目标和背景等信息直接进行融合处理。
像素级图像融合是最低层次的图像融合，能够保持尽可能多的现场数据，提供其他融合层次所不能提供的细节信息。
但需处理的信息量最大，对设备的要求较高.图1.2 像素级图像融合(2)特征级图像融合其结构如图1.3所示，即对预处理和特征提取后获取的特征信息如边缘、形状、纹理和区域等进行综合与处理.特征级融合是在中间层次上进行的信息融合,它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理.但相对于像素级图像融合，特征级融合信息丢失最多.图1.3 特征级图像融合(3)决策级图像融合其结构如图1。
4所示，即在每个传感器已完成目标提取与分类之后,融合系统根据一定的准则以及每个决策的可信度作出决策融合处理。
此种融合实时性好，并且具有一定的容错能力。
决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统进行分析、推理、识别和判决.图1.4 决策级图像融合像素级融合和特征层融合都需要对多源信息进行关联和配准,决策层融合只需要对数据进行关联。
只是它们进行相关联和识别的顺序不同，像素级融合直接对原始数据进行配准和关联，特征层融合对特征向量进行配准和关联，然后再进行识别,而决策层融合则是先进行识别，再对各个决策结果进行关联，得到融合的判决结果。
决策层融合对传感器依赖性较小，传感器可以是同质的，也可以是异质的。
除非传感器的信号是独立的，否则，决策层融合的分类性能可能低于特征层融合。
对于特定的应用选择在哪一个层次进行融合是一个系统工程问题，需要综合考虑通信带宽、信源的特点、可用的计算资源等方面的因素影响。
摘要：介绍了遥感影像三种常用的图像融合方式。
进行实验，对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像，简要分析比较三种图像融合方式的各自特点，择出本次实验的最佳融合方式。
关键字：遥感影像；图像融合；主成分变换；乘积变换；比值变换；ERDAS IMAGINE1. 引言由于技术条件的限制和工作原理的不同，任何来自单一传感器的信息都只能反映目标的某一个或几个方面的特征，而不能反应出全部特征。
因此，与单源遥感影像数据相比，多源遥感影像数据既具有重要的互补性，也存在冗余性。
为了能更准确地识别目标，必须把各具特色的多源遥感数据相互结合起来，利用融合技术，针对性地去除无用信息，消除冗余，大幅度减少数据处理量，提高数据处理效率；同时，必须将海量多源数据中的有用信息集中起来，融合在一起，从多源数据中提取比单源数据更丰富、更可靠、更有用的信息，进行各种信息特征的互补，发挥各自的优势，充分发挥遥感技术的作用。
[1]在多源遥感图像融合中，针对同一对象不同的融合方法可以得到不同的融合结果，即可以得到不同的融合图像。
高空间分辨率遥感影像和高光谱遥感影像的融合旨在生成具有高空间分辨率和高光谱分辨率特性的遥感影像，融合方法的选择取决于融合影像的应用，但迄今还没有普适的融合算法能够满足所有的应用目的，这也意味着融合影像质量评价应该与具体应用相联系。
[2]此次融合操作实验是用三种不同的融合方式（主成分变换融合，乘积变换融合，比值变换融合），对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像。
2. 源文件1 、 imagerycolor.tif ，SPOT图像，分辨率10米，有红、绿、两个红外共四个波段。
2 、imagery-5m.tif ，SPOT图像，分辨率5米。
3. 软件选择在常用的四种遥感图像处理软件中，PCI适合用于影像制图，ENVI在针对像元处理的信息提取中功能最强大，ER Mapper对于处理高分辨率影像效果较好，而ERDAS IMAGINE的数据融合效果最好。
图像融合
实验目的
1.熟悉图像融合的意义和用途，理解图像融合的原理；
2.掌握图像融合的一般方法；
3.掌握运用MATLAB软件进行图像融合的操作。
实验原理
图像融合（Image Fusion）技术是指将多源信道所采集到的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成同一图像以供观察或进一步处理。
高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。
其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。
这诸多方面的优点使得图像融合在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识、尤其在计算机视觉方面，图像融合被认为是克服目前某些难点的技术方向；在航天、航空多种运载平台上，各种遥感器所获得的大量光谱遥感图像（其中分辨率差别、灰度等级差别可能很大）的复合融合，为信息的高效提取提供了良好的处理手段，取得明显效益。
一般情况下，图像融合由低到高分为三个层次：数据级融合、特征级融合、决策级融合。
数据级融合也称像素级融合，是指直接对传感器采集来得数据进行处理而获得融合图像的过程，它是高层次图像融合的基础，也是目前图像融合研究的重点之一。
这种融合的优点是保持尽可能多得现场原始数据，提供其它融合层次所不能提供的细微信息。
图像融合最简单的理解就是两个（或多个）图像间的相加运算。
这一技术广泛
应用于多频谱图像理解和医学图像处理等领域。
主要分为空域和频域相加。
一、应用MATLAB软件进行两幅图像的融合的主要方法有：
1.图像直接融合；
2.图像傅立叶变换融合；
3.图像小波变换融合。
图像融合的MATLAB程序如下：
（1）调入、显示两幅图像的程序语句
load A;
X1=X;map1=map;
load B;
X2=X;map2=map; %打开图像
subplot(1,2,1)
image(X1),colormap(map1);
title(‘图像map1’)
subplot(1,2,2)
image(X2),colormap(map2);
title(‘图像map2’) %显示两幅图像
（2）两幅图像直接融合的程序语句
figure,subplot(1,3,1)
image((X1+X2)/2),colormap(map2); %在空域内直接融合
title(‘两图像直接相加融合’) %显示融合后的图像，并命名为“两图像直接相加融合”
（3）两幅图像傅立叶变换融合的程序语句
F1=fft2(X1);
F2=fft2(X2); %分别计算两幅图像的快速傅立叶变换
X=abs(ifft2(F1+F2)/2); %两幅图像在频域内相加后的傅立叶逆变换
subplot(1,3,2)
image(X),colormap(map2); %显示融合后的图像
title(‘两幅图像傅立叶变换融合’) %给融合后的图像命名并显示在图上（4）两幅图像小波变换融合的程序语句
[C1,L1]=wavedec2(X1,2, ‘sym4’);
[C2,L2]=wavedec2(X2,2, ‘sym4’); %分别对两幅原图像进行小波分解
C=C1+C2; %对分解系数进行融合
X=waverec2(C,L1,’sym4’); %对融合后的信号进行图像重构
subplot(1,3,3)
image(X/2),colormap(map2); %显示经过小波变换融合后的图像
title(‘图像小波变换融合’) %给融合后的图像命名并显示在图上
二、HIS变换原理
HIS变换是像素级图像融合方法中常用的方法，可以实现不同空间分辨率的图像之间的几何信息的叠加。
它首先将RGB颜色空间的3个波段的多光谱图像转化到HIS空间的3个量，即色调(H),亮度(I)、饱和度(S)。
亮度(I)代表空间信息，色调(H)代表光谱信息。
然后将高空间分辨率图像进行对比度拉伸，使它和亮度分量(I)有相同的直方图；最后用拉伸后的高空间分辨率图像代替亮度分量(I)，把它同色调(H),饱和度(S)进行HIS逆变换得到融合图像。
实验内容
1. 调入两幅数字图像，并进行三种方法的图像融合；
2. 调入两幅数字图像，采用wfusimg函数进行小波图像融合；
3. 调入两幅数字图像，根据HIS变换原理得到融合图像。
1、
% 加载两幅原始图像
load bust;
X1 = X;
load mask;
X2 = X;
% 融合两幅图像的5层小波分解
% 使用‘db2'小波
% 取细节和近似信号的平均值融合
XFUSmean = wfusimg(X1,X2,'db2',5,'mean','mean'); % 取近似信号的最大值，细节信号的最小值融合XFUSmaxmin = wfusimg(X1,X2,'db2',5,'max','min'); % 画出融合后的图像和原始图像
colormap(map);
subplot(221), image(X1),
axis square, title('bust')
subplot(222), image(X2),
axis square, title('mask')
subplot(223), image(XFUSmean),
axis square,
title('融合图像，平均值-平均值')
subplot(224), image(XFUSmaxmin),
axis square, title('融合图像，最大值-最小值')
')
2、
% 加载两幅原始图像
load cathe_1;
X1 = X;
load cathe_2;
X2 = X;
% 融合两幅图像的5层小波分解
% 使用‘db2'小波
% 取细节和近似信号的最大值值融合XFUS = wfusimg(X1,X2,'sym4',5,'max','max'); % 画出融合后的图像和原始图像colormap(map);
subplot(221), image(X1),
axis square,
title('Catherine 1')
subplot(222), image(X2),
axis square,
title('Catherine 2')
subplot(223), image(XFUS),
axis square,
title('Synthesized
image')
3、
x=imread('board.tif');
f=imresize(x,0.5);
x1=rgb2gray(x); %高分辨率灰度图像hsi=rgb2hsi(f);
i=hsi(:,:,3);s=hsi(:,:,2);h=hsi(:,:,1); hspec=imhist(i);
x2=histeq(x1,hspec);
s1=imresize(s,2);
h1=imresize(h,2);
hsi1=cat(3,h1,s1,mat2gray(x2));
xx=hsi2rgb(hsi1);
imshow(xx); title('融合后图像');
figure;imshow(x); title('原图');
figure;imshow(x1); title('高分辨率灰度图像'); figure;imshow(f);title('低分辨率彩色图像')。
