图像融合算法概述
摘要：详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。
关键词：图像融合; 多尺度变换; 评价标准
Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and
summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the
recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel
level.
Key words:image fusion; multi-scale transform; evaluation criteria
1.引言：
图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能.
2.图像融合算法概述
2.1 图像融合算法基本理论
相对图像融合的其他层次, 像素级图像融合是直接在采集到的原始图像上进行的, 在各种传感器原始数据未经特征提取与分类前就进行数据综合与分析, 是最低层次上的融合。在某些场合( 如目标识别) , 实施像素级图像融合之前, 有时需要先对参加融合的各图像进行预处理( 如图像增强、降噪等) , 其目的是提高检测性能。不过这种预处理并非必需, 但对参加融合的各图像必须进行精确的配准。其配准精度应达到像素级。
像素级图像融合通过互补信息的有机集成, 可以减少或抑制单一信息对被感知对象或环境解释中可能存在的多义性、不完整性、不确定性和误差, 最大限度地利用各种信息源提供的信息, 从而大大提高在特征提取、分类、目标识别等方面的有效性[ 2] 。图1 给出了像素级图像融合的结构示意图。
2.2基于非多尺度变换的图像融合方法
2.2.1平均与加权平均方法
加权平均方法将原图像对应像素的灰度值进行加权平均,生成新的图像, 它是最直接的融合方法。其中平均方法是加权平均的特例。使用平均方法进行图像融合, 提高了融合图像的信噪比, 但削弱了图像的对比度, 尤其对于只出现在其中一幅图像上的有用信号。
2.2.2像素灰度值选大( 或小) 图像融合方法
假设参加融合的两幅原图像分别为A、B, 图像大小均为M×N, 融合图像为F, 则针对原图像A、B 的像素灰度值选大( 或小) 图像融合方法可表示为
F( m, n) =max( or min) { A( m, n) , B( m, n) }
其中: m、n 分别为图像中像素的行号和列号。在融合处理时, 比较原图像A、B 中对应位置( m, n) 处像素灰度值的大小, 以其中灰度值大( 或小) 的像素作为融合图像F 在位置( m, n) 处的像素。这种融合方法只是简单地选择原图像中灰度值大( 或小) 的像素作为融合后的像素, 对待融合的像素进行灰度增强( 或减弱) , 因此该方法的实用场合非常有限。
2.2.3 基于PCA 的图像融合方法
PCA 图像融合方法首先用三个或以上波段数据求得图像间的相关系数矩阵, 由相关系数矩阵计算特征值和特征向量,再求得各主分量图像; 然后将高空间分辨率图像数据进行对比度拉伸, 使之与第一主分量图像数据具有相同的均值和
方差;最后用拉伸后的高空间分辨率图像代替第一主分量, 将它与其他主分量经PCA 逆变换得到融合图像。
PCA 融合算法的优点在于它适用于多光谱图像的所有波段; 不足之处是在PCA 融合算法中只用高分辨率图像来简单替换低分辨率图像的第一主成分, 故会损失低分辨率图像第一主成分中的一些反映光谱特性的信息, 使得融合图像
的光谱畸变严重。只按统计的思想, 不考虑图像各波段的特点是PCA融合算法的致命缺点。
2.2.4 基于调制的图像融合方法
借助通信技术的思想, 调制技术在图像融合领域也得到了
一定的应用[ 3, 4] , 并在某些方面具有较好的效果。用于图像融合上的调制手段一般适用于两幅图像的融合处理, 具体操作一般是将一幅图像进行归一化处理; 然后将归一化的结果与另一图像相乘; 最后重新量化后进行显示。用于图像融合上的调制技术一般可分为对比度调制技术和灰度调制技术。
2.2.5 非线性方法
将配准后的原图像分为低通和高通两部分, 自适应地修改每一部分, 然后再把它们融合成复合图像。文献[ 5] 采用自适应的非线性处理方法融合可见光和红外图像。
2.2.6 逻辑滤波方法
逻辑滤波方法是一种利用逻辑运算将两个像素的数据合成为一个像素的直观方法, 例如当两个像素的值都大于某一阈值时, “与”滤波器输出为“1”( 为“真”) 。图像通过“与”滤波器而获得的特征可认为是图像中十分显著的成分。
2.2.7 颜色空间融合法
颜色空间融合法的原理是利用图像数据表示成不同的颜色通道。简单的做法是把来自不同传感器的每幅原图像分别映射到一个专门的颜色通道, 合并这些
通道得到一幅假彩色融合图像。该类方法的关键是如何使产生的融合图像更符合人眼视觉特性及获得更多有用信息。Toet 等人将前视红外图像和微光夜视图像通过非线性处理映射到一个彩色空间中, 增强了图像的可视性[ 6] 。文献[ 7] 研究表明, 通过彩色映射进行可见光和红外图像的融合, 能够提高融合结果的信息量, 有助于提高检测性能。
2.2.8 最优化方法
最优化方法为场景建立一个先验模型, 把融合任务表达成一个优化问题, 包括贝叶斯最优化方法和马尔可夫随机场方法。贝叶斯最优化方法的目标是找到使先验概率最大的融合图像。文献[ 8] 提出了一个简单的自适应算法估计传感器的特性与传感器之间的关系, 以进行传感器图像的融合; 文献[ 9] 提出了基于图像信息模型的概率图像融合方法。马尔可夫随机场方法把融合任务表示成适当的代价函数, 该函数反映了融合的目标, 模拟退火算法被用来搜索全局最优解。文献[ 10] 提出了基于匹配图像相似性的Markov 融合模型; 文献[ 11] 提出了一种只考虑
图像边缘图构造的马尔可夫随机场,与迭代条件共同使用, 可实现图像的实时融合。
2.2.9 人工神经网络方法
受生物界多传感器融合的启发, 人工神经网络也被应用于图像融合技术中。神经网络的输入向量经过一个非线性变换可得到一个输出向量, 这样的变换能
够产生从输入数据到输出数据的映射模型, 从而使神经网络能够把多个传感器
数据变换为一个数据来表示。由此可见, 神经网络以其特有的并行性和学习方式, 提供了一种完全不同的数据融合方法。然而, 要将神经网络方法应用到实际的融合系统中, 无论是网络结构设计还是算法规则方面, 都有许多基础工作有待解决, 如网络模型、网络的层次和每一层的节点数、网络学习策略、神经网络方法与传
统的分类方法的关系和综合应用等。目前应用于图像融合有三种网络: a)双模态神经元网络。文献[ 12] 提出六种类型的双模态神经元用于可见光和红外图像的融合。b) 多层感知器。Fechner 和Godlewski 提出了基于多层感知器神经网络的图像融合方法[ 13] , 通过训练多层感知器识别前视红外图像中感兴趣的像素, 将其融入可见光图像中。c) 脉冲耦合神经网络( PCNN) 。Broussard 等人借助该网络实现图像融合来提高目标的识别率[ 14] , 并证实了PCNN用于图像融合的可行性。
2.3基于多尺度变换的图像融合方法
基于多尺度变换的图像融合方法是像素级图像融合方法研究中的一类重要方法。基于多尺度变换的融合方法的主要步骤[ 15] 为: 对原图像分别进行多尺度分解, 得到变换域的一系列子图像; 采用一定的融合规则, 提取变换域中每个尺度上最有效的特征, 得到复合的多尺度表示; 对复合的多尺度表示进行多尺度逆变换, 得到融合后的图像。
2.3.1 基于金字塔变换的图像融合方法
Burt 最早提出基于拉普拉斯金字塔变换的融合方法[ 16] 。该方法使用拉普拉斯金字塔和基于像素最大值的融合规则进行人眼立体视觉的双目融合, 实际上该方法是选取了局部亮度差异较大的点。这一过程粗略地模拟了人眼双目观察事物的过程。用拉普拉斯金字塔得到的融合图像不能很好地满足人类的视觉心理。在文献[ 17] 中, 比率低通金字塔和最大值原则被用于可见光和红外图像的融合。比率低通金字塔虽然符合人眼的视觉特征, 但由于噪声的局部对比度一般都较大, 基于比率低通金字塔的融合算法对噪声比较敏感, 且不稳定。为了解决这一问题, Burt 等人[ 18] 提出了基于梯度金字塔变换的融合方法, 该方法用了匹配与显著性测度的融合规则。Richard 等人[ 19] 给出了以上三种金字塔用于图像融合的定性和定量的结果。另外, Barron 和Thomas[ 20] 提出一种基于纹理单元的金字塔算法, 它在每层图像中采用24 个纹理滤波器以获取不同方向的细节信息。与梯度金字塔算法相比, 它能够提取出更多的细节信息。文献[ 21] 提出了一种基于形态学金字塔变换的图像融合方法。
基于金字塔变换融合方法的优点是可以在不同空间分辨率上有针对性地突出各图像的重要特征和细节信息, 相对于简单图像融合方法, 融合效果有明显的改善。其缺点是图像的金字塔分解均是图像的冗余分解, 即分解后各层间数据有冗余;同时在图像融合中高频信息损失较大, 在金字塔重建时可能出现模糊、不稳定现象; 图像的拉普拉斯、比率低通、形态学金字塔分解均无方向性。
2.3.2 基于小波变换的图像融合方法
小波变换技术具有许多其他时( 空) 频域所不具有的优良特性, 如方向选择性、正交性、可变的时频域分辨率、可调整的局部支持以及分析数据量小等。这些优良特性使小波变换成为图像融合的一种强有力的工具。而且, 小波变换的多尺度变换特性更加符合人类的视觉机制, 与计算机视觉中由粗到细的认知过程更加相似, 更适于图像融合[ 22] 。
基于小波变换的图像融合方法的基本步骤为: 对每一幅原图像分别进行小波变换, 建立图像的小波金字塔分解; 对各分解层从高到低分别进行融合处理, 各分解层上的不同频率分量可采用不同的融合规则进行融合处理, 最终得到融合后的小波金字塔; 对融合后所得的小波金字塔进行小波逆变换, 所得重构图像即为融合图像。图2 给出了基于小波变换的图像融合
方法的结构示意图。
目前, 基于小波变换的图像融合方法的研究主要集中在以下几个方面:
a) 融合规则及融合算子的选择。在小波图像融合过程中, 融合规则及融合算子的选择对融合质量至关重要, 这直接影响到图像质量的好坏。针对不同类型和特征的图像, 目前已经提出了大量的高、低频融合规则。高频融合规则主要包括
[ 23] 简单和加权平均准则、取系数绝对值较大准则、基于小波模极大值的融合准则、基于区域能量的融合准则、局部方差准则、局部平均梯度准则、局部均方差
准则、消除高频噪声法等。通常情况下, 低频部分融合一般采用平均的线性融合规则, 但在许多情况下, 这种取平均的线性融合方法会影响最终的融合效果。文献[ 24] 中提出了平均与选择相结合的低频融合规则。该方法考虑了两幅图像的相关性, 在一定程度上符合人眼对较显著的点比较敏感这一事实, 融合效果相对平均法有一定的改善, 但无显著的提高。燕文浩等人[ 25] 提出了基于Canny边缘检测算子的低频融合规则, 有效地改善了融合图像边缘细节的准确度, 提高了融合图像的分辨率。
b) 小波分解与重构的形式。Li Ming 等人[ 26] 将离散小波变换应用于遥感图像融合中, 取得了很好的融合效果。在进行小波变换时, 由于采用了行列降采样, 图像的大小发生了变化,每层图像的大小均为上一层图像的1 /4。这种变化在图像融合处理过程中有时是不利的, 特别是在图像配准精度不高的情况下, 容易产生分块效应。为此, Zhang Zhong 和Blum[ 27] 提出了基于小波框架的图像融合算法, 这种算法经变换后的图像大小不发生变化, 克服了上述缺点, 但计算量相对较大。多小波是近几年刚刚发展起来的小波理论的一个新的组成部分, 它提供了更加广泛的小波基选择范围, 能够找到具有更好性质的优于二进制波的小波函数。Wang Hai-hui[ 28] 提出了基于多小波变换的图像融合方法, 使图像的融合效果得到了进一步改善。1994 年Sweldens 不依赖于傅里叶, 提出了一种基于提升机制的小波变换新方法。基于提升机制方法能够实现小波变换的快速算法, 可以提高融合速度, 节省内存和存储空间, 所以基于提升机制的小波变换开始被应用于许多图像融合之中[ 29 ～31] 。根据小波分解与重构的形式不同, 基于小波的图像融合方法大致可分为塔形小波变换( PDWT) 、塔形小波帧变( PDWFT) 、树状小波帧变换( TDWFT) 、小波框架、多小波变换、基于提升机制小波变换( FILWT) 的融合方法。
c) 小波融合方法与其他融合方法的结合。目前, 针对某类特定的融合原图像和某种特殊的融合目的, 出现了许多小波方法与其他融合方法相结合的算法。唐国良等人[ 32] 提出了基于IHS变换和小波变换的昼夜彩色图像融合算法; Zhang Yun等人[ 33] 将HIS 与小波技术结合起来用于遥感图像融合中, 明显降低了融结果中的颜色扭曲现象; 蒋年德等人[ 34] 提出一种新的基于主分量变换与小波变的
图像融合方法, 该方法使融合图像在较好地保留光谱信息的同时, 增强了空间细节信息。
基于小波变换的图像融合方法进一步的研究方向主要包括: 新的融合量测指标; 新的高、低频融合规则; 分解层数对融合图像的影响及层数优化; 新的小波分解与重构方法; 小波融合方法与其他融合方法新的结合。
2.4基于Ridgelet 变换的图像融合方法
当小波变换推广到二维或更高维时, 由一维小波张成的可分离小波只有有限的方向, 不能最优表示含线或者面奇异的高维函数。因此, 小波只能反映信号的点奇异性( 零维) , 而对诸如二维图像中的边缘以及线状特征等线、面奇异性( 一维或更高维) , 小波则难以表达其特征。针对小波变换的不足, Candes[ 35] 提出了一种适合分析一维或更高维奇异性的脊波( Ridgelet) 变换。脊波变换用于图像融合的意义在于: a) 脊波变换通过Radon 变换把图像中线特征转换成点特征,
然后通过小波变换将点的奇异性检测出来。其处理过程克服了小波仅仅能反映“过”边缘的特征, 而无法表达“沿”边缘的特征。b)脊波变换继承了小波变换的空域和频域局部特性。c) 脊波变换具有很强的方向性, 可以有效地表示信号中具有方向性的奇异性特征, 如图像的线性轮廓等, 为融合图像提供更多的信息。d) 脊波变换较小波变换具有更好的稀疏性, 克服了小波变换中传播重要特征在多个尺度上的缺点, 变换后能量更加集中,所以在融合过程中抑制噪声的能力也比小波变换更强。因此将脊波变换引入图像融合, 能够更好地提取原始图像的特征,为融合图像提供更多的信息。文献[ 36] 提出了一种基于脊波变换SAR 与可见光图像融合方法。该方法在保留合成孔径雷达SAR 与可见光图像重要信息、抑制噪声能力方面均优于小波变换。
由于脊波理论建立时间不长, 还有许多值得研究的课题,例如, 如何能够减轻甚至消除在重构图像过程中出现的轻微划痕、如何简化脊波的复杂计算、寻求快速算法等。
2.5 基于Curvelet 变换的图像融合方法
Curvelet 变换是由Candes 提出的Ridgelet 变换演变而来的。Ridgelet 变换对含有直线奇异的多变量函数有很好的逼近效果, 能稀疏地表示包含直线边缘的分片平滑图像。但是对于含有曲线奇异的图像, Ridgelet 变换的逼近性能只与
小波变换相当。由于多尺度Ridgelet 分析冗余度很大, Candes 和Donoho于1999 年提出了曲线波( Curvelets) 变换理论[ 37] , 即第一代Curvelet变换。其基本思想是: 首先对图像进行子带分解; 然后对不同尺度的子带图像采用不同大小的分块; 最后对每个块进行Ridgelet 分析。由于Curvelet 结合了Ridgelet 变换的各向异性和小波变换的多尺度特点, 它的出现对于二维信号分析具有里程碑式的意义, 也开始被应用于图像融合。Choi 等人[ 38] 首次将Curvelet 应用于多光谱图像和全景图像的融合, 结果具有更丰富的空间和光谱信息以及更佳的视觉效果。文献[ 39] 提出了一种基于Curvelet 变换多传感器图像融合算法, 该方法相比传统的基于
小波变换的图像融合算法。能够有效避免人为效应或高频噪声的引入, 得到具有更好视觉效果和更优量化指标的融合图像。
由于第一代Curvelet 变换的数字实现比较复杂, 需要子带分解、平滑分块、正规化和Ridgelet 分析等系列步骤, 且Curvelet金字塔的分解也带来了巨大的数据冗余量, Candes 等人又提出了实现更简单、更便于理解的快速Curvelet 变换算法, 即第二代Curvelet 变换[ 40, 41] 。第二代Curvelet 与第一代在构造
上已经完全不同: 第一代的构造思想是通过足够小的分块将曲线近似到每个分块中的直线来看待, 然后利用局部的Ridgelet分析其特性; 第二代Curvelet与Ridgelet 理论并没有关系, 实现过程也无须用到Ridgelet, 两者之间的相同点仅在于紧支撑、框架等抽象的数学意义。文献[ 42] 提出了一种基于第二代Curvelet 变换的图像融合方法, 并应用于多聚焦图像的融合。该方法可以更好地提取原始图像的特征, 为融合提供更多的信息, 相比第一代Curvelet 变换更易于实现。
3 像素级图像融合技术应用领域
3. 1 图像融合理论框架[ 43]
不同级的融合试验表明每一级都有典型的属性, 并拥有某种典型的融合方法, 但是所有这些方法应存在一个共同的原理。这促使研究一个通用的数学模型来抽象这些过程, 并将这个融合模型纳入到一个复杂的图像理解系统中, 成为图像融合的最终目的。文献[ 44] 给出了一个统一的图像融合框架, 在此框架下可分类、比较和评估现存的一些图像融合算法。
3. 2 新的分解方法
1) 矩阵分解法文献[ 45] 认为从不同传感器获取的图像, 可以看做是融合图像乘以不同的权重, 故可以使用非负矩阵分解技术来进行图像融合。
2) 易操纵金字塔分解易操纵金字塔是一种多尺度、多方向、具有自转换能力的图像分解方法, 它把图像分解成不同尺度、多方向( 多于三个方向) 的子带系列。与小波变换不同,它不仅保持了紧支撑正交小波的特点, 而且具有平移不变性及方向可操纵等优点。使用基于拉普拉斯变换、小波变换的融合方法, 即使原图像间存在较小的配准误差, 也会引起融合图像的严重退化, 出现双边缘以及虚假成分。基于易操纵金字塔的融合方法能够克服这些缺点。
3) Hermite 变换[ 46] 由于Hermite 变换基于高斯梯度算子, 对图像融合来说, 它具有更好的图像表示模型。
4) 局部余弦基局部基将时间轴划分成不同大小的时间片断。特别引人注意的是余弦基, 它可以通过设计覆盖每个时间片断的平滑窗口和用不同频率的余弦函数相乘得到。通过迭代基于局部余弦基的分割空间可构造局部余弦树, 提供了为特定信号选择最优基的方法。最好的局部余弦基使时间分割的片断随自适应信号时频结构的变化而变化。
5) Contourlet 变换在继承Curvelet 变换的各向异性尺度关系的基础上, Donoho 和Vetterli 提出一种新的图像二维表示方法: Contourlet 变换[ 47] 。它是小波变换的一种新扩展, 是一种多分辨率的、局域的、多方向的图像表示方法。Contourlet 变换的优点在于能够仅使用少量系数有效地表示平滑轮廓, 而平滑轮廓正是自然图像中的重要特征。Contourlet 变换不仅提供任意方向上的信息, 采样冗余度小, 而且使用迭代滤波器组可实现高效计算, 计算复杂度远低于Curvelet 变换。文献[ 48] 将Contourlet 变换应用于遥感全色和多光谱影像的融合。该方法能在保留多光谱影像光谱信息的同时增强融合图像的空间细
节表现能力和信息量。
3. 3 神经视觉生理学方法
美国麻省理工学院林肯实验室的A. M. Wax-man 利用对抗受域( 仿响尾蛇双模式细胞工作机理) , 提出了微光夜视图像和红外图像的对抗融合。荷兰人力因素所的Toet 提出的另一种伪彩色的可见光图像和红外图像融合方法, 也是一种
仿生的颜色对抗( color opponent) 方法。国内, 北京理工大学利用神经视觉生理学进行像素级图像融合及其彩色显示工作正处于世界前沿领域[ 49] 。
3. 4 图像融合和图像处理算法的互相结合
融合图像可以提供比单幅图像更可靠和完全的场景表示。但是, 几乎所有的融合算法都是基于基本的处理技术, 没有考虑高层的抽象信息。如今, 这些算法已不能满足观察者的复杂要求, 需要开发更具有主观意义的方法。为此, 文献[ 50] 提出了一个新的框架。其基本思路是如果用高层的信息, 如图像边缘和图像分割的边界来指导基本的像素级融合过程, 就能够实现更具有主观意义的算法。与传统的两个像素级融合方法比较表明, 多层融合结构消除了不利的影响, 且融合过程更可靠、图像变得更清晰、图像质量也更好。
3. 5 自适应优化图像融合研究
自适应图像融合是一个热点研究方向, 它要求有一个策略来决定算法在何
时以及如何满足特定的融合目的。将图像融合效果评价的信息加入到融合规则的选取和参数的选择过程中, 能更充分地利用信息源提供的信息, 会得到更好的融合效果。文献[ 51] 提出了一种先进的离散小波变换图像融合算法: 有两个参数可调, 分别为分解层数和选择小波的长度, 这两个参数决定了图像融合的质量;
然后通过质量评价因子迭代优化融合过程, 达到最优融合。进一步, 文献[ 52] 通过集成客观融合指标到传统的图像融合算法构建了新框架, 该框架可以自适应
调整融合参数, 以达到最优的融合显示。
4 像素级图像融合技术发展前景
目前国内外有关图像融合的研究还不够系统和深入, 还未形成完整的理论
框架和体系, 有许多理论和技术问题亟待解决。未来可能的发展方向包括以下几个方面:
a) 图像配准方法研究。研究更为有效的特征匹配方法,考虑更复杂的空间变换模型, 使算法能够适用于分辨率存在较大差异的图像间的配准。
b) 图像融合方法研究。研究一些新的融合方法和规则,探讨如何实现智能融合、自适应融合、快速融合。
c) 融合质量和融合算法性能评价研究。由于图像信息的多样性, 如何定义融合算法的客观评价标准是比较复杂和困难的。所以, 进一步完善融合质量和融合算法性能的评价体系有待延续。
d) 多分辨率分解方式研究。以前多分辨率分解图像融合方法重点在图像融合规则的研究上, 但对图像的多分辨率分解方式没有给予足够的关注。实际上, 一个有效的、适于图像融合的多分辨率表示形式, 对融合结果的优劣有着至关重要的影响, 而且研究分解层数对融合图像的影响及如何选取合适的分解层数也具有重要意义。另外, 不同的多分辨率分解和融合规则的结合会产生不同性能, 现在还缺乏对其的详细研究。
e) 动态图像与序列图像的融合。目前, 大多数图像融合算法只是针对静止图像的。对于序列图像的融合, 要充分地利用图像间存在着强相关性这一点; 此外还要考虑序列图像融合所需要的实时性。
f) 系统集成。图像融合算法是一个图像融合系统的核心,但图像融合系统中的系统集成问题与图像融合算法一样非常重要, 值得周全考虑。系统集成是研制一个实时图像融合系统所关联的实际问题, 可以说优于开发更复杂或难以理解的像素级图像融合新算法。但迄今为止, 在图像融合领域中很少有人考虑这些方面。
g) 应用领域和潜力的进一步挖掘。
h) 硬件实现。图像融合的硬件实现是困难的, 有必要进一步加大力度研究图像融合技术的实际工程实现方法, 开发出能够实现各种复杂融合算法的处理硬件, 以便在数据获取的同时实时地完成融合。
参考文献:
[ 1] OH I C, GENDEREN J L. Multisensor image fusion in remote sensing:concepts, methods and applications[ J] . International Journalof Remote Sensing, 1998, 19 ( 5 ) : 823- 854 .
[ 2] VARSHNEY P K. Multi-sensor data fusion [ J] . Electro nics andCommunication Eng ineering Journal, 1997 , 9( 12) : 245- 253.
[ 3] LIU J. Smoothing filter-based intensity modulation: a spectral preserveimage fusion technique for improving spatial details[ J] . InternationalJournal of Remote Sensing, 2000, 21 ( 18) : 3461-3472 .
[ 4] ALPARONEl L, BARONTI S, GARZELLI A, et al. Landsat ETM +and SAR image fusion based on generalized intensity modulation[ J] .IEEE Tra ns o n Geosciences and Remote Sensing, 2004, 42( 12 ) : 2832- 2839.
[ 5] THERRIEN C W, SCROFANI J W, KREBS W K. An adaptive techniquefor the enhanced fusion of low-light visible with uncooled thermalinfrared imagery[ C] / / Proc of IEEE International Conference onImaging Processing. Washington D C: IEEE Computer Society, 1997:405- 408 .
[ 6] TOET A, WALRAVEN J. New false color mapping for image fusion[ J] . Optical Engineering, 1996, 35 ( 3 ) : 650 -658.
[ 7] TOET A, ILSPEERT J K, WAXMAN A. Fusion of visible and thermalimagery improves situational awareness[ J] . Displa ys, 1997, 18 ( 2 ) :85- 95 .
[ 8] SHARMA R K, PAVEL M. Adaptive and statistical image fusion[ J] .Society for Information Disp lays Dig est , 1996, 1 7( 5 ) : 969- 972.[ 9] SHARMA R K, LEEN T K, PAVEL M. Probabilistic image sensorfusion[ J] . Advances in Neural Informa tion Pro cessing Systems,1999, 11 : 203- 207.
[ 10 ] AAENCOTT R, CHALMOND B, COLDEFY F. Markov fusion of a pairof noisy images to detect intensity valleys[ J] . Intern ational Journalof Compute r Vision, 1995, 16 ( 2) : 135-145.
[ 11 ] WRIGHT W A, BRISTOL F. Quick Markov randomfield image fusion[ C] /
/Proc of SPIE.1998 : 302-308.
[ 12] NEWMAN E A, HARTLINE P H. The infrared vision of snakes[ J] .Scientific American, 1982, 46 ( 3 ) : 116 -127.
[ 13] FECHNER T, GODLEWSKI G. Optimal fusion of TV and infraredimages using artificial neural networks[ C] / /Proc of SPIE. Orlando,FL: [ s. n. ] , 1995: 919- 925. [ 14] BROUSSARD R P, ROGES S K, OXLEY M E, et al. Physiologicallymotivated image fusion for object detection using a pulse coupled neuralnetwork[ J] . IEEE Trans on Ne ural Networks, 1999, 10 ( 3 ) :554- 563 .
[ 15] TOET A. Hierarchical image fusion[ J] . Machine Vision an d App
lications,1990 , 3( 1) : 1 -11
[ 16] BURT P J. The pyramid as structure for efficient computation[ J] .Multire solution Image Processing and Analysis, 1984, 12 ( 3) : 6-
35
.[ 17] TOET A. Multiscale contrast enhancement with application to imagefusion[ J] . Optical Engineerin g, 1992, 31 ( 5) : 1026-1031.
[ 18] BURT P J, LOLCZYNSKI R J. Enhanced image capture through fusion[C] / / Proc of the 4th International Conference on Computer Vision.Berlin: [ s. n. ] , 1993: 173-182.
[ 19] RICHARD S, SIMS F, PHILLIPS M A. Target signature consistencyof image data fusion alternatives[ J] . Optical Engineerin g, 1997, 36( 3) : 743-754 .
[ 20] BARRON D R, THOMAS D J. Image fusion though consideration oftexture components[ J] . IEEE Trans on Electronics Letters, 2001,37 ( 12) : 746-748.
[ 21] MATSOPOULOS G K, MARSHALL S, BRUNT J. Multiresolutionmorphological fusion of MR and CT images of the human brain[ C] / /Proc of IEEE Vision, Image and Signal Processing. 1994: 137-142.
[ 22] ZHU Shu-long. Image fusion using wavelet transform[ C] / /Symposiumon Geospatial Theory, Processing and Applications. 2002: 62-68.
图像融合算法概述 摘要：详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。 关键词：图像融合; 多尺度变换; 评价标准 Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel level. Key words:image fusion; multi-scale transform; evaluation criteria 1.引言： 图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能. 2.图像融合算法概述 2.1 图像融合算法基本理论
多聚焦图像融合方法综述 摘要：本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块，并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。 关键词：多聚焦图像融合；空域；频域；小波变换法；评价方法 1、引言 按数据融合的处理体系，数据融合可分为：信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支，是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。 Pohl和Genderen将图像融合定义为：“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”，其主要思想是采用一定的方法，把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。 作为图像融合研究重要内容之一的多聚焦图像融合，是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像，便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中，其中，像素级的图像融合精度较高，能够提供其他融合方法所不具备的细节信息，多聚焦融合采用了像素级融合方法，它主要分为空域和频域两大块，即： （1）在空域中，主要是基于图像清晰部分的提取，有梯度差分法，分块法等，其优点是速度快、方法简单，不过融合精确度相对较低，边缘吃力粗糙； （2）在频域中，具有代表性的是分辨方法，其中有拉普拉斯金字塔算法、小波变换法等，多分辨率融合精度比较高，对位置信息的把握较好，不过算法比较复杂，处理速度比较慢。 2、空域中的图像融合 把图像f(x,y)看成一个二维函数，对其进行处理，它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。 2.1 逻辑滤波器法 最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值,
摘要 本文给出了一种基于小波变换的图像融合方法，并针对小波分解的不同频率域，分别讨论了选择高频系数和低频系数的原则。高频系数反映了图像的细节，其选择规则决定了融合图像对原图像细节的保留程度。本文在选择高频系数时，基于绝对值最大的原则，低频系数反映了图像的轮廓，低频系数的选择决定了融合图像的视觉效果，对融合图像质量的好坏起到非常重要的作用。图像融合是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。 MATLAB小波分析工具箱提供了小波分析函数，应用MATLAB进行图像融合仿真，通过突出轮廓部分和弱化细节部分进行融合，使融合后的图象具有了两幅或多幅图象的特征，更符合人或者机器的视觉特性，有利于对图像进行进一步的分析和理解，有利于图像中目标的检测和识别或跟踪。 关键词小波变换；融合规则；图像融合
Image Fusion Algorithm Based on Wavelet Transform Abstract In this paper, the image fusion method based on wavelet transform, and for the wavelet decomposition of the frequency domain, respectively, discussed the principles of select high-frequency coefficients and low frequency coefficients. The high-frequency coefficients reflect the details of the image, the selection rules to determine the extent of any reservations of the fused image on the original image detail. The choice of high-frequency coefficients, based on the principle of maximum absolute value, and consistency verification results. The low-frequency coefficients reflect the contours of the image, the choice of the low frequency coefficients determine the visual effect of the fused image, play a very important role in the fused image quality is good or bad. MATLAB Wavelet Analysis Toolbox provides a wavelet analysis function using MATLAB image fusion simulation, highlight the contours of parts and the weakening of the details section, fusion, image fusion has the characteristics of two or multiple images, more people or the visual characteristics of the machine, the image for further analysis and understanding, detection and identification or tracking of the target image. Keywords Wavelet transform; Fusion rule; Image Fusion
超分辨率复原技术的发展 The Development of Super2Re solution Re storation from Image Sequence s 1、引言 在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥 补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。 （图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提 高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率 (super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。） （我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如 光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极
1 绪论 1.1研究目的及意义 20世纪90年代中后期以后，搭载许多新型传感器的卫星相继升空，使得同一地区的遥感数据影像数目不断增多。如何有效地利用这些不同时相、不同传感器、不同分辨率的遥感数据便成为了遥感工作者研究的瓶颈问题，然而解决这一问题的关键技术就是遥感影像数据融合。 遥感数据融合就是对多个遥感器的图像数据和其他信息的处理过程，它着重于把那些在空间或时间上冗余或互补的多源数据，按一定法则（算法）进行处理，获得比单一数据更精确、更丰富的信息，生成一幅具有新的空间、波谱和时间特征的合成图像。 遥感是不同空间、时间、波谱、辐射分辨率提供电磁波谱不同谱段的数据。由于成像原理不同和技术条件的限制，任何一个单一遥感器的遥感数据都不能全面的反映目标对象的特征，也就是有一定的应用范围和局限性。各类非遥感数据也有它自身的特点和局限性。影像数据融合技术能够实现数据之间的优势互补，也能实现遥感数据与地理数据的有机结合。数据融合技术是一门新兴的技术，具有十分广阔的应用前景。所以，研究遥感影像数据融合方法是非常必要的。 1.2研究现状及发展的趋势 1.2.1研究现状 20世纪美国学者提出“多传感器信息融合”的概念认为在多源遥感影像数据中能够提取出比单一遥感影像更丰富、更有效、更可靠的信息。之后由于军事方面的要求，使得遥感影像数据融合技术得到了很大的发展，美、英，德等国家已经研制出了实用的遥感数据融合处理的系统和软件，同时进行了商业应用。 1）、融合结构 融合的结构可分为两类：集中式和分布式。集中式融合结构：各传感器的观测数据直接被送到中心，进行融合处理，用于关联、跟踪、识别等。分布式融合结构：每个传感器独立完成关联、识别、跟踪，然后由融合中心完成配准、多源关联的融合。 2）、融合的层次 图像融合可分为：像元级融合、特征级融合和决策级融合。 像元级融合是最低级的信息融合，可以在像素或分辨单位上进行，又叫做数据级融合。它是对空间配准的遥感影像数据直接融合，然后对融合的数据进行特征提取和属性说明。 特征级融合是由各个数据源中提取特征信息进行综合分析和处理的过程，是中间层次的融合。特征级融合分为目标状态信息融合和目标特征融合。 决策级融合是在信息表示的最高层次上进行融合处理。首先将不同传感器观测同一目标获得的数据进行预处理、特征提取、识别，以建立对所观测目标的初步理论，然后通过相关处理、决策级融合判别，最终获得联合推断结果，从而为决策提供依据。
摘要：介绍了遥感影像三种常用的图像融合方式。进行实验，对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像，简要分析比较三种图像融合方式的各自特点，择出本次实验的最佳融合方式。 关键字：遥感影像；图像融合；主成分变换；乘积变换；比值变换；ERDAS IMAGINE 1. 引言 由于技术条件的限制和工作原理的不同，任何来自单一传感器的信息都只能反映目标的某一个或几个方面的特征，而不能反应出全部特征。因此，与单源遥感影像数据相比，多源遥感影像数据既具有重要的互补性，也存在冗余性。为了能更准确地识别目标，必须把各具特色的多源遥感数据相互结合起来，利用融合技术，针对性地去除无用信息，消除冗余，大幅度减少数据处理量，提高数据处理效率；同时，必须将海量多源数据中的有用信息集中起来，融合在一起，从多源数据中提取比单源数据更丰富、更可靠、更有用的信息，进行各种信息特征的互补，发挥各自的优势，充分发挥遥感技术的作用。[1] 在多源遥感图像融合中，针对同一对象不同的融合方法可以得到不同的融合结果，即可以得到不同的融合图像。高空间分辨率遥感影像和高光谱遥感影像的融合旨在生成具有高空间分辨率和高光谱分辨率特性的遥感影像，融合方法的选择取决于融合影像的应用，但迄今还没有普适的融合算法能够满足所有的应用目的，这也意味着融合影像质量评价应该与具体应用相联系。[2] 此次融合操作实验是用三种不同的融合方式（主成分变换融合，乘积变换融合，比值变换融合），对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多
光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像。 2. 源文件 1 、 imagerycolor.tif ，SPOT图像，分辨率10米，有红、绿、两个红外共四个波段。 2 、imagery-5m.tif ，SPOT图像，分辨率5米。 3. 软件选择 在常用的四种遥感图像处理软件中，PCI适合用于影像制图，ENVI在针对像元处理的信息提取中功能最强大，ER Mapper对于处理高分辨率影像效果较好，而ERDAS IMAGINE的数据融合效果最好。[3] ERDAS IMAGINE是美国Leica公司开发的遥感图像处理系统。它以其先进的图像处理技术，友好、灵活的用户界面和操作方式，面向广阔应用领域的产品模块，服务于不同层次用户的模型开发工具以及高度的RS/GIS（遥感图像处理和地理信息系统）集成功能，为遥感及相关应用领域的用户提供了内容丰富而功能强大的图像处理工具。 2012年5月1日，鹰图发布最新版本的ERDAS IMAGINE，所有ERDAS 2011软件用户都可以从官方网站上下载最新版本 ERDAS IMAGINE 11.0.5. 新版本包括之前2011服务包的一些改变。相比之前的版本，新版本增加了更多ERDAS IMAGINE和GeoMedia之间的在线联接、提供了更为丰富的图像和GIS产品。用户使用一个单一的产品，就可以轻易地把两个产品结合起来构建一个更大、更清
图像融合的研究背景和研究意义 1概述 2 图像融合的研究背景和研究意义 3图像融合的层次 像素级图像融合 特征级图像融合 决策级图像融合 4 彩色图像融合的意义 1概述 随着现代信息技术的发展，图像的获取己从最初单一可见光传感器发展到现在的雷达、高光谱、多光谱红外等多种不同传感器，相应获取的图像数据量也急剧增加。由于成像原理不同和技术条件的限制，任何一个单一图像数据都不能全面反应目标对象的特性，具有一定的应用范围和局限性。而图像融合技术是将多种不同特性的图像数据结合起来，相互取长补短便可以发挥各自的优势，弥补各自的不足，有可能更全面的反映目标特性，提供更强的信息解译能力和可靠的分析结果。图像融合不仅扩大了各图像数据源的应用范围，而且提高了分析精度、应用效果和使用价值，成为信息领域的一个重要的方向。图像配准是图像融合的重要前提和基础，其误差的大小直接影响图像融合结果的有效性。 作为数据融合技术的一个重要分支，图像融合所具有的改善图像质量、提高几何配准精度、生成三维立体效果、实现实时或准实时动态监测、克服目标提取与识别中图像数据的不完整性等优点，使得图像融合在遥感观测、智能控制、无损检测、智能机器人、医学影像(2D和3D)、制造业等领域得到广泛的应用，成为当前重要的信息处理技术，迅速发展的军事、医学、自然资源勘探、环境和土地、海洋资源利用管理、地形地貌分析、生物学等领域的应用需求更有力地刺激了图像融合技术的发展。 2 图像融合的研究背景和研究意义 Pohl和Genderen对图像融合做了如下定义：图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。它的主要思想是采用一定的算法，把
遥感影像融合处理方法 摘要：本文介绍了遥感影像数据融合技术，并给出了融合的一些基本理论、融合处理一般步骤以及常用融合处理方法，最后简要描述了融合评价的方式方法等。 关键词：遥感影像融合融合评价 1、前言 将高分辨率的全色遥感影像和低分辨率的多光谱遥感影像进行融合，获得色彩信息丰富且分辨率高的遥感融合影像的过程，成为遥感影像融合。全色影像一般具有较高空间分辨率，多光谱影像光谱信息较丰富，为提高多光谱影像的空间分辨率，可以将全色影像融合进多光谱影像。通过影像融合既可以提高多光谱影像空间分辨率，又能保留其多光谱特性。 2、遥感影像融合一般步骤 遥感影像信息融合一般流程主要分为两个阶段：图像预处理，图像融合变换。 图像预处理主要包括：几何校正及影像配准。几何校正主要在于去除透视收缩、阴影等地形因素以及卫星扰动、天气变化、大气散射等随机因素对成像结果一致性的影响；影像配准的目的在于消除由不同传感器得到的影像在拍摄角度、时相及分辨率等方面的差异。 3 常用融合方式 3.1 IHS融合 IHS（亮度I、色度H、饱和度S）变换就是将影像从RGB彩色空间变换到IHS空间来实现影像融合的一种方法。由光学、热红外和雷达(微波)等方式得到的不同波段遥感数据，合成的RGB颜色空间是一个对物体颜色属性描述系统，而IHS色度空间提取出物体的亮度、色度、饱和度，它们分别对应每个波段的平均辐射强度、数据向量和的方向及其等量数据的大小。RGB颜色空间和IHS 色度空间有着精确的转换关系。IHS变换法只能用三个波段的多光谱影像融合和全色影像融合。 3.2 小波融合 小波变换，基于遥感影像的频域分析进行的，由于同一地区不同类型的影像，低频部分差别不大，而高频部分相差很大，通过小波变换对变换区实现分频，在分频基础上进行遥感影像的融合，常用于雷达影像SAR与TM影像的融合。
第八章图像融合算法 8.1 图像融合技术的发展过程 随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。如今，图像融合方法已经运用于社会的很多领域，像遥感卫星图像，光图像，红外图像，医学图像，尤其是多传感器图像融合应用以来，它已成为计算机视觉，目标识别，机器人以及军事等方面研究的重要方面。
8.2基于小波变换图像融合的基本原理 如果一个图像进行L 层小波分解，我们将得到（3L ＋1）层子带，其中包括低频的基带和层的高频子带。用代表源图像，记为，设尺度系数和小波函数对应的滤波器系数矩阵分别为，则二维小波分解算法可描述为： j C 3L ,h v d D D D 和(,)f x y 0C ()x Φ()x ΨH G 与11 1 j h j j v j j d j j C HC H D GC H D HC G D GC G +++′ =??′=??′=??′=?j+1(0,1, (1) j J =?（8-1）
小波重构算法为： 基于二维DWT 的融合过程如图1.1所示，ImageA 和 ImageB 代表两幅源图像A 和B ，ImageF 代表融合后的图像，具体步骤如下：（1）图像的预处理： 1h v d j j j j j C H C H G D H H D G G D G ?′′′′=+++(,1, (1) j J J =?（8-2） 图8.1 基于DWT 图像融合过程
①图像滤波 ②图像配准 （2）对ImageA和ImageB进行二维DWT分解，得到图像的低频和高频分量。 （3）根据低频和高频分量的特点，按照各自的融合算法进行融合。 （4）对以上得到的高低频分量，经过小波逆变换重构得到融合图像ImageF。 8.3 融合效果性能评价指标 8.3.1均值和标准差
浅谈多源图像融合方法研究 图像融合已成为图像理解和计算机视觉领域中的一项重要而有用的新技术，多源遥感图像数据融合更是成为遥感领域的研究热点，其目的是将来自多信息源的图像数据加以智能化合成，产生比单一传感器数据更精确、更可靠的描述和判决，使融合图像更符合人和机器的视觉特性，更有利于诸如目标检测与识别等进一步的图像理解与分析。遥感图像融合的目的就在于集成或整合多个源图像中的冗余信息和互补信息，利用优势互补的数据来提高图像的信息可用程度，同时增加对研究对象解译（辨识）的可靠性。 标签：遥感图像图像融合几何纠正空间配准图像去噪 1前言 多源遥感图像融合就是将多个传感器获得的同一场景的遥感图像或同一传感器在不同时刻获得的同一场景的遥感图像数据或图像序列数据进行空间和时间配准，然后采用一定的算法将各图像数据或序列数据中所含的信息优势互补性的有机结合起来产生新图像数据或场景解释的技术。 2多源图像融合的预处理 预处理的主要目的是纠正原始图像中的几何与辐射变形，即通过对图像获取过程中产生的变形、扭曲和噪音的纠正，以得到一个尽可能在几何和辐射上真实的图像。 2.1图像的几何纠正 图像几何校正一般包括两个方面，一是图像像素空间位置互换，另一个是像素灰度值的内插。故遥感图像几何校正分为两步，第一步是做空间几何变换，这样做的目的是使像素落在正确的位置上；第二步是作像素灰度值内插，重新确定新像素的灰度值，重采样的方法有最临近法、双线性内插法和三次卷积内插法。数字图像几何校正的主要处理过程如图1所示。 2.2图像的空间配准 图像数据配准定义为对从不同传感器、不同时相、不同角度所获得的两幅或多幅影像進行最佳匹配的处理过程。其中的一幅影像是参考影像数据，其它图像则作为输入影像与参考影像进行相关匹配。图像配准的一般过程是在对多传感器数据经过严密的几何纠正处理、改正了系统误差之后，将影像投影到同一地面坐标系统上，然后在各传感器影像上选取少量的控制点，通过特征点的自动选取或是计算其各自间的相似性、配准点的粗略位置估计、配准点的精确确定以及配准变换参数估计等的处理，从而实现影像的精确配准。
包头师范学院 本科学年论文 论文题目：高分辨率遥融图像融合方法比较院系：资源与环境学院 专业：地理信息系统 学号：0912430022 姓名：郭殿繁 指导教师：同丽嘎 撰写学年：2010 至2011 学年 二零一零年十二月
摘要：目前，遥感中高分辨率全色遥感影像和低空间分辨率的多光谱遥感影像融合是影像融合技术应用的主流。本文通过对遥感影像四种融合方法的研究，并且用呼和浩特市快鸟影像图像融合举例，加深对四种融合方法的理解和理论应用，最后通过截取呼和浩特市快鸟影像的原始多波段彩色影像和原始高分辨率全色波段影像的一部分进行四种融合方法来进行精度的比较，以ENVI4.7软件作为平台，最终得出，Gram-Schmidt变换效果最好，HSV变换融合效果最差。 关键词：图像融合；PCA变换；Gram-Schmidt变换；Brovey变换；HSV变换；精度比较 Abstract: At present, the remote sensing high resolution full-color remote sensing image and low spatial resolution multi-spectral remote sensing image fusion is image fusion technology application of mainstream. This article through to four kinds of remote sensing image fusion method with the principle and analysis, and in Hohhot, fast image image fusion for example, the bird to deepen the understanding of four fusion method and theory, and finally by intercepting the original image Hohhot fast bird multichannel color image and primitive high-resolution full-color band image on the part of four fusion method for precision compared to ENVI4.7 software as a platform to finally arrive, the best effect, Schmidt transform - the worst. Fusion result transformation HSV. Key words: image fusion, PCA transform; Schmidt transform; the - Brovey transform; HSV transform; Precision；
基于MATLAB的图像融合算法
基于MATLAB的图像融合算法 摘要 图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。 图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。 本论文的主要的研究内容有： 首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的 图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析的判断标准。 关键词：图像配准；图像融合；空域融合法；小波变换；评价标准
MATLAB-based image fusion algorithm Abstract The same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be combined to produce new image data using some fusion algorithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears in the explanation of the studied object or the environment, and make full use of the information provided by all kinds of resources. Image fusion consists of such three levels as the Pixel level，the feature level and the decision level，among which the Pixel level image fusion can Provide more abundant, accurate and reliable detailed information tha t doesn’t exist on the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level image fusion and proposes a variety of Pixel level image fusion techniques according to the key Problems in the Pixel level image fusion techniques. The major research and findings are as follows: First we introduce the concepts，advantages，developments and applications. Three levels of image fusion and image fusion techniques in common use are also reviewed. Airspace Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, and the image fusion method based on wavelet transform Image Pre-processing like Filter processing (neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality assessment and deduces a set of indexes as the criteria to analyze the performances of this discussion. Keywords: Image Registration；Image Fusion；Airspace integration method；Wavelet Transform；Evaluation criteria
ENVI下的图像融合方法 图像融合是将低空间分辨率的多光谱影像或高光谱数据与高空间分辨率的单波段影像重采样生成成一副高分辨率多光谱影像遥感的图像处理技术，使得处理后的影像既有较高的空间分辨率，又具有多光谱特征。图像融合的关键是融合前两幅图像的精确配准以及处理过程中融合方法的选择。只有将两幅融合图像进行精确配准，才可能得到满意的结果。对于融合方法的选择，取决于被融合图像的特征以及融合目的。 ENVI中提供融合方法有： ?HSV变换 ?Brovey变换 这两种方法要求数据具有地理参考或者具有相同的尺寸大小。RGB输入波段必须为无符号8bit数据或者从打开的彩色Display中选择。 这两种操作方法基本类似，下面介绍Brovey变换操作过程。 （1）打开融合的两个文件，将低分辨率多光谱图像显示在Display中。 （2）选择主菜单-> Transform -> Image Sharpening->Color Normalized (Brovey)，在Select Input RGB对话框中，有两种选择方式：从可用波段列表中和从Display窗口中，前者要求波段必须为无符号8bit。 （3）选择Display窗口中选择RGB，单击OK。 （4） Color Normalized (Brovey)输出面板中，选择重采样方式和输入文件路径及文件名，点击OK输出结果。 对于多光谱影像，ENVI利用以下融合技术： ?Gram-Schmidt ?主成分（PC）变换 ?color normalized (CN)变换 ?Pan sharpening 这四种方法中，Gram-Schmidt法能保持融合前后影像波谱信息的一致性，是一种高保真的遥感影像融合方法；color normalized (CN)变换要求数据具有中心波长和FWHM，；Pansharpening融合方法需要在ENVI Zoom中启动，比较适合高分辨率影像，如QuickBird、IKONOS等。 这四种方式操作基本类似，下面介绍参数相对较多的Gram-Schmidt操作过程。 （1）打开融合的两个文件。
多模态图像融合算法综述 多模态图像融合能最大限度地提取各模态的图像信息，同时减少冗余信息。文章提出一种新的图像融合算法的分类体系，在分析新体系的基础上，阐述了各体系下的代表性算法，论述图像融合的研究背景及研究进展，最后提出了未来趋势的新目标。 标签：图像融合；像素级；特征级；决策级；图像融合算法 引言 不同模态传感器关于同一场景所采集到的图像数据经过相关技术处理相融合的过程称为多模态图像融合，本文站在新的角度，提出一种新的分类体系，同时阐述各体系下的代表性算法，论述图像融合领域的发展现状。 1 图像融合的体系 根据融合的对象，图像融合一般分为三个等级：像素级、特征级及决策级[1]。像素级的处理对象是像素，最简单直接，特征级建立在抽取输入源图像特征的基础上，决策级是对图像信息更高要求的抽象处理，本文在此基础上提出一种不同的的分类体系，即直接融合和间接融合。 1.1 直接图像融合算法 直接图像融合算法分基于像素点和基于特征向量的融合方法，基于像素点的融合主要针对初始图像数据而进行[2]，是对各图像像素点信息的综合处理[3]。 1.2 间接图像融合算法类 间接图像融合算法是指对图像进行变换、分解重构或经神经网络处理后，通过逻辑推理来分析多幅图像的信息。 2 直接图像融合算法类 直接图像融合算法分基于像素点和基于特征向量的图像融合算法。 2.1 基于像素点的直接图像融合算法 设待融合图像X、Y，且X（i，j）、Y（i，j）为图像X、图像Y在位置（i，j）的灰度值，则融合后的图像Z（i，j）=x X（i，j）+y Y（i，j），x、y是加权系数且x+y=1。算法简单、融合速度快，但减弱了图像的对比度[4]。 2.2 基于特征向量的直接图像融合算法
遥感图像处理实习报告 实验内容：影像融合与增强 班级：测绘1102班 学号：13 姓名： 指导老师：陈晓宁、黄远程、竞霞、史晓亮 西安科技大学 测绘科学与技术学院 二零一三年一月 实习三影像融合与增强
一、实习内容： 1.掌握ENVI中各种影像融合方法，并比较各方法的优缺点； 2.熟悉ENVI图像增强操作； 3.本实习的数据源为上节已经过校正的资源三号多光谱和全色影像。 二、实习目的： 1.了解和认识各种图像融合方法的原理、内容及要点； 2.熟悉、熟练操作ENVI软件中各种图像融合的方法、步骤并学会加以比较； 3.学习利用ENVI软件进行各种图像增强处理操作； 4.学会定性、定量分析比较图像融合的差异。 三、实习步骤： 1.图像融合： 三波段融合： HSV和Color Normalized (Brovey)变换： 1）从ENVI主菜单中，选择File → Open Image File，分别加载校正后的资源三号多光谱与全色影像到可用波段列表Available Bands List中； 2）选择多光谱3,2,1波段（可以根据需要选择）对应R，G，B，点击Load RGB将多光谱影像加载到显示窗口display#1； 3）在ENVI的主菜单选择Transform → Image Sharpening → HSV； 4）在Select Input RGB Input Bands对话框中，选择Display #1，然后点击OK。 5）从High Resolution Input File对话框中选择全色影像，点击OK。 6）从HSV Sharpening Parameters对话框中，选择重采样方法，并输入输出路径和文件名，点击OK。即可完成HSV变换融合；
东北大学 研究生考试试卷 考试科目：现代信号处理理论和方法______________ 课程编号：_______________________________ 阅卷人：_________________________________ 考试日期：_________ 2011年11月24日________________ 姓名：________________ 朱学欢 _______________________ 学号：____________ 1101139 ___________________ 注意事项 〔?考前研究生将上述项目填写清楚 2?字迹要清楚，保持卷面清洁 3?交卷时请将本试卷和题签一起上交 东北大学研究生院
基于MATLAB的图像融合方法 姓名：朱学欢学号：1101139 一、图像融合算法 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。 数字图像融合是图像分析的一项重要技术，其目的是将两幅或多幅图像拼接起来构成一副整体图像，以便于统一处理，该技术在数字地图拼接、全景图、虚拟现实等领域有着重要应用。虽然Photoshop等图像处理软件提供了图像处理功能，可以通过拖放的方式进行图像拼接，但由于完全是手工操作，单挑乏味，且精度不高，因此，有必要寻找一种方便可行的图像融合方法。Matlab具有强 大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台，可让用户把精力集中在算法而不是编程上，从而能大大提咼研究效率。 在图像融合中，参加融合的源图像是由不同的传感器或者是同一传感器在不同时刻得到的，所以在进行融合之前需要对图像进行配准和一些预处理操作。在本实验中所提到的参加融合的图像都是经过了配准了的，图像融合的过程可以发生在信息描述的不同层。 聚九左边杵范It (b) 寓M用僱竝舍技倉遵胯于勲钟机 (?) AW CT图倬ex詹M阳图偉側玄乌b的*售丼髭 圈1-5图俅融令校*摩匿単上的庭周 1、图像融合算法的层次分类 图像融合系统的算法按层次结构划分可分为信号级、像素级、特征级和决策级。 信号级融合： 是指合成一组传感器信号，目的是提供与原始信号形式相同但品质更高的信号。
北京化工大学 学士学位论文 遥感图像的假彩色合成 姓名：刘晓璐 班级：信息与计算科学0304班 学号：200362102
遥感图像的假彩色合成 摘要：遥感，作为采集地球数据及其变化信息的重要技术手段，在世界范围内及其我国的许多政府部门，科研单位和公司得到了广泛的应用。在遥感数据源向着更高光谱分辨率和更高空间分辨率发展的同时，处理技术也更加成熟；在应用上，结合了地理信息系统（GIS）和全球定位系统（GPS），向着更系统化，更定量化方向发展，使遥感数据的应用更加广泛和深入。 假彩色增强是将一幅彩色图像映射为另一幅彩色图像，从而达到增强彩色对比，使某些图像达到更加醒目的目的。 本文的主要目的就是大遥感的多光谱图像用自然彩色显示。在遥感的多光谱图像中，有些是不可见光波段的图像，如近红外，红外，甚至是远红外波段。因为这些波段不仅具有夜视能力，而且通过与其他波段的配合，易于区分地物。 用假彩色技术处理多光谱图像，目的不在于使景物恢复自然的彩色，而是从中获得更多的信息。为了实现这样的目的，本文采用了MATLAB数学软件编程的方法以及运用Envi4.2 软件直接编辑图像这两种方法，并对其进行对比，得出最优的合成图像。 关键词：图像融合，假彩色合成，彩色增强，灰度级，RGB图像，
False color mapping for image fusion Abstract: A pixel-based color-mapping algorithm is presented that produces a fused false color rendering of two gray-level images representing different sensor modalities. The resulting images have a higher information content than each of the original images and retain sensor specific image information. The unique component of each image modality is enhanced in the resulting fused color image representation. First, the component of two original input images is determined. Second, the common component of each image. Third, the unique component of each image modality is subtracted from the image of the other modality. This step serves to enhance the representation of sensor-specific details in the final fused result. Finally, a fused color image is produced by displaying the images resulting from the last step through, respectively, the red and green channels of a color display. The method is applied to fuse thermal and visual images. The results show that the color mapping enhances the visibility of certain details and preserves the specificity of the sensor information. The fused images also have a fairly natural appearance. The fusion scheme involves only operations on corresponding pixels. The resolution of the input images. Before fusing, the contrast of the images can be enhanced and their noise can be reduced by standard image processing techniques. The color mapping algorithm is computationally simple. This implies that the investigated approaches can eventually be applied in real time and that the hardware needed is not too complicated or too voluminous(an important consideration when it has to fit in an airplane, for instance). Key words: image fusion, false color mapping, color enhances, gray-level, RGB images