一种新的多聚焦图像融合方法

嘲甥熬塌　ｉａｃｔ　ｏ　ｎ　ｉ　ｆ　ｒｉ”　

【本文献信息】王丽，卢迪．一种新的多聚焦图像融合方法［Ｊ］．电视技术，２０１２，３６（９）　一种新的多聚焦图像融合方法　

王　丽　，卢　（１．齐齐哈尔大学通信与电子工程学院，黑龙江齐齐哈尔１６１００５；２．　Ｄ．Ｇ．　迪　哈尔滨理工大学电气与电子工程学院，黑龙江哈尔滨１５００４０）　

【摘要】提出了一种新的多聚焦图像融合方法，该方法是基于改进的方向对比度和区域能量相结合的一种融合方法。该方法　先对两幅聚焦位置不同的源图像进行小波变换，然后分别计算对应分解层上的方向对比度、高频局部区域与对应的低频局部区　域的能量，将得到的最大的方向对比度和区域能量作为融合规则得到融合后图像的小波系数，最后通过小波逆变换得到融合后　的图像。采用这种方法得到的融合后的图像中各个位置都是聚焦清晰的，并且增强了对比度。最后通过仿真可以得出结论，这　种方法比仅考虑方向对比度的方法要有效。　【关键词】方向对比度；区域能量；图像融合；小波变换　【中图分类号】ＴＮ９１１．７３　【文献标识码】Ａ　

Ｎｅｗ　Ｍｕｌｔｉ—ｆｌ０ＣＢＳ　Ｉｍａｇｅ　Ｆｕｓｉｏｎ　Ｓｃｈｅｍｅ　ＷＡＮＧ　Ｌｉ　，ＬＵ　Ｄｉ　（』．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　ａｎｄ　Ｅｌｅｃｔｒｏｎ，Ｑｉｑｉｈａｒ　Ｕｎｉｖｅｒｓｉｔｙ，Ｈｅｉｌｏｎｇｆｉａｎｇ　Ｑｉｑｉｈａｒ　１６１００５，Ｃｈｉｎａ；　２．Ｓｃｈｏｏｌ　ｏｆＥｌｅｃｔｒｉｃ　ａｎｄ　Ｅｌｅｃｔｒｏｎ，Ｈａｒｂｉｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＳｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ　１５００４０，Ｃｈｉｎａ）　【Ａｂｓｔｒａｃｔ】Ａ　ｍｕｌｔｉ－ｒｅｓｏｌｕｔｉｏｎ　ｉｍａｇｅ　ｆｕｓｉｏｎ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎ　ｍ￣ｉｍｕｍ　ｄｉｒｅｃｔｉｏｎａｌ　ｃｏｎｔｒａｓｔ　ａｎｄ　ａｒｅａ－ｂａｓｅｄ　ｅｎｅｒｇｙ　ｉｓ　ｐｒｅｓｅｎｔｅｄ．Ｆｉｒｓｔｌｙ，ｔｈｅ　ｓｏｕｓｅ　ｉｍａ—　ｇｅｓ　ａｒｅ　ｐｅｒｆｏｒｍｅｄ　ｂｙ　ｔｈｅ　ｄｉｓｃｒｅｔｅ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍ，ａｎｄ　ｔｈｅ　ｄｉｒｅｃｔｉｏｎａｌ　ｃｏｎｔｒａｓｔ　ａｎｄ　ａｒｅａ—ｂａｓｅｄ　ｅｎｅｒｇｙ　ａｒｅ　ｄｅｆｉｎｅｄ．Ｓｅｃｏｎｄｌｙ，ｔｈｅ　ｗａｖｅｌｅｔ　ｃｏｅｆｆｉｃｉｅｎｔｓ　ｆｏｒ　ｔｈｅ　ｆｕｓｅｄ　ｉｍａｇｅ　ｃａｎ　ｂｅ　ｏｂｔａｉｎｅｄ　ｂｙ　ｍｅａｎｓ　ｏｆ　ｔｈｅ　ｆｕｓｉｏｎ　ｒｕｌｅｓ　ｂａｓｅｄ　ｏｎ　ｍ￣ｉｍｕｍ　ｄｉｒｅｃｔｉｏｎａｌ　ｃｏｎｔｒａｓｔ　ａｎｄ　ａｒｅａ—ｂａｓｅｄ　ｅｎｅｒｇｙ．Ｆｉｎａｌｌｙ，ｔｈｅ　ｆｕｓｅｄ　ｉｍａｇｅ　ｉｓ　ｒｅｃｏｎｓｔｒｕｃｔｅｄ　ｂｙ　ｉｎｖｅｒｓｅ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍ．Ｂｙ　ｔｈｉｓ　ｓｃｈｅｍｅ，ａｌｌ　ｌｏｃａｔｉｏｎｓ　ａｒｅ　ｆｏｃｕｓｅｄ　ｃｌｅａｒｌｙ　ａｎｄ　ｔｈｅ　ｃｏｎｔｒａｓｔ　ｆｒｏｍ　ｅａｃｈ　ｏｒｉｇｉｎａｌ　ｉｍａｇｅ　ｉｓ　ｅｍｐｈａｓｉｚｅｄ　ｉｎ　ｔｈｅ　ｆｕｓｅｄ　ｉｍａｇｅ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｆｕｓｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｈｉｙｈｌｙ　ｅｆｆｅｃｔｉｖｅ．　【Ｋｅｙ　ｗｏｒｄｓ】ｄｉｒｅｃｔｉｏｎａｌ　ｃｏｎｔｒａｓｔ；ａｒｅａ—ｂａｓｅｄ　ｅｎｅｒｇｙ；ｉｍａｇｅ　ｆｕｓｉｏｎ；ｄｉｓｃｒｅｔｅ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍ　

图像融合是指综合两个或多个关于同一目标的图像　数据，经过图像处理后，获得一幅图像，在这幅图像中，对　同一目标场景的信息更精确、更全面、更可靠，质量更高，　图像融合能够将多个待融合图像中的信息互补，并去掉冗　余信息，该融合后的图像更符合人的视觉习惯，有利于对　待研究图像的进一步监测和分析…。由于光学镜头焦距　长度具有限制性，人们在摄影时不可能出现在一幅图像中　所有对象都清晰的情况，但可对相同的场景及对象多拍摄　几幅聚焦点不同的图像，通过融合这些图像，得到一幅新　的图像，得到的融合图像的质量好于任何一个源图像，这　种图像融合被称为多聚焦图像融合　。　图像融合按照融合层次可分为像素级图像融合、特　征级图像融合和决策级图像融合　，像素级融合是基础，　主要包括加权平均法和多分辨力方法　。加权平均法属　于空间域图像融合法，多分辨力方法属于变换域图像融合　法。多分辨力方法又可分为金字塔图像融合法和小波变　换图像融合法　。小波具有方向性，重构能力完善，尤其　在频域处理时具有优越性，计算快速，因此基于小波变换　的图像融合越来越被广泛应用和研究。本文在文献［６］　上的基础上将方向对比度和区域能量相结合，提出了一种　改进的多聚焦图像融合方法，融合效果更好。　１　改进的图像融合方法　１．１图像的小波分解和小波对比度　Ｍａｌｌａｔ提出了小波的快速分解与重构算法　。在小　波分解的每一层，图像都被分为低频部分和３个方向上的　高频部分，而低频部分还可以再次分解为更高尺度上的低　频部分和３个方向上的高频部分。　图像对比度的定义在文献［８］中被提出，根据图像对　比度公式，小波对比度定义为　

＝Ｄ　／Ａｆ，　＝Ｄ　／Ａｆ，Ｒ　＝Ｄ　／Ａｆ　（１）　式中：　，　，　分别为小波分解第　个尺度上的垂直　方向、水平方向和对角方向的小波对比度；　，Ｄ　，　分别是第　个尺度上的垂直方向、水平方向和对角方向的　高频系数；Ａｊ为第．　个尺度上的低频系数。　／Ｊ、波分解具有正交ＪＩ生，消除了低频和高频的冗余数据，　因此相应的小波方向对比度较以往的对比度定义更打　合理。　１．２融合规则　在选取融合规则时，如果仅对图像相应位置的单一　像素进行比较，并不能反映图像局部区域的相关性，而且　

投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｃｎＩ《电视技术》第３６卷第９期（总第３８４期）　１９　Ｄ　嚣．　像素选取错误时，会使融合结果产生误差。如果考虑用图　像的局部区域内的多个像素来体现局部区域的特征，会使　结果误差大大减小，并且体现像素间的相关性，考虑区域　的情况，笔者把区域能量和小波方向对比度结合起来考虑　小波系数的选取（区域选取大小为３×３）：　１）分别计算两幅图像对应分解层上高频局部区域与　对应的低频局部区域的能量　

，　（　√）＝∑　（ｍ，ｎ）［Ｄ　，　（　＋ｍ√＋ｎ）］。（２）　

Ｅ　（　√）＝∑∞（ｍ，ｎ）［Ａ　（　＋ｍ√＋ｎ）］　（３）　式中：　．　（ｉ√）（ｋ＝Ｖ，Ｈ，Ｄ；Ｔ＝　，Ｙ）和Ｅ　（ｉ√）（Ｔ＝　ｘ，ｙ）分别表示第ｆ层上，以（ｉ√）为中心位置的高频局部　区域能量和低频局部区域能量；Ｄ　．　和Ａ＂分别表示第ｚ　

层上的高频系数矩阵和低频系数矩阵，其中Ａ　由Ｄ　和Ａ，＋．，进行二维离散小波逆变换得到；ｏＪ（ｍ，ｎ）表示权　系数，为如下的一个３　Ｘ３矩阵，∞（０，０）为式中矩阵　的　中心元素。　『１　２　］　１　ｌ　２　４　２　ｌ×亩　（４）　Ｌ　１　２　１Ｊ　

２）按照式（５）规则确定融合后的高频系数　

巩㈨ｉ　：　㈦　，　≥　５　Ｄ　，　（√）＝｛　一　～　（）　’　

Ｄ∽，　＜　式中，Ｄ　．　（ｉ√）（ｋ＝Ｖ，Ｈ，Ｄ；Ｔ＝Ｆ，Ｘ，Ｙ）表示点（ｉ　）处　

的高频系数。　３）对各层融合后的高频系数和融合后的最高层的低　频部分进行小波逆变换，得到最终融合图像Ｆ。其中融　合后的最高层的低频部分按式（６）确定　Ａ　，，（ｉ√）＝０．５Ａ　．　（ｉ√）＋０．５Ａ　．　（ｉ√）　（６）　

式中，Ａ　（ｉ√）（Ｔ＝Ｆ，　，Ｙ）表示点（ｉＪ）处的低频系数。　２　实验结果　２．１图像融合效果的评价　本文的图像效果评价主要采取客观评价法，分为以　下几个指标（设图像大小为Ｍ×Ｎ，融合图像为Ｆ，标准参　考图像为Ｒ，待融合图像分别为　和ｙ）：　空问频率ｓＦ主要用来评价图像的清晰度，包括行频率　和列频率，空间频率越大，表示融合后得到的图像越清晰。　图像行频率为　ＲＦ　√　ＥＦ（ｉ，ｊ）一Ｆ（ｉ，Ｊ．一１）］　（７）　２０《电视技术》第３６卷第９期（总第３８４期）Ｉ投稿网址ｈｔｔｐ：／／ｗｗｗ．ＶｉｄｅｏＥ．ｃｎ　嘲　ｉｄｅ　０　ｎ　ｑｉ＾ｆ　Ｅ　ｒｔ　Ｈ｜　图像列频率为　厂　］　—　ｒ——一＿。—　ＣＦ　√　∑ｊ＝Ｏ　ＩＦ（ｉｊ）一Ｆ（ｉ　√）］　（８）　图像的空间频率为　ｓＦ＝　（９）　峰值信噪比ＰＳＮＲ是图像峰值与噪声之比，峰值信噪　比越大，融合效果越好，公式为　ＰｓＮＲ＝　ｌＯｌｇ［ＭＮ（ｍａｘ（Ｆ）一ｒａｉｎ（Ｆ））　（１０）　∑∑（Ｒ（ｉＪ）～Ｆ（ｉｊ））　］　偏差度ＤＤＲ反映了Ｒ与Ｆ在光谱上的匹配程度，偏　差　越小，越能较好保留原始图像的光谱信息，公式为　１　Ｍ　～　［Ｉ　Ｒ（ｉ，ｊ）一Ｆ（ｉｊ）Ｉ／Ｆ（　√）］（１１）　相似性量度ＳＭ说明了融合图像与标准参考图像的　接近程度，越接近１，融合效果越好，公式为　∑∑Ｒ（　√）×Ｆ（　√）　ＳＭ＝２　Ｘ　』　——————一　（１２）　∑∑【Ｒ（　√）　＋Ｆ（　√）　］　交叉熵Ｐ用来衡量标准参考图像　与融合图像Ｆ灰　度分布的差别。值越小，差别越小，公式为　Ｐ＝　Ｌ－Ｉ　ｂ　Ｐｑ　ｉ　（１３）　式中，Ｐ　和ｇ。分别为标准参考图像和融合图像的灰度分布。　平均误差ＭＡＥ用来衡量标准参考图像Ｒ与融合图　像Ｆ的平均误差的大小，平均误差越小，融合图像Ｆ与标　准参考图像Ｒ越接近，公式为　一　ＭＡＥ＝　∑∑ｌ　（　√）一Ｆ（　√）Ｉ　（１４）　’　１　Ｊ　１　２．２仿真结果　仿真过程采用ｄｂ８小波基，分别对Ｌｅｎａ图像和ｈｏｕｓｅ　图像进行６层小波分解以及融合，表１、表２分别为对ｋ—　ｎａ图像采用本文方法以及文献［６］中方法融合后的融合　效果评价值，表３、表４分别为对ｈｏｕｓｅ图像采用本文方法　以及文献［６］中方法融合后的融合效果评价值，如图１所　示为对Ｌｅｎａ图像和ｈｏｕｓｅ图像仿真后的结果。　表１　采用本文方法对Ｌｅｎａ图像融合得到的融合效果评价值　☆　Ｈ　２　ｔ２．６１５　３　３２．３６５　２　Ｏ．ｏ３８　Ｏ　０．９９８　９　０．０１５　３　３．６１９　３　３　１３．６５４　１　３５．９６９　９　０．０２７　４　０．９９９　５　０．００８　１　２．５９５　３　４－　１３．９４５　０　４１．７０６　７　０．０１４　６　０．９９９　９　０．００２　２　１．４１８　９　５　ｉ４．００３　３　４６．２９５　９　０，００６　４　１．００ｏ　０　７．２５４　８ｅ一００４　０．６５９　６　６　１４．００８　８　４７．０４２　１　０．００４　２　ｌ＿ｏ００Ｏ　５．７Ｏ６　４ｅ一００４　０．４４５　０