下载文档原格式
图像处理中的图像融合算法改进方法图像融合是一种将多幅图像合成为一幅图像的处理技术，被广泛应用于计算机视觉、遥感、医学影像等领域。
在图像融合中，目标是将多幅图像的有用信息融合到一幅图像中，以提高图像质量和提供更多的可视化信息。
然而，现有的图像融合算法在某些场景中仍然存在一些问题，如边缘模糊和细节损失。
因此，本文将介绍几种图像融合算法的改进方法，以解决这些问题。
首先，基于小波变换的图像融合算法是目前应用最广泛的方法之一。
该算法基于小波变换原理，将图像分解为低频和高频部分，然后通过融合规则将高频部分的细节信息添加到低频部分中。
然而，在某些情况下，由于低频和高频部分之间的互相影响不足，造成融合结果的边缘模糊和细节损失。
为了改进这一问题，可以采用自适应权重的方法来提高低频和高频部分间的互相影响。
通过根据图像的局部特征计算权重，将更多的细节信息融合到低频部分中，从而改善图像的边缘和细节。
其次，基于多尺度变换的图像融合算法是另一种常用的方法。
该算法将图像分解为多个尺度的组分，并采用不同的融合规则对每个尺度的组分进行融合。
然而，由于不同尺度的组分具有不同的重要性和局部特征，传统的融合规则无法充分考虑到这些差异。
为了改进这一问题，可以采用基于加权平均的融合规则来提高图像融合的效果。
通过根据不同尺度组分的重要性和局部特征，对每个尺度的组分进行加权平均，从而获得更好的融合结果。
此外，基于深度学习的图像融合算法近年来得到了广泛关注，并取得了很大的成功。
深度学习模型可以通过学习大量的图像数据来提取图像的特征，并根据特征之间的关系进行图像融合。
然而，由于深度学习模型的复杂性和计算资源的要求，该方法在实际应用中可能存在一些限制。
为了解决这个问题，可以采用预训练模型和迁移学习的方法来加速深度学习模型的训练和应用。
通过利用预训练模型在大规模数据集上训练的特征提取能力，可以在较小的数据集上进行图像融合任务的训练，从而减少计算资源的消耗。
研究与设计 电 子 测 量 技 术 EL ECTRON IC M EASU REM EN T TECHNOLO GY第31卷第7期2008年7月 基于比值法图像拼接算法研究刘严严1,2 徐世伟2 周长春3 高文清2(1.光电系统信息控制技术国家重点实验室 三河 065201;2.东北电子技术研究所 锦州 121000;3.北京电子科技学院 北京 100070)摘 要:本文在讨论比值法进行图像拼接的基础上,针对比值匹配算法误匹配的问题,提出了一种改善比值匹配配准精度的算法。
通过增加比值模板的列数来确定选取特征线的最佳匹配,从而增加了模板的信息量,从而提高了图像拼接的准确性。
实验表明,该改进算法可以有效的进行图像拼接,并改善了原有比值法的配准精度。
关键词:图像拼接;比值匹配;比值模板;配准精度中图分类号:TP751.1 文献标识码:AStudy of image stitching algorithm based on ratio matchingLiu Yanyan1,2 Xu Shiwei2 Zhou Changchun3 Gao Wenqing2(1.NL EO,Sanhe065201;2.Nort heast Research Institute of Electronics Technology,Jinzhou121000;3.Beijing Electronic Science and Technology Institute,Beijing100070)Abstract:Based on the pseudo match of the ratio matching algorithm,an improved ratio matching algorithm of image stitching is brought forward in this paper.It decides the optimistic match of the overlap parts of the images through increasing the number of the ratio template lines,thus increasing the information of the templates and this can improve the precision of image stitching.The Experiments show that this algorithm can mosaic images validly and it is more exact than the former algorithm.K eyw ords:image stitching;ratio matching;ratio template tegistration precision0 引 言全景图像以及超宽视角的图像生成技术是虚拟现实技术的一个重要的应用,全景以及柱面图像的生成是通过将多幅场景图像进行拼接来实现的。
一种改进的图像无缝拼接算法陈淑清【摘要】针对图像拼接过程产生的接缝问题,采用最佳接缝选择算法缝合图像接缝.然而合适的能量函数是最佳接缝选择算法的关键.提出一种基于Canny边缘检测算子改进的能量函数,其目的是最小化图像重叠区域的梯度差异.通过实验将提出的能量函数与亮度误差、梯度差、梯度和、梯度差和梯度和的加权和以及Canny边缘检测算子等五种常用能量函数的最佳接缝选择结果进行对比.结果表明,提出的能量函数可以减少拼接图像的结构接缝,而且对于光照变化具有更好的分割稳定性,使得拼接之后的图像看起来更加自然美观.【期刊名称】《武夷学院学报》【年(卷),期】2016(035)006【总页数】5页(P65-69)【关键词】无缝拼接;Canny边缘检测算子;多分辨率融合【作者】陈淑清【作者单位】莆田学院信息工程学院, 福建莆田 351100;福建省大数据管理新技术与知识工程重点实验室&智能计算与信息处理福建省高等学校重点实验室, 福建泉州 362000【正文语种】中文【中图分类】TN911.73图像拼接是图像处理领域的主要研究课题之一，近年来国内外专家学者在这个领域做了大量的研究工作。
图像拼接的两个关键步骤是图像配准和接缝消除［1］。
拼接图像的接缝包括纹理结构不一致引起的结构接缝和亮度不一致引起的光学接缝。
针对这两种接缝，最常用的接缝消除算法分别是最佳接缝选择算法和接缝平滑算法。
目前一些主流的最佳接缝选择算法在不同程度上都会割裂纹理结构，造成比较明显的结构接缝。
本文着重讨论最佳接缝选择算法，本着使待拼接图像重叠区域内、接缝周围图像纹理差异最小的指导思想，提出了基于Canny边缘算子改进的最佳接缝选择算法。
对于存在亮度差异的图像，在选择了最佳接缝的基础上应用多分辨率融合算法，使图像之间平滑过渡，同时又能使得图像依然保持清晰的纹理。
实验表明，文章提出的方法与其它五种的接缝优化算法相比，能够更好地保持拼接图像纹理结构的一致性。
第４３卷 第５期２０１６年５月计算机科学Ｃｏｍｐｕｔｅｒ ＳｃｉｅｎｃｅＶｏｌ．４３Ｎｏ．５Ｍａｙ ２０１６到稿日期：２０１５－０５－２０ 返修日期：２０１５－０７－２８ 本文受重庆市教委科学技术研究项目（ＫＪ１４０２００１），重庆市科委基础与前沿项目（ｃｓｔｃ２０１４ｊｃｙｊＡ１３４７），重庆市高校优秀成果转化资助项目（ＫＪＺＨ１４２１９）资助。
瞿 中（１９７２－），男，博士，教授，ＣＣＦ会员，主要研究方向为数字图像处理、普适计算、物联网技术等；林嗣鹏（１９９０－），男，硕士生，主要研究方向为数字图像处理；鞠芳蓉（１９９３－），女，硕士生，主要研究方向为数字图像处理。
一种改进的降低扭曲误差的快速图像拼接算法瞿 中１ 林嗣鹏１ 鞠芳蓉２（重庆邮电大学计算机科学与技术学院 重庆４０００６５）１（重庆邮电大学软件工程学院 重庆４０００６５）２摘 要 通过提取ＳＩＦＴ特征进行图像拼接得到的全景图存在一定程度的扭曲误差，尤其当序列图像集合很大时，全景图扭曲现象更为严重。
为提高全景图拼接质量，对Ｓｏｎｇ Ｆｕｈｕａ等人提出的图像拼接算法进行改进，首先改变参考图像的选取方式，提出图像序列中任意图像映射到与参考图像相同坐标系下的变换模型计算方法，并且在拼接过程中根据匹配特征点数目动态选取下次待拼接图像。
与Ｓｏｎｇ Ｆｕｈｕａ等人提出的拼接算法相比，改进的图像拼接算法增加了图像重叠区域中ＳＩＦＴ特征点匹配对数，减小了参考图像ＳＩＦＴ特征检测区域。
实验表明，提出的改进拼接算法提高了全景图拼接的时间效率，同时全景图扭曲现象也得到极大改善。
关键词 ＳＩＦＴ特征，图像配准，图像拼接，全景扭曲中图法分类号 ＴＰ３９１．４１ 文献标识码 Ａ ＤＯＩ １０．１１８９６／ｊ．ｉｓｓｎ．１００２－１３７Ｘ．２０１６．５．０５３ Ｉｍｐｒｏｖｅｄ Ａｌｇｏｒｉｔｈｍ ｏｆ Ｆａｓｔ Ｉｍａｇｅ Ｓｔｉｔｃｈｉｎｇ ｂｙ Ｒｅｄｕｃｉｎｇ Ｐａｎｏｒａｍｉｃ ＤｉｓｔｏｒｔｉｏｎＱＵ Ｚｈｏｎｇ１ ＬＩＮ Ｓｉ－ｐｅｎｇ１ ＪＵ Ｆａｎｇ－ｒｏｎｇ２（Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ ４０００６５，Ｃｈｉｎａ）１（Ｓｃｈｏｏｌ ｏｆ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ ４０００６５，Ｃｈｉｎａ）２ Ａｂｓｔｒａｃｔ Ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｉｍａｇｅ ｓｔｉｔｃｈｉｎｇ ｂａｓｅｄ ｏｎ ｔｈｅ ＳＩＦＴ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｅｘｔｒａｃｔｉｏｎ，ｔｏ ａ ｃｅｒｔａｉｎ ｅｘｔｅｎｔ，ｈａｓ ｄｉｓｔｏｒｔｉｏｎｅｒｒｏｒｓ．Ｅｓｐｅｃｉａｌｌｙ，ｔｈｅ ｐａｎｏｒａｍａ ｗｉｌｌ ｇｅｔ ｍｏｒｅ ｓｅｒｉｏｕｓｌｙ ｄｉｓｔｏｒｔｅｄ ｗｈｅｎ ａ ｐａｎｏｒａｍｉｃ ｒｅｓｕｌｔ ｉｓ ｃｏｍｐｏｓｉｔｅｄ ｂｙ ｕｓｉｎｇ ａ ｌｏｎｇｉｍａｇｅ ｓｅｑｕｅｎｃｅ．Ｉｎ ｏｒｄｅｒ ｔｏ ｃｒｅａｔｅ ａ ｈｉｇｈ－ｑｕａｌｉｔｙ ｐａｎｏｒａｍａ，ｔｈｅ ｉｍｐｒｏｖｅｄ ａｌｇｏｒｉｔｈｍ ｗａｓ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｉｎｃｌｕ－ｄｉｎｇ ａｌｔｅｒｉｎｇ ｔｈｅ ｗａｙ ｏｆ ｓｅｌｅｃｔｉｎｇ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ，ａｎｄ ｗｅ ｐｕｔ ｆｏｒｗａｒｄ ａ ｍｅｔｈｏｄ ｔｈａｔ ｃａｎ ｃｏｍｐｕｔｅ ｔｈｅ ｔｒａｎｓｆｏｒｍａ－ｔｉｏｎ ｍａｔｒｉｘ ｆｏｒ ａｎｙ ｉｍａｇｅ ｏｆ ｔｈｅ ｓｅｑｕｅｎｃｅ ｔｏ ａｌｉｇｎ ｗｉｔｈ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ ｉｎ ｔｈｅ ｓａｍｅ ｃｏｏｒｄｉｎａｔｅ ｓｐａｃｅ．Ａｄｄｉｔｉｏｎａｌｌｙ，ｔｈｅ ｉｍｐｒｏｖｅｄ ｓｔｉｔｃｈｉｎｇ ｍｅｔｈｏｄ ｄｙｎａｍｉｃａｌｌｙ ｓｅｌｅｃｔｓ ｔｈｅ ｎｅｘｔ ｉｎｐｕｔ ｉｍａｇｅ ｂａｓｅｄ ｏｎ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ＳＩＦＴ ｍａｔｃｈｉｎｇ ｐｏｉｎｔｓ．Ｃｏｍｐａｒｅｄ ｗｉｔｈ Ｓｏｎｇ Ｆｕｈｕａ’ｓ ｓｔｉｔｃｈｉｎｇ ｐｒｏｃｅｓｓ，ｔｈｅ ｉｍｐｒｏｖｅｄ ｍｅｔｈｏｄｉｎｃｒｅａｓｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｍａｔｃｈｉｎｇ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ，ａｎｄｒｅｄｕｃｅｓ ＳＩＦＴ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｉｏｎ ａｒｅａ ｏｆ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｉｍｐｒｏｖｅｄ ｍｅｔｈｏｄｃａｎ ｎｏｔ ｏｎｌｙ ｉｍｐｒｏｖｅ ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｉｍａｇｅ ｓｔｉｔｃｈｉｎｇ ｐｒｏｃｅｓｓｉｎｇ，ｂｕｔ ａｌｓｏ ｒｅｄｕｃｅ ｔｈｅ ｐａｎｏｒａｍｉｃ ｄｉｓｔｏｒｔｉｏｎ ｅｒｒｏｒｓ．Ｋｅｙｗｏｒｄｓ ＳＩＦＴ ｆｅａｔｕｒｅ，Ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ，Ｉｍａｇｅ ｓｔｉｔｃｈｉｎｇ，Ｐａｎｏｒａｍｉｃ ｄｉｓｔｏｒｔｉｏｎ １ 引言图像拼接是将数幅有部分重叠区域图像合并成一幅无缝且平滑过渡的、高质量的全景图像［１］，其拼接质量极大依赖于图像配准［２］程度。
图像拼接方法总结图像拼接方法总结 (1)引言 (1)1 基于网格的拼接 (3)2基于块匹配的拼接（也叫模板匹配） (4)3基于比值法拼接 (6)4 基于FFT的相位相关拼接 (7)基于特征的图像配准方法 (9)5 Harris角点检测算法 (10)6基于SIFT尺度不变特征的图像拼接 (15)SIFT主要思想及特点 (16)SIFT算法详细过程 (16)SIFT匹配算法实现 (20)7 基于surf 的图像配准 (22)SURF算法介绍 (22)算法详细过程 (23)8 基于最大互信息的图像配准 (24)9 基于小波的图像拼接 (27)10 基于轮廓特征的图像拼接技术 (27)引言首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合，图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。
图像预处理包括：图像投影、图像去噪、图像修正等。
图像配准采用的算法主要有两类：一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。
另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，速度提高）特征算法，第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这三个分量进行基于区域的拼接，分别得到三个分量的拼接结果，最后进行小波重构即可获得完整的图像）。
图像的融合：1直接平均值法、2基于小波变换、3线性加权法4 最大值法5 多元回归算法1 基于网格的拼接优缺点：计算量大，精度高，很难选择初始步长。
基于比值法图像拼接的等比例改进算法
冉柯柯;王继成
【期刊名称】《计算机技术与发展》
【年(卷),期】2010(020)002
【摘要】图像拼接技术是通过将一组具有部分重叠的图像或视频图像进行无缝拼接后而得到的具有高分辨率的图像或全景图,是图像处理技术的一个重要内容.主要介绍了图像拼接技术的主要步骤、比值匹配法的基本原理和优缺点,然后针对此算法容易出现误匹配的问题,提出了一种改进的算法.通过引用等比例数列的思想增加区域像素信息,与传统方法相比,这种方法可以更快更准地找到最佳匹配位置,从而提高了算法的准确性.实验结果证明了此算法可以有效的消除误匹配.
【总页数】4页(P5-8)
【作者】冉柯柯;王继成
【作者单位】同济大学,电子与信息工程学院,上海,201804;同济大学,电子与信息工程学院,上海,201804
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于σ2比值法的自适应窗口DAVAR改进算法 [J], 杨浩天;汪立新;朱战辉;孙田川
2.基于比值法图像拼接算法研究 [J], 刘严严;徐世伟;高文清;周长春
3.基于SIFT和SURF图像拼接算法的改进算法 [J], 史露;苏刚;韩飞
4.基于改进SURF算法的图像拼接技术研究 [J], 杨志芳;颜磊
5.基于改进SURF算法的图像拼接研究 [J], 徐启文;唐振民;姚亚洲
因版权原因，仅展示原文概要，查看原文内容请购买。
基于改进SIFT算法的图像拼接研究摘要：图像拼接是当今的研究热点问题之一，本文提出了一种改进SIFT算法来完成图像的拼接。
该方法采用改进的尺度不变特征变换(SIFT)特征提取方法获得图像特征点，并充分利用圆形区域的旋转不变性和互信息量最大原则进行特征点匹配，避免了传统的图像配准算法计算量过大、特征点匹配不准确等问题，最后采用加权平均的方法对图像进行融合。
实验表明，该方法对图像间存在的平移、旋转、明暗强度和噪声干扰等都具有良好的鲁棒性，可实现高质量的图像拼接。
关键词：图像拼接；尺度不变特征变换；互信息量Research on image mosaic algorithm based onimproved SIFTAbstract: the image mosaic is one of the hotspot problems, this paper proposes an improved SIFT algorithm for image mosaic. The method uses improved scale invariant feature transform (SIFT) feature extraction method to obtain the image feature points, and make full use of the rotation invariance circular area and mutual information matching feature points of maximum principle, to avoid excessive, feature point matching problems such as inaccurate calculation of the traditional image registration algorithm, finally the image fusion using weighted average method. Experiments show that, this method has good robustness to image translation, rotation, light intensity and the presence of noise, can achieve high quality image stitching.Key words：image mosaic; SIFT; mutual information1.引言图像拼接是将多幅相互间存在重叠的序列图像进行无缝拼接，合成一幅包含各图像信息的、宽视角场景的高清晰图像。
不同图像之间拼接篡改的数字图像检测研究王丽侠【摘要】对基于CFA(颜色滤波阵列)模型的篡改检测算法进行了改进.其检测过程为:首先,利用插值算法得到像素位置的预测误差,根据预测误差计算出CFA单元特征;然后,利用EM(期望最大化)算法估计特征模型的参数,算法对篡改位置的均值不做事先确定(从实验来看这种改进具有较好的效果);最后,利用贝叶斯理论计算出每个像素点的似然率,根据似然率的不同来定位篡改区域.在进行单CFA阵列模式检测的情况下,对多种CFA阵列模式的图像也进行了检测分析,实验结果显示,该算法能够对多种CFA阵列模式的图像准确定位篡改区域.【期刊名称】《唐山学院学报》【年(卷),期】2018(031)006【总页数】9页(P18-26)【关键词】图像检测;拼接篡改;颜色滤波阵列模型;期望最大化算法【作者】王丽侠【作者单位】唐山学院智能与信息工程学院,河北唐山 063000【正文语种】中文【中图分类】TP391.40 引言将不同图像的目标拼接在同一张图片中，称为不同图像之间的拼接篡改。
不同图像之间的拼接篡改具有如下特点：①在视觉上察觉不到比较明显的篡改痕迹；②图像的某种统计特性被篡改行为改变了，这些统计特性可以理解为是在其采集和后续图像处理的过程中留下的图像指纹。
篡改检测的任务就是通过验证图像指纹是否存在来定位篡改的位置。
通过对图像指纹存在性的判断就可以对整个图像进行验证，从而提供整个图像的真实信息。
一个更好的处理方法是找到一种可以显示图像中每个特征可信性的映射关系，从而自动定位可疑区域。
目前，基于图像整体特征的检测算法主要有两类：基于JPEG压缩特征的检测算法[1-2]和基于颜色滤波阵列(Color Filter Array，CFA)的检测算法。
基于JPEG压缩特征的检测算法是通过检测双JPEG压缩图像的图像块先前的量化矩阵来实现，对篡改前和篡改后都是JPEG格式的图像具有很好的检测效果，但是该方法对其他格式的图像检测效果不佳，并且对篡改区域的边缘定位也不准确。
收稿日期:2009-06-26;修回日期:2009-09-10作者简介:冉柯柯(1982-),女,河南人,硕士研究生,研究方向为数字图像处理和模式识别;王继成,教授,研究员,研究方向为模式识别与智能系统、数字图像和语音处理。
基于比值法图像拼接的等比例改进算法冉柯柯,王继成(同济大学电子与信息工程学院,上海201804)摘 要:图像拼接技术是通过将一组具有部分重叠的图像或视频图像进行无缝拼接后而得到的具有高分辨率的图像或全景图,是图像处理技术的一个重要内容。
主要介绍了图像拼接技术的主要步骤、比值匹配法的基本原理和优缺点,然后针对此算法容易出现误匹配的问题,提出了一种改进的算法。
通过引用等比例数列的思想增加区域像素信息,与传统方法相比,这种方法可以更快更准地找到最佳匹配位置,从而提高了算法的准确性。
实验结果证明了此算法可以有效的消除误匹配。
关键词:图像拼接;图像匹配;比值匹配法;图像融合中图分类号:TP391 文献标识码:A 文章编号:1673-629X (2010)02-0005-04An Improved Mosaic Algorithm B ased on R atio Matching Using G eometric ProportionRAN Ke 2ke ,WAN G Ji 2cheng(Department of Electronics and Information Engineering ,Tongji University ,Shanghai 201804,China )Abstract :Image stitching is normally used to make up a seamless and high resolution with a set of the overlap parts of images and videos.It is one of important technologies for image processing.Presented the main step of the image mosaics ,basic principle and advantages and disadvantages of the ration matching algorithm ,based on the ratio matching algorithm ,an improved algorithm of image stitching is pre 2sented in order to resolve the pseudo ing the theory of geometric proportion ,comparing with traditional methods ,the algo 2rithm can find the optimal position more quickly and more exactly.The experiments show that this method can eliminate false matches validly.K ey w ords :image stitching ;image registration ;ratio matching ;image fusion0 引 言随着数码照相设备的广泛普及,越来越多的数码图像被应用于各个方面的研究中。
在实际的科学研究和工程项目中,经常会用到超过人眼视角的高分辨率图像。
为了得到大视角的高分辨率图像,人们往往利用广角镜头和扫描式相机来解决部分问题。
但这些设备都有价格昂贵和使用复杂等缺点,另外,在一幅低分辨率的图像中得到超宽视角会损失景物中物体的分辨率,而且,广角镜头的图像边缘会产生难以避免的扭曲变形。
所以为了在不降低图像分辨率的条件下获取大视野范围的场景照片,人们采用了图像拼接技术来将多幅照片拼接成一幅大的照片。
研究图像拼接技术的目的就是利用计算机进行自动匹配,将具有重叠区域的多幅图片合成为一幅宽角度图片,以此来扩大视区的范围。
现在图像拼接技术已经成为数字图像处理领域的一个研究热点,被广泛应用于虚拟现实、计算机视觉、遥感图像处理、医学图像分析、计算机图形学、视频的索引和检索以及数字视频压缩等领域。
图像拼接技术主要包括图像配准和图像融合两个关键环节。
图像配准是图像拼接的核心部分,它直接关系到图像拼接算法的成功率和执行速度。
图像配准算法大体可分为基于特征的图像配准和基于区域的图像配准两类[1]。
基于特征的图像拼接是利用图像的明显特征(角点或轮廓等)来估算图像之间的变换,从而确定匹配位置。
基于区域的方法是利用图像的像素值之间的相关性来寻找最佳匹配点的。
常用的方法[2]有点匹配法、线匹配法、面积匹配法[3]、网格匹配法[4]和比值匹配法[5]。
比值匹配法具有计算速度快等特点,广泛应用于图像拼接技术中。
但是这种方法由于其自第20卷 第2期2010年2月 计算机技术与发展COMPU TER TECHNOLO GY AND DEV ELOPMEN T Vol.20 No.2Feb. 2010身狭隘性,容易造成误匹配。
所以对比值法进行了改进,利用Matlab 进行了大量的仿真实验,证明了该算法的准确性和有效性。
1 图像拼接图像拼接技术主要有三个主要步骤:(1)图像预处理[6]:包括图像处理的一些基本操作(比如去噪声、边缘处理),建立图像拼接的匹配模板或者对图像进行一些变换(比如傅里叶变换、小波变换)。
(2)图像配准:也就是采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系。
(3)图像融合:将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。
图1给出了图像拼接的基本流程图。
输入图像→预处理→图像配准→图像融合→全景图像图1 图像拼接基本流程图2 拼接算法2.1 比值匹配法比值匹配法的原理比较简单,其算法思路是利用图像中两列上的部分像素的比值作为模板,即在待拼接原图像T 的重叠区域中分别取出两列像素,用它们的比值作为模板,然后在第二幅待拼接图像S 中搜索最佳的匹配。
匹配的过程是在S 中,由左至右依次取出间距相同的两列像素,并逐一计算其对应像素值的比值;然后将这些比值依次与模板进行比较,其最小差值对应的列就是最佳匹配。
这样在比较中只利用了两列像素及其所包含的区域的信息。
如图2,设两幅图像A 和B 具有水平方向的重叠区域(阴影部分),其中图像A 的重叠部分中有两列像素,在图像B 的搜索区域中从左到右进行平移搜索。
图2 图像拼接原始模板图算法步骤如下:(1)在图A 的重叠区域选取间隔为span 的两列像素(第j 列和第j +span 列),计算其对应像素的比值,即为模板T ,T (i )=f L (i ,j )/f L (i ,(j +span ))。
(2)在图B 图像中从第一列开始依次取间隔为span 的两列,计算其对应像素的比值,即为模板S ,S (i )=f R (i ,j )/f R (i ,(j +span ))。
(3)然后计算模板T 和模板S 的差值,得出ΔT ,ΔT (i ,j )=(T (i ,j )-S (i ,j ))2。
(4)最后计算ΔT 对应的列向量求和,就得到sum ,sum (j )=∑ΔT (i ,j ),这个值反映了两幅图像选定像素对应的列向量之间的差异,所以当sum (j )最小时,对应的列坐标即为最佳匹配位置。
2.2 比值匹配法的优缺点●比值匹配法的优点:(1)算法思路比较简单,容易理解和实现。
(2)在匹配过程中,计算量小,速度快。
正因为该算法有此特点,使得它在图像拼接中应用的非常广泛,但是这个算法利用的区域信息比较少,因此容易出现误匹配的问题。
●造成误匹配的原因有:(1)在匹配过程中,需要求两列对应像素的比值,即用到除法的概念,就必须保证处于分母位置的像素值不能为零。
如果此时用于匹配的像素中出现值为零的像素点,比值就为无穷大,那么此次匹配就有可能成为误匹配。
(2)利用图像的特征信息过少。
此方法只利用了两条竖直的平行特征线段的像素的信息,没有能够充分利用了图像重叠区域的大部分特征信息。
(3)对图片的采集提出了较高的要求。
在采集照片的时候只能使照相机在水平方向上移动。
然而,有时候不可避免的照相机镜头会有小角度的旋转,使得拍摄出来的照片有一定的旋转,在这个算法中是无法解决的。
(4)对重叠区域无明显特征的图像,比较背景是颜色一样的墙壁或者草坪,这样在选取特征模版的时候存在很大的问题。
由于与模版的差别就不大,这样有很多匹配点,很容易造成误匹配。
(5)在实际的算法实现中无法对两条特征线以及特征线之间的距离进行确定。
如果选定的间距过大,则不能充分利用重叠区域的图像信息。
如果选的过小,则会增加计算量。
基于上述问题,文中进行了算法改进,利用等比例数列的思想,从某个特定列开始,挑选几列像素,就可以更准确地定位到最佳匹配位置。
2.3 改进后的算法改进后的算法步骤:(1)在第一幅图像的重叠区域选取1列像素点,然后在距离第一列像素间隔为span 、23span 和33span 的位置分别选取1列像素点,这样就构成了具有等比・6・ 计算机技术与发展 第20卷例关系的4列像素,分别计算第1列与后面3列像素的比值,作为模板T。
(2)在第二幅图像中,从左边第1列起,选取间隔为span、23span和33span的3列像素,计算对应像素的比值,作为模板S。
(3)计算T和S的差值平方和得到模板ΔT,即为3列像素差值,对ΔT的3列向量的列向量求和,再对3个和值相加得到sum1。
(4)在第二幅图像中取第2列像素,再进行同样的计算,最后得到一组sum值,其中最小的sum值对应的坐标即为与第一幅图像中选择的第1列像素点相匹配的最佳坐标值。
3 重叠区域的图像融合两幅图像找到最佳匹配位置后,由于视角、光照和亮度等原因,直接拼接后的图像容易产生模糊、鬼影和明显的拼缝。
为了改善图片质量和视觉效果,需要对重叠区域图像采用图像融合方法。
加权平均法是一种比较简单实用的图像融合算法[7]。
将两幅图像对应像素点乘以一个加权系数后再相加得到融合的图像。
设图像I1(i,j)的加权系数为α,则融合图像可表示为I(i,j)=αI1(i,j)+(1-α)I2(i,j)。
其中加权系数α∈[0,1];α的选取可以由重叠区域的像素点计算得到,α=s1/(s1+s2),s1为图像1中重叠区域的所有像素和,s2为图像2中重叠区域的所有像素和。
4 实验结果实验是在WinX p+Matlab7.0的平台上实现的。
