视频拼接全景摄像机综述
作者：上海凯视力成信息科技有限公司
随着摄像机从模拟走向网络，“高清”日渐成为市场关注的热点，它的出现让人们可以看得更清楚，获得更多的细节。但是，客户在从之前“只能看见人脸”到现在“能看清人脸”的同时，又提出了另一方面的要求，那就是“看得更广”，即在同一个场景中能看到更多的东西。对此，原来是通过用几只摄像头覆盖一个区域，或用快球来回巡航扫描去解决。但在某些场合，这些方案还不能完全满足客户的要求，比如客户需要在同一个画面里确定人的移动，或需要用同一个场景中监看到的事物去说明一些问题，这个时候就需要全景摄像机，本文试图对全景摄像机做一综述。作者：上海凯视力成信息科技有限公司
1．全景摄像机的好处
全景摄像机可以带来如下好处：
（1）超宽监控视角。一枚鱼眼镜头尽收360度全景，四周的影像一次尽收眼底，完全消灭死角。
（2）降低成本。一台好的全景摄像机可以替代多台传统摄像机的应用，这种360度实时全景监控能力，使得无需为涵盖整个监控区域而安装多台摄像机，因
而节省了摄像机硬件投资。监控摄像机路数大大减少，可以节省配套设备，
如镜头、防护罩、布线、电源、录像、显示等相应配件和设备的成本，还可
降低施工布线难度，节省安装时间、人工费用以及后续维护费用。
（3）虚拟PTZ技术。采用虚拟PTZ技术，可以放大或移动监控视野内的图像区域，当转变方向观察另一个图像区域时，不会发出任何噪音，隐秘且不易察觉。
由于没有机械移动部件，不需要时刻的进行机械化运转，全景摄像机不会发
生任何磨损，产品结实耐用，使用寿命大大延长。全景环视的图像失真矫正
可对多个图像区进行，这样，与机械PTZ摄像机不同，全景摄像机能同时观
察和摄录多个不同的区域。作者：上海凯视力成信息科技有限公司
2．全景摄像机的应用及市场
全景摄像机特殊的构造造就其独有的无盲区监控，让其在民用、商用、警用或是特殊领域中的应用都十分适合。具体而言，全景摄像机的实际应用需求一般可分为高分辨率监控需求和标准分辨率监控需求：
1) 高分辨率的场所是指在那些容易发生抢劫、盗窃等安全事件的场合，如银行、商场、
超市等，这类场所需要高清晰的图像画质，不仅需要将整个作案过程全景监控录像，更需要清晰的辨认嫌疑人的面孔，对后期的刑侦调查提供便利。
2) 标准分辨率的监控场所只要求监控全范围局势，对视频细节要求不高，如空旷的广
场、运动场馆、大范围的公共场所、交通路口、交通枢纽等。这类场所只需要有清
晰的大范围监控画面从而实现监控调度即可，对视频质量要求并不高，而且也很难
专为监控摄像机建立太多的支点，所以在制高点设置一台全景摄像机完全可以满足
应用需求。作者：上海凯视力成信息科技有限公司
真正实用的高清全景摄像机可以取代很多的室内半球以及部分的室外监控。最主要的优势是：实现采用更少的摄像机无死角地监控一定范围内的整个空间。因此全景摄像机在大部分场合是适用的，未来主要的目标市场有：连锁行业，楼宇监控，加油站，银行，停车场、运动场、大型商场、港口码头、露天广场、道路交通等。某些场所监控宽度甚至达到百米以上，在看清全景图像实现调度的同时，不可能也没有精力再看清人脸、车辆牌照等细节。这些场合只需要在制高点安装一台鱼眼摄像机即可以满足一个场所内的全景监控。
但是我们发现在国内用户对全景摄像机还有一定的误区，比如用户认为全景摄像机可以观看到一个房间或者整个停车场，便认为全景摄像机是万能的，其实全景摄像机是一个广角，它的景深和焦距是很小的，全景摄像机能够看清人脸的范围是半径5米，再远的话看人脸不会很清楚。全景摄像机不是万能的，虽然可以代替三个半球的监控范围，但是它并不会完全替代普通摄像机如快球、半球或者枪机等等。在很多场合，我们建议全景摄像机和传统摄像机结合在一起使用，普通摄像机无法同时看到整个场景，全景和传统的摄像机并不矛盾。
虽然全景摄像机问世时间不长，但观近两年各地安防展会上展示全景摄像机的厂商却在逐年增多，这种现象很好的喻示了全景摄像机的市场正在逐步开花。不过，我们也要意识到全景摄像机技术和应用上存在的短板。在技术层面上，受限于鱼眼镜头的特殊结构，监控距
离短是其致命的缺陷，对此厂商也是无能为力，只能在清晰度上下功夫，但高清视频意味着更高的带宽与更大的存储，这也是不得不考虑的问题；在应用层面上，用户对全景摄像机认知的不足与昂贵的造价是市场推广缓慢的主要原因，单是鱼眼镜头造价就比普通的摄像机要昂贵许多，即便全景摄像机是理想的全景监控产品，但客户在成本面前却不得不低头。
相比传统的视频监控探头，全景摄像机属于“小弟”级产品，虽然它的强势出炉对安防监控市场产生了一定震撼力，但其市场铺设与民众接受程度并未见成熟，市场需求还处于萌芽阶段，所以在应用层面上并不太理想。当然，这并不能否认其发展态势，毕竟全景摄像机可以填补特定监控场所因视场角受限而需要跟换前端探头的市场空缺，恰恰这个空缺也只有全景摄像机产品能胜任。作者：上海凯视力成信息科技有限公司
全景摄像机作为新鲜产品，每年保持大约百分之二十的固定增长，虽然因为其自身特点的限制，未来不会有大规模的爆发式增长，但在某些行业可能会成为主流必须产品，在另一些行业则是可有可无的补充品。在目前的推广应用中，最紧要的难题是如何实现旧项目改造中的集成问题，以及如何更好宣传推广的问题。目前市场上能独立生产全景摄像机的厂家并不多，但是随着市场的接受度不断加大，必将有更多厂商加入到这块新鲜市场的竞争中来。
随着数字高清视频监控市场的迅速发展，全景摄像机这一充分利用和发挥了数字高清技术优势的产品将逐渐成为被大家所接受的产品，预计在未来2-3年内，该类产品将占有相当的市场份额。随着市场对于数字高清技术的认识，市场正在逐渐接受全景摄像机的理念。对于实现方法，实现的效果等大家还有一定认识上的差距。但是普遍接受的是：真正实用的全景摄像机才是最好的全景摄像机。
3．全景摄像机的未来发展
全景摄像机发展至今已有十年有余，而真正的推广却是从近两年才开始的。因其高昂的价格、复杂的图像处理技术以及图像校正后低分辨率等因素的限制，全景摄像机并没能像其他普通摄像机那样进入大众的生活，而是主要定位在专业应用市场，比如大场景环境或易于垂直安装的场合。
目前，市场对于全景摄像机的认知度还不是很高，更多的是厂家的宣广和引导工作。其实业界对于全景摄像机的技术并没有太多的争议或质疑，并且个人认为，对于全景摄像机的定义也没有必要进行过多的辩论，关键是要看产品能否满足客户的需要，是否解决使用者的
具体问题。越来越多的客户会要求“看得更多、看得更清”，所以全景摄像机必然有着很大的市场。作者：上海凯视力成信息科技有限公司
多技术融合是未来全景摄像机发展的主要方向：
1) VMS支持
全景摄像机的图像处理需要VMS（视频管理软件）的支持，但由于目前的鱼眼展开算法都是厂家私有的，导致VMS支持范围非常有限。如何将鱼眼展开算法实现互通共享，实现统一标准接口，是未来设备厂家和集成商需要共同努力的方向。
2) 分辨率
全景摄像机相对于普通摄像机而言一个很大的优势在于其超大的监控范围，然而从分辨率密度上来考虑，同样的像素的摄像机在监控更大的区域时会导致像素的分散和退化。这是由于监控范围很大，在与传统监控镜头共用大小相同的成像芯片上，就需要接收数倍的图像信息，这就造成画面分辨率的下降，因此只有在对监控图像画面质量要求不太高或使用高分辨率成像器件时才能使用。这就解释了为什么300万像素的全景摄像机画面质量看上去像CIF分辨率。所以对于全景摄像机而言，提高画面分辨率是未来一项重要的研究课题。
3) 低照度
全景摄像机大多数都没有ICR（机械式红外滤色片），导致其低照度效果很难令人满意。因为在以后的发展中会更多关注全景摄像机的夜间效果，譬如采用ICR+红外补光或者提升感光器的感光性能来提升低照度效果。
4) 宽动态
以鱼眼摄像机为例，其采用具有360度超大视角的鱼眼镜头监控整个场景，如此大范围的监控势必会导致全景摄像机在白平衡以及曝光等方面的处理困难。正是由于这点，限制了全景摄像机在室内的应用。解决好全景摄像机的宽动态效果，能够推动未来全景摄像机在室内环境的应用。
5) 智能
如何解放安防的人力一致是智能分析的发展方向，特别是在全景摄像机的无死角监控的条件下实现智能分析一定能够带来更好的安防应用。作者：上海凯视力成信息科技有限公司
4．全景摄像机的种类
目前鱼眼式全景摄像机的产品形态包括多镜头式、单鱼眼镜头式、混合式三种。
单鱼眼镜头式：采用枪型摄像机或半球型摄像机加鱼眼镜头的形式，这也是实现全景监控的一种最简单且最经济的方式，此种方式的关键点在于摄像机本身具有对鱼眼“畸变”的矫正能力，或者可以结合特殊的处理软件校正经过鱼眼镜头变形后的图像，并且不留痕迹的处理成一幅正常图像，使得人眼能够接受，此类全景摄像机的代表厂家有Mobotix 、奇偶、腾龙、海康威视和殷浩等，本文主要讨论单鱼眼镜头式的全景摄像机的应用。
图1 单鱼眼镜头全景摄像机画面“畸变”矫正
多镜头式：采用多镜头多角度监控后拼接图像实现360度的监控，这种方式实现技术十分复杂，成本比较高，但却少了鱼眼全景摄像机带来的鱼眼畸变的困扰，此类全景摄像机的代表厂家有Arecont Vision和AVIGILON。
混合式：采用PTZ球机加鱼眼镜头的形式，这种方式较为少见，摄像机在转动时可当作球机使用，当球机镜头和鱼眼镜头重合时，可当作全景摄像机使用，此类全景摄像机的代表厂家有Axis。
5．单鱼眼镜头全景摄像机
单鱼眼镜头全景摄像机是由鱼眼镜头、高清摄像机、图像处理软件构成的“三合一”全景监控系统。其核心技术有：作者：上海凯视力成信息科技有限公司
高分辨率的实现
高像素的产品不仅是Sensor的选取，ISP的处理、编码以及与网络相应的配合都很重要，并且在相应的结构、工艺等要求上，要比普通摄像机严格数倍。
鱼眼展开矫正的准确性
在将鱼眼摄像机所产生的圆形图像展开为人眼能接受的普通平铺图像的过程中，反畸变、反扭曲的算法是非常重要的。因为从镜头选型开始，就需要通过镜头的曲率特征分析、光学折射线路分析，以及结合透光亮考虑分析，才能取得一个比较好的图像源，以达到大景深、高分辨率，且画面周边和中心的解像力要均衡。鱼眼展开算法实现对鱼眼镜头所产生的圆形图像进行有效展开及处理，获得了人眼习惯的平铺图像，并且在没有畸变和扭曲的细节基础上进行了相应优化，保证了整体图像的清晰、准确。这种矫正和展开的实现方式有：（1）软件前端固件集成（软件方式）。此类摄像机所有的功能实现软件，包括图像矫正、虚拟PTZ、智能部件以及压缩算法等全部被集成在摄像机内部的固件上，
未来的升级亦只需对前端设置进行更新。与此同时，其后台pc亦可提供虚拟PTZ
等功能，给予用户事后灵活改变观看视角及侧重点的可能。又因为相同计算量在硬
件晶体与软件PC上的负荷量区别很大（同一个运算任务，当涉及到计算矩阵的问
题时，会占据软件大量资源，硬件晶体上的运算则相对更快。），所以这种前端集
成方式大大释放了后端服务器以及网络的资源。
（2）芯片前端实现（硬件方式）。现在已经有台湾厂商开发出可直接实现一定图像矫正及四分屏输出等基础功能的芯片产品，也就是对鱼眼全景摄像机有兴趣的厂家，可直接集成此类芯片与鱼眼镜头便可得到产品。这种方式的出现给了一部分暂时不
具备自主研发能力的厂家与全景摄像机“亲密接触”的可能，也适用于一定范围的
低端市场。
（3）后端软件实现。此类全景摄像机所有功能皆由安装在后端PC上的软件实现，前端摄像机只负责抓取图片，因此产品在成本与售价上都有优势。依赖后端PC强
大的处理能力，此类产品没有清晰度升级方面的瓶颈限制，在实现基本多分割显示、虚拟PTZ等功能的同时，原始图像的保留亦使得后期可进行更多的信息收集与处
理工作。可另一方面，此类产品对后端PC与网络资源消耗较高，应用在大型项目
时需要配置更多后端服务器。作者：上海凯视力成信息科技有限公司
6．多镜头拼接全景视频
此类全景摄像机内部封装多个传感器，通过对分画面进行图像拼接操作得到全景效果。目前主流产品的结构是把四个两百万像素的传感器，以及视场角为45°或者90°的独立短焦镜头封装在统一的外壳中。其中数字处理与压缩等核心技术被集成在前端固件上，将四个单独的画面按用户需求集成为180°或者360°的高清全景画面，再由网络传输到后端管理平台。相较占主流的鱼眼全景摄像机，多镜头拼接全景摄像机的优势是一定程度上摆脱了焦距的限制，在相同条件下可以看清楚更远的距离。同时其亦具有虚拟PTZ功能，可做到诸如周面裁剪，中间还原，保持180°展开等功能，方便用户按监控重点调节画面。
相比现在主流的鱼眼全景监控摄像机，多镜头拼接全景监控摄像机没有了像素的限制，更不会存在中间与边缘清晰度差距巨大这一问题。故此监控摄像机的图像拼接、压缩虽然都是在前端实现，其速度及网络资源占用极少，这将也是这类型产品未来的发展趋势。代表厂家有上海凯视力成信息科技有限公司。
7．单鱼眼镜头和多镜头拼接比较
（1）多镜头拼接方案
相比现在主流的鱼眼全景监控摄像机，多镜头拼接全景监控摄像机没有了像素的限制，更不会存在中间与边缘清晰度差距巨大这一问题。
由于多个镜头与传感器的使用，此类产品价格高于鱼眼全景监控摄像机，但费用仍然少于直接安装多个传统监控摄像机，同时其只有一个IP地址，方便软件授权解决问题。另一方面，此类产品虽避免了像素上的浪费，但拼接技术对整套方案的需求更高，其中视场角的选择，结构上如何互相完美搭配，算法上如何更好的无缝拼接都决定着此类产品在未来能否取得更好的发展前景。
对于多镜头摄像机来说，面临的畸变问题就要比鱼眼镜头式小多了。这类全景摄像机是通过几个不同方向的镜头和传感器来实现全景监控工作，因此对于畸变的处理上显然也就要容易得多。不过，这类全景摄像机也有自己的烦恼，由于不同的镜头分属不同的监控方向，常有全景画面被分割后出现盲区的情况。因此如何能够更好地实现不同方向镜头的无缝高效衔接，也是这类全景摄像机需要重点关注的方面。Arecont Vision中国代表处北京爱锐康特技术有限公司市场开发经理高默冉告诉笔者，多镜头摄像机主要通过在摄像机内部内置专用影像处理技术，将图像信息最终整合成视频流并通过一个IP地址传到后端，在后端实现180度的水平画面拼接，基本没有监控死角，同时可以满足一个全景画面和四画面的显示需求。另外，他还强调，在实现360度全景监控下，由于多镜头拼接中间正下方会有一个25度的死角，因此，全景摄像机在进行吊装的时候，为了避免正下方出现死角，在施工的时候可根据使用者的不同监控需求，对每个物理镜头进行俯仰角度调节。
ArecontVistion应用工程师曹亚曦表示：“相比现在主流的鱼眼全景摄像机，多镜头拼接全景摄像机没有了像素的限制，更不会存在中间与边缘清晰度差距巨大这一问题。我们公司特别选用了安防行业专用的芯片，完全抛弃与安防没有关系的多余算法与空间浪费，其中底层算法更是自主研发。故此摄像机的图像拼接，压缩都是在前端实现，但其速度及网络资源占用极少，这也将是这类型产品未来的发展趋势。”
作者：上海凯视力成信息科技有限公司
（2）单鱼眼镜头方案
这类全景摄像机硬件设计复杂度较低，可靠度与使用寿命都较长。不过，对于鱼眼镜头来说最大的挑战还在于畸变的控制力上，这就需要摄像机本身具有对鱼眼畸变高效的矫正能力，或者可以结合特殊的处理软件进行校正，不留痕迹地处理成一幅正常图像，使得人眼能
够接受，这才能使摄像机在使用中达到用户满意的效果。这也表示图像边缘的像素点会被拉伸，因此如何对图像进行矫正，以及保证鱼眼图像的有效像素不丢失十分关键。“所以，厂商在全景摄像机的开发中，从镜头选型开始，就需要通过镜头的曲率特征分析、光学折射线路分析，以及结合透光亮考虑分析，才能取得一个比较好的图像源，以达到大景深、高分辨率，且画面周边和中心的解像力要均衡。关键的是，除了严格筛选以确保镜头的高品质的同时，对于鱼眼展开算法也需要做长期、深入的研究。”各个单镜头厂商基于不同考虑因素，采用的图像矫正技术也不尽相同。
除了镜头外，对摄像机要求也很高，首先应该是高分辨率的，然后还要求非常高的动态范围，因为监控的范围宽大，亮度变化非常大，所以需要相机具有极高的动态响应才能够获得较好的图像质量。
这种方案不存在多镜头方案中盲区的问题。
图像记忆的原理和方法[图像拼接原理及方法] 第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR ）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR 从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说
360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和 仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键 环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术
山东大学（威海）毕业论文 毕业设计（论文）设计(论文)题目像素级图像融合方法 姓名：李桂楠 学号：201100800668 学院：机电与信息工程学院 专业：自动化 年级2011级 指导教师：孙甲冰
目录 摘要 (4) Abstract (5) 第一章绪论 (1) 1.1课题背景及来源 (1) 1.2图像融合的理论基础和研究现状 (1) 1.3图像融合的应用 (1) 1.4图像融合的分类 (1) 第二章像素级图像融合的预处理 (3) 2.1图像增强 (3) 2.2图像校正 (6) 2.3图像配准 (6) 第三章像素级图像融合的方法综述 (8) 3.1加权平均图像融合方法 (8) 3.2 HIS空间图像融合方法 (8) 3.3 主成分分析图像融合方法 (8) 3.4 伪彩色图像融合方法 (9) 第四章基于小波变换的像素级图像融合概述 (10) 4.1 小波变换的基本理论 (10) 4.2 基于小波变换的图像融合 (11) 4.3基于小波变换的图像融合性能分析 (12)
第五章像素级图像融合方法的研究总结与展望 (19) 参考文献 (20) 谢辞................................. 错误！未定义书签。
摘要 近些年，随着科学技术的飞速发展，各种各样的图像传感器出现在人们的视野前，这种样式繁多的图像传感器在不同的成像原理和不同的工作环境下具有不同功能。而因为多传感器的不断涌现，图像融合技术也越来越多的被应用于医学、勘探、海洋资源开发、生物学科等领域。 图像融合主要有像素级、决策级和特征级三个层次，而像素级图像融合作为基础能为其他层次的融合提供更准确、全面、可依赖的图像信息。本文的主要工作是针对像素级的图像融合所展开的。 关键词 图像融合理论基础、加权平均、图像融合方法、小波变换、
全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机
最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。
第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待
本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，
视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容
多聚焦图像融合方法综述 摘要：本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块，并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。 关键词：多聚焦图像融合；空域；频域；小波变换法；评价方法 1、引言 按数据融合的处理体系，数据融合可分为：信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支，是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。 Pohl和Genderen将图像融合定义为：“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”，其主要思想是采用一定的方法，把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。 作为图像融合研究重要内容之一的多聚焦图像融合，是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像，便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中，其中，像素级的图像融合精度较高，能够提供其他融合方法所不具备的细节信息，多聚焦融合采用了像素级融合方法，它主要分为空域和频域两大块，即： （1）在空域中，主要是基于图像清晰部分的提取，有梯度差分法，分块法等，其优点是速度快、方法简单，不过融合精确度相对较低，边缘吃力粗糙； （2）在频域中，具有代表性的是分辨方法，其中有拉普拉斯金字塔算法、小波变换法等，多分辨率融合精度比较高，对位置信息的把握较好，不过算法比较复杂，处理速度比较慢。 2、空域中的图像融合 把图像f(x,y)看成一个二维函数，对其进行处理，它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。 2.1 逻辑滤波器法 最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值,
视频拼接全景摄像机综述 作者：上海凯视力成信息科技有限公司 随着摄像机从模拟走向网络，“高清”日渐成为市场关注的热点，它的出现让人们可以看得更清楚，获得更多的细节。但是，客户在从之前“只能看见人脸”到现在“能看清人脸”的同时，又提出了另一方面的要求，那就是“看得更广”，即在同一个场景中能看到更多的东西。对此，原来是通过用几只摄像头覆盖一个区域，或用快球来回巡航扫描去解决。但在某些场合，这些方案还不能完全满足客户的要求，比如客户需要在同一个画面里确定人的移动，或需要用同一个场景中监看到的事物去说明一些问题，这个时候就需要全景摄像机，本文试图对全景摄像机做一综述。作者：上海凯视力成信息科技有限公司 1．全景摄像机的好处 全景摄像机可以带来如下好处： （1）超宽监控视角。一枚鱼眼镜头尽收360度全景，四周的影像一次尽收眼底，完全消灭死角。 （2）降低成本。一台好的全景摄像机可以替代多台传统摄像机的应用，这种360度实时全景监控能力，使得无需为涵盖整个监控区域而安装多台摄像机，因 而节省了摄像机硬件投资。监控摄像机路数大大减少，可以节省配套设备， 如镜头、防护罩、布线、电源、录像、显示等相应配件和设备的成本，还可 降低施工布线难度，节省安装时间、人工费用以及后续维护费用。 （3）虚拟PTZ技术。采用虚拟PTZ技术，可以放大或移动监控视野内的图像区域，当转变方向观察另一个图像区域时，不会发出任何噪音，隐秘且不易察觉。 由于没有机械移动部件，不需要时刻的进行机械化运转，全景摄像机不会发 生任何磨损，产品结实耐用，使用寿命大大延长。全景环视的图像失真矫正 可对多个图像区进行，这样，与机械PTZ摄像机不同，全景摄像机能同时观 察和摄录多个不同的区域。作者：上海凯视力成信息科技有限公司
第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对
图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论
基于经验模态分解的图像融合研究 图像融合是对不同渠道摄取的同一景物的多幅图像进行处理,以得到更清晰更实用的图像的过程。它是图像处理过程中的一个重要环节,比如图像拼接就离不开图像融合,因而研究图像融合具有一定的现实和理论意义。目前,以小波分析为代表的多分辨率图像融合技术是一个研究热点,但小波基函数的选取是小波分析的难点,也是小波分析这种信号分析方法的最大瓶颈。经验模态分解则能突破这种障碍,它根据自身的特性自适应的进行信号分解,显示出极大的优越性。把经 验模态分解用于图像融合,取得了良好的效果。 标签：图像融合;多分辨率分析;经验模态分解;固有模态函数 1 引言 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术,是把来自不同时刻或不同成像设备对同一目标检测的多幅图像数据采用某种方法进行处理,生成一幅能够有效表示出该图像检测信息的图像的过程。由于不同模式的图像传感器的成像机理不同,工作电磁波的波长不同,所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性,经图像融合技术处理后可以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。正是由于这一特点,图像融合作为信息融合的一种有力工具,已广泛地应用于军事、遥 感、机器人视觉和医学图像处理等领域。 图像融合包含图像配准和无缝合成两个部分。由于成像时受到各种变形因素的影响,得到的各幅图像间存在着相对的几何差异,所以需要对待融合的图像进行配准。图像配准是通过数学模拟来对图像间存在着的几何差异进行校正,把相邻两幅图像合成到同一坐标系下,并使得相同景物在不同的局部图像中对应起来,以便于图像无缝合成。图像配准之后,在某些情况下,由于拍摄时光照、环境条件(如噪声、云、烟雾、雨等)、视野、地点的差异,两幅待拼接图像地重叠区域可能会有较大的差别。如果直接对这样的图像进行简单的叠加拼合,得到的拼接图在拼接位置上会存在明显的接缝以及重叠区域的模糊和失真现象。因此需要一种技术 修正待拼接图像拼接缝附近的颜色值,使之平滑过渡,实现无缝合成。 根据图像的表征层来划分,图像融合可分为三类:像素级融合、特征级融合和决策级融合。常用的融合方法有HIS融合法、KL变换融合法、高通滤波融合法、样条变换融合法、金字塔变换融合法、小波变换融合法等,尤其是多分辨率分析方法(金字塔变换,小波变换等)具有明显的优势。小波变换融合算法主要是利用人眼对局部对比度的变化比较敏感这一事实,根据一定的融合规则,在多幅原
图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this
图像拼接技术的研究历史悠久。早期用于航空遥感照片合成，由于飞机或卫星上相机和地面景物之间距离很远，这种图像配准采用简单的模板匹配法。这种方法在现在也有广泛应用，可应用于航空图片合成、大文档扫描合成，视频压缩。在20世纪90年代随全视函数、全景建模、光场与光照图、同心拼图、全景图概念的提出，模型维数不断下降。自1994年Chen等人提出全景图拼接技术，国内外出现很多关于全景图生成技术的文章。 全景图生成技术的基本思想是通过普通相机或摄像机对场景信息进行照片图像或视频图像采样，在固定的视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列:将图像由相机坐标投影到空间坐标:利用图像配准方法寻找将环绕一周的这组图像中，两两相邻的图像间的重叠的区域;将确定的重叠区域利用图像融合方法进行图像序列的无缝拼合，得到一幅全景图像。全景图像根据其选取视点空间的不同可分为:平面、柱面、球表面、立方体表面。 目前图像配准的研究方法主要集中为基于灰度相关的方法、相位相关法、基于特征的方法。基于灰度相关方法的计算量较大，很多力求缩小模版配准计算量的改进算法被提出来。国防科大开发的HVS系统,采用的是一种基于特征线段的图像匹配算法。封静波提出相似曲线的拼接算法通过匹配两幅图像重叠区域每列梯度最大值曲线完成拼接，大大减少了传统模板匹配方法的计算量。薛峰综合基于灰度相关和特征相关算法的优点提出了基于最大梯度和灰度相关的两步配接方法。于乱采用形状模板对模板内图像的边缘点与模板边界的最短距离统计实现特征点匹配。李文辉提出采用基于粒子群优化(POS)的多分辨率算法。 1975年相位相关法由Kuglin和Hines提出，具有场景无关性，能够对纯粹二维平移的图像精确地对齐。DeCastro和Morandi发现用傅立叶变换确定旋转对齐就像平移对齐一样。Reddy和Chatterji改进了Decastro的算法，大大减少了需要转换的数量。张世阳采用了基于2幂子图像的FFT对齐方法，从而减小了FFT的计算量加快图像对齐速度和减小图像间重叠率。吴飞采用基于快速傅立叶变换的图像配准算法求取两相邻视频帧之间的配准系数。 基于特征的图像对齐典型的是基于图像几何特征的对齐方法。几何特征分为低级的 学硕士学位论文基于特征点的嘴卜任曰生成执术的研究 特征，如边、角和高级特征如物体的识别、特征之间的关系。文(34)通过二维高斯模 糊过滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。因为角模型提供了 比坐标点更多的信息，文〔35)中基于几何角模型提出了图像对齐算法，文〔36〕中基 于几何点特征优化匹配和文(37)中利用小波变换提取保留边(。dge一preserving)的视 觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者通过识别 出的物体实现对齐。文(38)利用特征图像关系图进行图像对齐。而如何选择特征是其 中的关键技术，许多研究人员也在从事这方面的究，如提取特征点算子:Morave。算子〔3，，、Forstner算子〔‘0，、susan算子〔“，、HarriS算子〔‘，，，sIFT算子〔‘3，等。边缘检测算 子:Canny算子〔44]、LoG〔46]算子等。此外用于提高特征点配准精度的算法很多，赵炫利用 概率模型理论精确特征点的匹配〔46]。胡社教提出利用KLT跟踪算法精确确定角点位置，提高变换矩阵的求解精度〔4v]。李寒通过引导互匹配及投票过滤方法提高特征点的检测精度〔#8]。赵辉采用相位相关法进行自动排序的特征角点匹配算法〔49]。
－2083－ 0引言 图像拼接是计算机视觉领域的一个重要分支。它是一种将多幅相关的重叠图像进行无缝拼接从而获得宽视角全景图像的技术。近年来，国内外对于图像拼接各细节的研究已取得了一些成果[1~3]，但对于尺度、视差及光照变化较大的图像序列的拼接效果还有待提高。此外，目前对于完整的全自动无缝图像拼接技术的研究还较少。针对以上现状，本文给出了一种基于特征点的全自动无缝图像拼接方法。该方法依据图像拼接过程中各阶段涉及的理论与技术，利用RANSAC (ran-dom sample consensus )算法、引导互匹配、加权平滑算法等技术克服了传统图像拼接技术中的局限性(如光照、尺度变化的影响等)，实现了光照和尺度变化条件下的多视角无缝图像拼接。 1拼接方法的总体设计 文中的图像拼接技术包括4大部分：图像获取；特征点提 取与匹配；图像配准；图像融合。各部分均采用了当前图像处理领域的先进算法，并使用相应的精炼技术对各部分的处理结果进行优化，以达到较理想的拼接效果。整个技术的实现 流程如图1所示。 2图像获取 图像获取是实现图像拼接的前提条件。不同的图像获取 方法会得到不同的输入图像序列，并产生不同的图像拼接效果。目前，获得图像序列的方法主要有3种[4]：①照相机被固定在三脚架上，通过旋转照相机获取图像数据；②照相机固定在可移动平台上，通过平行移动照相机获取图像数据；③手持 收稿日期：2006-04-20E-mail ：lihan409@https://www.doczj.com/doc/4014235836.html, 作者简介：李寒(1981－)，女，辽宁沈阳人，硕士研究生，研究方向为数字图像处理；牛纪桢，女，副教授，研究方向为计算机应用；郭禾，男，副教授，研究方向为数字图像处理、计算机应用。 基于特征点的全自动无缝图像拼接方法 李 寒，牛纪桢，郭禾 (大连理工大学计算机科学与工程系，辽宁大连116023) 摘 要：提出了一种基于特征点的全自动无缝图像拼接方法。该方法采用对于尺度具有鲁棒性的SIFT 算法进行特征点的提取与匹配，并通过引导互匹配及投票过滤的方法提高特征点的匹配精确度，使用稳健的RANSAC 算法求出图像间变换矩阵H 的初值并使用LM 非线性迭代算法精炼H ，最终使用加权平滑算法完成了图像的无缝拼接。整个处理过程完全自动地实现了对一组图像的无缝拼接，克服了传统图像拼接方法在尺度和光照变化条件下的局限性。实验结果验证了方法的有效性。关键词：图像拼接;SIFT 特征点;引导互匹配;随机抽样一致算法;变换矩阵中图法分类号：TP391 文献标识码：A 文章编号：1000-7024(2007)09-2083-03 Automatic seamless image mosaic method based on feature points LI Han, NIU Ji-zhen, GUO He (Department of Computer Science and Engineering,Dalian University of Technology,Dalian 116023,China ) Abstract ：An automatic seamless image mosaic method based on feature points is proposed.First a scale-invariant feature extracting algorithm SIFT is used for feature extraction and matching.In order to improve the accuracy of matching,guided complementary matching and voting filter is used.Then,the transforming matrix H is computed with RANSAC algorithm and LM algorithm.And finally image mosaic is completed with smoothing algorithm.The method implements automatically and avoids the disadvantages of tra-ditional image mosaic method under different scale and illumination conditions.Experimental results show that the image mosaic method is stable and effective. Key words ：image mosaic;SIFT features;guided complementary matching;RANSAC algorithm;transforming matrix 图1图像拼接技术流程 图像融合图像配准(计算H )特征点提取与匹配 图像获取 H=
龙源期刊网 https://www.doczj.com/doc/4014235836.html, 全景视频处理技术分析 作者：王永亮王晨余世水 来源：《传播力研究》2019年第22期 摘要：在21世纪，VR技术日益兴起，使全景视频更加清晰，进而给予用户更为良好的视觉体验。目前，全景视频是由多个镜头对物体进行悬拍、环拍、仰拍等，同时，用图像拼接技术对各种图形实施无缝拼接，并借助压缩编码与网络传输技术使之形成清晰、完整的全景视频。本文将简单分析全景视频处理技术，希望能为视频拍摄工作提供参考与借鉴。 关键词：VR技术;全景视频处理技术;摄像师 在VR技术的支持下，当前全景视频充分体现了其内容的审美理念与构思、情感等。其次，全景视频处理技巧已呈现出多样化特征，分类方式不同，视频拍摄技巧种类也不尽相同，按照所拍摄景物的距离及其视角来划分，全景视频拍摄技巧可分为近景、远景与特写;从摄像机运动方式来区分，拍摄技巧讲究360度环拍、移动、悬拍、推拉与仰拍等;按照画面处理方 式来划分，全景视频加工技巧有入画、定格和淡出等不同方式。此外，全景视频处理工作要求摄像师应结合视频艺术创作标准，树立最佳镜头意识，正确运用各种拍摄技巧，增加全景视频的深意，凸显出视频内容所包含的文化底蕴和审美理念，努力提高作品播放效果。本文将简单介绍全景视频处理技术的基本要素，并系统论述如何提高全景视频拍摄效果。 一、全景视频处理技术的基本要素 （一）图像采集技术 从整体结构来看，当前全景视频图像采集方式主要分为以下三种： 1.广角镜头采集方式。这种拍摄方式所选用的视角大多为180度的超广角或者用接近鱼眼的视角来采集全局场景，完成初步采集后予以精细化处理。 2.折反射方式。折反射方式与广角镜头采集方式具有相似性，会通过适当降低分辨率来扩大拍摄范围与视角，这样难免会使部分画面发生变形，对此，需要在完成画面采集之后予以精心加工和校正。 3.云台摄像机和多路摄像机方式。目前，云台摄像机和多路摄像机是最常见的图像采集设备，两种摄像机均能够运用图像拼接技术将所拍摄的图像合成一幅全景图像，只是结构各有差异。云台摄像机是通过高速旋转环绕拍摄景物，然后运行拼接技术合成全景。多路摄像机方式是由八个摄像机组构成360度的拍摄视角，使同一时刻所拍摄的景物经过拼接后构成全景。 （二）视频拼接技术