全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机
最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。
高清全景监控系统 广东百泰科技有限公司高清全景监控系统，是一套基于全景图像采集获取、拼接生成及浏览交互等技术的“点-面智能联动摄像机系统”，结合海量视频数据智能分析技术，可实现高清全景视频图像信息处理及交互应用。系统采用了高清全景监控系统、超高分辨率图像实时处理、ISP智能图像算法设计、海量图像分布式存储等多种前沿技术，通过一台180°高清全景摄像机与一台1080P全高清高速球有机嵌合，匹配专用软件，组成一套点面联动的智能化高清全景监控系统系统。通过单台摄像机就能对180°或360°度范围进行成像，并实现对成像区域内所有目标进行从点到面的同步高清监控，达到无缝监控、点面兼顾的效果。 本产品及技术可应用于各种需要了解城市地理信息，以及不同细节层次的准实时动态真实影像情况的可视化城市管理应用场合，能够基于GPS信息将其与GIS地理信息系统相结合，可提供给安防、城管、交通、消防、城市规划等各类具有城市地理信息及可视化城市管理需求的行业人员使用。 一、技术特色 全景：单台摄像机就能对180°或360°度视角范围进行成像。 高清：1080P全高清视频传输和录像。 超微光感知技术：采用双阶 3D 去噪算法、自动增益控制、自动背光补偿等技术，超低照度、超低噪声、全彩色，宽动态全景摄像，在光线暗淡的情况下依然能呈现彩色画面。 一键式点面联动：针对目前监控摄像机“看得清却看不全”“看得全却看不清”的矛盾，将高清高速球的“点”与全景摄像机的“面”搭配组合，实现由“面”及“点”的一键式操控，点击全景画面的任何一个位置，系统可立即调度高速球转到预定监视点，配准精度高达0.05°，响应时间小于0.1秒，使监控全局与局部细节一览无遗。 支持多分辨率采集和多码流传输。 IP66高防护等级，全天候室内外应用。 二、实景视频演示 低照度效果演示
摘要 由于计算机技术的迅猛发展，使得基于内容的视频信息的存取、操作和检索不仅成为一种可能，更成为一种需要。同时，基于内容的视频编码标准MPEG-4和基于内容的视频描述标准MPEG-7正在发展和完善。因此提取和视频中具有语义的运动目标是一个急需解决的问题。运动目标提取和检测作为视频和图像处理领域的重要研究领域，有很强的研究和应用价值。运动检测就是将运动目标从含有背景的图像中分离出来，如果仅仅依靠一种检测算法，难以从复杂的自然图像序列中完整地检测出运动的目标。较高的检测精度和效率十分重要，因此融合多种检测方法的研究越来越受到重视。本文介绍了几种国内外文献中的经典的视频运动目标的检测和提取算法，并对各种方法进行了评价和总结。首先介绍了基本的运动目标检测的基本知识和理论，然后介绍了基本的几种目标检测方法及其各种改进方法。对今后的运动目标检测提取的相关研究提供一定的参考。 关键词：运动目标检测光流法帧差法背景建模方法
ABSTRACT Because of the rapid development of computer technology, it is possible to access, operate and retrieve the video information based on the content of the video. At the same time, based on the content of the video coding standard MPEG-4 and content-based video description standard MPEG-7 is developing and improving. Therefore, it is an urgent problem to be solved in the extraction and video. Moving object extraction and detection is a very important field of video and image processing, and has a strong research and application value. Motion detection is to separate moving objects from the image containing background, if only rely on a detection algorithm, it is difficult to from a complex natural image sequences to detect moving target. Higher detection accuracy and efficiency are very important, so the study of the fusion of multiple detection methods is becoming more and more important. In this paper, the detection and extraction algorithms of the classical video moving objects in the domestic and foreign literatures are introduced, and the methods are evaluated and summarized. Firstly, the basic knowledge and theory of basic moving target detection is introduced, and then the basic method of target detection is introduced. To provide a reference for the research on the extraction of moving target detection in the future. Keywords: Visual tracking Optical flow method Frame Difference Background modeling method
摘要 运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动，它可以反映视频相邻帧之间的运动信息，因而可以用于运动目标的检测。MATLAB这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助matlab软件编写程序，运用Horn-Schunck算法对图像前后两帧进行处理，画出图像的光流场。而图像的光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动，分析图像的光流场就可以得出图像中的运动目标的运动情况。 关键字：光流法；Horn-Schunck算法；matlab
目录 1光流法的设计目的 (1) 2光流法的原理 (1) 2.1光流法的介绍 (1) 2.1.1光流与光流场的概念 (1) 2.1光流法检测运动目标的原理 (2) 2.1.1光流场计算的基本原理 (2) 2.2.2基于梯度的光流场算法 (2) 2.2.3Horn-Schunck算法 (3) 2.2.4光流法检测运动目标物体的基本原理概述 (5) 3光流法的程序具体实现 (6) 3.1源代码 (6) 3.1.1求解光流场函数 (6) 3.1.2求导函数 (9) 3.1.3高斯滤波函数 (9) 3.1.4平滑性约束条件函数 (10) 3.1.5画图函数 (10) 4仿真图及分析 (12) 结论 (13) 参考文献 (14)
1 光流法的设计目的 数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。 数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试所学的内容解决实际工程问题，培养学生的工程实践能力。 运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。 因此，基于光流法，实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起运动目标检测的整体思路和方法。 2 光流法的原理 2.1 光流法的介绍 2.1.1 光流与光流场的概念 光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体
如何创建全景影像 解答 “缝合”这一术语表示利用软件，以电子方式将多个影像连接在一起制成较大影像。当以数字方式缝合全景影像时，拍摄的影像边缘必须完全重合，歪斜的相机会使最终影像的接缝不整齐。如果所有照片均以相同的曝光和白平衡设定拍摄，则最终影像效果会非常好，否则会出现亮度和色彩接缝。虽然这可使用软件纠正，但是在拍摄时就纠正，效果将会更好。 创建远距离物体的全景影像相对容易，以下是使用ArcSoft的“PanoramaMaker”软件将四个独立影像缝合在一起的影像例图。只要在用相机拍照时将单个影像很好地对齐（务必使相机与地面保持水平），软件即可创建完美的全景影像。 但是，拍摄前景和背景中物体的全景影像非常困难。为了消除视差错误，必须找出其光学中心（或“节点”）。以下例图显示拍摄前景和背景物体时出现的视差错误（数码相机固定在三脚架上，并从相同位置拍摄A和B影像。）。 A影像 - 相机朝向背景中的教堂，前景中有一棵树。 B影像- 相机在三脚架上转向左侧，因此只能看到教堂的左侧，但是前景中的树“似乎”相对于教堂的位置发生移动。 C影像 - 使用全景处理软件以电子方式缝合影像，但由于前景中的树“似乎”相对于教堂的位置发生移动，所此它出现了两次。 此错位现象叫作“视差错误”，当将影像缝合在一起时，缝合影像的全景软件将无法纠正此错误。 A B C 要纠正此错误，必须沿镜头的光学中心（或节点）旋转相机。镜头的节点是光路径在聚焦于相机感光器或胶片平面之前，在镜头中汇聚的一点。以三脚架插座为中心旋转相机几乎肯定会导致视差错误，因此需要先找到节点，然后固定相机，再以该节点为中心旋转相机。
在网络上要展示交互式的空间或物体效果时，大致有两种方法，一种是直接3d制作原始模型，然后贴图渲染在发布到网络上。另一种就是要涉及到全景。因为全景图片是直接从实物拍摄而成，只要前期的拍摄和后期的全景软件处理做得好的话，其真实感要好于用三维制作的效果。制作高质量的全景图片至少需要了解以下几个方面： 一、了解720丁丁猫全景视频和传统摄影的区别： 1.由于全景是要捕捉场景360°范围内的所有信息，所以一般用鱼眼镜头来拍摄（一般为视角等于或大于180°，焦距6mm～16mm之间的超广角镜头），鱼眼镜头镜片结构复杂，边缘和中央进光有差异，全景镜头无法使用遮光罩，无法使用偏光镜，除了sigma8mm能使用滤光片以外，大部分的全景镜头都无法使用等等。 2.720丁丁猫全景视频由于更多地需要后期的图像处理，更注重于数码摄影，而更多的摄影师目前还是使用传统的胶片相机。很显然数码摄影和胶片摄影的差别是相当大的，对同样的场景条件，用同样的参数，出来的结果可能相差非常远。数码摄影牵涉了太多电子的东西，发热了，振动了，冷了，光线太强了都难出好效果。 3.全景一般更侧重于表现场景的全局信息，所以720丁丁猫全景视频更注重选点，传统摄影更注重于构图。 4.全景更注重从全局光线去考虑，所以大部分的全景都是拍摄在晴朗的，光线充足的时候一般秋高气爽的时候，对场景整体光照比较讲究，世界的大部分720丁丁猫全景视频师都在大白天甚至烈日当中四处游曳，而传统摄影更喜欢早出晚归，在绝大部分光线条件下都可以拍出好的作品来。 5.全景在景深方面没有太多的选择余地；在有太多运动物体的场景里由于受拼合等限制无法有良好的发挥。 二、选择好的摄影设备： 720丁丁猫全景视频，您需要有一个好的数码照相机，一个鱼眼镜头，一个专业的全景头和一个性能优秀的脚架，推荐以下几个配套方案： Nikon Coolpix4500、990、995、5000、5700相机+ FC-E8、FC-E9鱼眼镜头+ kaidan kiwi系列云台、全视角4500全景头+脚架，Nikon D100 D1 D2H,Canon 1DS，Kordak14n数码相机+sigma8mm鱼眼镜头+manfrotto全景头+脚架。 以上设备已经过全景色友们的实践证明确实可行。如果采用传统相机+鱼眼镜头的，则要考虑用专业的底片扫描仪了。 三、选择光线环境： 全景不需要太多的光怪陆离，一般选择在能见度佳，气温低，空气纯净，光照充足的时候，秋高气爽的午后或者是晴空万里的海边，雪山，草地是出全景照片最好的地方，如果要拍夜
本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，
视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容
高清全景摄像机 应用方案 G5点面智能联动 湖南源信光电科技有限公司版权所有（2014年）
目录 1、系统介绍 (3) 1.1、定义 (3) 1.2、构成 (3) 2、应用架构 (4) 2.1、不同网络拓扑下的应用架构 (4) 2.1.1、中大型监控网络拓扑下的应用架构 (4) 2.1.2、小型监控网络拓扑下的应用架构 (5) 2.1.3、简型监控网络拓扑下的应用架构 (5) 2.2、使用模式 (6) 2.2.1、分布模式与双屏模式 (6) 2.2.2、画中画模式 (6) 2.2.3、上墙模式 (6) 3、销售策略 (7) 3.1、产品优势对比 (7) 3.2、与客户的沟通 (7) 3.2.1、设备可以接入某某平台吗？ (7) 3.2.2、可以提供我们SDK吗？ (7) 3.2.3、我不想使用NVR做转发？ (7)
1、系统介绍 1.1、定义 G5点面智能联动控制系统是指通过鼠标点击180°全景高清摄像机实时视频画面上的任意一点，或者通过鼠标左键拖动松放，在视频画面上画出矩形框后，系统根据点的位置或矩形框的中心位置及框大小准确智能控制高速球转动到所指的位置及与之相对应的放大倍数。 1.2、构成 G5点面智能联动系统主要由四部分构成 （1）、IPC前端设备 G5前端主要由一台180°全景高清摄像机H5和一台1080P的高清高速球D5组成如图1所示。 图1 G5组成说明 （2）、流媒体转发设备 由NVR网络硬盘录像机或流媒体转发服务器构成，一台NVR可以带多对点面设备。NVR所能负载设备容量可以根据NVR的带宽参数来计算，一对G5大约需要6-8M的网络带宽，用总的带宽（如图2所示）除以每对需要的带宽可基本算出需要的设备数量。 图2 NVR带宽说明 目前主要测试通过的是海康的DS-9664N-ST和DS-7716N-ST，而海康这两款相同系列的设备以及其他系列的设备，只要能支持大分辨率（2560*896、2048*1536）的NVR产品都可以作为码流转发设备。 （3）、配准程序 G5Align配准程序主要实现的将全景和高速球建立一个空间对应关系，并将空间对应关系数据存放在全景端，整个过程有系统自动的完成配准数据的计算，
360度全景摄像技术原理介绍 通常只有在必须的情况下，我们才费尽周折地试图在狭小空间安装视频监控设备。就当人们开始将要习惯忍受这样的架设行为时(固有的需求矛盾所制)，悄然产生一种新生力量---- 360度全景摄像。 以往我们在狭小空间试图构建监控系统，无外乎会采用几种方案：短焦距镜头摄像机、调整安装位置、或多摄像机联动对射等。但以上几种方式都存在着不同的应用缺陷;选择短焦距镜头摄像机时，水平可视围小于80度(广角也超不过90度)，因而监控围较小;调整安装位置，往往受到客观环境的制约而影响稳定安装(例如一面是玻璃、一面是门、顶上有电线或无法承重的装饰吊顶等等);选择多摄像机联动对射，不仅增加了设备投入的成本，也使得施工变得更加繁琐。 一 360度全景摄像技术简介 顾名思义，360度全景摄像就是一次性收录前后左右的所有图像信息，没有后期合成，更没有多镜头拼接。其原理依据仿生学(鱼眼构造如图1)采用物理光学的球面镜透射加反射原理一次性将水平360度，垂直180度的信息成像(如图2)，再采用硬件自带的软件进行转换，以人眼习惯的方式呈现出画面。 图1 鱼眼结构
图2 鱼眼镜头的硬件示意图 鱼眼镜头是一种超广角的特殊镜头，其视觉效果类似于鱼眼观察水面上的景物。鱼的眼睛类似人眼构造，但是相对于扁圆形的人眼水晶体，鱼眼水晶体是圆球形，虽然只能看到比较近的物体，但却拥有更大的视角。 图3中，人眼看水中实物，由于实物反射的光线在水中发生折射，使人误以为物体处于虚像的位置(例如水中筷子弯曲现象)。根据折射原理，光从空气斜射入水等介质中时，折射角小于入射角;光从水等介质斜射入空气中时，折射角大于入射角。也可以概括为，光从一种介质斜射入另一种介质时，传播方向一般会发生变化。鱼眼镜头就是利用折射原理，本着拥有更大的球面弧度(类似鱼眼的球形水晶体)，成像平面离透镜更近(鱼眼的水晶体到视网膜距离很近)的设计思想，进行开发制造的。 一般来说，焦距越短，视角越大，而视角越大，因光学原理产生的变形也就越强烈。为了达到水平360度，垂直180度的超大视角，鱼眼镜头允许桶形畸变合理存在，除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化。为了把畸变后的图象转化为适合于人眼观看的正常图像，需要通过软件对图像进行坐标变换，并进行图像修正等
什么是全景环拍摄影？ 现实中的人置身于自然环境中，视觉是可以不受限制的，你只要转动头，眼睛就可以看到上下左右的全方位场景，而普逼的摄影只能在取景框范围去迭取有限的景物图像。全景摄影就是通过把相机环360 度，上下180度拍摄的一组照片拼接成一个环形的全景图像，通过专用的播放软件在电脑上或者互联网上显示，从而使您能用鼠标控制环视的方向，自由可左,可右,可上,可下，可近,可远。使您感到就在自然环境当中，您好像在一个窗口中浏览外面的大好风光。全景摄影并不是新东西，在过去，就有价格昂贵的全景摄影机可以拍摄360度的高质量全景照片，但它只能晒成长条相片，却没有环形展示自己的平台。只有计算机和互联网的发展才使她有了全新的含义和广泛的应用，现在,您可以到下面的网址看一个巴黎铁塔的全景照片。这种用鼠标可拖动浏览的全景照片，是相机转动拍摄的符合人眼自然视觉习惯的照片。在这网上我们可以自由地转换不同的场景，全方位观赏美丽的欧洲风光，这就是全景环拍摄影加互联网的魅力。 https://www.doczj.com/doc/653577849.html,/tour/08toureiffel/08toureiffel.html 为什么全景摄影突然加快了发展？ 以往数码全景照片的质量,受到了很多技术条件的限制，直到了如今，PC 发展到cpu多核，处理能力更强大，网络进入3G年代，全景自动拼接软件日渐成熟，播放软件的功能有了很大的提高，技术上的突破，再加上数码摄影器材的进步和普及，市场产生需求等各方面因素，才使到全景摄影有了得到更大发展的条件。其次，有别于普通数码摄影可以即拍即显示效果，拍全景摄影，特别是拍球形全景摄影，最终效果如何是一种悬念。拍全景不但在拍摄的时候取景、用光要用一种新颖的全景意识眼光，而且拍摄器材运用也需要有丰富摄影基础理论知识，拼接合成过程更需要懂软件运用和电脑图像处理技术。可以说，无论拍摄或后期处理，处处无不考验摄影者的个人艺术素养和技术能力。全景拍摄加后期制作的多样性变化，给摄影者提供了更大的创作空间，使照片更具个性化，这种集个人综合能力去完成一张作品的过程，其实也是一种自我能力提升的过程和享受的过程，这种从期待到成功过程带来的感受，只有追索到早期黑白摄影的暗房冲晒过程才曾经有，这也正是玩全景摄影令人入迷之处。 全景摄影的分类: 柱形全景：
实验目的： 图像拼接的目的是将有衔接重叠的图像拼成一张高分辨率全景图像，它是计 算机视觉、图像处理和计算机图形学等多学科的综合应用技术。图像拼接技术是指将对同一场景、不同角度之间存在相互重叠的图像序列进行图像配准，然后再把图像融合成一张包含各图像信息的高清图像的技术。本实验是根据输入的只有旋转的一系列图像序列，经过匹配，融合后生成一张360度的全景图像。 实验步骤： 下图是实验的流程图，实验大体上分为以下几个步骤： ①特征点提取和sift 描述： 角点检测，即通过查看一个小窗口，即可简单的识别角点在角点上，向任何一个方向移动窗口，都会产生灰度的较大变化， 2 1212()R k λλλλ=-+，通过R 的值的大小来判断是否为角点。H=22x x y y x y I I I I I I ????????，1λ， 输入图像序列 特征点检测 Sift 描述 RANSAC 特征匹配 根据两两匹配求出焦距f 投影到圆柱表面 图像融合 输出图像
为矩阵的两个特征值。实验中的SIFT描述子是对每个角点周围进行4个区域2 进行描述，分别是上下左右四个区域，每个方块大小为5*5，然后对每个方块的每个点求其梯度方向。SIFT方向共有8个方向，将每个点的梯度方向做统计，最后归为8个方向中的一个，得到分别得到sift（k,0），sift（k，1）···sift(k,8)，k为方块序列，0-8为方向，共有四个方块，所以生成32维的向量，然后按幅值大小对这32维向量进行排序，并找出最大的作为主方向。 图为角点检测和sift描述后的图 ②．如果直接根据描述子32维向量进行匹配的话，因为噪声的影响，角点检测的 不准确，会导致找出一些错误的匹配对，如何去掉这些错误的匹配呢？RANSAC 算法是基于特征的图像配准算法中的典型算法，其优点是：可靠、稳定、精度高， 对图像噪声和特征点提取不准确，有强健的承受能力，鲁棒性强，并且具有较好 的剔出误匹配点的能力，经常被使用在图像特征匹配中。RANSAC的基础是大多 数的点是正确的，然后在这些正确的点的基础上找出模型，算出其他点和这模型
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1
360°泊车辅助系统全景成像的研究360°全景泊车是高级驾驶辅助系统中的关键技术。相比于单目摄像头的行车记录仪,360 °全景泊车可以获取车身四周更广范围的影像信息, 实现无死角环视, 因而得到广泛关注和研究。 目前,360 °全景泊车系统尚处于探索期, 且大部分的研究仅局限于二维全景环视, 针对二维与三维全景环视, 尚未有一种通用的算法实现。本文以二维和三维全景泊车为研究场景, 对全景环视成像算法进行了研究与改进, 包括鱼眼摄像头的内参标定、外参标定、球面重投影、四路鱼眼摄像头的曲面投影与成像等算法。 本文针对二维与三维全景成像的共同性, 对鱼眼相机模型和标定算法进行了研究, 并采用了一种可以同时用于二维与三维全景环视的鱼眼相机模型及其标定算法。标定得到的内参和外参可以同时用于二维和三维全景环视, 实现了二维和三维全景泊车的统一。 本文提出了一种利用鱼眼摄像头标定参数进行球面重投影算法, 并利用OpenGL进行了验证。通过球面纹理映射后移动视点,远离球心,当距离远大于球面半径时, 近似认为视线平行, 并比较位移前后的观察效果, 从而验证了标定数据的正确性和球面重投影算法的可行性。 本文研究了多坐标系变换关系, 将多个标定板坐标系统一于车身坐标系下, 并在该坐标系下生成统一全景环视图像。由最终生成的全景环视图像按比例映射到车身周围的统一坐标系下, 通过对全景图像分区, 对四个子区域对应的四路摄像头逐像素遍历, 经过坐标变换, 最终索引到原始鱼眼图像的像素信息。 在二维全景环视的基础上, 通过组合平面和虚拟球面, 得到切球面, 并假
设光线来自该切球面上的点。由全景图像到切球面的映射关系, 得到切球面上点的三维坐标值,并分区索引原始图像中的像素信息, 得到内侧区域为平面投影外侧区域为曲面投影的混合重投影全景图。 本文对360°全景泊车系统算法进行模块化归类, 并通过标定实验和全景成像实验对算法进行验证。实验表明, 本文采用的标定算法可以用于二维和三维全景环视,本文的全景成像算法可以实现二维到三维全景的统一, 并且三维成像算法具有近距离无畸变和视场范围广的特点,满足360°全景泊车的需求。
全景图像拼接融合算法研究 1 引言 随着计算机视觉、计算机图形学、多媒体通信等技术的发展，各类虚拟现实系统都力图构建具有高度真实感的虚拟场景，因此在背景图像及三维模型纹理图像方面都会选择真实图像作为素材，通过将不同角度的图像进行拼接融合获得广视角图像。因此，无缝平滑的图像拼接融合是构建逼真的模拟训练环境的重要基础。 本文对图像拼接融合算法进行了深入研究，力图构建可以满足各类虚拟现实系统需求的广视角图像。经验证，本文方法可以稳定高效得对多幅图像实现拼接融合，具有较高的实际应用价值。 2 图像拼接融合算法原理 2.1 图像拼接 为了实现相邻间有部分重叠的图像序列的拼接，需要首先确定这些图像序列之间的空间对应关系，这一步工作称之为图像配准。为了确定图像之间的对应关系，需要知道其相应的对应关系模型，一旦确定了图像之间的关系模型，则图像之间的配准问题就转化成确定该模型的参数问题。目前常用的一些关系模型有平移变换模型、刚性变换模型、仿射变换模型以及投影变换模型等。其中，刚体变换是平移变换、旋转变换与缩放变换的组合，仿射变换是较刚体变换更为一般的变换。仿射变换和刚体变换模型则又是投影变换模型的特例。投影变换关系模型可以用齐次坐标表示为： ????????????????????=??????????111~~76543210y x m m m m m m m m y x ……………………………………(1) ???? ??????=176543 210m m m m m m m m M ………………………………………… (2) 其中，投影变换矩阵M 中各参数的意义如下：0m 、1m 、3m 、4m 表示尺度和旋转量；2m 、5m 表示水平和垂直方向位移；6m 、7m 表示水平和垂直方向的变形量。图像配准的实质便是求解投影变换阵M 中的参数。目前对M 求解的典型方法有：模板匹配法、基于图像灰度的配准法、基于图像特征的方法[1]等。 2.2 图像融合 求得两幅图像的最优投影变换矩阵M 之后就确定了它们之间的变换关系。为了得到合成图像，还需要选择合适的图像融合方法来完成图像的拼接。图像融合的任务就是把配准后的两幅图像拼接成一幅无缝图像。一般分两步进行融合，第一步是图像的合并，将两幅图像拼接到同一个坐标空间内，使两幅图像成为一幅图像；第二步是拼缝的消除，去除拼接缝使两幅图像真正能融合成一幅图像。
全景高清监控系统 广东百泰科技有限公司高清全景摄像机系统是一套基于全景图像采集获取、拼接生成及浏览交互等技术的“点-面智能联动摄像机系统”，结合海量视频数据智能分析技术，可实现高清全景视频图像信息处理及交互应用。产品及技术适用于安防监控、城市管理、智能交通、消防、城市规划等各类具有城市地理信息及可视化管理需求的行业人员使用。可应用于区域边界卡口、重要道路节点、人员密集场所、城区交叉口、水库、林区、车站码头以及首脑机关和水电油气、金融等重点要害部位的公共安全风险防控，提高管理部门应对突发事件的处置能力。 百泰高清全景摄像机系统采用了新一代高清全景视频实时变换、超高分辨率图像实时处理、ISP智能图像算法设计、海量图像分布式存储等多种前沿技术，通过一台180°高清全景摄像机与一台1080P全高清高速球有机嵌合，匹配专用软件，组成一套点面联动的智能化全景高清监控系统。通过单台摄像机就能对180°或360°度范围进行成像，并实现对成像区域内所有目标进行从点到面的同步高清监控，达到无缝监控、点面兼顾的效果。 一、技术特色 全景：单台摄像机就能对180°或360°度视角范围进行成像。 高清：1080P全高清视频传输和录像。 超微光感知技术：采用双阶 3D 去噪算法，超低照度、超低噪声、全彩色，宽动态。 全景+高速球“一键式”点面联动：针对目前监控摄像机“看得清却看不全” “看得全却看不清”的矛盾，将高清高速球的“点”与全景摄像机的“面” 搭配组合，实现由“面”及“点”的一键式操控，点击全景画面的任何一个位置，系统可立即调度高速球转到预定监视点，配准精度高达0.05°，响应时间小于0.1秒，使监控全局与局部细节一览无遗。 室内外应用，IP66防护等级。 二、实景视频演示
1、课题来源 随着计算机技术的高速发展，运动物体的检测和跟踪在图像处理、计算机视觉、模式识别、人工智能、多媒体技术等领域越来越受到人们的关注。运动跟踪和检测的应用广泛，在智能监控和人机交互中，如：银行、交通、超市等场合常常使用运动跟踪分析技术，通过定位物体并对其行为进行分析，一旦发现物体有异常行为，监控系统就发出警报，提醒人们注意并即时的处理，改善了人工监督注意力分散、反应时间较慢、人力资源浪费等问题。运动目标的跟踪在虚拟现实、工业控制、军事设备、医学研究、视频监控、交通流量观测监控等很多领域也有重要的实用价值。特别在军事上，先进的武器导航、军事侦察和监控中都成功运用了自动跟踪技术。而跟踪的难点在于如何快速而准确的在每一帧图像中实现目标定位。正因如此，对运动目标的跟踪和检测的研究很有价值。 2、研究目的和意义 运动目标检测是图像处理与计算机视觉的一个分支，在理论和实践上都有重大意义，长久以来一直被国内外学者所关注。在实际中，视频监控利用摄像机对某一特定区域进行监视，是一个细致和连续的过程，它可以由人来完成，但是人执行这种长期枯燥的例行监测是不可靠，而且费用也很高，因此引入运动监测非常有必要。它可以减轻人的负担，并且提高了可靠性。概括起来运动监测主要包括三个内容：运动目标检测，方向判断和图像跟踪。运动目标检测是整个监测过程的基础，运动目标的提取准确与否，直接关系到后续高级过程的完成质量。3、国内外研究现状和发展趋势及综述 运动目标检测在国外已经取得了一些的研究成果，许多相关技术已经开始应用到实际系统中，但是国内研究相对落后,与国外还有较大差距。传统的视频目标提取大致可以分两类,一类以空间同性为准则,先用形态学滤波器或其他滤波器对图像作预处理;然后对该图像的亮度、色度或其他信息作空间上的分割以对区域作边缘检测;之后作运动估计,并合并相似的运动区域以得到最终的提取结果。如光流算法、主动轮廓模型算法。此类方法结果较为准确但是运算量相对较大。另一类算法主要以时间变化检测作为准则,这类算法主要通过帧差检测图像上的变化区域和不变区域,将运动物体与静止背景进行分割。此类方法运算量小,提取结果不如前类方法准确。此外,还有时空结合方法、时空亮度梯度信息结合的方法等等。 4、研究方法
3D全景照片和3D全景技术介绍 什么是3D全景照片 通俗的说，我们在面对一副普通的风景画或者一幅普通的风景照片的时候，只能看到画中所反映的景色，也是镜头这一小块拍摄范围内的景观。因此，即便面对极其美丽的风景照片，也很难有身临其境的感觉，这是因为没有亲身来到这个地方面对这样的景色，因此不知道头顶的天、脚下的地面、背后的景象又是什么样的，也就是说，仅仅面对一张照片，无法想象亲临其境所环绕的感受。 但是，在360度全景照片中，你不仅可以看到面前的景色，还可以在鼠标环顾四周，看看你身后的景色，或者抬头看看天，低头看看
脚下的地。总之，你可以前后左右上下转动自己的视角，全方位领略被美景包围、亲身经历置身其中的体验。 这是因为摄影师在拍摄时，将它周围各个角度的景观都拍摄下来，并利用拼接技术把他们拼接到一起，输出成一定格式，然后放到互联网上，我们就可以用鼠标和键盘的控制环视四周的方向了，上下左右可近可远。 相比较一般的效果图和三维动画，全景效果图具有如下优点： 1.避免了一般平面效果图视角单一，不能带来全方位感受的缺憾，本机播放时画面效果与一般效果图是完全一样的； 2.互动性强，可以由客户操纵从任意一个角度互动性地观察场景，犹如身临其境，最真实的感受最终设计的结果，这一点也不同于缺少互动性的三维动画；
3.价格仅比一般效果图略高，相比动辄每秒几百元的三维动画来说可谓经济实惠，而且制作周期短。 3D全景网站生成的技术 ●?????????摄影高清晰度技术： 经过不断的开发改良，我们在保证播放速度和窗口大小的条件下，比同行所提供的图片具有更高的清晰度和分辨率。图片分辨率最高可达1250万像素；窗口最大可达到1024×768; ●?????????悬空技术： 摆脱三脚架的束缚，打破常规的想像局限，创造出全新的视角,立足点上升至空中,四周无任何支撑点。尤以视角向下体现出险峻、壮观、独特的感受效果； ●?????????微距技术： 通过对微小空间的细节描绘，将人们平常忽略的场景展示出来，实现近距离的观赏； ●?????????运动技术： 将运动着的物体展现出来，使人把握和感受到运动的瞬间美； ●?????????360度柱型技术：
高清图像全景拼接 Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998
全景拼接白皮书
目录
1 方案概述 1.1 市场需求 全景拼接系统，是以画面拼接技术为基础，将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统，用户如果要实时监控一片连续的大范围区域，最常见的做法是，安装多个摄像机，每个负责一小片区域，该方案的主要缺陷是，用户没有画面整体感，很难连续追踪整个区域内的某个目标。全景拼接系统，能很好的解决上述问题。 传统意义上的全景拼接系统，虽然解决了“看的广”、“看的画面连续”的问题，但并没有解决“看的清”的问题。因此宇视的全景拼接系统中，增加了球机联动功能，以解决“看的清”的问题，一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能，是以枪球映射技术为基础，将全景画面坐标系和球机画面坐标系关联映射起来，用户只要在全景画面中拉框，球机就自动转动和变倍到指定位置，对用户来说这是一个设备，而不是孤立的两个设备。 全景拼接系统，主要应用于大范围监控，如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接：支持3个高清相机（最高1080P）的拼接。 ●画面拼接：拼接后最高分辨率可以达到5760×1080。 ●球机联动：支持1个球机（最高1080P）的联动。 ●球机联动：支持在全景画面中拉框放大，自动联动球机转动和变倍到指定位置。 2 组网模型 2.1 全景拼接 2.1.1 逻辑框图（或拓扑图） 2.1.2 原理描述 拼接原理： 拼接前提：用于拼接的摄像机，在图像内容上，两两相交。