基于OpenCVSharp的无人机航片快速拼接方法研究

无人机航拍图像拼接的研究与实现肖映彩;徐光辉;朱森【摘要】Aiming at the characteristics of UAV aerial images, and with mosaic technology based on the features of images, the seamless mosaic of UAV aerial images is implemented. First, a modified Harris algorithm with adaptive threshold is proposed to extract the feature points of images. Then the normalized cross-correlation function is used to make two-way match of the feature points, and with RANSAC algorithm the false pairs of matching points are eliminated, and the transformation model also estimated. Finally, a gradually fade-out weighted fusion method is adopted to implement image fusion. The experimental results indicate that the proposed algorithm has good reliability and robustness, and performs well in implementing mosaic of UAV aerial images.%针对无人机航拍图像的特点，采用基于图像特征的拼接技术，实现了无人机航拍图像的无缝拼接。

无人机航拍图像拼接的研究与实现作者：罗彬汤博麟刘克文来源：《中国科技博览》2017年第08期[摘要]针对无人机航拍图像的特点，采用基于图像特征的拼接技术，实现了无人机航拍图像的无缝拼接。

[关键词]无人机；图像拼接中图分类号：TP391.41 文献标识码：A 文章编号：1009-914X（2017）08-0182-021 图像拼接的原理与实现过程1.1 特征点提取1.1.1 常用的特征点提取算法比较目前，应用比较广泛的特征点提取算法有Moravec、Harris、SUSAN、SURF、SIFT等算法。

从图像拼接的应用中比较了Harris和SIFT算法。

SIFT算法具有良好的尺度和旋转不变性，但是算法复杂运算速度慢；而Harris算法运算速度快且在旋转图像的拼接上效果更好。

由于Harris算法计算简单、稳定性高、具有很好的鲁棒性，即使图像存在旋转、亮度变化和干扰噪声，也能精确检测出图像中的特征点，因此本文采用Harris算法提取待拼接图像的特征点。

1.1.2 Harris算法的原理Harris特征点检测算法是C.Harris和M.Stephens在Moravec算法的基础上，提出的一种经典的基于信号的特征点提取算法。

Harris算法的原理是在图像中的一个小的观察窗口内，在特征点处窗口沿任意方向移动微小的距离都会观察到图像灰度值的剧烈变化。

定义窗口内灰度值的变化量：（1）式中w（x，y）为窗口函数。

为了较好地抑制噪声，窗口函数选用高斯函数：（2）对式（1）用泰勒级数展开，取一阶近似可得：（3）式中，（4）分别为图像在x和y方向上的一阶偏导数：（5）（6）令：（7）则（8）设λ1、λ2分别是矩阵M的两个特征值，根据和的值可以判断观察窗口内灰度变化量E的变化情况，可以分为以下三种情况：（1）λ1和λ2都很小，说明是在图像的平坦区域，窗口沿任意方向移动E的变化都很小。

（2）λ1和E一个很大而另一个很小，说明此时是在图像的边缘区域，窗口沿边缘方向移动E变化很小，而沿边缘法线方向E变化很大。

基于SURF的图像配准与拼接技术研究共3篇基于SURF的图像配准与拼接技术研究1近年来，图像配准与拼接技术已经成为了数字图像处理的重要研究方向之一。

在许多应用领域中，例如遥感影像、医学影像、三维建模等，图像配准与拼接技术已经得到了广泛的应用。

随着计算机视觉技术的不断发展，图像配准与拼接技术也在不断的完善和提高。

其中一种最具有代表性的图像配准与拼接技术就是基于SURF的图像配准与拼接技术。

SURF（Speeded-Up Robust Features）是一种高效的图像特征提取算法，它可以在保证特征点数量和质量的同时，提高提取速度。

利用SURF算法提取的特征点几乎不受图像缩放、旋转、平移等变换的影响，具有较好的鲁棒性和准确性。

基于SURF算法的图像配准与拼接技术，可以较好地解决图像缩放、旋转、平移等问题，为数字图像处理提供了更好的技术保障。

在基于SURF的图像配准与拼接技术中，首先需要选取参考图像和待配准图像。

然后，利用SURF算法对两幅图像提取特征点，并进行特征点匹配。

通过对特征点的匹配，可以找到两幅图像之间的几何变换关系。

接下来，可以利用图像配准技术对待配准图像进行校正对准，从而使其与参考图像达到一致。

最后，可以利用图像拼接技术将校正后的待配准图像与参考图像进行拼接，得到最终的拼接结果。

其中，特征点匹配是图像配准与拼接的关键步骤之一。

SURF算法的特征点匹配策略使用的是一种特殊的描述子匹配算法——KD树。

KD树是一种数据结构，在高维空间中构建KD树，可以实现高效的最近邻搜索。

通过KD树可以快速地找到两幅图像中距离最近的特征点，并将其匹配起来。

通过特征点的匹配，可以计算出两幅图像之间的变换关系，并对待配准图像进行校正对准。

除了特征点匹配外，还有一些其他的关键步骤也需要注意。

例如，在图像配准中，需要对待配准图像进行坐标转换，从而使得其与参考图像的坐标系一致。

在图像拼接中，需要实现拼接过程中的图像去重、光照一致性等问题。

科技与创新｜Science and Technology & Innovation2024年 第02期DOI ：10.15913/ki.kjycx.2024.02.037基于MATLAB的无人机图像拼接算法研究＊张 建，李 行，于晓燕，张 康，王 博（昌吉学院，新疆 昌吉回族自治州 831100）摘 要：阐述了小波图像融合、图像块匹配、SURF （加速稳健特征）算法3种图像拼接算法。

借助MATLAB 平台工具，进行了GUI （图形用户）界面设计，对3种图像拼接算法进行了对比分析，得出图像块匹配拼接算法具有的优势。

关键词：小波图像融合；图像块匹配；SURF 算法；图像拼接中图分类号：TG333 文献标志码：A 文章编号：2095-6835（2024）02-0126-03——————————————————————————＊［基金项目］昌吉学院科研项目（编号：21KY004）图像拼接技术[1-2]在实际行业中的应用价值非常高，在医学图像、遥感图像处理、交通运输、模式识别、计算机视觉等领域已经被广泛应用。

国内外很多学者早已把图像拼接作为计算机图形学的焦点来研究，对图像拼接及其相关技术进行广泛而深入的研究有着重要而深远的意义[3]。

无人机航拍时受外部环境因素影响，一些图像变得不完美。

为了得到视角更宽、分辨率更高的全局图像，需对图像进行拼接处理。

文献[4]选择SIFT （尺度不变换特征）算法对无人机航拍苗圃图像进行拼接，拼接过程耗时长。

文献[5]提出一种将分数阶微分处理和SIFT 算法结合的图像处理算法。

文献[6]利用SIFT 算法对无人机图形拼接进行了改进。

为解决图像匹配耗时问题，文献[7]提出在尺度不变特性变换（SIFT ）算法的基础上，根据特征点邻域灰度值的差熵大小来筛选稳定特征点，提高算法匹配效率。

文献[8]利用RANSAC （随机抽样一致） 算法对SIFT 算法提取特征点进行筛选剔除，优化了拼接效果。

总762期第二十八期2021年10月河南科技Journal of Henan Science and Technology 信息技术无人机航拍路面图像处理的拼接算法研究周方圆　杨鹏举（延安大学物理与电子信息学院，陕西　延安　716000）摘　要：道路交通领域的不断发展需要足够清晰和大量的路面图像作支持。

以往在路面图像获取和拼接过程中，由于相似图片数量较大，配准正确率始终无法有效提升，同时存在操作时间较长、工作效率和质量低下的问题。

在此背景下，针对航拍路面图像的拼接算法应运而生，使得图像处理变得更加准确迅速，对促进道路交通领域的发展具有积极作用。

因此，全面分析尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）算法，并阐述其在航拍路面图像处理中的应用效果，以便为相关从业者提供一定的参考。

关键词：无人机（UAV）；航拍图像；路面；图像拼接；尺度不变特征变换（SIFT）算法中图分类号：TP391.41 文献标识码：A 文章编号：1003-5168（2021）28-0006-03 Research on Splicing Algorithm of UAV Aerial Pavement Photography ProcessingZHOU Fangyuan　YANG Pengju（School of Physics and Electronic Information, Yan’an University, Yan’an Shaanxi 716000）Abstract: The continuous development of the field of road traffic needs enough clear and a large number of road images as support. In the past, in the process of road image acquisition and splicing, due to the increase in the number of similar images, the registration accuracy can not be effectively improved. At the same time, the operation time is long, and the work efficiency and quality are low. In this context, the mosaic algorithm for aerial pavement images came into being, which makes the image processing more accurate and rapid, and plays a positive role in promoting the development of road traffic field. This paper makes a comprehensive analysis of SIFT algorithm and expounds its effect in aerial pavement image processing, so as to provide some reference for relevant practitioners.Keywords: Unmanned Aerial Vehicle(UAV)；aerial images；pavement；image mosaic；Scale-Invariant Feature Transform(SIFT) algorithm我国经济的快速发展与道路交通建设的完善密不可分。

基于无人机的航拍影像快速拼接技术研究作者：金剑武海彬刘文华来源：《中国管理信息化》2018年第21期[摘; ; 要] 本文采用基于顾及重叠的面Voronoi图构建影像拼接网络，生成目标区域全部影像所对应的Voronoi多边形，依照影像顺序依次进行镶嵌处理，形成初步拼接成果图。

应用基于Wallis滤波器的多片色彩均衡算法，进行影像匀光操作，实现拼接影像间的自然过渡。

本文采用C++编程语言实现无人机影像特征提取、粗差消除、光束法平差、影像色彩一致性处理等环节，设计并开发出界面友好型无人机航拍影像自动拼接软件系统，能够快速进行影像拼接处理，获取良好的拼接效果。

[关键词] 无人机影像拼接;拼接线;色彩均衡doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 21. 071[中图分类号] F270.7;TP391.41; ; [文献标识码]; A; ; ; [文章编号]; 1673 - 0194（2018）21- 0166- 051; ; ; 无人机影像镶嵌算法影像镶嵌（image mosaic）是指对具有重叠区域的多幅影像按照一定规则进行坐标变换，将全部影像规范到统一的坐标框架下，初步拼接成一幅覆盖整个目标区域的大型影像的过程[1]。

影像拼接线的自动生成是镶嵌任务中的关键环节，现有的拼接线生成方法多只关注于相邻的两幅影像间单条拼接线生成情况，这类方法在整个拼接区域能构建多条拼接线，各拼接线具有独立性，只能按照影像顺序依次拼接，不利于直接生成最终镶嵌成果图。

由于拍摄环境的影响，航空影像内部及影像之间在亮度分布上存在不同程度的差异，对其进行色彩均衡处理可以提升影像清晰度，获取更佳拼接效果，影像匀光操作十分重要。

本文介绍无人机影像拼接优化策略，采用基于顾及重叠的面Voronoi图的拼接线网络自动生成算法和基于Wallis滤波器的多片色彩均衡算法，实现无人机影像快速镶嵌与色彩一致性处理操作。

面向应急响应的无人机图像快速自动拼接一、引言说明应急响应的重要性，讨论无人机在应急响应中的应用，介绍无人机图像拼接技术在应急响应中的作用，在此基础上提出本文的研究目标和意义。

二、相关技术背景与前瞻阐述无人机图像拼接技术的研究现状和相关技术，如拼接算法、图像处理、无人机技术等，并分析未来的研究方向。

三、无人机图像快速自动拼接方法详细介绍无人机图像快速自动拼接的方法，包括选取关键点、特征匹配、图像变换和区域拼接等步骤，以及采用何种算法和技术进行的实现。

四、实验与应用对提出的无人机图像快速自动拼接方法进行实验和测试，分析实验结果和性能，并指出该方法在应急响应等实际应用中的价值和前景。

五、结论与未来工作总结本文的研究内容和实验结果，强调无人机图像拼接技术在应急响应中的作用以及提出进一步研究可以进一步改进和完善的方向。

在现今的社会，一些重大自然和人为灾害已成为越来越普遍的现象。

这些灾害除了对人民造成了严重的威胁和损失外，还对社会和经济造成了极大的影响。

因此，在这种情况下，应急响应机制的快速和有效的响应显得尤为重要。

在应急响应的过程中，无人机图像快速自动拼接技术发挥了重要的作用。

无人机拥有灵活、高效、精密等特点，可在短时间内完成广大区域内的高精度监测，因此能够及时掌握灾害现场的情况。

然而，无人机所拍摄到的图像存在分辨率和覆盖区域等差异，此时就需要将这些图像拼接在一起，以形成一个完整的地理信息系统（GIS）。

因此，无人机图像快速自动拼接技术具有极其重要的前景与意义。

随着拼接算法和图像处理技术的不断发展和进步，可以实时获取多种精密传感器所获取的实时数据，并对这些数据进行高效的分析和处理。

这种技术不仅能够应用于灾害现场，还可以用于环境监控、城市规划、物流等领域。

因此，在本文中，首先介绍了应急响应的重要性和无人机技术在其中的作用，然后着重阐述了无人机图像拼接技术在应急响应中的作用，尤其是无人机图像快速自动拼接技术的相关技术和背景。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010567669.4(22)申请日 2020.06.19(71)申请人 中国科学院空天信息创新研究院地址 100094 北京市海淀区北四环西路19号申请人 生态环境部卫星环境应用中心(72)发明人 李儒　朱海涛　陈正超　潘洁　邓飚　陈凯　王晓巍　徐进勇　朱金彪　杨宏　(74)专利代理机构 北京润平知识产权代理有限公司 11283代理人 肖冰滨　王晓晓(51)Int.Cl.G06T 3/40(2006.01)G06T 5/00(2006.01)G06K 9/46(2006.01)G01C 11/08(2006.01)G01C 11/04(2006.01)(54)发明名称一种应急救援活动中无人机航拍影像快速拼接的方法(57)摘要本发明涉及影像拼接领域，具体涉及一种应急救援活动中无人机航拍影像快速拼接的方法，包括获取无人机航拍数据；将影像个数抽稀，然后对参与拼接的各张影像进行畸变校正和影像重排；基于影像纹理先进行航带影像拼接，再进行航带间拼接；最后以原始影像中心点为控制点，对拼接影像进行几何校正，使影像具有地理空间信息。

本发明方案中通过减少影像数据并简化数据处理过程，能够快速进行影像拼接，同时影像数据具有可量测性，大大提高了无人机航拍影像的拼接效率，得到的影像拼接图在精度上能够满足应急救援指挥需要。

权利要求书3页 说明书11页 附图2页CN 112330537 A 2021.02.05C N 112330537A1.一种应急救援活动中无人机航拍影像快速拼接的方法，其特征在于，所述方法包括：获取无人机航拍数据，包括影像数据、飞控数据和航拍参数；在满足影像拼接要求的条件下，根据所述航拍参数对所述影像数据进行抽稀处理，然后对参与拼接的各张影像进行畸变校正，再根据影像的获取时间顺序对校准影像按航带重排；根据所述影像数据和所述飞控数据建立像控点库，其中，像控点坐标包括像素点坐标和像素点空间坐标；基于影像纹理信息对重排影像的重叠区进行同名点匹配，并基于航带内的影像同名点实现航带内影像拼接，再基于航带间的影像同名点实现航带间影像拼接，得到影像拼接图，同步更新所述像控点库；以原始影像中心点为控制点对所述影像拼接图进行几何校正，使所述影像拼接图具有空间地理信息。