基于OpenCV的视觉定位四旋翼无人机

基于计算机视觉的无人机物体识别追踪作者：李杰刘子龙来源：《软件导刊》2020年第01期摘要：提出一种将ROS系统的AR.Drone飞行器作为载体，基于飞行器实现物体识别追踪的具体优化方案。

在计算机视觉方面，结合物体识别OpenCV模块中的Haar级联分类器与卡尔曼滤波，实现无人机的目标识别以及对错误目标的过滤功能，使飞行器在搭载摄像头模块后，可结合现有视觉模型完成目标识别要求，算法融合后的系统性能具有良好的鲁棒性;在飞行器控制方面，结合飞行器自身的反馈控制模块与基于相对位置控制的PD位置控制器，优化飞行器自身姿态及目标追踪过程中的动态参数调节优化功能，使飞行器在目标追踪过程中具有良好的自适应性。

基于以上两点优化方案建立实验模型，取得了较好的实验效果。

具体相对位置估计均方根误差实验结果为：在x方向上为0.124 Sm，在v方向上为0.243 7m，在z方向上为0.176 8m，证明了该优化方案的实用性。

关键词：计算机视觉;无人机;目标识别;目标追踪;ROS系统;OpenCVDOI： 10. 11907/rjdk.191475开放科学（资源服务）标识码（OSID）：中图分类号：TP301文献标识码：A文章编号：1672-7800（2020）001-0021-040 引言在计算机视觉领域，物体识别算法框架的发展已趋于稳定，目前的计算机视觉已能够应用于大部分场景[1-6]。

无人驾驶飞行器[7-8]（ Unmanned Aerial Vehicle，UAV）是一种兼具飞行、垂直起降等功能，具有较好机动性的小型机器人，在融合计算机视觉技术后，广泛应用于无人机导航、定位着陆、飞行避障、视觉同步定位与建图（ Simultaneous Lo-calization and Mapping，SLAM）等方面。

无人机物体识别追踪技术利用无人机作为载体，结合计算机视觉技术，在飞行过程中结合飞行高度与视角，提取目标物体图像特征并对特征信息进行处理，同时结合相对位置控制算法，实现追踪功能。

基于视觉的微小型四旋翼飞行器位姿估计研究与实现近年来，随着无人机技术的飞速发展，微小型四旋翼飞行器（Micro Aerial Vehicles，MAV）在军事、民用以及科学研究领域得到广泛应用。

然而，由于微小型四旋翼飞行器具有体积小、负载轻的特点，机载传感器受限，同时在复杂环境下的准确位姿估计仍然是一个挑战。

位姿估计是微小型四旋翼飞行器实现自主飞行和导航的重要环节。

传统的位姿估计方法主要依靠惯性测量单元（Inertial Measurement Unit，IMU）和全球定位系统（Global Positioning System，GPS）等传感器的测量数据。

然而，这些传感器仅能提供有限的信息，并且容易受到环境干扰，从而导致位姿估计的不准确性。

因此，基于视觉的位姿估计方法成为研究的热点和难点。

基于视觉的位姿估计方法利用了飞行器上搭载相机的图像信息，通过对图像进行分析和处理，获得飞行器相对于地面的准确位置和姿态。

在实现过程中，首先需要对图像进行特征提取和特征匹配，通过寻找图像中的角点或者特定的纹理特征，计算出特征点的位置和方向。

接着，通过特征点的匹配，建立相机坐标系与世界坐标系之间的映射关系，从而得到相机相对于世界坐标系的位姿信息。

然而，基于视觉的位姿估计方法仍然面临一些挑战。

首先，由于微小型四旋翼飞行器的体积小，相机像素尺寸有限，导致捕获的图像分辨率较低，特征提取的精度和鲁棒性受到限制。

其次，微小型四旋翼飞行器飞行速度较快，快速的姿态变化会导致特征点在相邻帧之间的跟踪失败，进而影响位姿估计的准确性。

此外，光照变化和遮挡等环境因素也会对视觉位姿估计方法的性能产生影响。

为了解决以上问题，研究人员提出了一系列基于视觉的位姿估计方法和算法。

例如，利用非线性优化方法，通过最小化图像特征点在不同帧之间的重投影误差，从而得到最优的位姿估计结果。

另外，基于视觉惯导融合的方法也被广泛应用。

该方法将视觉信息与惯性测量单元的测量结果进行融合，通过互补滤波器或者扩展卡尔曼滤波器等算法，最终得到更准确的位姿估计结果。

Electronic Technology •电子技术Electronic Technology & Software Engineering 电子技术与软件工程• 63【关键词】Opencv 无人机 跟踪控制随着科学技术发展，无人机硬件设备向高集成、高性能方向发展，特别是旋翼型无人机具有灵活性高、稳定性好、可以垂直起降场地适应性较强的优点，广泛应用于无人机测绘、无人机植保、无人机侦查识别等领域。

硬件中集成了CMOS 传感器和处理器可以进行跟踪和识别，这类无人机在各种领域都有较强的自主控制能力，适应不同的工作环境。

然而旋翼无人机随着姿态控制的同时避免不了出现震动和干扰，图像容易模糊；识别过程中，被跟踪物体颜色如果和背景颜色相近容易出现识别失败导致跟踪失败现象；当被跟踪物体被遮挡后没有相应的算法去解决等。

本文根据以上问题，提出一种基于Opencv 视觉处理的旋翼无人机识别规划方案，能够实现自主跟踪控制。

1 多旋翼无人机飞行平台多旋翼无人机飞行平台采用飞越TAROT公司680pro 碳纤维机架（TL68P00），轴距695mm ，可安装无刷电机数量为六个；无刷电机采用3510电机，kv 值为350；电子调速器采用3~6S/40A ，供电电压从11.1V~25.2V ，最大持续电流40A ；螺旋桨尺寸为13寸碳纤维螺旋桨；动力电池采用格瑞普公司的格氏16000mAh/15C 电池。

该平台无负载重量约为4.2公斤，悬停时间约为32分钟。

本设计中采用的六旋翼无人机飞行平台具有高机动性，具备空间三轴六自由度的飞行能力，对场地要求较小，适合执行图像处理并跟踪任务。

2 图像处理及跟踪原理首先通过六旋翼无人机飞行平台搭载的视觉采集设备对图像进行采集，将每秒24帧的视频 通过串行通信传送给图像处理器的高速存储器，先进行图像预处理，如降低图像噪点、图像曝光纠正等等，然后送入以图像处理基于OPENCV 视觉处理的旋翼无人机识别规划的设计文/赵旭器为核心的控制板运行移植的Opencv 代码对视频图像进行处理。

基于深度学习的四旋翼无人机控制算法优化研究随着人工智能的发展和深度学习的应用，四旋翼无人机的控制算法也得到了重大的提升。

基于深度学习的无人机控制算法在提高飞行精度和性能方面表现出了显著的优势。

本文将介绍基于深度学习的四旋翼无人机控制算法的优化研究。

一、深度学习在无人机控制中的应用深度学习是一种人工智能的方法，它模仿人脑的神经网络结构，可以让机器自己学习和识别数据特征，从而实现对数据的自动分析和处理。

在无人机控制中，深度学习可以帮助无人机识别环境、避开障碍物、自动控制飞行方向和速度等。

二、深度学习在四旋翼无人机控制中的优势四旋翼无人机控制是一项高难度的工程技术，需要大量的运动控制、电路控制和传感器控制等方面的知识。

传统的无人机控制算法效果受到传感器精度和算法模型的限制，难以精确控制无人机。

而基于深度学习的无人机控制算法可以自学习和自适应，使得控制算法变得更加灵活。

三、基于深度学习的四旋翼无人机控制算法基于深度学习的四旋翼无人机控制算法包括视觉感知、环境感知和运动控制三个主要部分。

其中视觉感知主要通过相机和图像处理技术获取无人机周围的图像信息，环境感知主要通过传感器获取无人机周围的环境信息，运动控制主要通过无线通信技术传递控制信号，实现对无人机的精确控制。

四、算法优化研究基于深度学习的四旋翼无人机控制算法虽然精度和性能较好，但也存在一些问题。

例如，算法自学习的过程需要大量数据的支持，对数据质量和纯度要求较高，数据规模也需要大。

此外，算法的可控性也存在一定的问题，例如难以实现实时控制，需要大量的计算资源等。

针对上述问题，需要进行算法优化研究。

优化研究可以从以下方面进行：1. 数据静态引入：提高数据质量和准确性，减少数据量，提高数据利用率。

2. 算法实时控制：提高算法的实时性和控制性能，使得无人机控制更加精确和稳定。

3. 降低计算资源：优化算法模型，降低算法计算复杂度和计算量，提高算法效率。

五、结论深度学习技术的应用使得四旋翼无人机控制算法得到了大幅度的提升，算法的精度和性能也得到了显著提高。

基于OpenMV的四旋翼无人机目标跟踪系统设计与实现
马晓琳;周弘斌;黄福龙
【期刊名称】《电子测试》
【年(卷),期】2022()2
【摘要】基于四旋翼无人机小巧便捷可控的特点,设计并实现了一种可识别并自动跟踪物体的四旋翼无人机系统,该系统采用STM32F407为主控芯片,综合光流模块、数传模块、OpenMV4模块和电机、螺旋桨等外围设备,采用姿态估算、色块跟踪
解耦合、色块识别、滤波、坐标系转换、PID调节、前馈调节等算法实现四旋翼的识别与自动跟踪,使其可以在平稳飞行的同时,按照程序指令搜寻目标,并触发跟踪状态,完成自动跟踪。

该四旋翼无人机系统灵巧便携,操作简单,通用性强,应用前景广阔。

【总页数】3页(P20-21)
【作者】马晓琳;周弘斌;黄福龙
【作者单位】陆军工程大学石家庄校区
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于视觉的四旋翼无人机目标跟踪系统设计
2.基于视觉的四旋翼无人机目标跟踪研究
3.四旋翼无人机飞控系统设计与实现
4.四旋翼无人机飞控系统设计与实现
5.
基于四旋翼无人机的运动目标跟踪控制研究
因版权原因，仅展示原文概要，查看原文内容请购买。

基于视觉的微小型四旋翼飞行器位姿估计研究与实现基于视觉的微小型四旋翼飞行器位姿估计研究与实现一、引言随着四旋翼飞行器技术的进步和广泛应用，人们对于提高四旋翼飞行器的自主定位与导航能力的需求也越来越迫切。

而四旋翼飞行器的位姿估计是实现自主定位与导航的关键环节之一。

近年来，随着计算机视觉技术的不断发展和成熟，基于视觉的位姿估计技术成为研究的热点。

本文将对基于视觉的微小型四旋翼飞行器位姿估计进行深入研究。

二、基于视觉的位姿估计技术综述1. 视觉传感器与视觉定位视觉传感器是指通过摄像头获取图像信息的传感器。

视觉定位是指通过分析图像获取目标位置信息的过程。

常用的视觉定位方法包括特征点匹配、光流法、直接法等。

2. 特征点匹配特征点匹配是一种常用的目标检测与跟踪方法。

通过寻找图像中的特征点，并将其与模板图像中的特征点进行匹配，从而实现目标的定位与跟踪。

常用的特征点匹配方法包括SIFT和SURF等。

3. 光流法光流法通过分析图像中像素点的位置变化来推断目标的移动方向与速度。

光流法常用于动态环境下的目标跟踪与定位。

4. 直接法直接法是一种通过分析图像灰度值的变化来推断目标位姿的方法。

通过计算目标在图像上的亮度变化，可以估计目标相对于相机的位姿。

三、基于视觉的微小型四旋翼飞行器位姿估计方法研究1. 目标检测与跟踪对于四旋翼飞行器的位姿估计，首先需要进行目标的检测与跟踪。

通过视觉传感器获取的图像数据，采用特征点匹配、光流法等方法，可以对四旋翼飞行器进行目标检测与跟踪，并获取目标在图像中的位置信息。

2. 位姿估计算法基于目标检测与跟踪得到的位置信息，可以采用成熟的位姿估计算法对四旋翼飞行器的位姿进行估计。

常用的位姿估计算法包括Kalman滤波器、扩展Kalman滤波器、无迹卡尔曼滤波器等。

3. 实验与验证为了验证基于视觉的微小型四旋翼飞行器位姿估计方法的有效性，本文进行了一系列实验。

实验采用了市面上常见的微小型四旋翼飞行器，并在室内和室外进行了不同场景下的飞行实验。

基于视觉的四旋翼室内悬停与定位控制作者：傅君刘子龙来源：《软件导刊》2018年第10期摘要：为使四旋翼飞行器具有更好的室内定点悬停效果及定位精度，提出一种基于视觉辅助与四旋翼飞行器惯性传感器数据融合的控制算法。

利用机体下视摄像机获得光流航速信息，与惯性传感器姿态信息数据融合实现良好的室内悬停效果。

机体前视摄像机通过ORB算法将当前帧与关键帧进行特征点匹配，以提高四旋翼飞行器的室内定位精度。

将PARROT公司的ARDrone 2.0四旋翼飞行器作为实验平台，采用OpenCV软件对图像进行处理，对控制算法进行验证，结果表明：基于光流和惯性传感器姿态数据的融合确保了四旋翼飞行器控制的安全性，提高了飞行器悬停效果和定位精度。

关键词：视觉；四旋翼飞行器；室内悬停与定位；光流；ORB特征提取；OpenCVDOIDOI：10.11907/rjdk.181731中图分类号：TP319文献标识码：A 文章编号：1672-7800（2018）010-0144-04英文摘要Abstract：In order to achieve a better indoor fixed-point hover effect and positioning accuracy for quadrotorcrafts，a control algorithm based on visual aided data fusion with quadrotorcraft inertial sensors was proposed.We utilize the body down camera to obtain the optical flow speed information，and the inertial sensor pose information data fusion achieves a good indoor hover effect.The ORB algorithm is employed so that the body front looking camera can match the current frame with the key frame to achieve the feature point matching of the four-rotor aircraft and indoor positioning accuracy.In this paper，the ARDrone 2.0 quadrotor from PARROT was used as the experimental platform.The above control algorithm was verified by using OpenCV to process the acquired images.The results show that the data fusion based on optical flow and inertial sensor attitude data ensures the control safety of of the quadrotor and improves the aircraft′s hover effect and positioning accuracy.英文关键词Key Words：vision；quadrotor crafts；indoor hover and position；optical flow；ORB；OpenCV0 引言四旋翼无人机飞行器具有可垂直起降、机动性能好的优点，定位是其发展的关键因素。

基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究共3篇基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究1近年来，随着无人机技术的发展，四旋翼飞行机器人已经成为了无人机领域不可或缺的重要组成部分。

而要想让四旋翼飞行机器人发挥更好的作用，就需要对其位姿估计与导航进行研究。

基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究，是一项目前正在快速发展的研究领域。

这种研究方法利用计算机视觉技术，使用摄像头采集四旋翼飞行机器人周围的环境信息，并对其进行处理分析，以实现对机器人位置和方向的估计。

而且相较于其他传感器，视觉传感器具有无需额外硬件、成本低廉、信息量丰富等优势，因而备受关注。

目前，视觉位姿估计的方法主要有两种：基于单目3D重建和基于双目视觉方法。

前者是通过将单个摄像头从不同角度获取的图像进行三维建模，从而推算出机器人的位姿；后者则是将两个摄像头的图像信息结合起来，以实现更加准确的位姿估计。

在基于单目3D重建的位姿估计中，研究人员已经成功实现了对四旋翼飞行机器人的位置和方向估计。

例如，将机器人周围的环境模型化，并使用模型匹配算法进行位姿估计的方法已被广泛运用。

同时，也有学者尝试运用追踪与定位技术，对飞机实时进行位姿估计。

在基于双目视觉的位姿估计中，研究人员主要采用了立体匹配算法，将两个摄像头采集的图像信息进行匹配，得出机器人位姿。

由于两个摄像头的相对位置固定，因此通过双目视觉可以更快地获得更加准确的位姿信息。

除了位姿估计外，基于视觉的微小型四旋翼飞行机器人导航研究也十分重要。

导航系统是无人机实现自主控制的关键组成部分，有效的导航系统可以保证无人机的稳定飞行和精确定位。

而基于视觉的导航系统具有高度的灵活性和可靠性，可以通过自主学习和深度神经网络的方法，实现对不同环境的适应性调整。

总的来说，基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究在未来将会变得越来越重要。

利用视觉传感器的信息，可以大大提高无人机系统的导航和控制能力，促进无人机系统的发展综上所述，基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究是当前研究的热点之一。

摘要现今，在战争与城市建设，越来越需要更快速收集和处理更可能多的环境信息。

在复杂环境中，人类难以活动的区域，派遣无人机去搜寻目标是一种相当便捷的方法。

不管是在军事上还是民用中，在无人机搜索过程中，对待搜索目标的检测与定位算法的研究都极为关键，这也需要我们不断提高四旋翼无人机对目标检测及定位目标的能力要求。

而与其他方法相比,基于机器视觉的目标检测在完成结果上更加突出，并且可以展现较为复杂的函数关系。

经过训练的神经网络,在没有人工输入的情况下也可以自主完成对于新获取图像的学习与检测，并且能够获得更为精确的结果。

因此四旋翼无人机与机器视觉的结合也越发受到人们的追捧。

所以对基于机器视觉的四旋翼无人机目标检测与定位的研究具有现实要求和实际意义。

本文设计一种基于机器视觉的四旋翼无人机目标检测与定位方法。

本文首先对课题的背景和研究意义进行说明，然后分析了四旋翼无人机目标定位与机器视觉的国内外研究现状，介绍了本文的研究内容。

然后为了实现对于无人机飞行器的系统控制，分析无人机飞行原理和运动方程，剖析了无人机数学模型，对四旋翼无人机目标检测定位方法进行框架设计。

本文为完成对于基于四旋翼无人机的目标检测算法的研究，对复杂的数字图像进行图像预处理操作，减少图像处理的工作量。

在常用目标检测的算法的基础上，进行了对于特征值筛选工作，增加了目标检测的可信率。

并在此基础上对目标检测算法进行改进，通过改进后的算法与改进前进行对比，证明本文设计目标检测算法的实用性和准确性。

随后本文进行了四旋翼无人机目标定位系统的算法研究。

对四旋翼无人机模型以及相机模型进行分析，建立对应坐标系，并给出转化算法。

利用惯性导航系统与超声波模块进行无人机姿态解算与定位，选用卡尔曼滤波对惯性导航系统进行滤波，给出了无人机目标定位算法，并在matlab上进行仿真试验，证明了目标定位的实用性。

最后根据目标检测定位框架，对具体无人机系统的硬件结构进行设计并对软件的环境进行开发，包括对无人机控制装置的设计以及对无人机本身的设计，无人机设计中又包含无人机自身的硬件结构以及机器视觉的硬件平台和软件环境，随后对无人机控制系统进行调试，并进行试飞试验，对基于四旋翼飞行器的目标定位与检测进行实验，实验结果表明本文所设计无人机目标检测与定位方法可行。