基于模型的单目视觉定位方法研究概述
- 格式:docx
- 大小:11.41 KB
- 文档页数:3
基于单目视觉的无人机目标定位方法下载提示:该文档是本店铺精心编制而成的,希望大家下载后,能够帮助大家解决实际问题。
文档下载后可定制修改,请根据实际需要进行调整和使用,谢谢!本店铺为大家提供各种类型的实用资料,如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等,想了解不同资料格式和写法,敬请关注!Download tips: This document is carefully compiled by this editor. I hope that after you download it, it can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you! In addition, this shop provides you with various types of practical materials, such as educational essays, diary appreciation, sentence excerpts, ancient poems, classic articles, topic composition, work summary, word parsing, copy excerpts, other materials and so on, want to know different data formats and writing methods, please pay attention!基于单目视觉的无人机目标定位方法介绍随着无人机技术的迅猛发展,无人机在各个领域的应用越来越广泛。
基于单目视觉对地面特征点定位方法一、原理二、算法1.特征点提取特征点是图像中具有特殊性质、能够在不同图像上稳定检测到的点。
常用的特征点包括角点、边缘点和斑点等。
在地面特征点定位方法中,可以通过角点检测算法(如Harris角点检测算法)和亚像素角点检测算法(如Shi-Tomasi角点检测算法)来提取图像中的角点特征点。
2.特征点匹配特征点匹配是指将两幅图像中的特征点进行对应,从而得到两幅图像之间的对应关系。
常用的特征点匹配算法包括基于描述子的匹配算法(如SIFT、SURF和ORB算法)和基于光流的匹配算法(如Lucas-Kanade算法和Horn-Schunck算法)等。
3.相机位姿计算相机位姿计算是指根据特征点的对应关系,通过求解相机的位置和姿态。
常用的相机位姿计算算法包括PnP问题求解算法(如EPnP和UPnP算法)、P3P问题求解算法(如Kneip算法和EPnP算法)和迭代最近点(ICP)算法等。
三、应用1.无人驾驶与自动驾驶系统:通过利用地面上的特征点进行定位和导航,可以实现自动驾驶车辆的精确定位和路径规划。
2.室内导航与室外导航系统:通过识别和提取室内或室外环境中的地面特征点,可以为用户提供准确的室内导航和室外导航服务。
3.增强现实技术:通过识别和提取地面特征点,可以为增强现实应用提供精确的位置和姿态信息,实现虚拟和现实的融合。
4.机器人导航与控制系统:通过利用地面上的特征点进行定位和导航,可以为机器人提供准确的自主导航和避障能力。
5.智能监控系统:通过识别和提取地面特征点,可以实现对目标物体的准确定位和跟踪,提高智能监控系统的安全性和效率。
综上所述,基于单目视觉的地面特征点定位方法是一种利用地面上的特征点进行定位和导航的技术。
通过特征点的提取、匹配和相机位姿的计算,可以实现对相机的位置和姿态的准确测量。
这种方法在无人驾驶、室内导航、增强现实、机器人导航和智能监控等领域有着广泛的应用前景。
摘要摘要随着现代社会科技化程度不断提高,计算机视觉已经在诸多行业中得到了广泛的应用。
计算机视觉作为一门新兴的技术,目标识别的准确度,目标定位的精度以及视觉系统的复杂程度是它最重要的几个指标。
目标定位的双目检测方案虽然比单目方案容易实现,但每次实际运行后双目摄像头相对位置可能存在微小变化,需要再次标定双摄像机光轴平行度等物理参数。
而使用单目方案可避免相对位置标定问题,由于靶标定位系统结构简单、造价低廉并具有强大的实时性,十分适合工业生产方面的使用,完美契合了本文的设计需求。
本文据此设计了一个应用单目视觉来进行标靶的定位与识别系统。
系统由硬件平台以及相应的运动控制和图像分析软件组成。
系统的硬件平台由单目面阵相机、定位靶标和运动设备构成,主要功能是完成靶标识别与定位系统的高质量图像采集。
本文使用面阵摄像机来完成图像的数据采集,对于面阵相机存在的畸变问题,本文采用张正友标定法进行相机标定,具有良好效果。
系统软件实现了采集图像数据、边缘图像生成、筛选靶标轮廓等图像处理算法。
并且针对单摄像头情况下的具有人工标志定位靶标的图像目标物的定位问题作了深入研究。
实现了利用已知的正方形靶标尺寸信息与标定图,依据几何关系进行目标物定位的方法。
最终的实验结果表明,本文所应用的算法在精度高的同时也能兼顾强实时性。
本系统可用于工业生产的定位控制环节,能够提高了工业生产的自动化程度和工作效率。
关键字:单目视觉,靶标识别,目标定位,透视变换IABSTRACTABSTRACTWith the continuous improvement of the degree of science and technology in modern society, computer vision has been widely used in many industries. Computer vision as a new technology, the accuracy of target recognition, the accuracy of target positioning and the complexity of the visual system is the most important of several indicators. Although the target positioning binocular detection scheme is easier to achieve than the monocular scheme, the relative position of the binocular camera may change slightly after each actual operation, and the physical parameters such as the parallelism of the dual camera are needed. The use of monocular program to avoid the relative position calibration problem, because the target positioning system is simple, low cost and has a strong real-time, very suitable for industrial production, the perfect fit of the design requirements of this article.This paper designs a positioning and recognition system for monocular vision. The system consists of the hardware platform and the corresponding motion control and image analysis software. The hardware platform of the system consists of a monocular array camera, a positioning target and a moving device. The main function is to complete the high quality image acquisition of the target recognition and positioning system. In this paper, we use the array camera to complete the image data acquisition. For the distortion of the array camera, this paper uses Zhang calibration method for camera calibration, and has good effect.The system software implements the image processing algorithms such as collecting image data, edge image generation and filtering target contour. And the positioning problem of the image object with the artificial flag positioning target in the case of single camera is studied deeply. The method of locating target objects based on geometric relation is realized by using the known square target size information and calibration map.The final experimental results show that the algorithm used in this paper can not only take into account the high real-time performance. The system can be used for industrial production positioning control links, can improve the degree of industrial production automation and efficiency.Keywords: Monocular vision, target recognition, target location, perspective transformation目录第一章绪论 (1)1.1 课题研究意义 (1)1.2 单目视觉目标识别与定位的研究现状 (2)1.3 本文主要研究内容 (3)第二章靶标定位系统设计 (4)2.1 靶标定位系统概述 (4)2.2 靶标定位系统硬件平台搭建 (4)2.2.1 图像采集系统 (6)2.2.2 运动控制系统 (6)2.2.3 靶标图形选择 (7)2.3 靶标定位系统软件设计 (8)2.3.1 相机控制功能设计 (9)2.3.2 运动控制功能设计 (9)2.3.3 图像处理功能设计 (10)2.4 本章小结 (11)第三章图像预处理算法研究 (12)3.1 基本图像预处理算法 (12)3.1.1 图像噪声的去除 (13)3.1.2 图像锐化算法 (15)3.1.3 直方图均衡化 (17)3.1.4 形态学处理 (18)3.2 边缘检测算法研究 (22)3.2.1 经典的边缘检测算子 (22)3.2.2 线性滤波边缘检测方法 (25)3.2.3 边缘检测算子实验分析与选择 (30)3.2.4 边缘跟踪算法 (33)3.3 摄像机标定算法研究 (34)3.3.1 相机标定模型与相关坐标系关系 (34)3.3.2 张正友摄像机标定方法 (38)III3.4 本章小结 (39)第四章靶标识别与定位算法研究 (41)4.1 靶标轮廓筛选算法 (41)4.1.1 梅尔克曼凸包算法 (42)4.1.2 旋转卡壳法求最小外接矩形算法 (43)4.1.3 轮廓的Douglas−Peucker多边形逼近方法 (44)4.1.4 轮廓筛选流程中匹配方法参数设置 (45)4.2 直线识别算法研究 (46)4.2.1 Freeman链表直线检测算法 (46)4.2.2 Hough变换直线检测 (47)4.2.3 直线检测方法实验分析和选取 (49)4.3 基于靶标的透视变换矩阵定位算法 (50)4.3.1 靶标的透视变换算法 (50)4.3.2 靶标的透视变换矩阵定位算法 (53)4.4 本章小结 (55)第五章靶标定位系统测试 (56)5.1 系统软件标定阶段测试 (56)5.1.1 摄像机标定测试 (56)5.1.2 定位靶标标定测试 (57)5.2 靶标定位算法测试 (58)5.2.1 靶标定位系统精度测试 (59)5.2.2 靶标定位系统误差分析 (61)5.3 本章小结 (62)第六章总结 (63)致谢 (64)参考文献 (65)第一章绪论第一章绪论计算机视觉是使用摄像机镜头模仿人眼成像,并用计算机对图像进行计算与处理,他能够处理传统方法束手无策的难题,例如实物大小的测量等等。
单目视觉的同时三维场景构建和定位算法解析
1、简介
单目视觉三维场景构建和定位算法,是一种利用单个相机探测和重建环境的三维场景构建和定位技术。
这种技术利用单个相机经过加工处理,可以在特定的环境条件下重建三维环境场景,并支持定位和导航。
通过精确的跟踪追踪,在自动驾驶场景中确定自身在三维空间中的位置和行进路径,支持实时路径规划,实现自动驾驶车辆的安全行驶。
2、单目视觉三维场景构建和定位算法的原理
单目视觉三维场景构建和定位技术的核心原理是利用相机中自然界中反射光线的空间变化特点,解析其产生的运动特征。
由于物体的位置是一个静态的,但在一定的视角下,会产生光线的变化。
这种变化可以被视觉系统捕捉到,然后解析出相机本身的动态路线。
在这种情况下,相机就可以利用这种变化来重建出属于自身的三维场景,从而实现精确的定位和导航。
一般而言,重建三维场景和实现定位功能的最核心的算法是三维重建和特征检测算法。
三维重建算法主要是利用图像中反射光线的空间分布特点,经深度学习将其映射成三维物体的模型,从而实现三维场景的重建。
单目视觉的同时三维场景构建和定位算法解析单目视觉是一种只使用单个摄像机进行视觉感知和处理的方法。
在单目视觉中,构建和定位三维场景是一个重要的任务,即通过对单个图像进行分析和处理,推测出场景中的物体结构和位置信息。
传统的单目视觉场景构建和定位算法主要基于几何和几何约束。
这些算法通常包括以下步骤:1.特征提取:从图像中提取出一些具有独特性质的局部特征点,如角点、SIFT特征等。
这些特征点可以在不同图像之间进行匹配,从而推测出相机的运动以及物体的三维位置。
2.特征匹配:将特征点进行匹配,通常使用如RANSAC等算法来剔除错误的匹配,得到可靠的特征点对。
3.姿态估计:基于特征点对的几何约束,推测出相机的姿态,即相机的旋转矩阵和平移向量。
这可以通过求解一个最小化重投影误差的优化问题来实现。
4.三维重建:根据相机姿态和匹配的特征点,利用三角测量或非线性优化方法推测物体的三维位置。
通过多个图像的特征点三角化,可以获得对应物体的三维点云模型。
5.场景定位:通过比对三维点云模型和已知的场景模型,可以估计相机在场景中的位置。
这可以使用场景匹配、模型对齐、滤波等方法来达到。
然而,这种传统的单目视觉场景构建和定位算法存在一些问题。
首先,由于只有一个相机,无法直接获得物体的尺度信息。
其次,受限于图像信息的有限性,算法对特征点的提取和匹配具有一定的局限性,往往只能在有纹理的区域有效。
最后,由于只有一个视角,算法对于遮挡和对视点的限制较为敏感。
为了解决这些问题,近年来出现了许多基于深度学习的单目视觉场景构建和定位方法。
这些方法利用深度卷积神经网络(CNN)从单个图像中直接预测深度图或点云数据。
同时,一些方法还可以预测相机的姿态和场景中物体的位置。
这些方法利用大量的标注数据进行训练,可以更好地利用图像信息,提高场景构建和定位的精度和鲁棒性。
综上所述,单目视觉的场景构建和定位算法是一个复杂的问题,传统方法主要基于几何约束,而近年来的深度学习方法则通过直接从图像中预测深度和位置信息来提高性能。
基于单目视觉的SLAM算法研究与实现单目视觉SLAM算法是目前比较受关注的一种技术,它广泛应用于自动驾驶、机器人导航、虚拟现实等领域。
本文将从算法原理、实现过程、应用案例等方面,深入探究基于单目视觉的SLAM算法。
一、算法原理SLAM(同时定位与地图构建)是利用传感器获得机器人运动轨迹的同时,构建机器人所在环境的地图的一种技术。
单目视觉SLAM算法是利用单个摄像头获得机器人运动轨迹和环境地图的技术手段。
其原理基于视觉几何,包括特征提取、特征匹配、相机姿态估计、地图构建等步骤。
在特征提取方面,通常采用SURF、SIFT、ORB等算法。
在特征匹配方面,通常采用基于关键点匹配的方法,例如基于FLANN(快速最近邻搜索库)的近似最近邻匹配。
相机姿态估计方面,通常采用基于PnP(透视n点算法)的方法。
地图构建方面,通常采用基于稀疏的点云地图和基于积分的稠密地图两种方法。
二、实现过程单目视觉SLAM算法的实现通常分为前端和后端两部分。
前端负责特征提取、特征匹配和相机姿态估计等任务;后端负责地图构建、位姿优化和闭环检测等任务。
前端算法的作用是估计每帧图像的相机位姿,同时提取关键特征点,以用于后续的地图构建和位姿优化。
在实现上,往往采用滑动窗口(SLAM-SW)的方式进行相机位姿的估计,并使用基于光流估计的特征点运动模型,降低误差。
后端算法的作用是通过最小化误差来优化相机位姿,并生成高精度地图,通常采用基于非线性优化的方式。
由于SLAM问题是一个非线性优化问题,因此通常采用基于因子图(Factor Graph)的方法进行求解。
在实现上,常用的优化框架有g2o、ceres-solver等。
三、应用案例单目视觉SLAM算法已经广泛应用于机器人导航、自动驾驶、虚拟现实等领域。
下面介绍一些应用案例。
机器人导航方面,单目视觉SLAM算法可以用于室内机器人的自主导航。
例如,一项研究利用一个具有单目相机和惯性测量单元(IMU)的移动机器人,通过双目VIO(视觉惯性里程计)的方式实现自我定位和地图构建。
单目视觉技术方法随着计算机视觉的快速发展,单目视觉技术在各个领域得到了广泛应用。
单目视觉技术是指通过单一摄像头或者摄像头阵列来获取环境中的图像信息,并通过图像处理和分析算法来实现目标检测、跟踪、识别等任务。
本文将介绍几种常见的单目视觉技术方法。
一、目标检测目标检测是单目视觉技术中的一个重要任务,它的目标是在图像中准确地定位和识别出感兴趣的目标。
常见的目标检测方法包括基于模板匹配的方法、基于特征提取和分类的方法以及基于深度学习的方法。
1. 基于模板匹配的方法模板匹配是一种简单但有效的目标检测方法。
它通过将目标的模板与图像中的每个位置进行比较,找到与模板最相似的位置作为目标的位置。
然而,由于模板匹配对光照、尺度和视角等因素敏感,所以在实际应用中需要对目标进行多尺度和多方向的匹配。
2. 基于特征提取和分类的方法特征提取和分类是目标检测中常用的方法。
它通过提取图像中的特征,并使用分类器对这些特征进行分类,从而实现目标的检测。
常用的特征包括边缘、纹理、颜色等。
然而,特征的选择和提取是一个关键的问题,需要根据具体的应用场景来进行选择。
3. 基于深度学习的方法深度学习在目标检测中取得了巨大的成功。
它通过构建深度神经网络来自动学习图像的特征和模式,并使用这些特征和模式进行目标的检测。
常用的深度学习模型包括卷积神经网络(CNN)和循环神经网络(RNN)。
然而,深度学习模型需要大量的训练数据和计算资源,对于小规模应用可能不太适用。
二、目标跟踪目标跟踪是单目视觉技术中的另一个重要任务,它的目标是在视频序列中实时地跟踪目标的位置和形状。
常见的目标跟踪方法包括基于颜色和纹理的方法、基于特征匹配的方法以及基于深度学习的方法。
1. 基于颜色和纹理的方法基于颜色和纹理的目标跟踪方法是一种简单但有效的方法。
它通过利用目标的颜色和纹理特征来进行目标的跟踪。
常用的颜色模型包括RGB模型和HSV模型,常用的纹理特征包括局部二值模式(LBP)和方向梯度直方图(HOG)等。
单目视觉SLAM技术研究随着科技的发展,无人驾驶、智能机器人等领域日益受到人们的关注,这些应用离不开定位和建图技术。
而在此之中,SLAM技术是最基础的技术之一,主要用于实时定位和建图。
SLAM(Simultaneous Localization and Mapping),即同时定位和建图,是一个综合类的问题,它是通过机器人的传感器获取周边环境的信息,建立地图且能够实时自主定位机器人的一种技术。
而单目视觉SLAM技术则是根据相机采集的单目图像,通过算法得到相邻两帧图像间的相对位姿关系并计算地图,从而实现机器人的实时定位和建图。
单目视觉SLAM技术常用的方法有很多种,各有特点。
下面笔者就来一一介绍。
一、基于特征点的SLAM基于特征点的SLAM是一种基于图像特征点的SLAM算法,它的核心思想是通过检测和匹配相邻两帧图像之间的特征点,来求得相邻两帧之间的相对位姿关系,从而实现机器人的实时定位和建图。
该算法主要包括以下几个步骤:1. 特征点提取:采用特定的特征提取器,从图像中提取出一些具有代表性的关键点。
2. 特征点匹配:根据特征点的描述子,对相邻两帧图像之间的特征点进行匹配,以求得相邻两帧之间的运动信息。
3. 位姿估计:根据匹配成功的特征点,使用非线性优化算法求解相邻两帧之间的位姿变换。
4. 地图更新:将已经求得的相邻两帧之间的位姿变换作用到地图中,从而实现地图的实时更新。
基于特征点的SLAM算法具有鲁棒性强、定位精度高等优点,在工程应用中被广泛采用。
不过它也存在一些不足之处,例如当环境较为单一时,特征点提取效果可能会较差,从而导致算法的性能下降。
二、基于直接法的SLAM基于直接法的SLAM是一种不需要特征点提取匹配的SLAM算法,它直接使用图像灰度信息进行像素级别的匹配,以求解相邻两帧之间的位姿关系。
虽然基于直接法的SLAM算法比基于特征点的算法开销更大,但它也具有一些优点,比如能够处理光照变化、纹理差异等复杂场景,并且可以快速地处理高分辨率图像。
《基于单目视觉的艾灸机器人定位、识别与跟踪研究》一、引言随着人工智能和机器人技术的不断发展,艾灸作为一种传统的中医疗法,正逐渐与现代科技相结合,为人们的健康保健带来新的可能性。
艾灸机器人的出现,不仅提高了艾灸治疗的效率,还为患者提供了更为便捷和舒适的体验。
本文旨在研究基于单目视觉的艾灸机器人定位、识别与跟踪技术,以提高艾灸机器人的智能化水平。
二、单目视觉技术的概述单目视觉技术是指利用单个摄像头的图像信息进行三维世界的感知和理解。
其核心技术包括图像采集、图像处理和模式识别等。
在艾灸机器人的应用中,单目视觉技术可用于实现对患者的定位、识别和跟踪,从而为艾灸机器人提供准确的导航和操作依据。
三、艾灸机器人的定位技术艾灸机器人的定位技术是利用单目视觉技术,通过图像处理算法对患者的位置进行实时检测和计算。
本文提出了一种基于特征点匹配的定位方法,通过在患者身体上设置特定的标记点,利用摄像头捕捉这些标记点的位置信息,从而实现患者的精确定位。
该方法具有较高的定位精度和稳定性,适用于各种复杂环境下的艾灸治疗。
四、艾灸机器人的识别技术艾灸机器人的识别技术主要是通过对患者身体的图像信息进行提取和分析,实现对患者身体部位的准确识别。
本文采用了一种基于深度学习的图像识别方法,通过训练神经网络模型,使机器人能够自动识别出患者的身体部位和穴位。
该方法具有较高的识别准确率和速度,为艾灸机器人的精准操作提供了有力支持。
五、艾灸机器人的跟踪技术艾灸机器人的跟踪技术是通过对患者身体运动的实时监测和分析,实现对患者的连续跟踪和定位。
本文提出了一种基于光流法的跟踪方法,通过分析摄像头捕捉到的图像序列中的光流信息,实现对患者身体运动的实时监测和跟踪。
该方法具有较好的鲁棒性和实时性,适用于各种动态环境下的艾灸治疗。
六、实验与结果分析为了验证本文提出的基于单目视觉的艾灸机器人定位、识别与跟踪技术的有效性,我们进行了实验研究。
实验结果表明,本文提出的定位、识别与跟踪方法具有较高的准确性和稳定性,能够为艾灸机器人提供准确的导航和操作依据。
基于单目视觉的目标定位算法研究程庆;魏利胜;甘泉【摘要】针对先进制造系统中的目标实时定位问题,提出了一种基于单目视觉的目标定位方法.首先,通过构建相机模型,建立图像像素坐标与世界坐标之间的关系,并通过相机标定获得相机内参数;然后,采用Harris算法提取并匹配图像的特征点,并使用RANSCA算法根据匹配的特征点对来计算图像的基础矩阵,从而推导出图像的本质矩阵,获得相机外参数;在此基础上,计算出目标的精确坐标;最后,通过一组实验验证所提方法的有效性和可行性.【期刊名称】《安徽工程大学学报》【年(卷),期】2017(032)002【总页数】6页(P37-42)【关键词】单目视觉;目标定位;相机标定;Harris算法【作者】程庆;魏利胜;甘泉【作者单位】安徽工程大学电气工程学院,安徽芜湖 241000;安徽工程大学电气工程学院,安徽芜湖 241000;安徽工程大学电气工程学院,安徽芜湖 241000【正文语种】中文【中图分类】TP391在先进制造系统中,需要对目标进行实时定位.传统的定位技术由于设备体积大、成本高、不易操作等缺点,往往不能满足实际需求.机器视觉技术的发展,给目标定位这一难题提供了新的方法.将机器视觉技术应用于目标定位,既可以解决当前所遇到的种种困难,也提高了系统的可靠性.单目视觉技术是机器视觉技术的分支,也是双目视觉和夺目视觉技术的基础.单目视觉定位技术是指利用单目相机获取图像,从获取的图像中提取出三维空间的信息,由于其简单易实现等优点,被广泛应用于各行各业.将单目视觉技术应用于目标定位中,利用视觉传感器能提取大量信息的优点,可以更完整、精确地确定目标的三维信息.单目视觉的定位技术应用非常广泛,有关学者对其进行了深入研究.汤月娟[1]等基于NAO机器人,提出结合光学成像原理、几何坐标变换以及相关的图像处理技术实现单目视觉目标定位.胡文[2]等借助人工标识物,结合小孔成像模型和空间几何关系,推导出了单目摄像头空间测距模型,从而实现了目标定位.范晓鹏[3]等利用目标的颜色和形状特征实现了目标识别,采用空间射影几何方法推导了单目视觉空间球定位公式,提出一种球形目标识别与定位方法.王天奇[4]等通过检测目标轮廓中包含的直线、圆等基本几何特征,利用平面约束的单目定位模型,结合给定的工件数据模型库对目标进行识别和位姿计算.针对多目视觉测量时视场小的缺点,孙鹏飞[5]等提出了单目视觉镜像虚拟多目视觉成像的方法.于乃功[6]等根据小孔成像及坐标变换原理,提出了一种根据自身固定参数计算目标深度信息的单目视觉目标定位方法,从而实现基于单目视觉的目标物体精确跟踪定位.然而,上述研究成果中所提方法在复杂环境下难以应用,不能做到精确定位.利用小孔成像模型对相机进行建模,通过对单目相机从不同角度拍摄的两幅图像进行研究,利用两幅图像之间的相对关系进行目标定位,从而解决了复杂环境下的精确定位问题.最后,通过一组实验验证了方法的有效性和可行性.单目视觉定位的目的是利用单目摄像机获取的目标物图像来确定其空间位姿信息.单目视觉定位的方法有很多,使用的图像数量也比较自由.一般情况下,单目视觉定位选用单幅、两幅来完成,但也有选用由多幅图像组成的图像序列来进行.单幅图像所能提供的信息量有限,一般需要设置人工标志来获取目标物的位姿参数;利用两幅或者多幅图像定位,就是通过相机在不同时刻或者不同位置拍摄图像序列,依据图像像素之间的位移偏差进行目标物的定位.由于在环境不确定的一些区域很难设定人工标志,而用多幅图像进行定位时,信息量较大、处理速度下降等原因,选择对两幅图像定位进行研究,两幅图像下单目视觉目标定位的原理图如图1所示[7].由图1可知,相机分别从目标(空间一点 )左右两侧拍摄两幅图像I1、I2,在左右两侧分别建立相机坐标系{1}、{2},P点在两个像平面上的投影分别为1P、2P;1ξ2表示两坐标系之间的位姿变换关系.两幅图像下的单目视觉目标定位就是根据两个相机坐标系直接的位置关系,通过空间点在两幅图像几何的约束关系,推导出点P在世界坐标系下的坐标.单目视觉的目标定位流程图如图2所示.从图2中可以看出,进行单目视觉定位的关键是获取相机外参数矩阵.结合已匹配的特征点对便能计算出目标物的三维空间信息.基础矩阵提供了三维点到二维的一个约束条件,在一幅图像中的某一点和两幅图的基本矩阵已知的前提下,就能知道其对应的右图上的点一定是在一条直线上,由此说明两视角下图像中的空间位置一定是有约束的,不是任意的.这一约束关系的存在,为两幅图像下的目标定位提供了理论基础.本质矩阵具有基本矩阵的所有性质,且包含了相机的外参数.在计算相机外参数矩阵之前,首先需要获取相机内参数,计算出基础矩阵和本质矩阵.相机的内参数可以通过标定获得,而相机基础矩阵的计算则较为复杂,需要通过已匹配的特征点对来进行计算.2.1 相机模型与标定建立空间目标三维信息与图像二维成像点面之间的对应关系,首先对相机进行建模[8].采用的相机模型是小孔成像模型,光源透过小孔在成像平面形成一个倒立的像,为方便计算,建立如图3所示的模型来确定空间目标三维坐标与图像二维成像点之间的关系.通过相机模型的建立,确定相机内部几何、光学参数及相对世界坐标系位置、方向参数.由图3可知,以相机光心为坐标原点建立相机坐标系{C},相机光轴与像平面垂直并相交于(0,0),像平面到相机的距离z=f,f为相机焦距,取相机到景物方向为正.设P为世界坐标系内某一点坐标(XW,YW,ZW),P在像平面p坐标为(x,y),像素点坐标为(u,v),P在相机坐标系下的坐标为(XC,YC,ZC).可以得到物空间点P的相机坐标与像平面坐标直接的关系为把式(1)中对应的非齐次坐标转换为齐次坐标通过图像坐标系(u0,v0)与成像平面坐标系(x,y)的关系、成像平面坐标系(x,y)和世界坐标系的关系(XW,YW,ZW,1),可以得到世界坐标与图像坐标的关系令K为相机内参数矩阵,(u0,v0)为图像坐标系中的主点坐标;fu、fv为图像坐标系的尺度因子,,dx、dy分别为像平面沿x、y轴方向的物理尺寸;γ为图像平面的倾斜因子,γ=fλ′;为相机外参数矩阵,其中R为旋转矩阵,T为平移向量.将式(4)带入式(3)可得其中为投影矩阵,也称相机矩阵,P表示其物点世界坐标系下的齐次坐标.在相机模型建立之后,需要确定相机的内参数,得出相机K矩阵.在确定相机矩阵C之后,便可以通过单目视觉对空间内的目标进行定位.假设空间一点P(XW,YW,ZW,1)T在两幅图像中的成像点坐标1p=[u1,v1,1]T、2p=[u2,v2,1]T已被检测并匹配出来,摄像机内外参数也均已算出来,设相机的投影矩阵分别为C1和C2,则有由式(6)解出XW、YW、ZW即为P在世界坐标系下的坐标.为方便计算,按照图1建立好相机坐标系后,左侧相机坐标系为世界坐标系,则投影矩阵C1=K[I3|0],C2=K[R|t].由此,便可以通过式(6)计算出目标的世界坐标. 在确定空间坐标系与图像坐标之间的关系后,通过相机标定来确定相机内参数矩阵K.常用的相机标定方法有Tasi标定法[9]和张正友标定法[10].张正友标定法只需要对一块精确定位点阵的平面模板从不同角度拍摄一组照片.为了使标定结果尽量准确,拍摄了20幅照片进行标定.将拍摄的这组照片导入到MATLAB中,使用MATLAB标定工具箱便可实现对相机的标定.从相机标定结果中可以直接获取相机的内参数,进而确定相机K矩阵.根据相机标定结果,确定相机K矩阵如式(7)所示.2.2 特征点提取与匹配在计算相机外参数过程中一个重要的步骤是计算相机的基础矩阵.计算基础矩阵时,需要寻找空间同一点在两幅图像中的投影位置.特征点是图像中具有鲜明特性并能够有效反映图像本质特征,能够标识图像中目标物体的点,再通过特征点匹配能够很好地确定两特征点对来源于空间同一点的投影,从而极大地提高了定位的精度.通过已匹配的特征点对来计算相机基础矩阵,可以避免一些不必要的麻烦.将特征值的检测应用到匹配中,在保留图像重要的灰度信息的同时减小了计算量.比较常用的特征点检测和匹配方法有快速鲁棒特征算法(SURF)、基于多尺度空间的尺度不变特征变换(SIFT)和基于边缘的曲率尺度空间(CCS)角点检测方法.在计算图像基础矩阵时,当特征点数量不能达到要求时,基础矩阵的计算就会出现一定的误差甚至不能计算出基础矩阵.为了避免这一问题,在提取特征点时需要有足够多的特征点对来进行计算.Harris角点检测算法[11]因其检测精度较高、特征点数量多、便于计算图像基础矩阵故被本研究所采用.2.3 相机外参数矩阵在获取匹配的特征点对之后,便可以利用这些特征点对计算图像的基础矩阵,基础矩阵提供了三维点到二维的一个约束条件.在获取图像的特征点的基础上,计算图像的基础矩阵和本质矩阵[12].设1P、2P是已匹配的一对特征点.则有F是图像的基础矩阵,相机像平面上点的图像坐标和另一个位置上的像平面上点的图像坐标通过基础矩阵关联起来.基础矩阵是一个秩为2的3×3矩阵,有七个自由度.在计算基础矩阵时,至少需要7对匹配的特征点对.在实际应用中,为了能更准确地计算基础矩阵,有时会获得较多的特征点对,以避免特征点在匹配过程中有误匹配的情况.如何从这些匹配好的特征点对中选择合适的特征点对来计算基础矩阵就成了重要问题,因此选择随机采样一致性算法[13]RANSAC方法.具体流程图如图4所示.本质矩阵[14]由摄像设备的外参数R和t决定在摄像机内参数K不变时,可以利用得到的基础矩阵F来计算本质矩阵EE=KTFK,在相机参数已经标定的情况下,可以直接利用已经计算的基础矩阵来计算本质矩阵.相机的外参数也随之确定.进行一组实验来验证所提方法的可行性.相机分别从左右两侧对魔方拍摄了两幅照片,如图5所示.针对图5中标注的7个点进行定位,在建立的世界坐标系下,测量出这些点的世界坐标,以便与测量结果相比较.特征点提取与匹配的结果如图6所示.Harris所提取的特征点大都集中在目标周围,并且特征点数量足够用于计算图像基础矩阵,对于图5中所标注的7个定点也全部被检测到.尽管图6中存在一些误匹配的特征点对,但这对于基础矩阵的计算影响并不是很大.对图5中标注的7个点定位结果如表1所示.其中,实际坐标是这些点在空间坐标系下的坐标.表1中测量坐标是对这些点定位的结果,并将测量坐标与实际坐标进行比较并计算了误差.根据所匹配的特征点对,由RANSAC算法计算出图像的基础矩阵.由式(7)和式(10)得图像的本质矩阵E从表1中可以看出,虽然计算出的坐标值与实际坐标之间存在着一定的误差,但总体而言所研究方法对目标的定位精度较高,能够有效地实现定位要求.在对机器视觉定位研究的基础上提出了一种基于单目视觉的目标定位方法,以实现在单目相机下的目标定位.进行单目定位的重点是获取相机内外参数.在使用张正友标定法确定相机内参数的基础上计算相机外参数.随后利用Harris算法对从不同角度拍摄的两幅图片进行特征点提取与匹配,再由RANSAC算法根据匹配的特征点对计算出相机的基础矩阵,结合相机内矩阵K,推导出相机的本质矩阵,得到相机外参数以及相机矩阵.实验结果表明,研究方法能够实现用于单目视觉的目标定位,并且操作简单,具有一定的实用性.【相关文献】[1] 范晓鹏,郝颖明,朱枫,等.面向机器人航天员的球形目标识别与定位方法研究[J].载人航天,2016(3):375-380.[2] 汤月娟,徐晶,司书哲,等.一种基于NAO机器人的单目视觉目标定位方法[J].长春理工大学学报:自然科学版,2014,37(5):95-98.[3] 胡文,孙容磊.基于序列图像的视觉定位与运动估计[J].传感器与微系统,2007(7):48-50,57.[4] 王天奇,陈明.基于单目视觉的目标识别与定位[J].机电一体化,2015(11):12-16,49.[5] 孙鹏飞,张求知,李文强,等.单目多角度空间点坐标测量方法[J].仪器仪表学报,2014,12:2 801-2 807.[6] 于乃功,黄灿,林佳.基于单目视觉的机器人目标定位测距方法研究[J].计算机测量与控制,2012(10):2 654-2 656,2660.[7] T Schöps,T Sattler,C Häne,et al.3D Modeling on the Go:Interactive 3D Reconstructionof Large-scale Scenes on Mobile Devices[C]//3D Vision (3DV),2015 International Conference on.Lyan:IEEE,2015:291-299.[8] 张宁,常雷,徐熙平.基于机器视觉的三维重建技术研究[J].激光与光电子学进展,2012(5):66-72.[9] R Y Tsai.An Efficient and Accurate Camera Calibration Technique for 3D MachineVision[C]//Computer Society Conference on Computer Vision and Pattern Recognition,New York:IEEE,1986:364-374[10] Z Zhang.A Flexible New Technique for Camera Calibration[J].IEEE Trans.Patern Analysis and Machine Intelligence,2000,22(11):1 330-1 334[11] 张军,孙文本,杨正瓴,等.基于轮廓矩和Harris角点混合特征的车型识别系统[J].计算机应用与软件,2016(2):142-145.[12] E Brachmann,A Krull,S Nowozin,et al.DSAC-differentiable RANSAC for Camera Localization[J].Arxiv Preprint Arxiv,2016(11):447-456.[13] 甄艳,刘学军,王美珍.一种改进RANSAC的基础矩阵估计方法[J].测绘通报,2014(4):39-43.[14] 朱永丰,朱述龙,张静静,等.基于ORB特征的单目视觉定位算法研究[J].计算机科学,2016(1):198-254.。
基于模型的单目视觉定位方法研究概述
1 引言
视觉是人类认识世界的最重要的手段之一,人类获取的信息百分之八十以
上都是通过视觉得到的。
随着计算机技术、传感器技术的发展,使用摄像机与计算机模拟并实现部分生物视觉成为可能,并已在许多方面得到成功应用。
同时,如何利用信号处理和计算机技术对可以获得三维信息的视觉方法有许多,典型的有双目或多目立体视觉,基于模型的单目视觉等。
其中后一种方法是指仅利用一台摄像机完成定位工作。
因其仅需一台视觉传感器,所以该方法的优点是结构简单、相机标定也简单,同时还避免了立体视觉中的视场小,立体匹配困难的不足。
其前提条件是必须已知物体的几何模型。
在计算机视觉研究领域,如何在单目视觉的条件下,完成位置与姿态的求解已成为一个重要的研究方向。
基于模型的单目视觉定位可以应用在多方面,包括机器人自主导航、陆地和空间移动机器人定位、视觉伺服、摄像机校正、目标跟踪、视觉监测、物体识别、零部件装配、摄影测量等。
基于模型的单目视觉定位问题所应用的几何特征可分为点、直线与高级几何特征等几类。
相对来说,目前对基于点特征的单目视觉定位方法研究较多。
直线特征具有抗遮挡能力强、本文根据基于模型的单目视觉定位方法所使用的定位特征类型把单目视觉定位方法分为基于点特征的定位方法,基于直线特征的定位方法,基于高级几何特征的定位方法,全面介绍了各种特征定位方法的研究现状。
目的是方便读者了解各种特征定位方法的研究现状,为未来的研究打下理论基础。
2 点特征定位。