Integrating Monocular Vision and Odometry for SLAM

格式：pdf
大小：184.78 KB
文档页数：6

IntegratingMonocularVisionandOdometryforSLAM

A.CUMANI,S.DENASI,A.GUIDUCCI,G.QUAGLIA

IstitutoElettrotecnicoNazionaleGalileoFerraris

str.delleCacce,91-I-10135Torino

ITALY

{cumani,denasi,guiducci,quaglia}@ien.it

Abstract:ThispaperpresentsanapproachtoSimultaneousLocalizationandMapping(SLAM)basedon

monocularvision.Standardmultiple-viewvisiontechniquesareusedtoestimaterobotmotionandscene

structure,whicharethenintegratedwithminimalodometricinformationandusedtobuildaglobalenvironment

map.Preliminaryexperimentalresultsarealsopresentedanddiscussed.

Key-Words:Robotlocalisation,Mapping,Monocularvision,SLAM

1Introduction

SLAM-SimultaneousLocalisationAndMapping-is

theprocessoftrackingtheposeofamobilerobot,rel-

ativetoitsenvironment,whilesimultaneouslybuild-

ingamapoftheenvironmentitself.Whateverthe

high-levelgoalofthemobilerobot,SLAMisacrit-

icalfactorforsuccesfulnavigationinapartiallyor

totallyunknownenvironment,andhasthereforebeen

ahighlyactiveresearchtopicduringthelastfewyears

(seee.g.[1]forarecentsurvey).

ImplementingSLAMobviouslyrequiressomeabil-

ityoftherobottoperformrangesensingonitsen-

vironment.Asamatteroffact,mostexistingap-

proachestoSLAMmakeuseofsonarsorlaserscan-

ners[2,3,4,5].VisionbasedSLAMisbothmore

computer-intensiveanddifﬁculttoimplement,assta-

blevisuallandmarksarehardtodetectandtrackover

time.Mostvisionbasedapproachesusebinocular

ortrinocularstereojustasarangeﬁndingdevice

[6,7,8];theuseofmonocularvisionhasonlyrecently

drawnsomeattention[9,10,11,12,13].Finally,al-

mostallthepublishedapproachesuserecursivestatis-

ticaltechniques(KalmanorBayesianﬁltering)which,

thoughsuccessfulontheshortterm,sufferfromerror

accumulationovertime.

ThispaperpresentstheapproachtoSLAMweare

currentlydeveloping,whichisbasedonmonocular

vision.Fromeachimageofthesequenceacquired

whiletherobotismoving,featuresareextractedto

serveasvisuallandmarks.Suchfeaturesaretracked

alongthesequenceandusedtogetlocalestimates

ofrobotmotionandworldstructurefromtriplesof

sufﬁcientlyspacedimages.Consecutiveoverlapping

triplesarerecursivelyregisteredandintegratedwith

availableodometryinordertoobtainanestimateof

robotposeandofworldpointcoordinatesinaglobal

reference.Thelatterareusedtobuilda2Doccupancygridmap.Incaseofcyclicenvironments,visualland-

marksareusedtodetectandﬁxtheaccumulatederror.

Thepaperalsopresentssomepreliminaryresults

obtainedwithourPioneer2ATmobilerobotequipped

withaSonyXC55camera.

2SLAMbymonocularvision

Ourapproachcanbesummarisedasfollows:

•extractionoffeaturesfromtheimagesandtheirtrackingalongthesequence;

•estimationoflocalmotionandstructurefromtriplesofkeyframes,i.e.imagesshowingan

amountofdisparitysufﬁcientforareliablees-

timation;

•registrationoftheestimatesfromdifferenttriplesintoasamereferenceframe,andintegrationwith

independentodometricinformation;

•buildingofaglobaloccupancygridmapfromthevisualmeasurements;

•possiblecorrectionofaccumulatederrorsincaseofcyclicenvironments.

2.1Featuredetectionandtracking

Fromeachframeoftheimagesequenceacquired

whiletherobotismoving,variouskindsoffeatures

canbeextractedtoserveasvisuallandmarks:corners,

edgesegments,texturedpatchesetc.Ourcurrentim-

plementationusesShi-Tomasicorners[14],i.e.small

texturedimagepatches,whosecentersyieldpointwise

measurementsusefulformotion/structureestimation.

AsigniﬁcantadvantageofShi-Tomasifeaturesisthat

theirdeﬁnitionimplicitlyprovidesanefﬁcientframe-

to-frametrackingalgorithm;otherapproachesmay

requireindependentfeatureextractionfromeachim-

ageandacostlysearchformatchingpairs.Moreover,sincethetrackingalgorithmallowsforafﬁnedistor-

tion,suchfeaturescanbesuccessfullyfollowedover

largerelativedisplacementsintheimage.

Featuresareextractedintheﬁrstframeofthese-

quence,andthereafteratmoreorlessregularinter-

vals;theframesfromwhichnewfeaturesareex-

tractedarecalledkeyframes.Thespacingbetween

keyframesischosentoprovideenoughimagedispar-

ityforareliableestimationofmotionandstructure.

2.2Estimationoflocalmotionandstructure

Foreachtripleofkeyframesalocalestimateofview-

inggeometryand3Dstructureisobtainedbystandard

projectivegeometrytechniques.

Anestimateoftheviewinggeometryofthetriple,

i.e.thetrifocaltensorTofthethreeviews[15],is

ﬁrstcomputedbyarobustLeastMedianSquaresal-

gorithm[16,17].Tothisextent,thesix-pointalgo-

rithmfrom[18]isappliedtosomesuitablenumberN

ofrandomlychosensixpointsubsetsSi,i=1...N

ofthepointsappearinginthethreeframes,yieldingN

estimatesTi.ForeachTi,ameasureofﬁttingerror

intheimageplaneisevaluatedonallmatchedpoints,

andarobuststatistics(median)ofthiserroriscom-

puted.TheTiwiththelowestmedianerroriskept.

Thisinitialestimateisfedasstartingpointtoabun-

dleadjustmentprocedure,whichﬁndsanoptimales-

timateofbothviewinggeometryand3Dstructureby

minimisingthereprojectionerrorontheimageplane.

SLAM_介绍以及浅析

SLAM（Simultaneous Localization and Mapping），即同时定位与建图，是一种将移动机器人在未知环境中的位置定位与环境地图生成统一起来的技术。SLAM技术是实现自主导航和智能导航的关键性技术之一，广泛应用于无人车、无人潜艇、无人机、机器人等领域。

SLAM技术分为前端和后端两部分。前端主要负责机器人的位置定位，根据传感器获取的数据，通过运动估计（例如里程计模型）和感知估计（例如视觉、雷达感知）等方法，计算机器人在运动过程中的位置和姿态。后端主要负责地图生成，根据机器人在不同时间点的位置估计和传感器获取的环境地图数据，利用优化算法估计机器人的位置和地图。

在前端中，常用的传感器有激光雷达、相机、惯性测量单元（IMU）等。激光雷达可以提供高精度的距离和角度信息，常用于建立环境地图。相机能够捕捉到图像信息，通过图像算法可以提取出环境中的特征点，用于定位和建图。IMU能够提供线性加速度和角速度信息，用以估计机器人的运动。

在后端中，常用的算法有滤波器、优化方法和图优化等。滤波器方法包括扩展卡尔曼滤波器（EKF）和无迹卡尔曼滤波器（UKF），通过状态估计和协方差矩阵来估计机器人的位置和姿态。优化方法包括最小二乘法、非线性优化等，通过最小化误差函数来优化机器人的位置估计和地图。图优化方法使用图模型来描述机器人的位置和环境地图，通过最大化后验概率来估计位置和地图。

SLAM技术的关键挑战之一是数据关联问题。由于噪声和误差的存在，机器人在不同时刻获取的传感器数据可能不完全匹配。因此，需要通过数据关联来确定当前获取的数据与之前数据的对应关系。常用的数据关联方法有最近邻法、滤波法和图优化法等。最近邻法通过计算不同数据之间的距离来确定对应关系。滤波法通过滤波器来更新机器人的位置估计，并根据新的数据重新关联。图优化法通过图模型来描述数据的关联关系，并通过最大后验概率来估计位置和地图。

slam定位方法

SLAM (Simultaneous Localization and Mapping) 是一种用于在未知环境中同时定位和构建地图的技术。它是自主导航和无人驾驶等领域的重要组成部分。SLAM 可以与各种传感器一起使用，如相机、激光雷达和惯性测量单元（IMU），以实时地还原并更新所在环境的地图，同时估计自身的位置。

传统的定位方法通常会依赖于使用GPS或其他外部定位系统来进行定位。然而，在没有可靠的定位信息的情况下，SLAM可以通过分析传感器数据来同时定位和构建环境地图。这使得SLAM在许多应用中具有重要的实际意义，比如无人机、机器人和增强现实等。

SLAM可以分为前端和后端两个组成部分。前端负责从传感器数据中提取地图和特征信息，例如提取环境特征点的位置和描述符，或者利用激光雷达扫描数据生成地图网格。后端则使用这些信息进行位置估计和地图构建。

在前端方面，一种常见的方法是使用特征点提取和匹配技术。传感器数据（如相机图像或激光点云）会被处理，提取出环境中的特征点，例如角点、边缘和指纹点等。这些特征点被用于估计机器人的位置和姿态，从而不断更新地图。

在后端方面，最常见的方法是使用滤波器或优化方法来估计机器人的位置和地图。滤波器方法包括扩展卡尔曼滤波器（EKF）和粒子滤波器等，而优化方法则包括非线性最小二乘（NLS）和非线性优化算法等。这些方法会根据新的传感器数据和前期估计的位置信息来更新估计值，并减小估计误差。除了特征点SLAM外，还有一种基于直接法的SLAM。直接法SLAM不需要特征提取和匹配，而是直接对图像上的每个像素点进行处理。这种方法的优势在于可以利用所有的像素信息，提高地图的稠密程度，从而更加精确地定位和构建地图。然而，直接法SLAM也面临着较高的计算复杂度和存储需求。

SLAM还可以通过多传感器的融合来提高定位和地图构建的精度和鲁棒性。例如，可以将相机和激光雷达的数据进行融合，以利用它们各自的优势来进行定位和地图构建。同时，利用惯性测量单元（IMU）的加速度计和陀螺仪数据，可以提供更可靠的姿态估计。

slam实现方法

SLAM实现方法

什么是SLAM

SLAM，即Simultaneous Localization and Mapping，即同时定位与地图构建。它是一种同时进行自主定位和地图建立的技术，通常用于无人机、自动驾驶和机器人等领域。

史上最全的语义SLAM论文笔记整理

语义信息的挖掘和应用，是目前SLAM问题中的研究热点，本文从特征选择、动态SLAM、单目SLAM的尺度恢复、long-term的定位、提高定位精度等方面介绍了当前最新的一些论文中的研究工作。

一：语义信息于特征选择

二：语义信息用于动态slam

三：语义信息用于单目SLAM的尺度恢复

四：语义信息用于long-term定位

五：语义信息用于提高定位精度

一

语义信息用于特征选择

1.1 选择感兴趣区域的点

SalientDSO:Bringing Attention to Direct Sparse Odometry（直接法）

本文是在DSO的基础上，改变了跟踪点的选取策略。DSO是在图像上均匀选取点，如图a所示，本文是在图像上的感兴趣区域上选取点，下面具体介绍：

a. 显著性图获取

分为两步：首先使用SalGAN网络提取图像中的显著性图，如图

e 所示，显著性定义为人类对图像中每个像素的关注量，颜色越接近红色表示显著性越高。接着使用PSPNet进行获取语义分割的结果，如图 f 所示。

利用语义分割的结果对显著性图进行filter，即重新调整每个像素点的显著性得分，目的是降低无信息区域的显著性得分，例如墙，天花板和地板等。论文中为每种语义类别设置一个经验权重 Wc，根据得到的语义分割图 Cj，对显著性图 Sj 的每个像素点乘以该像素点对应类别的经验权重，得到 Sj [weighted] :

这还不是最终的显著性图，论文中提到为了平滑和为每种类别维持一个一致的显著性图，每个像素的显著性得分被图中所有该类像素的显著性得分的中值代替，得到最终的显著性图Sj [final] :

b. 点的选择策略

首先，将图像分割为K×K的patch, 对于每个patch，计算显著性中值，显著性中值作为该patch的被选择的权重，如果该patch的显著性高，则被选择的概率越大，然后在选择的patch内根据梯度值进一步选择点，可参考DSO的策略。

下载提示

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Integrating Monocular Vision and Odometry for SLAM

合集下载

SLAM_介绍以及浅析

slam定位方法

slam实现方法

史上最全的语义SLAM论文笔记整理

文档推荐

最新文档