当前位置:文档之家› 三种2D-3D定位算法(摄像机定标)

三种2D-3D定位算法(摄像机定标)

三种2D-3D定位算法(摄像机定标)
三种2D-3D定位算法(摄像机定标)

《2D-3D 定位算法》笔记

中英对照:

世界坐标系或实体坐标系(3D):object coordinate system 。 摄像机坐标系(3D): camera coordinate system 。

图像坐标系(2D): image coordinate system ,在摄像机坐标系下取x 和y 坐标即为图像坐标系。 2D-3D 点对:2D-3D correspondences ,根据投影变换将3D 点投影为2D 点。 平移变换:translation projection 旋转变换:rotation projection 比例变换:scale projection

透视投影变换:perspective projection 正交投影变换:orthographic projection

2D-3D 定位算法:根据 已给出的若干对 3D 点p i (在世界坐标系或实体坐标系下)和 相对应的 2D 点p i '(在图像坐标系下或在摄像机坐标系下取x 和y 坐标),求出之间的投影变换矩阵(旋转变换和平移变换)。

文献1:

《A Comparison of 2D-3D Pose Estimation Methods 》 文献2:

《A Comparison of Iterative 2D-3D Pose Estimation Methods for Real-Time Applications 》 文献3:

《计算机视觉》-马颂德

一、CamPoseCalib(CPC)

1、基本思想:根据非线性最小二乘法,最小化重投影误差求出投影参数

),,,,,(γβαθθθθθθθz y x =。

2、算法过程:

(1)已给出若干点对)'~

,(i i p p ,其中i p 是实体坐标系下的3D 点,'

~i p 我理解为事

先给出的图像坐标系下的2D 点,应该是给出的测量值 。

(2)将i p 先经过旋转变换 i z y x p R R R ???)()()(γβαθθθ 和平移变换 T

z y x ),,(θθθ ,得

机坐标系下的点

i z y x T

z y x i p R R R p m ???+=)()()(),,(),(γβαθθθθθθθ 。

(3)再将像机坐标系下的点),(i p m θ进行透视投影变换得到图像坐标系下的2D 点:

?????

?

??+?+?=y i y i z y x i x i z

x i c p m p m s c p m p m s p m ),(),(),(),(),('θθθθθ,比例因子为),(y x s s s =,跟

摄像机的焦距有关,摄像机坐标系的Z 轴与图像平面的交点 跟 图像坐标原点 的距离为

),(y x c c ;其中一般f s s y x ==是焦距,)0,0(),(=y x c c ,都是已知的,并且事

先给出的。

(4)重投影误差2

)

(θi r d =是),('θi p m 跟

'

~i p 的二维欧拉距离,

'~),(')(i i i p p m r -=θθ ,2

)(θi r 是关于),,,,,(γβαθθθθθθθz y x =的函数 。

(5)根据已给出m 个点对)'~

,(i i p p ,用非线性最小二乘法求出未知系数

),,,,,(γβαθθθθθθθz y x =,∑

==m

i i r 1

2

))

((min

arg ?θθθ

3、求解过程:

(1)给出摄像机的初始位置:焦距f ,即),(y x s s s =,图像坐标中心,即),(y x c c ,

图像范围,即合理的2D 坐标值范围。

(2)共有6个未知数,至少需要3个)'~

,(i i p p ,即m>=3 ; (3)算法执行停止条件为:限制迭代次数,设置每次重投影误差的变动值大小阈值。 4、我目前的进展:

(1)现在在看非线性最小二乘法,了解怎么最终获得解。 (2)上面有下划线的地方,不知道我理解的对不对?

二、POSIT

1、基本思想:算法分两部分

(1)带有比例系数的正交投影变换SOP ,根据线性方程组求出旋转矩阵和平移向量; (2)由得出的旋转矩阵和平移向量系数,更新比例系数(scale factor ),再由比例系数更新原有的点,进行迭代。 2、算法过程:

(1)假设旋转矩阵 ??????????=3332

31

232221

131211R R R R R R R R R R =?

??

??

?????T

T T R R R 321和平移向量????

?

?????=z y x T T T T ,f 是焦距;在

透视投影变换中 i i

i X Z f x ?=

,i i

i Y Z f y ?=

,而在SOP 中i i X Z f x ?=

i i Y Z f y ?=

,其中比例因子是 0

Z f s = ;

(2)作基本的透视投影变换,将3D 点 T

z y x a a a a ),,(=透视投影到图像平面上得到齐

次坐标T w wy wx m ),,(=,变换过程为????

?

??????????????????=??????????1321z y x z y x T

T T

a a a T fT fT R fR fR w wy wx ,(有点不明白)因为m 是齐次坐标,所以等式右边除以z T ,不会受影响,则得到

???

?

?

?

????????????????

?=???

??

?????11

321z y

x y x T R T T

a a a sT sT sR sR w

wy wx

z T

,其中

z

T f s =

,即得到

????

?

?

?????????????=???

???12

1z y x y

x T T a a a sT sT sR sR wy wx ,其中13+?=

z

T a R w ;

(3)现在变换过程为][]][

1[21wy wx sT sT sR sR Z

Y

X y

x

=,即为方程组

wy

sT ZsR

YsR XsR

wx sT ZsR YsR XsR y x =+++=+++23

2221

131211{

,w 初始值为1;

(4)令T

x sT sR sR R s K )(13

12111= ,T

y sT sR sR sR K )

(2322212=,

??

???????

???=1 (11111)

000n

n

n

Z Y X Z Y X Z Y X A ,A 为(n+1)?4矩阵,????????????=n x x x b .101,?????

???????=n y y y b .102;然后初始方程组变成 2

2

11{

b AK

b AK ==,应用最小二乘法,得到解2

1

2111)

()({

b A A A K b A A A K T

T

T

T --==;

(5)至少有4个不共面的2D-3D 点对,求出K1,K2后,将其除以已知的定值s ,可得到R1,R2,Tx ,Ty ,然后得到R3=R1?R2,并且将R1,R2,R3归一化为单位向量; (6)然后更新13+?=

z

T a R w ,因为对不同的2D-3D 点对,z

T f s

=

是定值,f 是焦

距,是已知的定值参数,z T 也是已知的定值参数,可以看做是所有的3D 点Z 坐标的平均值,(这样可以吗?);对不同的3D 点,a 不同,所以w 也就不同,这样将原来的2D 点变为T

wy wx ),(;

(7)再重步骤(2)开始,由原有的3D 点和更新后的2D 点,用最小二乘法解方程组,得到新的K1,K2;再更新w ,更新2D 点坐标; 3、求解过程:

(1)给出摄像机的初始位置:焦距f ,图像坐标中心,即)

,(y x c c ,图像范围,即合

理的2D 坐标值范围。

(2)共有8个未知数,至少需要4个2D-3D 点对; (3)第一个2D-3D 点对必须是(0,0)-(0,0,0);

(3)算法执行停止条件为:限制迭代次数,设置每次2D 点的变动值大小(精确度)阈值。 4、我目前的进展:

(1)我不明白z T 一开始是不是给出的,还是计算出来的?如果看做是所有的3D 点Z 坐标的平均值或者最小值或中值,这样可以吗?

(2)上面有下划线的地方,不知道我理解的对不对?

三、Direct Linear T ransform (DLT )

这种方法,马颂德的《计算机视觉》 4.1节 线性模型摄像机定标 说的比较详细, 文献1中的DLT 解法跟这个类似,这个应该就是DLT 算法,所以我就没有仔细写了。

四、PosIt for coplanar points

这个方法主要是处理对于PosIt 中不同的3D 点正交投影到图像平面上同一个2D 点这种情况,具体的解法看的还不是太明白。

英老师:

您好!祝你工作愉快!事事顺心!

你看到这的时候,我知道我已经耽误你很多时间了。

上面的前3种方法,基本都看明白了,不知道我理解的对不对?英老师,如果感觉有啥不对的直接在上面改就行。不知道,我的进度在您看来慢了多少?

算法我会首先用Matlab 实现的,Matlab 库函数比较多,实现起来应该比较容易。 文献1中Experiments 部分,对噪声、点个数、3D 点集的共面性等这些统计实验都需要实现吗?

后永波

摄像机标定方法综述

摄像机标定方法综述 摘要:首先根据不同的分类方法对对摄像机标定方法进行分类,并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比,最后就如何提高摄像机标定精度提出几种可行性方法。 关键字:摄像机标定,传统标定法,自标定法,主动视觉 引言 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境,并从中获取需要的信息用于重建和识别物体。摄像机便是3D 空间和2D 图像之间的一种映射,其中两空间之间的相互关系是由摄像机的几何模型决定的,即通常所称的摄像机参数,是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定[1]。近20 多年,摄像机标定已成为计算机视觉领域的研究热点之一,目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。 从定义上看,摄像机标定实质上是确定摄像机内外参数的一个过程,其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数,包括图像中心坐标、焦距、比例因子和镜头畸变等;而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系,可用3 ×3 的旋转矩阵R 和一个平移向量t 来表示。 摄像机标定起源于早前摄影测量中的镜头校正,对镜头校正的研究在十九世纪就已出现,二战后镜头校正成为研究的热点问题,一是因为二战中使用大量飞机,在作战考察中要进行大量的地图测绘和航空摄影,二是为满足三维测量需要立体测绘仪器开始出现,为了保证测量结果的精度足够高,就必须首先对校正相机镜头。在这期间,一些镜头像差的表达式陆续提出并被普遍认同和采用,建立起了较多的镜头像差模型,D.C.Brown等对此作出了较大贡献,包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等[2]。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展,现有的数码摄像机逐渐代替原有的照相机,同时随着像素等数字化概念的出现,在实际应用中,在参数表达式上采用这样的相对量单位会显得更加方便,摄像机标定一词也就代替了最初的镜头校正。

摄像机标定程序使用方法

摄像机内部参数标定 一、材料准备 1 准备靶标: 根据摄像头的工作距离,设计靶标大小。使靶标在规定距离范围里,尽量全屏显示在摄像头图像内。 注意:靶标设计、打印要清晰。 2图像采集: 将靶标摆放成各种不同姿态,使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内,便于集中处理。 二、角点处理(Process菜单) 1 准备工作: 在程序debug文件夹下,建立data,left,right文件夹,将角探测器模板文件target.txt复制到data文件夹下,便于后续处理。 2 调入图像: File->Open 打开靶标图像 3 选取角点,保存角点: 点击Process->Prepare Extrcor ,点击鼠标左键进行四个角点的选取,要求四个角点在最外侧,且能围成一个正方形区域。每点击一个角点,跳出一个显示角点坐标的提示框。当点击完第四个角点时,跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ,对该幅图的角点数据进行保存,最好保存到debug->data-> left 文件夹下。命名时,最好命名为cornerdata*.txt,*代表编号。 对其余N-1幅图像进行角点处理,保存在相同文件夹下。这样在left文件夹会出现N个角点txt 文件。 三、计算内部参数(Calibration菜单) 1 准备工作: 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt,将其归为一组。将该组数据复制到data文件夹下,重新顺序编号,此时,文件名必须为cornerdata*,因为计算参数时,只识别该类文件名。 2 参数计算: 点击Calibration->Cameral Calibrating,跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵,且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档,重复步骤1和2;反复取上M组数据,保存各组数据。 注意:在对下一组图像进行计算时,需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计,要求|gama|<2,且gama为负,删掉不符合条件的数据。 挑出出现次数最高的一组数据。2 摄像机外部参数标定

基于OpenCV的CCD摄像机标定方法_雷铭哲_孙少杰_陈晋良_陶磊_魏坤

MethodofCCDCameraCalibrationBasedOnOpenCV LEIMing-zhe1,SUNShao-jie2,CHENJin-liang1,TAOLei1,WEIKun1 (1.North Automation Control Technology Institute ,Taiyuan 030006,China ; 2.Navy Submarine Academy ,Qingdao 266042,China )Abstract: Computervisionhasbeenwidelyusedinindustry,agriculture,military,transportationareaandsoon.Cameracalibrationisveryimportantandalsothekeyresearchfieldofvisionsystem.ThispapermainlyresearchesonthemethodofCCDcameracalibration,thepin-holemodelhasbeenintroducedandappliedinprocessofcalibration.Specially,inordertoimprovetheaccuracy,bothradialandtangentiallensdistortionhavebeentakenintoaccountduringtheimplementofcalibrationbasedonOpenCV.Thiskindofarithmetichaspracticalvalueontheapplicationdesignofimageprocessingandcomputervision,andexperimentresultsshowgoodprecision,whichcanmeettheapplicationneedofvisualinspectionorothervisionsystemswell. Keywords: pin-holemodel,cameracalibration,lensdistortion,OpenCV摘要: 计算机视觉在工业,农业,军事,交通等领域都有着广泛应用。摄像机标定是视觉系统的重要环节,也是研究的关键领域。以摄像机标定技术为研究对象,选取针孔成像模型,简述了世界坐标系、摄像机坐标系和图像坐标系及其相互间的位置关系,对标定过程进行了深入研究。特别地,为提高标定精度,充分考虑了透镜径向和切向畸变影响及其求解方法,制作了棋盘格平面标定模板,基于开放计算机视觉函数库(OpenCV)实现了摄像机标定。该标定算法能够充分发挥OpenCV函数库功能,对于图像处理与计算机视觉方面的应用设计具有实用价值。实验结果表明该方法取得了较高精度,能够满足视觉检测或其他计算机视觉系统的应用需要。 关键词:针孔模型,摄像机标定,透镜畸变,OpenCV中图分类号:S219 文献标识码:A 基于OpenCV的CCD摄像机标定方法 雷铭哲1,孙少杰2,陈晋良1,陶 磊1,魏坤1 (1.北方自动控制技术研究所,太原030006;2.海军潜艇学院,山东青岛266042 )文章编号:1002-0640(2014) 增刊-0049-03Vol.39,Supplement Jul,2014 火力与指挥控制 FireControl&CommandControl第39卷增刊 引言 摄像机标定是计算机视觉系统的前提和基础,其目的是 确定摄像机内部的几何和光学特性(内部参数)以及摄像机 在三维世界中的坐标关系(外部系数) [1] 。考虑到摄像机标定在理论和实践应用中的重要价值,学术界近年来进行了广泛的研究。 摄像机标定方法可以分为线性标定和非线性标定,前者简单快速,精度低,不考虑镜头畸变;后者由于引入畸变参数而使精度提高,但计算繁琐,速度慢,对初值选择和噪声敏感。本文将两者结合起来,采用由粗到精策略,以实现精确标定。 1摄像机模型 本文选取摄像机模型中常用的针孔模型[2-3],分别建立三维世界坐标系(O w X w Y w Z w ),摄像机坐标系(O c X c Y c Z c )及图像平面坐标系(O 1xy ) 如下页图1所示。其中摄像机坐标系原点O c 为摄像机光心,Z c 轴与光轴重合且与图像平面垂直,O c O 1为摄像机焦距f 。图像坐标系原点O 1为光轴与图像平面的交点,x ,y 轴分别平行于摄像机坐标系X c 、Y c 轴。设世界坐标系中物点P 的三维坐标为(X w ,Y w ,Z w ),它在理想的针孔成像模型下图像坐标为P (X u ,Y u ),但由于透镜畸变引起偏离[4-5],其实际图像坐标为P (X d ,Y d )。图像收稿日期:2013-09-20修回日期:2013-11-10 作者简介:雷铭哲(1977-),男,湖北咸宁人,硕士。研究方向:故障诊断系统。 49··

三维重建综述

三维重建综述 三维重建方法大致分为两个部分1、基于结构光的(如杨宇师兄做的)2、基于图片的。这里主要对基于图片的三维重建的发展做一下总结。 基于图片的三维重建方法: 基于图片的三维重建方法又分为双目立体视觉;单目立体视觉。 A双目立体视觉: 这种方法使用两台摄像机从两个(通常是左右平行对齐的,也可以是上下竖直对齐的)视点观测同一物体,获取在物体不同视角下的感知图像,通过三角测量的方法将匹配点的视差信息转换为深度,一般的双目视觉方法都是利用对极几何将问题变换到欧式几何条件下,然后再使用三角测量的方法估计深度信息这种方法可以大致分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。王涛的毕业论文就是做的这方面的工作。双目立体视觉法的优点是方法成熟,能够稳定地获得较好的重建效果,实际应用情况优于其他基于视觉的三维重建方法,也逐渐出现在一部分商业化产品上;不足的是运算量仍然偏大,而且在基线距离较大的情况下重建效果明显降低。 代表文章:AKIMOIO T Automatic creation of3D facial models1993 CHEN C L Visual binocular vison systems to solid model reconstruction 2007 B基于单目视觉的三维重建方法: 单目视觉方法是指使用一台摄像机进行三维重建的方法所使用的图像可以是单视点的单幅或多幅图像,也可以是多视点的多幅图像前者主要通过图像的二维特征推导出深度信息,这些二维特征包括明暗度、纹理、焦点、轮廓等,因此也被统称为恢复形状法(shape from X) 1、明暗度(shape from shading SFS) 通过分析图像中的明暗度信息,运用反射光照模型,恢复出物体表面法向量信息进行三维重建。SFS方法还要基于三个假设a、反射模型为朗伯特模型,即从各个角度观察,同一点的明暗度都相同的;b、光源为无限远处点光源;c、成像关系为正交投影。 提出:Horn shape from shading:a method for obtaining the shape of a smooth opaque object from one view1970(该篇文章被引用了376次) 发展:Vogel2008年提出了非朗伯特的SFS模型。 优势:可以从单幅图片中恢复出较精确的三维模型。 缺点:重建单纯依赖数学运算,由于对光照条件要求比较苛刻,需要精确知道光源的位置及方向等信息,使得明暗度法很难应用在室外场景等光线情况复杂的三维重建上。 2、光度立体视觉(photometric stereo) 该方法通过多个不共线的光源获得物体的多幅图像,再将不同图像的亮度方程联立,求解出物体表面法向量的方向,最终实现物体形状的恢复。 提出:Woodham对SFS进行改进(1980年):photometric method for determining surface orientation from multiple images(该文章被引用了891次) 发展:Noakes:非线性与噪声减除2003年; Horocitz:梯度场合控制点2004年; Tang:可信度传递与马尔科夫随机场2005年; Basri:光源条件未知情况下的三维重建2007年; Sun:非朗伯特2007年; Hernandez:彩色光线进行重建方法2007年;

摄像机标定程序使用方法

一、材料准备 1 准备靶标: 根据摄像头的工作距离,设计靶标大小。使靶标在规定距离范围里,尽量全屏显示在摄像头图像内。 注意:靶标设计、打印要清晰。 2图像采集: 将靶标摆放成各种不同姿态,使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内,便于集中处理。 二、角点处理(Process菜单) 1 准备工作: 在程序debug文件夹下,建立data,left,right文件夹,将角探测器模板文件target.txt 复制到data文件夹下,便于后续处理。 2 调入图像: File->Open 打开靶标图像 3 选取角点,保存角点: 点击Process->Prepare Extrcor ,点击鼠标左键进行四个角点的选取,要求四个角点在最外侧,且能围成一个正方形区域。每点击一个角点,跳出一个显示角点坐标的提示框。当点击完第四个角点时,跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ,对该幅图的角点数据进行保存,最好保存到debug->data-> left文件夹下。命名时,最好命名为cornerdata*.txt,*代表编号。 对其余N-1幅图像进行角点处理,保存在相同文件夹下。这样在left文件夹会出现N 个角点txt文件。 三、计算内部参数(Calibration菜单) 1 准备工作: 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt,将其归为一组。将该组数据复制到data文件夹下,重新顺序编号,此时,文件名必须为cornerdata*,因为计算参数时,只识别该类文件名。 2 参数计算: 点击Calibration->Cameral Calibrating,跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵,且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档,重复步骤1和2;反复取上M组数据,保存各组数据。 注意:在对下一组图像进行计算时,需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计,要求|gama|<2,且gama为负,删掉不符合条件的数据。 2 挑出出现次数最高的一组数据。

工件的定位教案

教学首页设计

教学过程授课思路和教学方法 教学内容和教师活动学生活动 Ⅰ、复习引入 用锥柄连接式车床专用夹具加工支架 (参照书P127图6-2) 车床夹具定位实例 (参照书P129图6-3) 回顾: ⑴、夹具的组成; ⑵、夹具的作用。 Ⅱ、讲授新课 一、定位和基准的基本概念 (结合书P129图6-3讲解) 1、工件的定位 【师】:使用夹具对工件进行加工时,必须按照加工工艺的要求把工件放在夹具中,使工件在夹紧之前相对于机床和刀具有一个正确的确定位置,这个过程称为工件的定位。 【强调】:(1)、工件的定位是靠工件上某些表面和夹具中的定位元件(或装置)相接触来实现的。 (2)、工件的定位必须使一批工件逐次放入夹具中都能占有同一位置。 2、定位基准 【师】:所谓定位基准是指工件与夹具定位 元件工作表面相接触的表面。 【扩展】: (1)、当工件的定位基准确定后,工件上其他部分的位置也随之确定。 (2)、定位基准可以是点、线、面,但作为基准的点和线往往由某些具体表面体现出来的。 二、工件的定位原理 1、六点定位规则 自由度 【过渡】:空间内自由的物体可能具有的运动? 【总结归纳】:任何一个工件在夹具中未定位前,都可以看成在空间直角坐标系中的自由物体。一个物体在三维空间中具有的运动包括沿三个坐标轴的移动和转动。分别是三个移动自由度: 和三个转动自由度:共六个自由度。?如下图所示: 看图想 问题,回忆 上次课内 容 【学生思 考】:怎样 保证在切 削加工过 程中,使工 件的各个 加工表面 的尺寸,形 状及位置 精度符合 规定要 求?----必 须使工件 在机床或 夹具中占 有一个确 定的位置。 【提问】: 如何保证 同一批工 件在夹具 中占有一 致的正确 加工位置 呢?根据 学生作答 情况 引出定 位的概念 【学生讨 论】:空间 内自由的 物体可能 具有的运 动?学生 首先 介绍定位 的目的让 学生明白 此次课程 的作用 通过 对熟悉的 知识类比 掌握与之 有关的陌 生知识促 使学生带 着问题有 目的地参 与课堂教 学活动。

机器视觉中的摄像机定标方法综述

机器视觉中的摄像机定标方法综述 吴文琪,孙增圻 (清华大学计算机系智能技术与系统国家重点实验室,北京100084) 摘要:回顾了机器视觉中的各种摄像机定标方法,对各种方法进行介绍、分析,并提出了定标方法的发展方向的新思路。 关键词:机器视觉;摄像机定标;三维重建;镜头畸变 中国法分类号:TP387文献标识码:A文章编号:1001-3695(2004)02-0004-03 Overvie w of Camera Calibration Methods for Machine Vision WU Wen-qi,SUN Zeng-qi (State Key L aborato ry o f Intellige nt Tec hnology&Syste ms,Dept.o f Co mpute r Science&Technology,Tsinghua Universit y,Bei jing100084,China) Abstract:In this paper,themethods for camera calibration are reviewed,anal yzed and compared.Furthermore,the develop ment of the camera calibration is discussed. Key w ords:Machine Vision;Camera Calibration;3D Reconstruction;Lens Distortion 1引言 在机器视觉的应用中,如基于地图生成的视觉、移动机器人的自定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的。目前已经出现了一些自定标和免定标的方法,这些方法在比较灵活的同时,尚不成熟[1],难以获得可靠的结果。通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。 摄像机定标在机器视觉中决定: (1)内部参数给出摄像机的光学和几何学特性% %%焦距,比例因子和镜头畸变。 (2)外部参数给出摄像机坐标相对于世界坐标系的位置和方向,如旋转和平移。 在机器人的视觉应用中,目标物位姿信息获取通常有一定的精度要求,机器人视觉系统的性能很大程度上依赖于定标精度。 随着计算机性能的快速提高,低价位CCD摄像机的大量使用,计算机定标方法也得到了不断的改进。 2摄像机模型 摄像机的投影几何模型可以看作这样一个过程,把三维世界透视投影到一个球面(视球),然后把球面上影像投射到一个平面P,理想情况下,平面P关于光轴中心对称。从图像中心点出发到投射平面点的距离r(A)与光轴夹角A的关系有五种模型,每种都有其自己有用的特性[2]。 其成像简图如图1所示。 图1成像简图 2.1透视模型 透视模型公式为 r(A)=k tan A 理想状况下可以等价为小孔成像。许多最近的算法和判断不同算法的优劣的依据都是基于这个假设。但是,透视投影只是表示了视球的前半部。要是不在光轴的附近,物体的形状和密度都会发生畸变。这种模型符合人的视觉感受,理想情况下,直线投影仍为直线。透视模型在定标方法中被广泛采用,在视角不大的镜头情况下比较符合实际情况。 在视角比较大时,透视模型通过对镜头畸变进行校正来修正模型。根据镜头光学成像原理,畸变的模型为D x (x,y)=k1x(x2+y2)+(p1(3x2+y2)+2p2xy)+s1(x2+y2) D y (x,y)=k2x(x2+y2)+(p2(3x2+y2)+2p1xy)+s2(x2+y2) 式中,D x,D y是非线性畸变值,D x,D y的第一项称为径向畸 # 4 #计算机应用研究2004年 收稿日期:2002-11-18;修返日期:2003-03-22

基于OpenCV的摄像机标定的应用研究

38562009,30(16)计算机工程与设计Computer Engineering and Design 0引言 机器视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息,并由此重建和识别物体,而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的,这些几何模型参数就是摄像机参数。在大多数条件下,这些参数必须通过实验与计算才能得到,这个过程称为摄像机标定(或定标)。标定过程就是确定摄像机的几何和光学参数,摄像机相对于世界坐标系的方位。标定精度的大小,直接影响着机器视觉的精度。迄今为止,对于摄像机标定问题已提出了很多方法,摄像机标定的理论问题已得到较好的解决[1-5]。对摄像机标定的研究来说,当前的研究工作应该集中在如何针对具体的实际应用问题,采用特定的简便、实用、快速、准确的标定方法。 OpenCV是Intel公司资助的开源计算机视觉(open source computer vision)库,由一系列C函数和少量C++类构成,可实现图像处理和计算机视觉方面的很多通用算法。OpenCV有以下特点: (1)开放C源码; (2)基于Intel处理器指令集开发的优化代码; (3)统一的结构和功能定义; (4)强大的图像和矩阵运算能力; (5)方便灵活的用户接口; (6)同时支持Windows和Linux平台。 作为一个基本的计算机视觉、图像处理和模式识别的开源项目,OpenCV可以直接应用于很多领域,是二次开发的理想工具。目前,OpenCV的最新版本是2006年发布的OpenCV 1.0版,它加入了对GCC4.X和Visual https://www.doczj.com/doc/3116802904.html,2005的支持。 1摄像机标定原理 1.1世界、摄像机与图像坐标系 摄像机标定中有3个不同层次的坐标系统:世界坐标系、摄像机坐标系和图像坐标系(图像像素坐标系和图像物理坐标系)。 如图1所示,在图像上定义直角坐标系 开发与应用

工件定位的基本原理

工件定位的基本原理 教学环节教学内容 教学方法 说明 引入新课课前提问: 1、三轴数控铣床一般指哪三个轴 ¥ 2、多轴数控机床(例如五轴加工中心)一般有哪些轴 答案: 1、X、Y、Z三个轴。 2、X、Y、Z(三个直线轴)和A、B、C(三个旋轴) 通过对熟 悉的知识 类比掌握 与之有关 的陌生知 识 讲授新课, 讲 \授新课 [一、工件的定位: 指工件在机床或夹具中取得一个正确的加工位置的过程。 例如:机床在装配时,其主轴箱、滑板及其上的工件,均须精确地安装在相应的位置上; 机械加工时,刀具必须精确地安装在主轴头上,其回转中心必须与主轴中心线重合;模 具也一样,其零部件均须精确地安装在以冲模上下座板或者是塑料模的定动模板的相应 位置上。 定位的目的是使工件在夹具中相对于机床、刀具占有确定的正确位置,并且应用夹具定 位工件,还能使同一批工件在夹具中的加工位置一致性好。 二、自由度 一个物体在三维空间中可能具有的运动。 例如:工件有六个自由度,分别是:三个移动自由度:,三个转动自由度:。 如图1所示: 图1 ) 三、六点定位原理 用一个支承点限制工件的一个自由度,用六个合理分布的支承点限制工件的 六个自由度,使工件在机床或夹具中取得一个正确的加工位置,即为工件的六点定位原 理。如果工件的六个自由度用六个支承点与工件接触使其完全消除,则该工件在空间的 位置就完全确定了。如下图所示: , 首先介绍 定位的目 的,让学生 明白此次 课程的作 用 通过图例 联系物体 的运动掌 握自由度 的概念 ` 通过挂图, 让学生更 加形象的 理解六点 定位原理

讲> 授新课 ¥ 讲授 新 、课 图2 四、工件定位的几种情况 完全定位:工件的六个自由度需要完全被限制的定位情况。 不完全定位:工件的六个自由度不需要完全被限制的定位情况。 欠定位:工件应该被限制的自由度而没有被限制的定位情况。 过定位:工件某个自由度被限制了两次或两次以上而出现的重复定位现象。 1、完全定位 工件的六个自由度全部被限制的定位,称为完全定位。当工件在x、y、z三个坐标方向 上均有尺寸要求或位置精度要求时,一般采用这种定位方式。见图3所示。 ' 图3 1、平面支承2、短圆柱销3、侧挡销 2、不完全定位 根据工件的加工要求,并不需要限制工件的全部自由度,这样的定位,称为不完全定位。 见图4所示。 图4 … 通过实物 定位销和 V型铁让 学生理解 其限制的 自由度 通过车细 长轴实例 讲述过定 位与不完 全定位 — 通过插齿 机上的夹 具掌握过 定位的应 用场合。 、

张氏标定法原理及其改进1

张正友算法原理及其改进 由于世界坐标系的位置可以任意选取,我们可以假定世界坐标系和摄像机坐标系重合,故定义模板平面落在世界坐标系的0W Z =平面上。用i r 表示R 的每一列向量,那么对平面上的每一点,有: [][]12312 0111W W W W X u X Y s v A r r r t A r r t Y ?? ?? ?? ?? ??????==?????????????? ?? ?? 这样,在模板平面上的点和它的像点之间建立了一个单应性映射H ,又称单应性矩阵或投影矩阵。如果已知模板点的空间坐标和图像坐标,那么就已知m 和M ,可以求解单应性矩阵H 。)1,,(w w Y X )1,,(v u 因为11W W u X s v H Y ????????=????????????,其中11 121321222331 32 1h h h H h h h h h ?? ??=?????? ,可推出: 111213 21222331321 W W W W W W su h X h Y h sv h X h Y h s h X h Y =++?? =++??=++? 故, 1112133132212223313211W W W W W W W W h X h Y h u h X h Y h X h Y h v h X h Y ++?=?++? ? ++?=?++? 将分母乘到等式左边,即有 3132111213 31 32212223W W W W W W W W uX h uY h u h X h Y h vX h vY h v h X h Y h ++=++??++=++? 又令[]T h h h h h h h h h 3231232221131211 =',则 1 00000 01W W W W W W W W X Y uX uY u h X Y vX vY v --???? '=????--??? ? 多个对应点的方程叠加起来可以看成Sh d '=。利用最小二乘法求解该方程,即1()T T h S S S d -'=,进而得到H 。 摄像机内部参数求解 在求取单应性矩阵后,我们进一步要求得摄像机的内参数。首先令i h 表示H 的每一列向量,需要注意到上述方法求得的H 和真正的单应性矩阵之间可能相差一个比例因子,则H 可写成: [][]1 2 312h h h A r r t λ=

摄像机标定方法综述

摄像机标定方法综述 李 鹏 王军宁 (西安电子科技大学,陕西西安710071) 摘 要:首先介绍了摄像机标定的基本原理以及对摄像机标定方法的分类。通过对最优化标定法、双平面标定法、两步法等传统摄像机方法的具体分析,给出了各种方法的优劣对比;同时对多种自标定方法的研究现状、发展情况以及存在问题进行了探讨。最后给出了发展传统摄像机标定方向、提高摄像机自标定精度的一些参考建议。 关键词:摄像机标定;传统标定;自标定;优化算法;成像模型 中图分类号:T N948.41 文献标识码:A 0 引言 在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立摄像机成像的几何模型,这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为摄像机标定[1]。无论是在图像测量或者机器视觉应用中,摄像机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。因此,做好摄像机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在。 1 标定分类 摄像机标定的目的是利用给定物体的参考点坐标(x, y,z)和它的图像坐标(u,v)来确定摄像机内部的几何和光学特性(内部参数)以及摄像机在三维世界中的坐标关系(外部参数)。内部参数包括镜头焦距f,镜头畸变系数(k、s、p),坐标扭曲因子s,图像坐标原点(u0,v0)等参数。外部参数包括摄像机坐标系相对于世界坐标系得旋转矩阵R和平移向量T等参数。 传统摄像机标定的基本方法是,在一定的摄像机模型下,基于特定的实验条件如形状、尺寸已知的参照物,经过对其进行图像处理,利用一系列数学变换和计算方法,求取摄像机模型内部参数和外部参数。另外,由于许多情况下存在经常性调整摄像机的需求,而且设置已知的参照物也不现实,这时就需要一种不依赖参照物的所谓摄像机自标定方法。这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的,与场景和摄像机的运动无关,所以相比较下更为灵活。 总的来说,摄像机标定可以分为两个大类:传统的摄像机标定方法和摄像机自标定法。2 传统的摄像机标定方法 传统的摄像机标定方法按照其算法思路可以分成若干类,包括了利用最优化算法的标定方法,利用摄像机变换矩阵的标定方法,进一步考虑畸变补偿的两步法,双平面方法,改进的张正友标定法以及其他的一些方法等。 2.1 利用最优化算法的标定方法 这一类摄像机标定方法的优点是可以假设摄像机的光学成像模型非常复杂。然而由此带来的问题是:1)摄像机标定的结果取决于摄像机的初始给定值,如果初始值给得不恰当,很难通过优化程序得到正确的结果;2)优化程序非常费时,无法实时地得到结果。 根据参数模型的选取不同,这一类的方法主要以下两种: 1)摄影测量学中的传统方法:Faig在文[2]中提出的方法是这一类技术的典型代表。分析F aig给出的方法,可以看到在他的标定方法中,利用了针孔摄像机模型的共面约束条件,假设摄像机的光学成像模型非常复杂,考虑了摄像机成像过程中的各种因素,精心设计了摄像机成像模型,对于每一幅图像,利用了至少17个参数来描述其与三维物体空间的约束关系,计算量非常大。 2)直接线形变换法:直接线性变换方法是A bde-l A ziz 和Karara首先于1971年提出的[3]。通过求解线性方程的手段就可以求得摄像机模型的参数,这是直接线性变换方法有吸引力之处。然而这种方法完全没有考虑摄像机过程中的非线性畸变问题,为了提高精度,直接线性变换方法进而改进扩充到能包括这些非线性因素,并使用非线性的手段求解。 2.2 利用透视变换矩阵的摄像机标定方法[4] 从摄影测量学中的传统方法可以看出,刻划三维空间坐标系与二维图像坐标系关系的方程一般说来是摄像机内部参数和外部参数的非线性方程。如果忽略摄像机镜头的非 山西电子技术 2007年第4期 综 述 收稿日期:2006-12-18 第一作者 李鹏 男 28岁 硕士研究生

单目视觉定位方法研究综述

万方数据

万方数据

万方数据

万方数据

单目视觉定位方法研究综述 作者:李荣明, 芦利斌, 金国栋 作者单位:第二炮兵工程学院602教研室,西安,710025 刊名: 现代计算机:下半月版 英文刊名:Modem Computer 年,卷(期):2011(11) 参考文献(29条) 1.R.Horaud;B.Conio;O.Leboullcux An Analytic Solution for the Perspective 4-Point Problem 1989(01) 2.任沁源基于视觉信息的微小型无人直升机地标识别与位姿估计研究 2008 3.徐筱龙;徐国华;陈俊水下机器人的单目视觉定位系统[期刊论文]-传感器与微系统 2010(07) 4.邹伟;喻俊志;徐德基于ARM处理器的单目视觉测距定位系统[期刊论文]-控制工程 2010(04) 5.胡占义;雷成;吴福朝关于P4P问题的一点讨论[期刊论文]-自动化学报 2001(06) 6.Abdel-Aziz Y;Karara H Direct Linear Transformation from Comparator to Object Space Coordinates in Close-Range Ph- togrammetry 1971 7.Fishier M A;Bolles R C Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analy-s~s anu Automated tartograpny 1981(06) 8.祝世平;强锡富用于摄像机定位的单目视觉方法研究[期刊论文]-光学学报 2001(03) 9.沈慧杰基于单目视觉的摄像机定位方法的研究 2009 10.任沁源;李平;韩波基于视觉信息的微型无人直升机位姿估计[期刊论文]-浙江大学学报(工学版) 2009(01) 11.刘立基于多尺度特征的图像匹配与目标定位研究[学位论文] 2008 12.张治国基于单目视觉的定位系统研究[学位论文] 2009 13.张广军;周富强基于双圆特征的无人机着陆位置姿态视觉测量方法[期刊论文]-航空学报 2005(03) 14.Zen Chen;JenBin Huang A Vision-Based Method for theCircle Pose Determination with a Direct Geometric Interpre- tation[外文期刊] 1999(06) 15.Safaee-Rad;I.Tchoukanov;K.C.Smith Three-Dimension of Circular Features for Machine Vision 1992 16.S.D.Ma;S.H.Si;Z.Y.Chen Quadric Curve Based Stereo 1992 17.D.A.Forsyth;J.L.Munday;A.Zisserman Projective In- variant Representation Using Implicit Algebraic Curves 1991(02) 18.吴朝福;胡占义PNP问题的线性求解算法[期刊论文]-软件学报 2003(03) 19.降丽娟;胡玉兰;魏英姿一种基于平面四边形的视觉定位算法[期刊论文]-沈阳理工大学学报 2009(02) 20.Sun Fengmei;Wang Weining Pose Determination from a Single Image of a Single Parallelogram[期刊论文]-Acta Automatica Sinica 2006(05) 21.吴福朝;王光辉;胡占义由矩形确定摄像机内参数与位置的线性方法[期刊论文]-软件学报 2003(03) 22.王晓剑;潘顺良;邱力为基于双平行线特征的位姿估计解析算法[期刊论文]-仪器仪表学报 2008(03) 23.刘晓杰基于视觉的微小型四旋翼飞行器位姿估计研究与实现 2009 24.刘士清;胡春华;朱纪洪一种基于灭影线的无人直升机位姿估计方法[期刊论文]-计算机工程与应用 2004(9) 25.Mukundan R;Raghu Narayanan R V;Philip N K A Vision Based Attitude and Position Estimation Algorithm for Rendezvous and Docking 1994(02)

机器人视觉系统标定问题研究综述_田梦倩

收稿日期:2005-05-18 基金项目:江苏省自然科学基金资助项目(BK2002405)作者简介:田梦倩(1971-),女,副教授,研究领域为机电控制及自动化、机器人技术。 机器人视觉系统标定问题研究综述 田梦倩 (东南大学机械工程系,江苏南京210096) 摘要:在视觉反馈机器人的控制中,摄像机的标定是一个基本的、重要性的问题。该文首先对摄像机的成像模型进行分析,明确了视觉系统标定的主要任务,然后从离线标定和在线标定两方面阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。 关键词:机器人;视觉反馈;摄像机标定;离线标定;在线标定 中图分类号:TP242.6+ 2 文献标识码:A 文章编号:100020682(2006)022******* A survey of ca li bra ti on i n a v isi on 2robot system TI A N M eng 2qian (D ept of M echanical Engineering ,Southeast U niversity,J iangsu N anjing 210096,China ) Abstract:Ca mera calibrati on is a basic and crucial p r oble m in the field of r obot contr ol with visi on feedback .The paper analyses the i m age 2for m ing model of a ca mera t o decide how t o calibrate its main pa 2ra meters and then discusses the relevant methods according t o s ome different criteria,which are classified int o off 2line calibrati on and on 2line calibrati on . Key words:r obot;visi on feedback;ca mera calibrati on;off 2line calibrati on;on 2line calibrati on 0 引言 智能机器人是装备有某些类似人的感觉装置,具有感觉识别、判断功能,能根据周围环境的变化,按规则调整自己动作的机器人。在人的众多感觉中,视觉是人最重要的感官之一。因而,机器人视觉定位、视觉导引、视觉伺服也是智能机器人领域的研究热点之一。视觉反馈机器人可以广泛地应用在工业中的焊接、装配、搬运;工件表面质量、几何形状的测量;微电子器件的自动检测;空间技术中的交会对接、卫星回收等各种场合[1] 。这些应用能否准确实现,视觉系统能否获得高精度的反馈信息,都涉及到一个基本的、重要的问题,即视觉系统的高精度标定。 视觉系统的标定问题包括摄像机模型的建立及模型中各参数精确值的获得。确定这一参数值的过程可以分为两部分:摄像机内部参数标定、摄像机坐标系与机器人坐标系之间转换关系(即手-眼关系)的标定。 国外在机器人视觉标定方面做了大量的研究, 并提出了一系列切实可行的方法,而国内关于此方面的研究报道却不多,并且只限于静态的离线标定 方面[7~10] 。该文首先对机器人视觉系统的成像模型进行了详细的分析,按照标定过程是否与机器人控制相结合、是否为动态过程,将视觉反馈机器人的标定方法分为离线标定和在线标定两类,并分别阐述了相关的研究思路和方法,为机器人视觉系统的研究提供了参考。 1 摄像机的成像模型 由于空间某点的几何位置与其在图像中对应点的相互关系是由摄像机的成像模型决定的,因此,正确建立摄像机的成像模型是关键。 假定摄像机模型为针孔透视变换模型,图1中给出了单摄像机下,物点与像点的位置关系。该模型中建立了3个坐标系。 (1)世界坐标系:通常取世界坐标系与机器人基坐标系重合,三维空间中的目标点p 在世界坐标系中的坐标是p w (x w ,y w ,z w )。 (2)摄像机坐标系:其中心点o c 定义在摄像机的光学中心,其Z 轴与摄像机的主光轴重合。目标点p 在摄像机坐标系中的坐标是p c (x c ,y c ,z c )。

摄像机标定原理及源码

计算机视觉摄像机标定实验报告 [实验名称]基于OpenCV的摄像机标定 [实验项目] 1、学会使用OpenCV 2、利用OpenCV进行摄像机标定,编程实现,给出实验结果及其分析。 [实验仪器设备]电脑+Visual Studio 2010+openCV.2.4.8。 [实验原理] 1、理论知识 如图,(u、v)表示以像素为单位的图像坐标系的坐标,(X、Y)表示以mm为单位的图像坐标系的坐标,在X、Y坐标系中,原点O1定义在摄像机光轴与图像平面的交点, 该点一般位于图像中心,但是由于制造原因,很多情况下会有偏移,若O1在U、V坐标系中坐标为(u0,v0),每一个像素在X轴与Y轴方向上的无力尺寸为dx、dy,则图像任意一个像素在两个坐标系下的坐标有如下关系: 如图,Oc点为摄像机光心,Xc轴和Yc轴与图像的X轴与Y轴平行,Zc轴为摄像机光轴,它与图像平面垂直。光轴与图像平面的交点,极为图像坐标系的原点,由点Oc与Xc、Yc、Zc轴组成的直角坐标系称为摄像机坐标系,OOc为摄像机焦距:

由于摄像机可以安放在环境中任意位置,所以在环境中选择一个基准坐标系来描述摄像机位置,并用它描述环境中任何物体的位置,该坐标系为世界坐标系。它有Xw、Yw和Zw轴组成,摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量t来描述。 总体来说,世界坐标系到图像坐标系的关系可总结如下: 摄像头成像几何关系,其中Oc 点称为摄像头(透镜)的光心,Xc 轴和Yc 轴与图像的x轴和Y轴平行,Zc 轴为摄像头的光轴,它与图像平面垂直。光轴与图像平面的交点O1 ,即为图像坐标系的原点。由点Oc 与Xc 、Yc 、Zc 轴组成的坐标系称为摄像头坐标系,Oc O1 的距离为摄像头焦距,用f表示。

相关主题
文本预览
相关文档 最新文档