当前位置:文档之家› 双目立体视觉的光学标定技术

双目立体视觉的光学标定技术

双目立体视觉的光学标定技术
双目立体视觉的光学标定技术

双目视觉成像原理

双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中,由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示,图中分别以下标L和r标注左、 右摄像机的相应参数。世界空间中一点A(X,Y,Z)在左右摄像机的成像面C L 和C R 上的像点 分别为al(ul,vl)和ar(ur,vr)。这两个像点是世界空间中同一个对象点A的像,称为“共轭点”。知道了这两个共轭像点,分别作它们与各自相机的光心Ol和Or的连线,即投影线alOl和arOr,它们的交点即为世界空间中的对象点A(X,Y,Z)。这就是立体视觉的基本原理。 图1:立体视觉系统 3.双目立体视觉相关基本理论说明

3.1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理,图2所示为简单的平视双目立体成像原 理图,两摄像机的投影中心的连线的距离,即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处,坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后,图2中将左右成像平面绘制在镜头的光心前f 处,这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致,这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上,则点P 图像坐标的Y 坐标相同,即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z )b -x (f u = v 1 c c 21z y f v v == 上式中(x c ,y c ,z c )为点P 在左摄像机坐标系中的坐标,b 为基线距,f 为两个摄 像机的焦距,(u1,v1)和(u2,v2)分别为点P 在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图2:双目立体成像原理图 由此可计算出空间中某点P 在左摄像机坐标系中的坐标为: 因此,只要能够找到空间中某点在左右两个摄像机像面上的相应点,并且通过摄像机标定获得摄像机的内外参数,就可以确定这个点的三维坐标。 双目立体视觉的系统结构以及精度分析 由上述双目视觉系统的基本原理可知,为了获得三维空间中某点的三维坐标,需要在

双目视觉原理

Bumblebee 双目测量基本原理 一.双目视觉原理: 双目立体视觉三维测量是基于视差原理。 图 双目立体成像原理 其中基线距B=两摄像机的投影中心连线的距离;相机焦距为f 。 设两摄像机在同一时刻观看空间物体的同一特征点(,,)c c c P x y z ,分别在“左眼”和“右眼”上获取了点P 的图像,它们的图像坐标分别为(,)left left left p X Y =,(,)right right right p X Y =。 现两摄像机的图像在同一个平面上,则特征点P 的图像坐标Y 坐标相同,即 left right Y Y Y ==,则由三角几何关系得到: () c left c c rig h t c c c x X f z x B X f z y Y f z ?=???-=???=? ? (1-1) 则视差为:left right D isparity X X =-。由此可计算出特征点P 在相机坐标系下的三维坐标为: left c c c B X x D isp a rity B Y y D isp a rity B f z D isp a rity ? =???= ?? ?= ?? (1-2) 因此,左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点,就可以确定出该点的三维坐标。这种方法是完全的点对点运算,像面上所有点只要存在相应的匹配点,

就可以参与上述运算,从而获取其对应的三维坐标。 二.立体视觉测量过程 1.图像获取 (1) 单台相机移动获取 (2) 双台相机获取:可有不同位置关系(一直线上、一平面上、立体分布) 2.相机标定:确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。 (1)内部参数:相机内部几何、光学参数 (2)外部参数:相机坐标系与世界坐标系的转换 3.图像预处理和特征提取 预处理:主要包括图像对比度的增强、随机噪声的去除、滤波和图像的增强、伪彩色处理等; 特征提取:常用的匹配特征主要有点状特征、线状特征和区域特征等 4.立体匹配:根据对所选特征的计算,建立特征之间的对应关系,将同一个空间物理点在不同图像中的映像点对应起来。 立体匹配有三个基本的步骤组成:1)从立体图像对中的一幅图像如左图上选择与实际物理结构相应的图像特征;2)在另一幅图像如右图中确定出同一物理结构的对应图像特征;3)确定这两个特征之间的相对位置,得到视差。其中的步骤2是实现匹配的关键。 5.深度确定 通过立体匹配得到视差图像之后,便可以确定深度图像,并恢复场景3-D信息。 三.Triclops库中的数据流程 Triclops库中的数据流程如下图所示。系统首先从相机模型中获得raw格式的图像,最终将其处理成深度图像。在系统中有两个主要的处理模块。第一个处理模块是一个应用了低通滤波、图像校正和边缘检测的预处理模块。第二个处理模块用来做立体匹配、结果确认和亚像素插值。最后的处理结果就是一幅深度图像。 1.预处理(Pre-processing)

北理工贾云德《计算机视觉》chapter12标定

第12章 标定 本章将讨论各种摄象机系统及深度成像系统的标定方法.在摄影测量学领域中,已经建立了大量的摄象机和测距传感器标定方法.这些方法可以用来确定摄象机或测距传感器在场景中的位置和方向以及与场景坐标之间的关系. 在摄影测量学中有以下四个标定问题: (1) 绝对定位:通过标定点确定两个坐标系在绝对坐标系统中的变换关系,或确定测距 传感器在绝对坐标系中的位置和方向. (2) 相对定位:通过场景中的标定点投影确定两个摄象机之间的相对位置和方向. (3) 外部定位:通过场景中的标定点投影确定摄象机在绝对坐标系中的位置和方向. (4) 内部定位:确定摄象机内部几何参数,包括摄象机常数,主点的位置以及透镜变形 的修正量. 这些标定问题主要起源于高空摄影技术,是摄影测量中的经典问题.除了以上四个标定问题外,摄影测量学还解决以下两个问题:一是通过双目立体视差确定点在场景中的实际位置,二是对立体图像对进行校正变换,使得立体图像对的外极线与图像的行平行以便简化后续处理(见第十一章). 摄象机标定过程中涉及到以下几种坐标,场景坐标、摄象机坐标、图像坐标和像素坐标等,这些坐标已经在1.7中介绍成像基础知识时引入.确定这些坐标之间的关系就是本章所要讨论的各种标定问题的目的. 12.1 刚体变换 物体位置和方向的任意变化都可以认为是刚体变换,因为物体的移动只改变其位置和方向,并不改变其形状和大小.假定通过两个处于不同位置的摄像机均可看到θ点,p 点在两个摄像机坐标系中的坐标分别是和()2222,,z y x =p .显然两个摄象机位置之间的变换是刚体运动,因此,p 点在第一个视场中的坐标p 1可以通过旋转和平移变换到第二个视场中的坐标2p , t Rp p +=12 (12.1) 其中矩阵R 是一个33?的正交方阵,用于旋转变换:

计算机视觉技术

目录 1立体视觉 (1) 1.1计算机视觉技术 (1) 2立体视觉技术 (3) 2.1双目立体视觉技术 (3) 致谢 (8) 附录: (9)

立体视觉 我的毕业论文排版样文 1立体视觉 1.1计算机视觉技术 计算机视觉既是工程领域也是科学领域中的一个富有挑战性的重要研究领域。计算机视觉是一门综合性的学科,它已经吸引了来自各个学科的研究者参加到对它的研究之中,其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学、神经生理学和认知科学等[18]。 视觉是各个应用领域,如制造业、检验、文档分析、医疗诊断和军事等领域中各种智能自主系统中不可分割的一部分。由于它的重要性,一些先进国家,例如美国把对计算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题,即所谓的重大挑战。“计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图像信号,纹理和颜色建模,几何处理和推理,以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起[19]。”作为一门学科,计算机视觉开始于60 年代初,但在计算机视觉的基本研究中的许多重要进展是在80 年代取得的。现在计算机视觉已成为一门不同于人工智能、图象处理、模式识别等相关领域的成熟学科[20]。 不少学科的研究目标与计算机视觉相近。这些学科包括图像处理、图像识别、景物分析、图像理解等。由于历史发展或领域本身的特点这些学科互有差别,但又有某种程度的相互重叠。为了清晰起见,把这些与计算机视觉有关的学科从研究目标和方法角度加以归纳[21]。 (1)图像处理 图像处理技术把输入图像转换成具有所希望特性的另一幅图像。例如,可通过处理使输出图像有较高的信噪比,或通过增强处理突出图像的细节,以便于操作员的检验。在计算机视觉研究中经常利用图像处理技术进行预处理和特征抽取。 (2)图像识别 图像识别技术根据从图像抽取的统计特性或结构信息,把图像分成预定的类别。在计算机视觉中图像识别技术经常用于对图像中的某些部分(例如分割区域)的识别和分类。 第 1 页(共9页)

计算机视觉复习题

《计算机视觉》复习题 1、利用MFC及OpenCV 库函数编写对话框程序,添加按钮实现图像读入、图像阈值分割、边缘提取等功能(至少实现三个以上功能)。(考前做好并用A4纸打印,考试当天带来) 为旋转不变算子,即当图像()v,u f旋转后,计算值在对应点保持不变。 2、证明Laplace算子 理论 3、计算机视觉研究的目的是什么?它和图像处理及计算机图形学的区别和联系是什么? 从20世纪50年代末开始,计算机开始被作为实现人类智能和人类感知的工具,借助计算机人类第一次可以象借助机械实现对体力的延伸一样实现对脑力和感知能力的延伸。对人类视觉感知能力的计算机模拟导致了计算机视觉的产生。计算机视觉就是用各种成像系统代替视觉器官作为输入敏感手段,由计算机来替代大脑完成处理和解释。计算机视觉使用的理论方法主要是基于几何、概率和运动学计算与三维重构的视觉计算理论。 具体地讲,计算机视觉要达到的基本目的有以下几个: 根据一幅或者多幅二维图像计算出观测点到目标物体的距离; 根据一幅或者多幅二维图像计算出观测点到目标物体的运动参数; 根据一幅或者多幅二维图像计算出观测点到目标物体的表面物理特征; 根据多幅二维投影图像恢复出更大空间区域的投影图像。 简单来说,计算机视觉要达到的最终目的是实现利用计算机对三维景物世界的理解,即实现人的视觉系统的某些功能。从本质上来讲,计算机视觉研究就是利用二维投影图像来重构三维物体的可视部分。 计算机视觉和图像处理及计算机图形学的区别和联系: 区别: 图像处理(image processing)通常是把一幅图像变换为另外一幅图像。它输入的是图像,输出的也是图像。Photoshop中对一幅图像应用滤镜就是典型的一种图像处理。常见操作有模糊、灰度化、增强对比度。 计算机图形学(Computer Graphics)是借助计算机来研究图形表达、处理图像、显示生成的学科。,主要通过几何基元,如线、圆和自由曲面等,来生成图像,属于图像综合。输入的是对虚拟场景的描述,通常为多边形数组,输出的是图像,即二维像素数组。

计算机视觉简介

人们常说:眼睛是心灵的窗户,通过眼睛人们可以轻易地交流情感,眼睛也是与外界交流的窗口,这些都是通过“看”来完成的。 人们可以很容易“看到”一幅画,但这一“简单”过程并不如此简单,大致上它可以分为以下几个阶段:首先是通过眼睛将图成像在视网膜上;其次大脑对图像进行理解;最后根据处理的结果做出反应。用比较专业一点的语言来描述,该过程包括了识别、描述与理解三个层次;这其中还隐含了边缘检测(各物体的轮廓等)、图像的分割(各物体区域的划分)等阶段。以上实际上概述了视觉系统的三个层次,即低层阶段:基于图像特征提取及分割阶段;中层阶段:基于物体的几何模型与图像特性表达阶段;高层阶段:基于景物知识的描述、识别与理解阶段,这是根据先验知识介入的程度划分的,且实现起来也越来越困难。 毫无疑问,如何人工实现这一过程是极具挑战性和应用前景的一项工作,计算机视觉也因此而应运而生。计算机视觉是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学科,其目标是从图像或图像序列中获取对外部世界的认知和理解,即利用二维图像恢复三维环境中物体的几何信息,比如形状、位置、姿态、运动等,并能描述、识别与理解。 计算机视觉的基础是各种成像设备,例如CCD(Charge Coupled Device )摄像机(数码相机属于此类型)、红外摄像机、医学上常用的核磁共振成像、X射线成像等,这些设备不仅可以成像,还可以获取比人眼更丰富的图像,人们可以形象地把摄像机看成计算机视觉的视网膜部分。可以说从人类拍摄出第一幅图像开始,就为计算机视觉的诞生奠定了基础。 而计算机视觉的核心是数字电子计算机,其发展可谓突飞猛进,在计算和存储能力上,人脑已经无法与之相比,人们的目标就是利用计算机非凡的计算处理能力来代替人脑实现对图像的理解,而计算机日新月异的发展也使得这一愿望越来越成为可能。 用于指导“计算机”这个大脑运作的核心是计算机视觉的理论方法,计算机视觉使用的理论方法主要基于几何、概率和运动学计算与三维重构的视觉计算理论,它的基础包括射影几何学、刚体运动力学、概率论与随机过程、图像处理、人工智能等理论。在20世纪70年代,视觉研究大多采用模式识别的方法;80年代,开始采用空间几何的方法以及物理知识进行视觉研究;90年代以后,随着智能机器人视觉研究的发展,引入了许多新的理论与技术如主动视觉理论、不变量理论、融合技术等,并应用于许多计算机视觉系统中。 研究计算机视觉,不得不提的是英国已故科学家戴维·马尔(David Marr),他在计算机视觉发展史上可谓写下了浓重的一笔。在20世纪70年代末,他提出了第一个

计算机视觉测量与导航_张正友法相机标定 _结课实验报告

H a r b i n I n s t i t u t e o f T e c h n o l o g y 计算机视觉测量与导航 实验报告 院系:航天学院 学科:控制科学与工程 姓名:TSX 学号: 任课教师:张永安卢鸿谦 日期:2014.05.13

摘要 人类视觉过程可看成是一个复杂的从感觉到知觉的过程,也就是指三维世界投影得到二维图像,再由二维图像认知三维世界的内容和含义的过程。信号处理理论与计算机出现以后,人们用摄像机等获取环境图像并转换成数字信号,完成对视觉信息的获取和传输过程,用计算机实现对视觉信息的处理、存储和理解等过程,形成了计算机视觉这门新兴学科。其中从二维图像恢复三维物体可见表面的几何结构的工作就叫做三维重建。随着计算机硬件、软件、图像采集、处理技术的迅速发展,三维重建的理论和技术已被广泛应用于航空航天、机器人技术、文字识别、工业检测、军事侦察、地理勘察、现场测量和虚拟植物可视化等领域。相机标定是三维重建必不可少的步骤,它包括对诸如主点坐标、焦距等与相机内部结构有关的内部参数的确定和对相机的旋转、平移这些外部参数的确定。价格低廉的实验器材、简单的实验环境、快捷的标定速度和较高的标定精度是现在相机标定研究追求的几大方向。数码相机的标定就是研究的热点之一。本次报告介绍了基于棋盘格模板标定的基本原理和算法,利用MATLAB的相机标定工具箱,使用张征友算法对相机进行了标定,记录了标定的过程,并给出结果,最后对影响标定精度的因素进行了分析。 关键词:相机标定张正友角点提取内外参

1基于棋盘格标定的基本原理和算法 1.1基础知识 1.1.1射影几何 当描述一张相机拍摄的图像时,由于其长度、角度、平行关系都可能发生变化,因此无法完全用欧氏几何来处理图像,而射影几何却可以,因为在射影几何中,允许存在包括透视投影的更大一类变换,而不仅仅是欧氏几何的平移和旋转。实际上,欧氏几何是射影几何的一个子集。 1.1.2齐次坐标 设欧氏直线上点p的笛卡尔坐标为(x,y)T,如果x1,x2,x3满足x=x1/x2,y =x2/x3,x3≠0,则称三维向量(x1,x2,x3)T为点P的齐次坐标。当x3= 0时,(x1,x2,0)T规定直线上的无穷远点的齐次坐标。 实际上,齐次坐标是用一个n+ 1维向量来表示原本n维的向量。应用齐次坐标的目的是用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系。形的几何变换主要包括平移、旋转、缩放等。以矩阵表达式来计算这些变换时,平移是矩阵相加,旋转和缩放则是矩阵相乘,综合起来可以表示为P’=R*P+T(R为旋转缩放矩阵,T为平移矩阵,P为原向量,P′为变换后的向量)。当n+1维的齐次坐标中第n+1维为0,则表示n维空间的一个无穷远点。

机器人双目立体视觉测距技术研究与实现_张蓬

计算机测量与控制.2013.21(7)  Computer Measurement &Control    ·1775  · 收稿日期:2012-11-25; 修回日期:2013-01-23。 基金项目:油气管道受阻瞬态流时空演化规律及智能控制方法研究 (50905186)。 作者简介:张 蓬(1963-),女,北京人,副教授,主要从事机械电子 工程,机器人控制技术方向的研究。 文章编号:1671-4598(2013)07-1775-04 中图分类号:TP391.4文献标识码:A 机器人双目立体视觉测距技术研究与实现 张 蓬,王金磊,赵 弘 (中国石油大学(北京)机械与储运工程学院,北京 102249) 摘要:机器人视觉是一种重要的机器人传感技术,主要应用于机器人定位和检测之中;文章阐述了构建机器人双目立体视觉测距系统的方法,并运用Labview对所设计的系统加以实现;完成了图像的采集、预处理和边缘检测;通过在Labview中的C语言接口调用C算法程序,进行了物体特征识别和目标物体测距的算法实现;实验表明焦距、滤波算法和外围光源都会对测量结果会产生较大影响;在相同检测距离不同焦距时得到的检测精度会有一些偏差;并且加入低通滤波,可增加图像识别的精度,进而使特征点匹配和检测的精度都有所提高,对提高系统的检测精度具有实际意义。 关键词:移动机器人;图像识别;测距;双目立体视觉 Research and Implementation of Robotic Binocular Visual Distance Measuring Technology Zhang Peng,Wang Jinlei,Zhao Hong (China University of Petroleum,Beijing 102249,China) Abstract:Robot vision is an important part of the robot sensing technology,mainly used in robot localization and detection.This paperdescribes a method to build a robot binocular stereo visual distance measurement,and uses Labview tool to design and implement a system.The system has functions of the image acquisition,pre-processing and image edge detection.By using C language interface in Labview,Calgorithm can be used for object features identify and target objects ranging.Experiments show that the focal length,the filter algorithm andperipheral light source have a greater impact on the measurement results.Detection accuracy in the same detection distance and different focallengths has a few of deviation.And adding a low-pass filter can increase the accuracy of identification of the image.Then feature pointsmatching and detection accuracy have improved.It has practical significance to improve the detection accuracy of the system.Key words:mobile robots;distance measuring;binocular stereo vision 0 引言 机器人视觉又称为计算机视觉,是一门研究通过图像数据 观察世界的学科。机器人借助各种传感装置(如摄像头,声 纳,里程计,光电编码器等)获取周围场景的图像信息,以感 知和恢复周围的三维环境中的物体的几何形态、颜色、相对位 置、安放姿态和运动等信息,并通过对客观世界的描述,感知 和解释,经过机器人智能运算完成需要完成的任务[1]。机器人 的双目立体视觉技术是基于模仿人眼与人类视觉的立体感知过 程,从两个视点观察同一景物,以获取不同视角下的感知图 像,通过三角测量原理计算图像像素间的位置偏差,以获取景 物的三维信息。双目视觉技术在机器人的定位导航、避障、地 图构建和测距等方面得到了应用。 1 双目立体视觉的系统组成 双目立体视觉是对同一目标的两幅图像提取、识别、匹配 和解释,重建三维环境信息的过程。双目视觉系统通常由图像 采集、摄像机定标、图像预处理、立体匹配和深度图生成等五 大部分组成。 图像采集即通过光学镜头或红外,超声、X射线等对周围场 景和物体进行探测成像,得到关于场景和物体的二维或三维数字 图像[2]。空间点的三维几何位置与其在图像中对应点之间的相互 关系是由摄像机成像的几何模型决定的,而这些几何模型参数就 是摄像机参数,求解这些参数的过程为摄像机定标[3]。图像预处 理是对原始图像进行处理,例如图像滤波、图像增强、边缘检测 等,以便从图像中抽取诸如焦点,边缘,线条,边界以及色彩等 关于成像的基本特征[4]。立体匹配是寻找同一空间景物在不同视 点下投影图像中像素间的一一对应关系,从立体匹配实现的技术 上考虑,立体匹配可以分为基于区域的匹配和基于特征的匹配。 深度图生成即是深度信息的可视化过程。 2 双目立体视觉测距算法 双目立体视觉三维测量是通过计算空间点在两幅图像中的 视差来获取景物的三维坐标值。设空间一点P在世界坐标系 下的坐为(X,Y,Z,1),假设两个相同的平行放置的摄像机 镜头光心距离为B,摄像焦距为f,成像模型如图1所示,摄 像机坐标系的原点O与左摄像机光心O1重合,x1—y与x2— y为两成像平面,因水平轴同线,所以Y轴相同[5]。 以立体空间的一个投影面为例,若左右摄像头成像点坐标 分别为(x1,y),(x2,y),那么该点成像平面如图2所示[6]。 通过图2可知在深度d为: d= Bf x2-x1 (1) 据此原理,则可推导出3个投影面坐标:

计算机视觉基础复习

第一章PPT P11 什么是计算机视觉 采用计算机实现人类视觉功能,让计算机理解图像和视频。 P12 计算机视觉与图像处理的区别 ?数字图像处理 图像/视频-> 图像/视频(图像变换、图像滤波、图像复原、图像压缩、…)?计算机视觉 图像/视频-> 模型(二维基素图-> 2.5维要素图-> 三维模型表征) P14-20 计算机视觉中存在哪些难点和挑战 挑战:外观、大小和形状;复杂姿态/运动;复杂和不可预测的行为;噪声和遮挡;外观变化;上下文间依赖性;视点变化 P23-28 图像中存在哪些计算机视觉线索 深度线索:直线透视;空间透视 远近顺序线索:遮挡 形状线索:纹理梯度 形状和光照线索:阴影 位置和光照线索:投影 P30-46 计算机视觉有哪些典型应用 OCR(光学字符识别)、智能交通、人脸检测、表情识别、多视点三维重建、基于视觉的生物识别、辅助驾驶、无人驾驶汽车、基于视觉的人机交互、智能机器人、工业机器人 P48 CCD/CMOS传感器的成像原理:光电转换 P49-54 采样与量化影响图像的哪些属性 采样影响图像空间分辨率;量化影响图像幅度分辨率(灰度) P61 图像坐标系 左上角为坐标原点 P75-78 习题1.2 P19 答:计算机通过图像和视频对客观世界的感知、识别和理解;对场景进行解释和描述;根据对场景的解释和描述制定行为规划。 第三章PPT P11 薄透镜成像模型

P17-21 射影几何中哪些物理信息丢失和保留了? 丢失信息:长度、角度 保留信息:直线特性、交比不变性 P22-24 灭点和灭线的概念 场景中的平行线投影到图像平面后,会聚于“灭点” 灭线:灭点的集合 P46-49 像机成像过程中包含了哪些内参和外参?

计算机视觉

计算机视觉 计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的,可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息,所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。 目录 1定义 2解析 3原理 4相关 5现状 6用途 7异同 8问题

9系统 10要件 11会议 12期刊 1定义 计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息,就像人类和许多其他类生物每天所做的那样。 计算机视觉是一门关于如何运用照相机和计算机来获取我们所需的,被拍摄对象的数据与信息的学问。形象地说,就是给计算机安装上眼睛(照相机)和大脑(算法),让计算机能够感知环境。我们中国人的成语"眼见为实"和西方人常说的"One picture is worth ten thousand words"表达了视觉对人类的重要性。不难想象,具有视觉的机器的应用前景能有多么地宽广。 计算机视觉既是工程领域,也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科,它已经吸引了来自各个学科的研究者参加到对它

的研究之中。其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学,神经生理学和认知科学等。 2解析 视觉是各个应用领域,如制造业、检验、文档分析、医疗诊断,和军事等领域中各种智能/自主系统中不可分割的一部分。由于它的重要性,一些先进国家,例如美国把对计算机视觉的 计算机视觉与其他领域的关系 研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题,即所谓的重大挑战(grand challenge)。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号,纹理和颜色建模,几何处理和推理,以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科,计算机视觉开始于60年代初,但在计算机视觉的基本研究中的许多重要进展是在80年代取得的。计算机视觉与人类视觉密切相关,对人类视觉有一个正确的认识将对计算机视觉的研究非常有益。为此我们将先介绍人类视觉。 3原理 计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段,由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界,具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此,在实现最终目标以前,人们努力的中期目标是建立一种视觉系统,这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如,计算机视觉的一个重要应用领域就是自主车辆的视觉导航,还没有条件实现象人那样能识别和理解任何环境,完成自主导航的系统。因此,人们努力的研究目标是实现在高速公路上具有道路跟踪能力,可避免与前方车辆碰撞的视觉辅助驾驶系统。这里要指出的一点是在计算机视觉系统中计算机起代替人脑的作用,但并不意味

基于OpenCV的双目立体视觉测距

基于OpenCV的双目立体视觉测距 基于OpenCV的双目立体视觉测距 论文导读:: 双目立体视觉模型。摄像机标定。立体匹配采用OpenCV库中的块匹配立体算法。目前的测距方法主要有主动测距和被动测距两种方法。论文 关键词: 双目立体视觉,摄像机标定,立体匹配,测距 (一)引言基于计算机视觉理论的视觉测距技术是今后发展的一个重要方向,它在机器人壁障系统、汽车导航防撞系统等领域有着广泛的应用前景。目前的测距方法主要有主动测距和被动测距两种方法。论文采用的是被动测距法。被动测距法是在自然光照条件下,根据被测物体本身发出的信号来测量距离,主要包括立体视觉测距法、单目测距法、测角被动测距法等。立体视觉测距法是仿照人类利用双目感知距离信息的一种测距方法,直接模拟人的双眼处理景物,简便可靠,但该方法的难点是选择合理的匹配特征和匹配准则。双目立体视觉系统采用两台摄像机同时从两个不同视点获取同一景物的多幅图像,即立体图像对,通过测量景物在立体图像对中的视差,再利用双目视觉成像原理就可以计算出目标到摄像机的距离。立体匹配采用OpenCV库中的块匹配立体算法,在得到摄像机参数和匹配点后再利用最小二乘法即可算出三维信息。 (二)双目立体视觉模型首先介绍双目视觉所涉及到三个坐标系: 世界坐标系、摄像机坐标系和图像坐标系。世界坐标系中的点坐标记为,摄像机坐标系用表示。图像坐标为摄像机所拍摄到的图像的二维坐标,一般有两种表示方法:

是以像素为单位的图像坐标,是以毫米为单位的图像坐标。建立以毫米为单位的图像坐标是因为坐标只表示了像素在数字图像中的行数和列数,并没有表示出该像素在数字图像中的物理位置论文范文。图1为平行双目视觉模型,即参数相同的两个摄像机平行放置,两光 轴互相平行且都平行于z 轴,x 轴共线摄像机标定,两摄像机光心的距离为 B(即基线距)。图中O 1、O2为左右两摄像机的焦点,I1 、I2为左右摄像机的像平面,P1 、P2 分 别是空间点P在左右像平面上的成像点,f是摄像机的焦距。若视差d 定义为?P1- P2?,则点P到立体视觉系统的距离为: 图1 平行双目视觉模型 (三)摄像机标定摄像机标定是为了建立三维世界坐标与二维图像坐标之间的 一种对应关系。系统采用两个摄像机进行图像采集,设定好两个摄像机之间的距离(即基线距),用摄像机同时采集放在摄像机前的标定物。摄像机标定采用的是张正友的标定方法,棋盘格大小为30mm30mm,角点数为117。标定板的规格如图2所示。图2 平面标定板规格张正友的标定方法需要摄像机从不同角度拍摄标定板 的多幅图像。由于两个摄像机是向前平行放置的,且基线距固定,所以只需摆放标定板的位置变化即可。摄像机为针孔成像模型,则空间点与图像点之间的映射关系为: 为方便计算,使标定板所在平面的Z坐标均为0,即Z=0的平面,则上式可变为: 其中,A为摄像机的内参矩阵,为摄像机外参矩阵,s为尺度因子。令,,则上 式可写为: 其中,为透视投影矩阵,它是标定板上的点和其像点之间的映射。在已知空 间点和其对应像点后,可根据最小二乘方程,采用Levenberg-Marquardt算法求解

计算机视觉在各个方面的应用

计算机视觉在各个方面的应用 摘要 计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的,可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息,所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。 关键词:图像处理,模式识别,图像理解。 正文 1.1序言 计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息,就像人类和许多其他类生物每天所做的那样。 计算机视觉既是工程领域,也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科,它已经吸引了来自各个学科的研究者参加到对它的研究之中。其中包括计算计科学和工程、信号处理、物理学、应用数学和统计学,神经生理学和认知科学等。 所需要的知识储备以及相关课程如下, 图1-1 图1-2

1.1.2 现阶段的形式 视觉是各个应用领域,如制造业、检验、文档分析、医疗诊断,和军事等领域中各种智能/自主系统中不可分割的一部分。由于它的重要性,一些先进国家,例如美国把对计算机视觉的 图1-3计算机视觉与其他领域的关系 研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题,即所谓的重大挑战(grand challenge)。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图象信号,纹理和颜色建模,几何处理和推理,以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科,计算机视觉开始于60年代初,但在计算机视觉的基本研究中的许多重要进展是在80年代取得的。计算机视觉与人类视觉密切相关,对人类视觉有一个正确的认识将对计算机视觉的研究非常有益。为此我们将先介绍人类视觉。 人类正在进入信息时代,计算机将越来越广泛地进入几乎所有领域。一方面是更多未经计算机专业训练的人也需要应用计算机,而另一方面是计算机的功能越来越强,使用方法越来越复杂。这就使人在进行交谈和通讯时的灵活性与目前在使用计算机时所要求的严格和死板之间产生了尖锐的矛盾。人可通过视觉和听觉,语言与外界交换信息,并且可用不同的方式表示相同的含义,而目前的计算机却要求严格按照各种程序语言来编写程序,只有这样计算机才能运行。为使更多的人能使用复杂的计算机,必须改变过去的那种让人来适应计算机,来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应人的习惯和要求,以人所习惯的方式与人进行信息交换,也就是让计算机具有视觉、听觉和说话等能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就是智能计算机。 智能计算机不但使计算机更便于为人们所使用,同时如果用这样的计算机来控制各种自动化装置特别是智能机器人,就可以使这些自动化系统和智能机器人具有适应环境,和自主作出决策的能力。这就可以在各种场合取代人的繁重工作,或代替人到各种危险和恶劣环境中完成任务。 1.1.3 简单原理 计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段,由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界,具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此,在实现最终目标以前,人们努力的中期目标是建立一种视觉系统,这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。例如,计算机视觉的一个重

北理工贾云德《计算机视觉》chapter12标定

本章将讨论各种摄象机系统及深度成像系统的标定方法.在摄影测量学领域中,已经建立了大量的摄象机和测距传感器标定方法.这些方法可以用来确定摄象机或测距传感器在场景中的位置和方向以及与场景坐标之间的关系. 在摄影测量学中有以下四个标定问题: (1) 绝对定位:通过标定点确定两个坐标系在绝对坐标系统中的变换关系,或确定测距 传感器在绝对坐标系中的位置和方向. (2) 相对定位:通过场景中的标定点投影确定两个摄象机之间的相对位置和方向. (3) 外部定位:通过场景中的标定点投影确定摄象机在绝对坐标系中的位置和方向. (4) 内部定位:确定摄象机内部几何参数,包括摄象机常数,主点的位置以及透镜变形 的修正量. 这些标定问题主要起源于高空摄影技术,是摄影测量中的经典问题.除了以上四个标定问题外,摄影测量学还解决以下两个问题:一是通过双目立体视差确定点在场景中的实际位置,二是对立体图像对进行校正变换,使得立体图像对的外极线与图像的行平行以便简化后续处理(见第十一章). 摄象机标定过程中涉及到以下几种坐标,场景坐标、摄象机坐标、图像坐标和像素坐标等,这些坐标已经在1.7中介绍成像基础知识时引入.确定这些坐标之间的关系就是本章所要讨论的各种标定问题的目的. 12.1 刚体变换 物体位置和方向的任意变化都可以认为是刚体变换,因为物体的移动只改变其位置和方向,并不改变其形状和大小.假定通过两个处于不同位置的摄像机均可看到θ点,p 点在两个摄像机坐标系中的坐标分别是和()2222,,z y x =p .显然两个摄象机位置之间的变换是刚体运动,因此,p 点在第一个视场中的坐标p 1可以通过旋转和平移变换到第二个视场中的 坐标2p , t Rp p +=12 (12.1) 其中矩阵R 是一个33?的正交方阵,用于旋转变换: ????????? ?=zz zy zx yz yy yx xz xy xx r r r r r r r r r R (12.2) 矢量T z y x t t t ),,(=t 表示平移,或者说点t 是第一个坐标系原点在第二个坐标系上的坐标, 如图12.1所示. 图12.1 两个摄像机坐标系 方程12.1可以认为是计算一个点经过旋转和平移以后的新坐标,或是计算空间中同一个点在不同坐标系中的坐标 .前者用于刚体力学:在物体移动到一个新的位置以后,计算物体上一点的新坐标;后者用于标定问题:同一点在不同观察位置上观察将会得到不同的坐

计算机视觉大纲

课程名称:计算机视觉 课程编码:M510021 课程学分:3 适用学科:信息与计算科学、数学与应用数学 计算机视觉 Computer Vision 教学大纲 一、课程性质 计算机视觉是人工智能领域的一个重要部分,它的研究目标是使计算机具有通过二维图像认知三维环境信息的能力。计算机视觉是以图象处理技术、信号处理技术、概率统计分析、计算几何、神经网络、机器学习理论和计算机信息处理技术等为基础,通过计算机分析与处理视觉信息。 二、课程教学目的 通过计算机视觉课程的学习,使硕士研究生掌握计算机视觉基本理论与方法以及计算机视觉的一些典型应用,初步具有设计、实现计算机视觉中比较简单的算法的能力,从而为学生进一步从事该方向的学习与研究工作打下基础。 三、教学基本内容及基本要求 计算机视觉主要内容分为六部分。基本要求与基本内容如下: 1、教学基本内容 (一)计算机视觉概述:计算机视觉的基本概念,计算机视觉的发展和应用,计 算机视觉的现状。 (二)摄像机成像原理及针孔摄像机成像模型。 (三)射影几何的基本介绍及几何元素的数学表达方法。 (四)多视几何理论,包括单视几何中的射影测量、两视几何中的外极几何的基 本概念、基本矩阵、本质矩阵的理论推导及其含义。 (五)立体视觉方法。使用双摄像机得到的图像恢复三维物体深度信息的方法, 包括直接重建和分层重建理论。 (六)视觉系统的标定,包括3D标定模板下的Tsai标定算法、2D标定模板下的 张正友标定算法、基于圆的标定算法、1D张正友标定算法、基于Kruppa方程的自标定算法。 2、教学基本要求 通过对计算机视觉的教学活动,对学生的要求按了解、理解、掌握三个层面给出,具体要求如下: (一)计算机视觉概述 1.理解计算机视觉的基本概念。 2.了解计算机视觉的应用前景及发展现状。 (二)摄像机成像 掌握针孔摄像机成像模型。 (三)射影几何

计算机视觉系统及其应用

课程设计 课程名称工业自动化专题 题目名称_计算机视觉系统及其应用学生学院_____自动化________ 专业班级______ 学号 学生姓名____ 指导教师___________ 2013 年 6月 25日

机器视觉系统及其应用 摘要:主要介绍机器视觉系统的概要,简要分析机器视觉的特点、优越性和应用,具体介绍了机器视觉技术在印刷行业、农业、工业、医学中的实际应用,并且分别举例说明。机器视觉的诞生和应用在理论和实际中均具有重要意义。 关键词:机器视觉;标签检测;药物检测;水果品质检测;硬币检测。 1. 机器视觉系统 1.1 机器视觉系统简介 机器视觉系统是指利用机器替代人眼做出各种测量和判断。机器视觉是工程领域和科学领域中的一个非常重要的研究领域,它是一门涉及光学、机械、计算机、模式识别、图像处理、人工智能、信号处理以及光电一体化等多个领域的综合性学科。 机器视觉系统通过图像摄取装置将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号。机器视觉系统可以快速获取大量信息,而且易于自动处理,也易于同设计信息以及加工控制信息集成。 机器视觉系统的优点有:1.非接触测量,对于被检测对象不会产生任何损伤,而且提高了系统能够的可靠性;2.较宽的光谱响应范围,例如使用人眼看不见的红外测量,扩展人眼的视觉范围;3.长时间稳定工作,人类难以长时间对同一对象进行观察,而机器视觉系统则可以长时间地作测量、分析和识别任务。 现在,机器视觉系统在工业、农业、国防、交通、医疗、金融甚至体育、娱乐等等行业都获得了广泛的应用,可以说已经深入到我们的生活、生产和工作的方方面面。 1.2 基本原理 图 1 是机器视觉系统的基本结构,在一定的光照(包括可见光,红外线甚至超声波等各种成象手段)条件下,成象设备(摄象机,图像采集板等)把三维场景的图像采集到计算机内部,形成强度的二维阵列——原始图象;然后,运用图像处理技术对采集到的原始图像进行预处理以得到质量改善了的图像;其次,运用机器视觉技术从图像中提取感兴趣的特征分类整理;,构成对图像的进一步,运用模式识别技术对抽取到的特征进行描述;最后,运用人工智能得到更高层次的抽象描述。完成视觉系统的任务。 图1机器视觉的基本结构

双目立体视觉中的摄像机标定技术研究.

2008,44(6)1引言 双目立体视觉系统的标定是建立在被测对象表面点的二维投影图像坐标与三维世界坐标之间的桥梁,是实现自由曲面三维重构的基础,也是立体视觉研究领域中的热点问题之一。微软研究院的张正友[1]博士在1999年提出一种介于传统标定法和自标定法之间的新的、更灵活的方法———基于2D平面模板的摄像机标定方法。它既避免了传统标定方法设备要求高、操作繁琐等缺点,又较自标定方法精度高,鲁棒性更好,因此而得到广泛应用。在实验过程中发现,在自然光照下,摄像机采集的图像边缘受外界噪音影响较大,方格的边缘模糊与畸变势必造成所提取角点坐标的误差较大,相比之下图像的中心受外界噪音的影响要比边缘小。因此,本文对张正友的标定方法进行了改进,将方格换成圆,提取圆心坐标进行标定,并与基于平面方格角点的标定方法和基于平面方格形心的标定方法进行比较。此外又讨论了基于神经网络的双目立体视觉系统标定方法,并与前一种标定方法进行对比,证明本文所介绍的基于神经网络的标定方法能够获得比较精确的标定结果。 2双目立体视觉系统标定步骤 假定双目立体视觉系统中左右摄像机的外部参数分别为 Rl、Tl与Rr、Tr,则Rl、Tl表示左摄像机与世界坐标系的相对位 置,Rr、Tr表示右摄像机与世界坐标系的相对位置,两个摄像机 之间的几何关系R、T可以用以下关系式表示[2]: R=RrRl -1 T=Tr-RrRl-1 T

(1) 式(1)表示,如果对摄像机分别标定,得到Rl、Tl与Rr、Tr,则双摄像机的相对几何位置就可以由该式计算。因此,本文使用同一标定模板对两个摄像机同时进行标定,以分别获取两个摄像机的内外参数,从而不仅可以标定出两摄像机的内部参数,还可以同时标定出双目立体视觉系统的结构参数。其基本方法为: (1)打印一张模板(9×10圆阵列,圆直径20mm,间隔 10mm)并贴在一个平板上; (2)两摄像机从不同角度拍摄若干张(大于或等于3张)模板图像,本文拍摄7张; (3)检测每幅图像中的目标点 (圆心);(4)求出模板平面与其图像平面之间单应性矩阵H;(5)在令畸变系数为0的前提下,利用求出的矩阵H计算摄像机的内参数和外参数; (6)以 (5)中内外参数为初始值,令畸变系数初始值为0,应用Levenberg-Marquardt算法进行非线性最小优化,从而得 双目立体视觉中的摄像机标定技术研究 刘金颂,原思聪,张庆阳,刘道华 LIUJin-song,YUANSi-cong,ZHANGQing-yang,LIUDao-hua 西安建筑科技大学机电工程学院,西安710055

相关主题
文本预览
相关文档 最新文档