第2章 摄像机成像中的若干重要空间关系

  • 格式:doc
  • 大小:495.50 KB
  • 文档页数:12

1 第二章 摄像机成像中的若干重要空间关系 摄像机模拟人眼成像几何把三维场景空间关系投影到二维图像上,这一过程可以利用射影几何来刻划。借助射影几何以及齐次坐标、矩阵等代数工具,我们可以描述三维空间到二维图像的成像原理、两幅图像之间的极几何关系、空间中的特殊对象(例如平面等)的投影性质以及由图像重构三维空间物体形状的计算等。由于摄像机成像原理、极几何以及多视图几何等是计算机视觉研究的重要理论基础,因此有大量文献和著作给予讨论,其中比较系统的有Hartley等所著的“Multiple View Geometry in Computer Vision” [1]、马颂德等所著的“计算机视觉—计算理论与算法基础” [2]等。

在本章中,我们仅就后续章节所用到的若干重要空间关系作一个扼要介绍。

2.1 视觉坐标系与成像几何原理 2.1.1 图像坐标系、摄像机坐标系和世界坐标系 为了定量描述摄像机成像过程,首先定义以下三个坐标系。 图像坐标系:

C0

C1

),(00vu

v y

x

u

图2-1 图像坐标系 摄像机摄取的图像在计算机内以M×N数组的形式存储,数组中的每一个元素称为象素(pixel),其值表示图像点的亮度(或称灰度,若为彩色图像,则图像的象素亮度将由红绿蓝三种颜色的亮度表示)。如图2-1所示,在图像上定义直角坐标系u-v,每一象素的坐标),(vu分别是该象素在图像中的列数和行数。所以),(vu是以象素为单位的图像坐标系的坐标。由于),(vu只表示象素位于图像中的列数和行数,并没有用物理单位表示出该象素在图像中的物理位置,因而需要再建立以物理单位(例如毫米)表示的图像坐标系x-y,该坐标系以图像中某一点1C为原点,x轴、y轴分别与u轴、v轴平行,如图2-1所示。在后续章节中,

如不加特别说明,),(vu表示以象素为单位的图像坐标系的坐标,),(yx表示以物理单位度量的图像坐标系的坐标。在x-y坐标系中,原点1C定义为摄像机光轴和像平面的交点,该点一般位于图像的中心处,称为图像的主点。但由于摄像机制作的原因,也会有些偏离。若1C在u-v坐标系中的坐标为),(00vu,每个象素 2

在x轴和y轴方向上的物理尺寸为dx,dy,则图像中任意一个像素在两个坐标系下的关系如下: 00,vdyyvudxxu 用齐次坐标和矩阵形式可表示为:



11001001100

yxvdyudxvu

(2.1)

逆关系可写为: 

110000100

vudyvdydxudxy

x

(2.2)

摄像机坐标系: 所谓成像模型是指三维空间中的物体到像平面(视平面)的投影关系。理想的投影成像模型是光学中的小孔成像模型,图2-2是小孔成像模型的示意图。在此模型中,摄像机将场景点P经过C点投影到像平面上的像点m,其中C点称为摄像机光心,cX轴和cY轴与图像坐标系的x轴和y轴平行,cZ轴为摄像机的光轴,和像平面垂直,光轴与像平面的交点为1C,由点C与cccZYX,,轴组成的直角坐标系称为摄像机坐标系,记为cccZYXC,f为摄像机焦距。 世界坐标系: 由于摄像机可安放在环境中的任何位置,我们在环境中还选择一个基准坐标系来描述摄像机的位置,并用它描述环境中任何物体的位置,该坐标系称为世界坐标系,记为wwwwZYXO,如图2-3所示。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述。因此,如果空间中某一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为TwwwZYX)1,,,(与TcccZYX)1,,,(,则存在如下关系:



111011wwwwwwTc

c

cZYXZYXZYXMtR

(2.3)

其中R是33旋转矩阵,t是三维平移向量,T)0,0,0(0,1M是44矩阵,表示两个坐标系之间的关系。 3

ZC XC YC x y C C1 P m(x,y) Zw Xw Yw (R,t) 世 界 坐 标 系 摄像机坐标系 Ow 图2-3 摄像机坐标系与世界坐标系 问题:如何表示图像坐标),(vu与),,(wwwZYX之间的关系? 2.1.2 成象几何原理 从小孔成像模型(如图2-2)中,不难看出,摄像机坐标系与成像平面坐标系之间存在以下关系:

cccc

ZfYyZfXx

其中,),(yx为像点m在像平面坐标系下的坐标,),,(cccZYX为空间点P在摄像机坐标系下的坐标。),(yx和

f P(Xc,Yc,Zc)

(m(x,y)

图2-2. 小孔成像模型 C1

C

I

Xc Yc

Zc y x 4 ),,(cccZYX分别用齐次坐标表示为)1,,(yx和)1,,,(cccZYX,上式可写成矩阵形式:



ccc

cc

c

ZYXffZYXffyx1000000100010000001 (2.4)

其中为常数因子。这是摄像机最理想的简单模型。 将(2.4)代入(2.1)式:

1vu100/100/100vdudyxcccZYXff1000000cccyxZYXvdfudf100/00/00

(2.5)



1000000vfufvuK

TcccTZYX1vu),,(),,(cP

m (2.6)

则(2.5)式可简略地表示为: cKPm (2.7)

其中:xudff/、yvdff/分别称为u轴与v轴方向的尺度因子,),(00vu称为主点坐标,矩阵 K 称为摄像机内参数矩阵,通常我们称它为四参数模型。 如果离散化后像素不是矩形方块或像平面不与光轴正交,则使用下述五参数模型:



100000vfusfvuK (2.8)

其中:s称为畸变因子,这是摄像机的一般线性内参数模型。 像平面归一化坐标 如果已知内参数矩阵K,对像平面作坐标变换:



1vu1vu1n

nK (2.9)

我们称1nnnvum为像平面的归一化(规范化)坐标。 5

此时,有 cnPKPKmc1

使用归一化坐标,相当于内参数矩阵是单位矩阵,即摄像机的焦距为1。 2.1.3 世界坐标系与摄像机投影矩阵 以上讨论都是以摄像机坐标系为参考系。通过式(2.3)和(2.7),我们可以得到以世界坐标系表示的P点坐标与其像点m坐标),(vu的关系。由式(2.3)可得



111wTcP0tRP

即 tRPPwc (2.10)

其中,TwwwZYX),,(wP,式(2.10)表示摄像机坐标系与世界坐标系之间的运动为(R,t),R 为旋转矩阵表示旋转分量,t 是一个三维向量表示平移分量。将(2.10)代入(2.7)式,我们有: KtKRPmw (2.11)

写成矩阵形式: 

1wPtRKm (2.12)

其中:1wP称为空间点的齐次(世界)坐标,式(2.12)也称为摄像机投影方程。 记 tRKQ (2.13)

称为摄像机投影矩阵,)(tR,称为摄像机外参数。 问题:已知图像点m坐标),(vu,如何求解K(称为摄像机标定)?如何求解R、t(称为运动分析)?如何求解TwwwZYX),,(wP(称为三维重构)?

2.2 极几何与基本矩阵 2.2.1 极几何 如果摄像机内参数矩阵为K,场景点 Tzyx),,(x投影到像平面上的像点齐次坐标Tvu)1,,(m,则我们有:(可以理解为第一个摄像机坐标系为世界坐标系) Kxm (2.14)

当摄像机作刚体运动,旋转矩阵为R,平移向量为t 时,新的摄像机坐标系为zyxC,它与初始坐标系C-xyz之间的关系为tRxx(摄像机移动过程中K保持不变),则场景点Tzyx),,(x在当前像平面上

的象素坐标Tvu)1,,(m为