一种无相机标定的极线校正新方法

第３４卷　

正３　第２０期　

Ｎｏ．２０　计算机工程　

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　２００８年ｌＯ月　

０ｃｔｏｂｅｒ　２００８　

・图形图伪Ｉ处理・　文章编号：ｌｏｏｏ＿－３４２８（２００８）２０—＿ｏ２４７＿＿０２　文献标识码：Ａ　中圈分类号：ＴＰ３９３　

一种无相机标定的极线校正新方法　

杨秀丽，寞燕，孔令富　

（燕山大学信息科学与工程学院，秦皇岛０６６００４）　

摘要：提出一种无相机标定的立体图像对的极线校正新方法。该校正方法并不依赖基本矩阵Ｆ的精确求解，而是通过空间变换法分析校　

正前后图像点对应关系，依此分解并参数化描述极线变换矩阵，直接利用极线方程和图像的对应点集建立误差平方和函数，并运用非线性　最小二乘法求解，使该函数取得最小值的变换参数。实验证明，该校正方法能够较好地消除垂直视差，图像产生的变形较小。　关奠词：极线几何；基础矩阵；立体图像对；投影几何　

Ｎｅｗ　Ｕｎｃａｌｉｂｒａｔｅｄ　Ｅｐｉｐｏｌａｒ　Ｒｅｃｔｉｆｉｃａｔｉｏｎ　Ｍｅｔｈｏｄ　

ＹＡＮＧ　Ｘｉｕ－ｌｉ，ＤＯＵ　Ｙａｎ，ＫｏＮＧ　Ｌｉｎｇ－ｆｌｕ　

（Ｓｃｈｏｏｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｙ￣ｓｈａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｑｉｎｈｕａｎｇｄａｏ　０６６００４）　－　［Ａｂｓｔｒａｃｔ！Ａ　ｎｅｗ　ｉｍａｇｅ　ｒｅｃｔｉｆｉｃａｔｉｏｎ　ｍｅｔｈｏｄ　ｄｅａｌｓ　ｗｉｔｈ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｏｆ　ｅｐｉｐｏｌａｒ　ｒｅｃｔｉｆｉｃａｔｉｏｎ　ｉｎ　ｔｈｅ　ｕｎｃａｔｉｂｒａｔｅｄ　ｃａｓｅ　ｉｓ　ｐｒｏｐｏｓｅｄ．Ｉｔ　ｉｓ　ｉｍｐｌｅｍｅｎｔｅｄ　ｗｉｔｈｏｕｔ　ｅｘｐｌｉｃｉｔ　ｃｏｍｐｕｔａｔｉｏｎ　ｏｆ　ｔｈｅ　ｅｐｉｐｏｌａｒ　ｇｅｏｍｅｔｒｙ　ｏｒ　ｆｕｎｄａｍｅｎｔａｌ　ｍａｔｒｉｘ．Ｉｔ　ｄｅｃｏｍｐｏｓｅｓ　ｔｈｅ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ　ｍａｔｒｉｘ　ｉｎｔｏ　ｍｏｒｅ　

ｓｉｍｐｌｅ　ｆｏｒｍ　ａｎｄ　ｕｓｉｎｇ　ｌｅａｓｔ—ｓｑｕａｒｅｓ　ｍｅｔｈｏｄ　ｔｏ　ｓｏｌｖｅ　ｔｈｅ　ｆｕｎｃｔｉｏｎ　ｏｆ　ｓｕｍ　ｏｆ　ｓｑｕａｒｅ　ｅｒｒｏｒｓ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｓｅｔ　ｏｆ　ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ　ｐｏｉｎｔｓ．Ｒｅｌａｔｅｄ　

ｅｘｐｅｒｉｍｅｎｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｍｅｔｈｏｄ　ｃａｎ　ｒｅｃｔｉｆｙ　ｔｈｅ　ｉｍａｇｅ　ｐａｉｒｓ　ｆａｓｔ　ａｎｄ　ａｃｃｕｒａｔｅｌｙ，ａｎｄ　ｔｈｅ　ｉｍａｇｅ　ｄｉｓｔｏｒｔｉｏｎ　ｉｎｄｕｃｅｄ　ｉｓ　ｌｉｔｔｌｅ．　［Ｋｅｙ　ｗｏｒｄｓｌ　ｅｐｉｐｏｌａｒ　ｇｅｏｍｅｔｒｙ；ｆｕｎｄａｍｅｎｔａｌ　ｍａｔｒｉｘ；ｓｔｅｒｅｏ　ｉｍａｇｅ　ｐａｉｒｓ；ｐｒｏｊｅｃｔｉｏｎ　ｇｅｏｍｅｔｒｙ　

１概述　

在立体视觉实际应用研究中，为降低立体匹配难度，对　图像对进行校正不可避免。图像校正则是通过对每一幅图像　

平面应用２Ｄ变换，使得变换后的图像对问极线几何得以简　

化，对应点只在水平方向存在视差。　图像对校正有相机标定”　和弱标定　２种情况下。相机　

标定情况下的图像对校正是一种理想情况，可根据透视投影　

变换进行校正，现有方法能够很好地解决。无相机标定的立　体视觉具有更大的适应性，是立体视觉的重要研究领域。弱　标定是指无相机标定，校正的前提是已知一系列图像对间的　

对应点坐标。已有校正方法多是基于图像的投影几何获得的，　

先求解图像的基本矩阵和相机参数信息，再通过几何变换将　

极点变换到水平无穷远处。本文中运用空间变换的方法求解　校正前后坐标点的对应关系矩阵，通过对应点坐标建立误差　

方程，利用最小二乘法求解变换矩阵参数。　

２极线几何　

２．１校正酋极线几何　

双目立体视觉成像系统由２个针孔摄像机构成，见图１。　

曩１校正酋极饯几何　Ｃｔ和　为２个摄像机的光心，三维空间点Ｐ经过光心　

投影到图像平面　１和　２上，投影点分别为ｍ和ｒｎ　。在Ｒｌ　上任取一点ｍ，其对应点ｍ　必位于由ｍ和２个摄像机光心的　

几何位置所确定的极平面Ｐ与图像平面Ｒ２的交线ｆ　上，Ｉ　称　

为ｍ的对应极线，这就是极线约束。设ｕ和“　分别是对应点　

ｍ和ｍ　的图像齐次坐标表示，根据极线约束，它们满足以下　

关系式：　ｕ＃ＴＦｕ＝０　（１）　其中，，是原图像的基本矩阵。　

２．２校正后板线几何　设日和　分别为有序图像对　和／的极线校正矩阵，ｍ　

和　为图像对上的对应点，经校正变换后为ｒｈ和　，有　

＝Ｈｕ，　＝Ｈ＇ｕ　（２）　

校正后所有极线相互平行且水平，对应点间只水平方向　

上存在视差，极点位于水平方向上的无穷远处，即　＝舍　＝　

【ｌ　０　０１Ｔ；校正后图像对间基本矩阵为　

ｌ　０　０　０　Ｊ　＝［每１＝Ｉ　ｏ　０　—１　Ｉ　（３）　

［０　１　０　ｊ　

校正后图像对的极线方程为　

（　忍　＝０　（４）　

该方程对于任一对应点对均应成立，因而可以获得关于　

未知矩阵　和　的非线性方程系统。　

基金项目：国家“８６３”计划基金资助项目（２００６ＡＡ０４Ｚ２１２）　

作者筒介：杨秀丽（１９８２－－），女，硕士研究生，主研方向：机器视觉，　

图像处理；窦燕，副教授、博士研究生；孔令富，教授、博士生　导师　

收稿日期：２００７—１２—０７　Ｅ－ｍａｉｌ：ｙ＿ｘｌ１６３＠１６３．ｃｏｍ　

２４７—　３校正方法　

３．１　空间变换法分析校正前后图像点关系　

校正的关键在于根据校正前后图像对的已知信息和特有　

性质求取出满足一定要求的极线变换矩阵日和∥。　

一个３Ｄ空间点Ｐ经针孔相机在图像，上成像点Ｐ，必须　

经过３个步骤来完成：　

（１）一个３Ｄ刚性变换（ｒｉｇｉｄ　ｄｉｓｐｌａｃｅｍｅｎｔ），即欧式变换，　实现世界坐标系与相机坐标系的重合，将世界坐标系中的点　

Ｐ变换到相机坐标系下；　

（２）一个３Ｄ到２Ｄ透视投影变换；　

（３）一个２Ｄ到２Ｄ的仿射变换，实现物理坐标到像素坐　

标的变换。　

因此，空间点Ｐ与对应的像素点Ｐ间满足如下关系：　ｒ，／ｋ　０　“　］ｒｌ　０　０　ｏｌ　ｐ：Ｋ１ＤＰ：Ｉ　ｏ“ｆ／ｋ　ｌ×Ｉ　ｏ　１　ｏ　ｏＩ　Ｒ　ｔ　Ｐ　（５）　ｌ０　０　１儿０　０　ｊ　ｏｊ　ｕ　

其中，Ｐ＝ｘ　：ｌ１　，Ｐ＝ｕ　ｖ　１　Ｗ，矩阵Ｄ是相机外参数　

矩阵，有６个相关参数；Ｒ，ｔ分别为旋转和平移量；Ｋ为相机　

内参矩阵，显然　可逆；令ｒ表示矩阵Ｊ的广义逆矩阵，　

，＝，　（，×，　）～，则有　

ＤＰ＝　，一（　ｐ）十，，一，ＩＹ，｝　∈ｃ　（６）　ＤＰ便是原相机坐标系的Ｐ点坐标表示。　

校正过程是：相机光心位置不变，假定左右相机分别绕　

光心进行旋转，使得两光轴平行，校正过程不影响摄像机内　

参数矩阵，校正后图像中对应点只在水平方向存在视差。　左相机校正过程如下：　

假定其绕相机光心旋转矩阵为Ａ＝ｌ　．ｕ１，则原左相机　Ｌ　ｕ　Ｊ　

坐标系下的点Ｄ，Ｐ变换到虚拟的新坐标系下，然后该点经　

新的虚拟相机成像于校正后图像平面，由左乘　，Ｊ实现。此　

时，校正后像点Ｐ．．：　，ＩＡＤ　Ｐ，将式（６）代入得　

ｐ　＝２ＫｉＩＡＩ一（Ｋ７　ｐ　＋Ｋ　／Ａ‘Ｅ—Ｉ　Ｉ　Ｙ　Ｌ　）　其中，Ｅ是４阶单位阵。经简化计算，式（７）可以化简为　

＝　Ｋ，Ｒ，Ｋ　．．　其中，　，　分别是校正前后对应像素点的齐次坐标表示。　

３．２极线变换矩阵　和　的分解和参数化　

可将左右极线变换矩阵分解为以下形式　

Ｈ：ＫｌＲ　，Ｈ　＝Ｋ　２Ｒ　ｉ　（８）　

其中，Ｋ。（江ｌ，２）分别是左右相机的内参矩阵；为实现图像校　正需将左右相机绕光心进行旋转，　ｆ和曰，分别是左右相机的　

旋转矩阵。将分解后的日和Ｈ　代入式（４）中，得　Ｕｚｒ（　；　Ｔ＾　ＴＬ　＾］　Ｋｌ　ＲｔＫ１　ｍ＝Ｏ　（９）　

３．３必要的化筒　虽然原有相机参数和左右相机的旋转矩阵均为未知量，　

但可假定左右相机具有相同内参矩阵，即　和Ｋ２相等。在　

此条件下，易证　『　１，Ｋ　在相差一个非零数量因子的情　

况下等于『　，，因此在式（９）的计算中，可以消去　和　ｌ　

２项。此时式（９）可以化筒为　“　（Ｋ　Ｒ　【　】　Ｒ　ｆ　Ｋ　１　）“＝０　（Ｚ０）　

对左右旋转矩阵　ｆ和　进一步分解，旋转过程分解为：　

（１）绕各自的ｙ轴分别旋转　ｌ和　２角度，使得２个相机　

的焦平面包含基线，此时极点位于无穷远处，２个图像平面　

内极线平行于各自的ｘ轴，即此时焦平面是原有Ｙ轴和基线　

２４８一　确定的平面。　

（２）绕各自的ｚ轴旋转ａｌ和　２角度，使得摄像机ｘ轴与　

基线重合，此时２个图像平面内所有极线平行于基线。　

（３）绕ｘ轴旋转，使得两图像平面重合，则此时的图像对　

得到校正。　

其中，绕ｘ轴旋转时，假定２个图像平面间夹角是　角　度，则２个相机分别绕各自的ｘ轴旋转卿　（　．　角度即可重　

合。实验证明，　西／２时即可简化计算，且校正精度最高，　

Ｒｔ＝Ｒ　×Ｒ　×Ｒ～＝　

『ｌ　０　０　］Ｆｃｏｓ６，一ｓｉｎａｊ　ｏ丌ｃｏｓｆｌ￣０　ｓｉｎｆｌ￣］　ｌ　ｏ　ｃｏｓ（￣／２）一ｓｉｎ（Ｃ，／２）Ｉ１　ｓｉｎｏｑ　ｃｏｓＧ　ｏｌｌ　０　ｌ　０　Ｉ（１１）　

…０～　ｏ　ｙｆｆｓｉｃｏ　ｓ　ｏ６　

Ｒ　【礼Ｒ　＝｝０一ｓｉｎ（Ｏ）一ｃｏｓ（０）ｌ　（１３）　

现在极线变换矩阵依赖于未知的相机内参数和５个未知　

旋转角度。对于相机内参数矩阵，可以结合已有的先验知识，　假定无畸变，相机主点在图像平面的中心，像素物理长宽比　等于１，则此时余下的未知量是２个相机的焦距＿厂，假定左右　

相机焦距相等，得到　

Ｉ　ｆｏ　０　Ｗｏ／２　ｌ　

－＝　ｌ　ｏ．ｒｏ＾。／２　ｌ　ｌ　０　０　１　Ｊ　

其中，Ｗ０和ｈｏ分别是图像的宽和高，在读入图像时即可获得；　

是像素单位的焦距长度，根据文献【７】，以像素为单位的焦　

距值的估计值在【１／３（ｗ０＋『２ｏ），３（ｗｏ＋　ｏ）】区间内，则　

ｆｏ／（Ｗ。＋ｈ。）取值范围为【１／３，３】，用变量　表示。将上述各　

参数化后的矩阵代入式（４）得到函数Ｆ（　，　，　，屈，　）＝０，因　

为该方程对所有的对应点对，　和ｍ　（ｉ＝１，２，…，Ⅳ）均成立，所　

以误差平方和函数为　

Ｅ（ｐ）＝∑［　（Ｈ，，Ｈ　Ｉｐ）一０］　

用非线性最小二乘法算出使误差平方和函数取得最小值　

的参数Ｐ＝［　属　矿Ｉａ］　，其中，“，＝［ｕ　ｌ】　，　

“　＝【ｕ　ｌ，，１】，是对应点对的齐次坐标，各变量取值范围　

３．４计算极线变换矩阵日和Ｈ　

利用最小二乘法求出各个参数后，运用式（８）中等式来获　

得极线变换矩阵。　

４实验验证　为了对提出的校正方法进行检验，对文献【６］中的图像对　

和实际拍摄的图像对分别进行了校正，校正前先手动选取了　

ｌ０个～２Ｏ个对应点作为输入数据。部分实验结果如图２所示，　

图２（ａ）是原图像对，图２（ｂ）为文献【６冲给出的采用极坐标校　

正方法的校正结果，图２（ｃ）为采用本文校正方法的校正结果，　

且图中已标示出选取的对应点及校正前后的极线。评价校正　

算法优劣的３个因素是校正精度、图像变形和校正速度。校　正精度用校正后对应点问平均垂直视差衡量，运用本文方法　

获得的平均垂直视差是０．１

０６。图像变形主要指透视变形和图