基于图像的三维重建

点云拼接
注意： 注意： 当零件的表面没有明显的特征的时候， 当零件的表面没有明显的特征的时候， 可以通过人为的方式在物体的表面附加特 征来处理， 征来处理，常用的是粘贴标记点或者辅助 圆球的做法。 圆球的做法。
点云拼接
④ 拼接实例
对同一个待测物体从不同的两个方位进行拍 其中图(a)的右半部分和图 的右半部分和图(b)的左半部分事实 摄，其中图 的右半部分和图 的左半部分事实 上是待测物体上的同一个部分。 上是待测物体上的同一个部分。 图(a)中的参考点 4、5、6、7 分别对应图 中 中的参考点 、 、 、 分别对应图(b)中 的 2、1、4、3 点 、 、 、 ①将这些相同点一一对应起来 根据它们的坐标解出R和 ②根据它们的坐标解出 和T 拼接两部分得到的数据点云， ③拼接两部分得到的数据点云，形成一段完 整的物体表面轮廓。 整的物体表面轮廓。
图像校正
为了使极线变成一组平行直线， 为了使极线变成一组平行直线，需要将极点放 到无穷远处。 到无穷远处。设该无穷远极点为 e = (0 0 0)T 则经过校正后的图像对的基础矩阵 F 可以表示 为
0 0 0 F = [e] X = 0 0 −1 0 1 0
(2)
基于图像重建流程
图像匹配1 图像匹配 摄像机标定 图像校正
点云对齐， 点云对齐， 拼接
空间点的获取
匹配2， 匹配 ，计算视差
曲面重构
纹理贴图
图像校正
黄色： 黄色：任意位置 绿色： 绿色：平行位置
图像校正
① 图像校正的目的
相机任意位置 图像未校正 相机平行 校正图像
极线不平行 极线平行 极线交于极点 极点无穷远
d = x2 − x1
1 2 3 4 p 5 6 7 8
匹配 计算视差
左图中所有匹配点 最大视差为a 最大视差为 最小视差为b 最小视差为 匹配点p的视差为 的视差为d 匹配点 的视差为 视差图中p点的灰度值为 视差图中 点的灰度值为 255*|d-b|/|a-b|
匹配 计算视差
3-4 空间点的获取
图像校正
则由式（1a)可以得到如下等式
p2 F p1 = 0
T
将式（1a)和式（1b)代入得
p2T U 2T FU1 p1 = 0
由式（2）可得
F = U 2 FU1 = U 2 [e] X U1
T T
图像校正
F = U 2T FU1 = U 2T [e]X U1
只要知道了基础矩阵F，就可以从上式中分解出变 换矩阵 U1 和 U 2 ，从而实现图像的校正。
2-2 国内研究现状
提出了， ① 北京交通大学 袁保宗 提出了，由真实世界到计算机 虚拟世界的转换问题。 虚拟世界的转换问题。 设计了， ② 浙江大学 刘刚 设计了，一个能绘制出几何模型和表 面纹理的真实场景交互建模系统。 面纹理的真实场景交互建模系统。 中科院自动化研究所，开发的CVSuite，能利用立体 ③ 中科院自动化研究所，开发的 ， 视觉进行三维重建。 视觉进行三维重建。 提出了一种基于构建Visual Hull，求 ④上海交大 马利庄 提出了一种基于构建 ， 取物体形状及表面反射属性的方法。 取物体形状及表面反射属性的方法。
图像经过校正后可以看成是两台光轴互相平行的摄像 机的成像
p1 = (u1 v1 1)T
p2 = (u2 v1 1)
T
经过校正后图像上的俩个对应点 空间点P在摄像机 和 坐 空间点 在摄像机C1和C2坐 在摄像机 标系下的坐标， 为基线 标系下的坐标，b为基线
P = ( X −b Y Z 1)T
P = ( X Y Z 1)T 图像点和三维空间点的映射关系可以得到： 图像点和三维空间点的映射关系可以得到： u1b v1b bf x= y= z = d d d
需计算极线方程 不需进行极线 影响运行效率 提高效率
图像校正
② 图像校正的原理
图像校正的过程，就是对里两幅图像分别 进行二维的变换。 将这种变换记为U1和U2，则图像点的变 换可以看成
p1 = U1 p1
(1a)
p2 = U 2 p2 (1b)
其中，p1为p1变换后的坐标，p 2 为p2变换后 的坐标。
河南省新乡 市辉县村舍 重建图
龙形纹理门框的局部重建图
新疆米兰古城三维重建图
2-1 国外研究现状
① Paul E.Debevec——参数几何体表示初始模型 参数几何体表示初始模型 M.Seitz——颜色不变量 颜色不变量、 ② Steven M.Seitz——颜色不变量、顺序可见性规 则重建场景模型 三维重建系统PhotoBuilder ③ Roberto cipolla——三维重建系统 三维重建系统
主 讲 人： 原 飞
机器视觉/空间测量组 机器视觉/
基于图像的三维重建
一、 应用背景 二、 研究现状 三、 重建流程
1-1 制造业与逆向工程
1-2 影视与娱乐
数字化三维模型，能够给电影和视频游戏提供丰富素材。 数字化三维模型，能够给电影和视频游戏提供丰富素材。
22届国际体博会上，由 届国际体博会上， 届国际体博会上 深圳泰山在线科技公司 研发的首款三维体感互 动游戏—— 动游戏
点云拼接
三维坐标系 o1 x1 y1 z1 和 o2 x2 y2 z2 之间的位置对应关系 可以用下式表示，即：
x1 x2 a11 a12 a13 x2 a41 y = R y + T = a a a y + a 2 2 21 22 23 2 42 z3 z2 a31 a32 a33 z2 a43
T T T
如果知道了R和T 的值，就可以将坐标系 o2 x2 y2 z 2 进行旋转和平移，转化为 o1 x1 y1 z1 坐标系。这样就 能将各块测量的数据转换到同一个坐标系，实现 拼接任务了。
点云拼接
拼接步骤： ③ 拼接步骤：
多视角点云数据的拼接方法可以分为两 步。 1 首先利用离散的特征进行匹配的方法实现 粗配准 2 再使用迭代最近点算法 再使用迭代最近点算法(ICP)算法进行精 算法进行精 确配准
基于图像的重建方式，应用范围广泛， 基于图像的重建方式，应用范围广泛，精 度比较低。 度比较低。
使用探针或激光读数器逐点获取数据， 使用探针或激光读数器逐点获取数据，进行整体 三角化，此类方法测量精确，但速度很慢， 三角化，此类方法测量精确，但速度很慢，难以在 短时间内获得大量数据。 短时间内获得大量数据。
曲面重构
Delaunay三角剖分 三角剖分
Delaunay边：假设E中的一条边 （两个端点 边 假设 中的一条边 中的一条边e（ ），e若满足下列条件 为a,b）， 若满足下列条件，则称之为 ）， 若满足下列条件，则称之为Delaunay 存在一个圆经过a,b两点 圆内(注意是圆内 两点， 注意是圆内， 边：存在一个圆经过 两点，圆内 注意是圆内， 圆上最多三点共圆)不含点集 中任何其他的点， 不含点集V中任何其他的点 圆上最多三点共圆 不含点集 中任何其他的点， 这一特性又称空圆特性。 这一特性又称空圆特性。 Delaunay三角剖分：如果点集 的一个三角剖 三角剖分： 三角剖分 如果点集V的一个三角剖 只包含Delaunay边，那么该三角剖分称为 分T只包含 只包含 边 Delaunay三角剖分。 三角剖分。 三角剖分
2-3 重建软件
① 3DmeNow
② Canoma
③ PhotoModeler和 和 PhotoModeler Scanner
④ ImageModeler
三维重建的四种主要方式： 三维重建的四种主要方式：
1 2 3 4 基于图像 使用探针或激光读数器逐点获取数据 三维物体的断层扫面 光学三维扫描仪
点云拼接
3-5 点云拼接
① 三维坐标变换 ② 拼接原理 ③ 拼接步骤 ④ 拼接实例
点云拼接
点云拼接
① 三维坐标变换
a1 1 a A = 21 a 31 a 41 a1 2 a 22 a 32 a 42 a1 3 a 23 a33 a 43 a1 4 a 24 a 34 a 44
一、定义 二、性质 三、算法分类
曲面重构
定义
三角剖分：假设 是二维实数域上的有限点集 是二维实数域上的有限点集， 三角剖分：假设V是二维实数域上的有限点集， 是由点集中的点作为端点构成的封闭线段, 边e是由点集中的点作为端点构成的封闭线段 E 是由点集中的点作为端点构成的封闭线段 的集合。 的一个三角剖分T=(V,E) 为e的集合。那么该点集 的一个三角剖分 的集合 那么该点集V的一个三角剖分 是一个平面图G，该平面图满足条件： 是一个平面图 ，该平面图满足条件： 1.除了端点，平面图中的边不包含点集中的任 除了端点， 除了端点 何点。 何点。 2.没有相交边。 没有相交边。 没有相交边 3.平面图中所有的面都是 平面图中所有的面都是 三角面，且所有三角面的合集是散点集V的凸 三角面，且所有三角面的合集是散点集 的凸 包。
b2 −bc2 bc1 −b 0 3 3 1 Ur = b −bc1 b2 −bc2 b3 1 3 3 0 0 1
s1 Us = 0 0
s2 1 0
s3 0 1
透视变换
相似变换
错切变换
图像校正
③ 图像校正过程
透视变换
相似变换 错切变换
P1中提取一个子 {mi | mi ∈ Pi , i = 1, 2,...., N } 中提取一个子 集 {mi ' | mi ' ∈ Pi , i = 1, 2,...., N } 在数据点集P2 中有一子集 在数据点集 与P1中点一一对应 中点一一对应 通过这俩个子集求解R和 通过这俩个子集求解 和T
图像校正
设 U1 为
u1T a1 a2 a3 T U1 =U = u2 = b1 b2 b3 u3T c1 c2 1
分解为如下形式： 将U分解为如下形式： 分解为如下形式
U = U sU rU p
1 Up = 0 c a 0 1 cb 0 0 1
极点被移到了 无穷远点 极线束变成了 一组平行直线
极线和图像坐 标系的横轴平 行
使得水平方向 的图像畸变最 小化
匹配 计算视差
基于窗口的灰度匹配 基于窗口的稀疏点匹配 基于窗口的稠密点匹配
匹配 计算视差
基于窗口的灰度匹配原则
1 4 6
来自百度文库2 7
3 5 8
v1T v2 cos θ = || v1 |||| v2 ||
点云拼接
曲面重构
散乱点集的曲面三角剖分
平面投影法三角剖分
空间直接剖分
最小权三角剖分
Delaunay三角剖分 约束delaunay三角剖分
α-shape算法 Voronoi图算法
三 角 网 格 生 长 法
分 逐 点 插 入 法 治 算 Hoppe算法 法 Choi算法
曲面重构
Delaunay三角剖分 三角剖分
i-dong地鼠 地鼠
1997年，Paul Debevec利用图像重建技术，成功 年 利用图像重建技术， 利用图像重建技术 地出品了电影短片《 地出品了电影短片《the Campanile》。 》
1-3 文化遗产的保存
对文物进行三维重建操作， 对文物进行三维重建操作，以便获取文物精准的几何 和色彩信息。 和色彩信息。
表示三维图像的坐标变换
a11 R = a21 a 31
a12 a22 a32
a13 a23 a33
产生比例、旋转、 错切等几何变换 产生平移变换
T =[a41 a42 a43]
点云拼接
② 拼接原理
点云拼接
o2 x2 y2 z2
o1 x1 y1 z1
实现
P1与 P2的拼接 与 的拼接
根据三维物体的断层扫面，得到二维图像 根据三维物体的断层扫面， 轮廓，进行相邻轮廓的连接和三角化， 轮廓，进行相邻轮廓的连接和三角化，得到 物体表面形状。 物体表面形状。
应用硬件光学三维扫描仪获得物体的点云数据， 应用硬件光学三维扫描仪获得物体的点云数据， 进行重建获得物体的整体表面信息。 进行重建获得物体的整体表面信息。