第十一章深度图
获取场景中各点相对于摄象机的距离是计算机视觉系统的重要任务之一．场景中各点相对于摄象机的距离可以用深度图(Depth Map)来表示，即深度图中的每一个像素值表示场景中某一点与摄像机之间的距离．机器视觉系统获取场景深度图技术可分为被动测距传感和主动深度传感两大类．被动测距传感是指视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息．最一般的方法是使用两个相隔一定距离的摄像机同时获取场景图像来生成深度图．与此方法相类似的另一种方法是一个摄象机在不同空间位置上获取两幅或两幅以上图像，通过多幅图像的灰度信息和成象几何来生成深度图．深度信息还可以使用灰度图像的明暗特征、纹理特征、运动特征间接地估算．主动测距传感是指视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量．主动测距传感系统也称为测距成象系统（Rangefinder)．雷达测距系统和三角测距系统是两种最常用的两种主动测距传感系统．因此，主动测距传感和被动测距传感的主要区别在于视觉系统是否是通过增收自身发射的能量来测距。另外，我们还接触过两个概念：主动视觉和被动视觉。主动视觉是一种理论框架，与主动测距传感完全是两回事。主动视觉主要是研究通过主动地控制摄象机位置、方向、焦距、缩放、光圈、聚散度等参数，或广义地说，通过视觉和行为的结合来获得稳定的、实时的感知。我们将在最后一节介绍主动视觉。
11．1 立体成象
最基本的双目立体几何关系如图11．1(a)所示，它是由两个完全相同的摄象机构成，两个图像平面位于一个平面上，两个摄像机的坐标轴相互平行，且x轴重合，摄像机之间在x 方向上的间距为基线距离b．在这个模型中，场景中同一个特征点在两个摄象机图像平面上的成象位置是不同的．我们将场景中同一点在两个不同图像中的投影点称为共轭对，其中的
一个投影点是另一个投影点的对应(correspondence)，求共轭对就是求解对应性问题．两幅图像重叠时的共轭对点的位置之差(共轭对点之间的距离)称为视差(disparity)，通过两个摄象机中心并且通过场景特征点的平面称为外极(epipolar)平面，外极平面与图像平面的交线称为外极线．
在图11．1 中，场景点P 在左、右图像平面中的投影点分为p l 和p r ．不失一般性，假设坐标系原点与左透镜中心重合．比较相似三角形PM C l 和p LC l l ，可得到下式：
F
x z x l '= (11．1)
同理，从相似三角形PNC r 和p RC l r ，可得到下式：
F
x z
B x r '=- (11．2)
合并以上两式，可得：
r
l x x BF z '-'=
(11．3)
其中F 是焦距，B 是基线距离。
因此，各种场景点的深度恢复可以通过计算视差来实现．注意，由于数字图像的离散特性，视差值是一个整数．在实际中，可以使用一些特殊算法使视差计算精度达到子像素级．因此，对于一组给定的摄象机参数，提高场景点深度计算精度的有效途径是增长基线距离b ，即增大场景点对应的视差．然而这种大角度立体方法也带来了一些问题，主要的问题有：
1． 随着基线距离的增加，两个摄象机的共同的可视范围减小
2． 场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大． 3． 由于透视投影引起的变形导致两个摄象机获取的两幅图像中不完全相同，这就给
确定共轭对带来了困难．
在图11．1(b)中，图像中的每个特征点都位于第二幅图像中的同一行中．在实际中，两条外极线不一定完全在一条直线上，即垂直视差不为零．但为了简单起见，双目立体算法中的许多算法都假设垂直视差为零．
在实际应用中经常遇到的情况是两个摄像机的光轴不平行，比如，在某些系统中，调节两个摄象机的位置和姿态，使得它们的光轴在空间中相交在某一点，如图11．2所示．在这种情况下，视差与光轴交角有关．对于任意一个光轴交角，在空间中总存在一个视差为零的表面．比这一表面远的物体，其视差大于零；反之，比这一表面近的物体，其视差小于零．因此，在一个空间区域中，其视差可被划分为三组：
+>-<=d d d 000
这三组视差可用于解决匹配不确定问题．
(a) (b)
图11．1双目立体视觉几何模型
图11．2摄象机光轴交会空间一点．摄象机之间的夹角
定义了视差为零的一个空间表面．
摄像机光轴不平行的另一种系统是后面将要介绍的一种叫做会聚式(convergent)立体视觉系统（见图11．5）．这种系统不要求光轴严格地相交于空间一点．立体成象的最一般情况是一个运动摄像机连续获取场景图像，形成立体图像序列，或间隔一定距离的两个摄像机同时获取场景图像，形成立体图像对．
图11．3 外极线几何示意图
图11．3所示的是处于任意位置和方位的两个摄象机，对应于某一场景点的两个图像点位于外极线上．这两幅图像也可以是一个摄像机由一点运动到另一点获取这两幅图像．即使两个摄象机处于一般的位置和方位时，对应场景点的两个图像点仍然位于图像平面和外极平面的交线（外极线)上．由图不难看出，外极线没有对应图像的某一行．
11．2 立体匹配
立体成象系统的一个不言而喻的假设是能够找到立体图像对中的共轭对，即求解对应问题．然而，对于实际的立体图像对，求解对应问题极富有挑战性，可以说是立体视觉最困难的一步．为了求解对应，人们已经建立了许多约束来减少对应点搜索范围，并最终确定正确的对应．下面我们将讨论几个最基本的约束，然后讨论边缘特征和区域特征在立体匹配中的应用．
11．2．1 基本约束
(1 ) 外极线约束
对于两幅从不同角度获取的同一场景的图像来说，传统的特征点搜索方法是首先在一幅图像上选择一个特征点，然后在第二幅图像上搜索对应的特征点．显然，这是一个二维搜索问题．根据成象几何原理，一幅图像上的特征点一定位于另一幅图像上对应的外极线上．因此，在外极线上而不是在二维图像平面上求解对应问题是一个一维搜索问题．如果已知目标与摄像机之间的距离在某一区间内，则搜索范围可以限制在外极线上的一个很小区间内，如图11．4所示．所以，利用外极线约束可以大大地缩小寻找对应点的搜索空间，这样即可以提高特征点搜索速度，也可以减少假匹配点的数量(范围越小，包含假匹配点的可能性越
小)．请注意，由于摄象机位置及其方向的测量误差和不确定性，匹配点可能不会准确地出现在图像平面中对应的外极线上；在这种情况下，有必要在外极线的一个小邻域内进行搜索．
图11.4 空间某一距离区间内的一条直线段对应外极线上的一个有限区间
(2)一致性约束
立体视觉通常由两个或两个以上摄像机组成，各摄像机的特性一般是不同的．这样，场景中对应点处的光强可能相差太大，直接进行相似性匹配，得到的匹配值变化太大．因此，在进行匹配前，必须对图像进行规范化处理(Normalization)．设参考摄象机和其它摄象机的
图像函数分别为()j
i
f,
0和()j
i
f
k
,，在n
m?图像窗内规范化图像函数为：
()()
/)
,
(
,σ
μ
-
=j
i
f
j
i
f(11.4)
()()
k
k
k
k
j
i
f
j
i
fσ
μ/)
,
(
,-
=(11.5)
其中μ是图像窗内光强的平均值,σ是光强分布参数: ∑∑==-=
n j m
i j i f mn
11
2
2
)
),((1μσ
相似估价函数为差值绝对值之和(sum of absolute difference ，SAD)：
∑∑
==-=
n
i m
j k k j i f j i f 1
1
0),(),(ε (11.6)
(3)唯一性约束
一般情况下，一幅图像(左或右)上的每一个特征点只能与另一幅图像上的唯一一个特征对应．
(4)连续性约束
物体表面一般都是光滑的，因此物体表面上各点在图像上的投影也是连续的，它们的视差也是连续的．比如，物体上非常接近的两点，其视差也十分接近，因为其深度值不会相差很大．在物体边界处，连续性约束不能成立，比如，在边界处两侧的两个点，其视差十分接近，但深度值相差很大．
11．2．2边缘匹配
本算法使用的边缘特征是通过Gaussian 函数的一阶导数获得的．在有噪声的情况下，使用Gaussian 梯度来计算边缘更加稳定．立体算法的步骤如下：
1.
用四个不同宽度的Gaussian 滤波器对立体图像对中的每一幅图像进行滤波，其中前一次滤波的宽度是下一次滤波器宽度的两倍．这一计算可以反复通过对最小的滤波器进行卷积来有效地实现． 2. 在某一行上计算各边缘的位置．
3.
通过比较边缘的方向和强度粗略地进行边缘匹配．显然，水平边缘是无法进行匹配的． 4.
通过在精细尺度上进行匹配，可以得到精细的视差估计．
11．2．3 区域相关性
尽管边缘特征是图像的基本特征，而且边缘检测算法也十分成熟．但边缘特征往往对应着物体的边界，物体的边界深度值可以是（前景)物体封闭边缘的深度距离和背景点深度距离之间的任一值．特别是曲面物体，其封闭边缘是物体的轮廓影象边缘，在两幅图像平面中观察到的轮廓影象边缘与真实的物体边缘不是对应的．不幸的是，图像平面的强边缘只能沿着这样的封闭边缘才能检测到，除非物体有其它的高对比度的非封闭边缘或其它特征．这样，恢复深度的基本问题之一是识别分布于整幅图像中的更多的特征点，并作为候选对应点．还有许多用于寻找对应点潜在特征的方法，其中的一种方法是在立体图像对中识别兴趣点(interesting point)，而后使用区域相关法来匹配两幅图像中相对应的点． (1) 区域中感兴趣特征点的检测
两幅图像中用于匹配的点应尽可能容易地被识别和匹配．显而易见，一个均匀区域中的点是不适合作为候选匹配点，所以兴趣算子应在图像中寻找具有很大变化的区域．一般认为图像中应有足够多的用于匹配的分立区域．
在以某一点为中心的窗函数中，计算其在不同方向上的变化量是这些方向上点的差异性的最好测度．方向变化量的计算公式如下： ∑∈+-
=
S
y x y x f y x f I ),(2
1)]1,(),([
∑∈+-
=
S
y x y x f y x f I ),(2
2)],1(),([ (11.7)
∑∈++-
=
S
y x y x f y x f I ),(2
3)]1,1(),([
∑∈-+-
=
S
y x y x f y x f I ),(2
4)]1,1(),([
其中S 表示窗函数中的所有像素．典型窗函数尺寸从55?到1111?个像素的范围．因为简单的边缘点在边缘方向上无变化，所以，选择上述方向变量的最小值为中心像素点(,)x y c c 的兴趣值，可以消除边缘点．否则，在第一幅图像中的边缘点可能与第二幅图像中沿着同一条边缘的所有像素相匹配，由此使得准确确定视差变得十分困难（特别是当边缘是沿着外极
线时更是如此)．于是，有如下公式：
I x y I I I I c c (,)min(,,,)=1234 (11．8)
最后，为了避免将多个相邻点选为同一个特征对应的兴趣点，可以将特征点选在兴趣测度函数具有局部最大值的地方．一个点被认为是一个的“好”的好兴趣点，则对应的局部最大值一定大于原先设定的阈值．
一旦在两幅图像中确定特征后，则可以使用许多不同方法进行特征匹配．一种简单的方法是计算一幅图像以某一特征点为中心的一个小窗函数内的像素与另一幅图像中各个潜在对应特征点为中心的同样的小窗函数的像素之间的相关值．具有最大相关值的特征就是匹配特征．很明显，只有满足外极线约束的点才能是匹配点．考虑到垂直视差的存在，应将外极线邻近的特征点也包括在潜在的匹配特征集中．
考虑两幅图像f 1和f 2．设待匹配的候选特征点对的视差为(,)d d x y ，则以特征点为中
心的区域之间相似性测度可由相关系数r d d x y (,)定义为：
2
/1),(221),(2
11),(2211}
]),([]
),([{]
),(][),([),(∑
∑
∑
∈∈∈-++--++-=
S
y x y x S
y x S
y x y x y x f d y d x f f y x f f d y d x f f y x f d d r (11．9)
这里的f 1和f 2是被匹配的两个区域中的所有像素灰度平均值，和式符号是在以特征点为中心的小窗函数中的所有像素上进行的．
在式(11.9)中，在每一个像素上使用阈值化处理后的具有正负符号的梯度幅值，而不是图像灰度值，可以改善相关性的计算精度．这可以通过下列过程来实现：计算未平滑的两幅图像中的每个像素的梯度幅值，然后使用两个阈值，一个大于0，另一个小于0，将这些值
映射到三个值），，（101-．这样图像就被转换为波浪起伏阵列，可以产生更灵敏的相关值．如
果使用上述方法，则无需在相关性计算公式中包括正则项， ),(y x d d r 可以简化为相对应的像素值的乘积之和．
在大多数情况中，相互靠近的特征点其对应的场景点深度也是十分靠近的．这种启发式方法来源于迭代式松弛方法，我们将在14．3节对这种方法进行介绍．
我们在早些时候已经注意到，基于特征的立体匹配算法产生对应于图像特征点的场景稀
疏深度图．在稀疏深度图上进行表面内插或逼近运算，可以重建一个表面，这部分内容将在第13章讨论．
立体重建过程的主要难题之一是选择兴趣点．一种典型的兴趣点选择方法是基于灰度值的局部最大变化量．不幸的是，这些点经常出现在拐角处或不满足平滑约束条件的表面不连续处．在一些机器视觉应用中，这个问题是通过使用结构光来解决的．将模式图投影到表面上来产生兴趣点，并可使区域变得光滑(见下一节内容)．
最后要说明的是，从图像像素集合中选择用于求解共轭对的像素子集意味着仅仅能恢复这些像素对应的特征点深度．要想得到其它点的深度值，必须通过使用有关计算方法来估算，如内插值技术．
11．3 多基线立体成象
一幅图像上的每一个特征点只能与另一幅图像上的唯一一个特征对应，通常将这一性质称为特征的唯一性约束．在实际中，由于大多数特征点不是十分明显，特别是重复纹理的出现，常常会产生对应多义性(ambiguity)，即一幅图像上的一个特征点对应另一幅图像的若干个对应点，其中的一个点是真正的对应点，而其它点是假对应点．消除对应点多义性的一种有效方法是采用多基线立体成象[Okutomi 1993]，如图11．4所示．
图11．5 多基线立体视觉系统摄像机位置示意图
假定n 个摄像机具有相同的焦距F, 其位置分别为110,...,,-n P P P ，对应的n-1个基线用
121,...,,-n B B B 表示，)(0x f 和)(x f i 表示在位置i P P ,0处同步获取的图像,称为一个立体图
像对．已知场景一点Z 的深度值为r z ，则根据式子(3)，)(0x f 和)(x f i 形成的立体视差)
(i r d
为：
r
i i r z F B d =
)( (11．10)
图像强度函数)(0x f 和)(x f i 在Z 点附近可以表示为：
)()()(00x n x f x f +=
)()()()(x n d x f x f i i r i +-= (11．11)
其中)(),(0x n x n i 服从正态分布),0(2
n N σ。
在一定大小的窗口W 上，对立体视差变量为)(i d ，求立体图像对函数差值平方和(sum of squared difference, SSD):
∑∈++-+≡
W
j i i i i j d x f j x f
d x
e 2
)(0
)())()((),( (11．12)
设z /1=ζ，则（11.10）改写为：
r i i r F B d ζ=)( (11．13)
ζF B d i i =)( (11．14)
上式中ζζ,r 分别是真实的和候选的场景点深度值的倒数．
用式(11．13)和(11．14)替换式(11．12)得：
∑∈++-+≡
W
j i i i j F B x f j x f
x e 2
))()((),(ζζ (11．15)
将),(ζx e i 称为匹配评估函数．),(ζx e i 的期望值为：
2
22)))(()(()],([n w W
j r i i N j f B x f j x f x e E σζζζ++-+-+
≡
∑∈ (11．16)
其中w N 是窗中内象素点的个数。
n 个摄像机形成1-n 个
SSD 函数，将所有的SSD 函数相加(sum of SSD ，SSSD)形成了
总的评估函数：
∑=-=
n
i i
n x e
x e 1
1,...,2,1),(),(ζζ (11．17)
其期望值为
∑∑∑-=∈-=-++-+-+
=
=
1122
1
11,...,2,12)))(()(()]
,([)],([n i n
w W
j r i n i i
n nN j F B x f j x f x e
E x e E σ
ζζζζ (11．18)
下面讨论将评估函数表示成深度值倒数函数是如何消除多义性的．设强度函数)(x f 在x 和a x +处周围具有相同的模式，即
W j j a x f j x f ∈++=+)
()( (11．19)
则根据式（11．16），有
2
2)](,([)],([n w i r i r i N F
B a x e E x e E σζζ=+
= (11．20)
由上式可见，在r ζ和)(F B a i r
f
+=ζ
ζ
处都将得到评估函数的最小值，因此产生多
义性．但注意一个事实，假的匹配深度值的倒数f ζ随着基线变化而变化，而真的匹配深度值的倒数r ζ则与基线长度无关，这样累加多个基线评估函数，则会得到唯一的最小值．
比如有两个基线的长度分别为21,B B (21B B ≠)，则有：
22
22
12,14)))(()(())
)(()(()],([n
w W
j r W
j r N j F B x f j x f j F B x f j x f x e E σ
ζζζζζ++-+-+
+
+-+-+
=
∑∑∈∈ (11．21)
可以证明：
)],([4)],([2,12
2,1r n w x e E N x e E ζσζ=≥ (11．22)
也就是说，),(2,1ζx e 在r ζ处具有极小值．图11．6是一个验证SSSD 的简单例子，其中的原函数为
其它
12
412
)4
cos()(<<-??
???
+=x x x f π
图11．6 不同评估函数的曲线，
多基线立体视觉可以有效地消除一般场景纹理和重复纹理的对应多义性，但仍然无法求解弱纹理和无纹理物体对应点．图11．8是兵马俑模型的立体图像对，除了少部分特征外，其它部位都无法作为特征来求解对应点．为了恢复兵马俑的稠密深度图像，可以采用专用光源向场景投影条纹模式[Kang 1995]，如图11．8所示，每一个条纹的强度变化服从正弦分布．这样做的效果相当于无纹理的模型上有了条纹特征，由此实现对应的特征点共轭对的求解．
图11．7 用三个摄象机获取的兵马俑石膏模型多立体图像对
图11．8 主动式条纹光源照射下的多立体图像对
图11．9 基于基本约束恢复的秦俑头像的深度图像
11．4 从X恢复形状的方法
除了上述讨论的立体图像匹配方法外，从灰度图像中提取形状信息的许多其它方法，统称为由X恢复形状方法，也得到了大力地发展．不过许多方法只用来估计一点的局部表面方位而不是绝对深度．如果物体上至少有一个点的实际深度是已知的，那么同一目标上其它点的深度值可以通过对局部表面方向求积分得到．因此，这类方法称为间接深度计算方法．这里我们将简要地介绍一些方法，更祥细的阐述参见在其它章节．
(1) 光度立体
在光度立体方法中，使用不同方向上的三个光源来获取同一场景的三幅图像．在三幅图像的获取过程中，要求场景中的摄象机和目标静止不动．知道了场景中物体的表面反射特性，就可以计算由这三个光源照明的所有点的局部表面方位．这种方法的详细描述见第9章．光照立体方法的重要优点之一是三幅图像中的点是完全套准的，这是因为摄象机和场景是固定不变的．因此，这种方法不存在对应性问题．这种方法的最大缺点就是它是一种简接的方法，
也可能由于照明无法得到精细控制而不能用于实际的成象系统．
(2) 由明暗恢复形状
由明暗恢复形状的方法主要使用图像灰度（阴影〕变化来恢复物体形状的信息．这一过程是通过计算图像中每个点(,)
x y对应的场景表面方位来实现的．除了由辐射测量原理产
''
生的约束之外，阴影恢复形状的方法还假设了表面是光滑的，以便于计算表面方位参数．这种方法在第9 章中已经详细介绍过了．很明显，阴影恢复形状方法是一种间接的深度计算方法．进一步的说，光滑度约束在所有点都不能满足，表面反射特性也不总是知道的很精确，从而导致了不精确的形状重建．
(3) 由纹理恢复形状
图像的纹理特性变化，如密度、尺寸、和方位，都是建立纹理恢复形状的算法的基础．例如，被定义为纹理元素基元尺寸的最大变化方向和幅值的纹理梯度，决定了表面方位．量化纹理元素的形状（如圆显现为椭圆〕的变化对确定表面的方向十分有用．构成规则网格纹理结构的表面图像（很可能是由于结构光照射的结果)可以通过寻找投影点（透视画中平行线条的会聚点)唯一地确定方位．由纹理恢复形状方法除了是一种间接的深度计算方法外，还存在精确定位和量化纹理基元及其特性的困难．由纹理恢复形状方法在第7 章中已经进行了介绍．
(4) 由运动恢复形状
使用一个运动摄象机获取静止场景的图像时，场景点的图像平面坐标从一幅图像到另一幅图像的位移取决于场景点到摄象机的距离．这十分类似于前几节描述的立体成象方法．与之相对应的方法是使用一个静止摄象机获取运动物体的图像序列，从而在图像序列中产生运动视差．这样的视差取决于物体表面点的位置和速度．恢复物体结构和运动参数的方法将在14章祥细介绍．
11．5 测距成象
能够直接测量可视范围内每个点的距离，并将其记录为一个二维函数的系统称为测距
成象系统，得到的图像称为距离图像或深度图．图11．11 所示的就是通过激光三角测距得到的一个深度图的例子．
最常用的测距成象方法有结构光测距和雷达．结构光测距成象系统使用三角测量原理来计算深度，而成象雷达系统则是通过比较发射信号与接收信号的时延或相位等方法实现距离测量的。按发射信号的波长，雷达可分为声雷达、激光雷达、毫米波雷达等。若按工作体制可分为脉冲飞行时间法，相位差或差频，测距仪来计算深度图．
图11．10 一个牙齿石膏模型的深度图（北京医科大学口腔医院吕培军博士提供）
11．5．1 结构光测距
使用结构光照明的成象系统是指场景是由已知几何模式的照射光源照明的．在一个简单的点投影系统中，投影光源仪和摄象机之间相距一个基线距离b ，如图11．11所示．物体坐标(,,)x y z 与被测量的图像坐标(,)''x y 和投影角θ之间的关系如下：
],,[cos ],,[F y x x F b z y x '''
-=θ (11．23)
这样一个三角测量系统的距离分辨率可由投影角θ和图像点水平位置'x 的测量精度确定．
图11．11 以摄象机为中心的三角测量几何[Besl 1988]
为了计算所有点的深度，可使用二维网格照明模式照明场景，一次只照明一个点．然后使用上述方程计算该点的深度，由此得到二维距离图像．显然，由于这种方法获取数据的序列特性，其计算速度很慢，不适用于动态变化的场景中．一个典型的结构光照明系统将光平面或者二维网格模式投影到场景中，与光源相隔一定距离的摄像机获取投影到场景中物体表面的光照模式．所观测到的光照模式图像含有变形，该变形由光照模式和物体表面的形状和方向决定，如图11．13所示．注意，摄象机看到的网格包含了在方向和曲率上的不连续和变化．对应于图像平面中的任意点的三维物体坐标可以通过计算摄象机视线和光照平面的交点来确定．为了得到物体完整的描述，或者摇摆光源（如图所示)，或者目标在一传送带上运动，以获取多幅图像．物体上的不同表面可以通过对相似空间属性的光条的聚类来探测．
图11．12 结构光测距原理示意图[Jarvis 1983]
在动态变化场合下，依次向场景投射光带来获取覆盖整个场景的完整深度图像是不太实际的．如果为了获取完整的深度图像而将多条光带同时投影到场景中，则在匹配不同深度物体表面的光带时会产生潜在的混淆．在这种情况中，所投影的每条光带必须具有唯一性的编码．例如，用二进制编码方案，有可能只需投影log
N个模式就可以获取完整的深度数据
2
集合，其中()
N-1是光带的总数．这种方法示意在图11．14中，其中N=8．使用从()
001到()
111二进制码可以给七条光带中的每一条光带赋予唯一的编码．因为8等于3 ，所以仅能获取三幅图像．每幅图像可以通过三位二进制编码中比特(bit)位置
log
2
1，2或3来确定的．在图像中某一特定光带，如果其对应的比特位为1，它就处于开的状态ON．例如，光带2(010〕只有在第二幅图像中才是ON，但光带7(111〕在所有三幅图像中都是ON．在所有三幅图像中的光带都被唯一地确定，因此在匹配光带段时，不会产生混淆．在快速运动场景中，使用单色编码图像来取代多个二进值编码图像．
结构光照明技术已经广泛地用于工业视觉，因为在这种应用中可以很容易地控制场景照明．一个典型的应用是放在传送带上的运动物体经过一个光束平面，在光带图像中产生变形，
然后计算光束平面上物体的轮廓．以规则间隔重复上述过程即可恢复物体的形状．结构光照明技术的主要缺点是无法获取摄象机或光源看不到的物体点的数据．
图11．13 二进制编码结构光照示意图，这里的投影序列决定了每条光带的二进制编码11．5．2 激光测距雷达
在生物界，蝙蝠和海豚是通过接收自己发出的超声波来确定其周围物体的存在．根据生物的这种感知距离的能力，人类发明了各种测距系统，称之为雷达，即向空间发射信号，然后接收反射信号并与发射信号进行比较，以确定目标的距离和方位．激光测距（laser range
池河中学2017-2018学年度第一学期教学设计 年级8年级 科 目信息 技术 任课教师李瑞峰授课时间 1 课题图像的分辨率，图像的颜色深度授课类型新授 课标依据学习应用技能 ,提高信息素养,培养创新能力 《图像的分辨率，图像的颜色深度》属于初中信息技术课程第1章图形图像初步知识中的重要内容，本节课选用的教材是人民教育出版社出版的：《信息技术》八年级上册中的二节。主要是帮助学生掌握一些基本的概念，教会学生理解图像参数的方法。 教学目标知识与 技能 理解和掌握图像的分辨率，图像的颜色深度概念，并能理解二者对图像的影响。 过程与 方法 通过自学和讲解二个参数的特点，理解它们之间的联系与区别。 情感态 度与价 值观 激发并保持利用信息技术不断学习和探索的热情，形成积极主动地学习和使用信息技术、参与信息技术的 活动。 教学重点难点教学 重点 全面掌握图像的分辨率，图像的颜色深度概念。 编号：8.1.2
教学 难点 掌握图像的颜色深度。 教学过程设计 师生活动设计意图回想上节课的内容，我们学习了位图和矢量图， 在学习过程中我们也提到了像素，分辨率等概念， 今天我们要加深这几个概念的了解。 在照像机的参数中。像素是描述的数码相机的 主要参数，引出分辨率的概念。 任务一，阅读自学课本第二课，初步了解像素 和深度概念。 布置探究任务二，按课本要求查看图像素材文 件像素、存储容量、颜色位数。查看过程中理解分 辨率和文件大小及像素等概念。 发放相关知识材料教师对照讲解让学生理解分 辨率和像素的关系。 阶段性小结。图像分辨率则是单位英寸中所包 含的像素点数，辨率是图片清晰程度的标志。 显示分辨率与图像分辨率两个方向来分类 利用电脑的显示属性设置来自主探究“位深度” 的概念。 任务三，动手调整计算机的显示参数 教师提示：右键，分辨率，高级设置 阶段性小结 复习巩固旧 知识，引出 新知识。 以任务为驱 动开展教学 激发学生兴 趣；引导学 生发现问 题，并学会 分析问题。 学生动手进行 操作，在操作 中体会理解概 念
本技术公开了一种基于深度图像的实时平面检测及提取的方法。本技术包括如下步骤：步骤1：对深度图像做预处理，并对深度图像提取区块信息；步骤2：对区块的几何参数分布做降维统计；步骤3：对估计的各个平面法向量查找平行平面；步骤4：平面参数优化。本技术根据深度图像的成像原理及平面结构的空间特性，使得计算机可以实时地通过深度图像获取环境中的平面结构信息，使得三维重建结果更加准确。从而准确高效地从深度图像中提取平面结构信息。 技术要求 1.一种基于深度图像的实时平面检测及提取的方法，其特征在于包括如下步骤： 步骤1：对深度图像做预处理，并对深度图像提取区块信息；
步骤2：对区块的几何参数分布做降维统计； 步骤3：对估计的各个平面法向量查找平行平面； 步骤4：平面参数优化。 2.根据权利要求1所述的一种基于深度图像的实时平面检测及提取的方法，其特征在于步骤1具体实现如下： 1-1.使用双边滤波算法对深度图像做滤波处理； 1-2.然后将深度图像划分为多个等大小矩形的区块； 1-3.将矩形区块中的像素反投影到三维空间中得到三维点云，提取区块的切平面信息，包括区块的空间坐标、切平面的法向量、切平面与原点的距离、区块置信度；记第(u,v)区块为patch(u,v)。 3.根据权利要求2所述的一种基于深度图像的实时平面检测及提取的方法，其特征在于步骤2具体实现如下： 2-1.将各个区块的法向量做球极映射从三维空间nx-ny-nz到二维平面Px-Py上； 2-2.对映射到二维平面Px-Py上的法向量点做栅格划分，并以高斯加权的方式对二维平面Px-Py上的法向量点做直方图统计，得到Px-Py直方图； 2-3.对Px-Py直方图查找8-领域极大值，并将对应点Px-Py坐标做球极逆映射得到估计的平面法向量参数。 4.根据权利要求3所述的一种基于深度图像的实时平面检测及提取的方法，其特征在于步骤3具体实现如下： 3-1.将所有区块的空间坐标与估计的平面法向量作内积，即将区块的空间坐标向法向量方向上做投影； 3-2.对投影得到的区块分布做直方图统计，并查找极大值，即得到该法向量上各个平行平面与原点的距离。
基于深度的图像修复实验报告
————————————————————————————————作者：————————————————————————————————日期： 2
基于深度的图像修复 一.实验目的 1、学会单幅图像的修补 2、学会结合彩色图像和深度图像的图像修补 二.实验原理 1图像修补简介----单幅图像修补 图像中常有缺失或者损坏的部分，即空白区域或者有误的区域。图像修补就是根据这些区域周围的信息完成对空白区域的填充，以实现图像的恢复。 基本方法 图像修补的基本方法示例
示例方法2 选取空白点周围的一片区域，对区域内的参考点进行加权求和，其结果用于对空白点的修补。若所选窗口太小，即窗口中无参考点，则将窗口扩大。 2图像修补简介----利用深度图的图像修补 1图像的前景与背景
实际场景中存在前景与背景的区别，前景会遮挡背景，而且前景与背景往往差距比较大。 2深度图 用于表示3D空间中的点与成像平面距离的灰度图。0~255表示，灰度值越大，表示场景距离成像平面越近，反之，灰度值越小，表示场景距离成像平面越远。 前景的灰度值大，背景的灰度值小。 如下左彩色图，右深度图 3普通的图像修补区分不了图像的前景和背景，简单的加权求和填补空白点的方法会导致前景和背景的混杂。引入深度图之后，可以利用深度图区分图像的前景和背景，在对背景进行修补的时候，可以利用深度图滤除那些前景参考点的影响，从而使背景的空白点只由背景点加权求和得到，前景亦然。
三.实验步骤 1读入一个像素点，判断其是否为空白点。 2若不是空白点，则跳过该点，判断下一个点。 3若该点是空白点，则用前面所述的方法进行加权修补。 4对图像中的每一个点都进行如此处理，直至全图处理完毕，则图像修补完成。 四.实验要求 1独立编码完成实验单幅图像修补利用深度图的图像修补。 2 比较实验结果的差别，并分析原因，完成实验报告。 五.用MATLAB编写实验代码 对于单幅图像以及结合深度图像的修补，其实区别就是是否考虑了深度图像的灰度权重（其实就是0和1），虽然效果图区别很小，但是通过深度图还是可以反映出其立体三维空间的。为了能较好的对比，我把两种方法的比较融合在一条件语句中，在下面的深度图像代码中用红色字体标注。同时深度图像变量用绿色字体标注。
深度图像的平面分割算法 王恒1,赵亮 摘 要: 三维激光扫描系统使用深度图像来重建城市建筑模型，现有激光点云数据处理系统程序直接 进行海量点云数据建模较为困难。因为实际模型往往含有复杂表面几何特征,如果利用深度图像直接进 行拟合,则会造成建筑模型的数学表示和拟合算法处理的难度加大,甚至无法使用数学表达式描述三维 模型。 深度图像拟合或深度图像分割,是将具有相同几何特征的点云数据划分同一个区域并进行曲面拟合。深度图像分割主要有两种方法：一种是基于边缘分割的方法，另一种基于区域生长的方法。由于深度图像获取方式的特点，其点云数据往往不连续含有较多的噪声。使用基于边缘分割算法，仅当所处理点云数据具有连续性并且噪声点比较少的情况下，方能有效实现边界点分割。因此深度图像的分割方法也较多的集中在基于区域的分割方法。利用高斯曲率和平均曲率及方向将点附近的曲面类型分为8种,对数据点进行初步分类,从初步分类的点集中找一个合适的生长点,用二次多项式函数来进行区域生长,实现了深度图像数据的分块与曲面拟合。本文提出的算法利用了建筑物包含大量平面的特点，将分割问题具体到了平面分割，从而避免了低精度估计高斯曲率和复杂的二次曲面拟合，完成了一种高效简洁的算法用来识别深度图像的平面特征。该算法借鉴了数字图像处理方法首先平面拟合邻近n*n区域的点集，计算出邻域点集的协方差矩阵及其特征值和特征向量；如果绝对值最小特征值小于阈值，则可以认为该点的局部平面拟合成功；最小特征值对应的特征向量为局部法向量。接着从左到右沿扫描线遍历深度图像中的每个坐标点，按照聚类分析的原则对该点和其上方、右上方、右方的三个坐标点的法向量按照具有相同方向和同处一个平面的两个相似度准则进行比对，来获得两个局部平面是否同处一个平面。本文提出的算法将深度图像分割成为若干个集合，每个集合的任意点都同处一个平面。本文根据深度图像的数据特征给出了合理高效的数据结构和算法，并以图例说明深度图像平面分割算法的有效性。 关键词：点云数据；深度图像；平面分割
3.2 深度图像二值化 图像二值化是图像处理中的一项基本技术，也是很多图像处理技术的预处理过程。在颗粒分析、模式识别技术、光学字符识别(OCR)、医学数据可视化中的切片配准等应用中，图像二值化是它们进行数据预处理的重要技术。由于图像二值化过程将会损失原图像的许多有用信息，因此在进行二值化预处理过程中，能否保留原图的主要特征非常关键。在不同的应用中，图像二值化时阈值的选择是不同的。因此，自适应图像阈值的选取方法非常值得研究。研究者对图像二值化方法进行了讨论，在此基础上提出了一个新的图像二值化算法。该算法基于数学形态学理论，较好地保留了图像二值化时原图的边缘特征。本文主要研究二值化及灰度图像二值化方法。 3.2.1.灰度图像与二值图像 数字图像是将连续的模拟图像经过离散化处理后得到的计算机能够辨识的点阵 图像。在严格意义上讲，数字图像是经过等距离矩形网格采样，对幅度进行等间隔量化的二维函数。因此，数字图像实际上就是被量化的二维采样数组。一幅数字图像都是由若干个数据点组成的，每个数据点称为像素(pixel)。比如一幅 256×400，就是指该图像是由水平方向上256列像素和垂直方向上400行像素组成的矩形图。每一个像素具有自己的属性，如颜色(color)、灰度(grayscale)等，颜 色和灰度是决定一幅图像表现里的关键因素。数字图像又可分为彩色图像、灰度图像、二值图像。 3.2.1.1彩色图像 彩色图像是多光谱图像的一种特殊情况，对应于人类视觉的三基色即红（R）、绿（G）、蓝（B）三个波段，是对人眼的光谱量化性质的近似。彩色图像中的 每个像素的颜色有R、G、B三个分量决定，而每个分量有255种值可取，这样一个像素点可以有1600多万的颜色的变化范围。而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，一个像素点的变化范围为255种。图1-1为彩色图像。
基于深度图像技术的手势识别方法 曹雏清，李瑞峰，赵立军 (哈尔滨工业大学机器人技术与系统国家重点实验室，哈尔滨 150001) 摘 要：针对复杂环境下的手势识别问题，提出一种基于深度图像技术的手势识别方法。利用深度图像信息从复杂环境中提取手势区域，综合手势的表观特征，建立决策树实现手势的识别。对常见的9种手势在复杂背景条件下进行测试，实验结果表明，手势的平均识别率可达到98.4%，速度达到每秒25帧。 关键词：手势识别；深度图像；表观特征；复杂背景；决策树 Hand Posture Recognition Method Based on Depth Image Technoloy CAO Chu-qing, LI Rui-feng, ZHAO Li-jun (State Key Laboratory of Robotics and System, Harbin Institute of Technology, Harbin 150001, China) 【Abstract 】Aiming at the problem of hand posture recognition from complex backgrounds, this paper proposes a hand posture recognition method based on depth image technoloy. The hand posture region is extracted from complex background via depth image. Appearance features are integrated to build the decision tree for hand posture recognition. Nine common postures with complex background are tested. Experimental results demonstrate that recognition rate is 98.4% and speed rate achieves 25 frames per second. 【Key words 】hand posture recognition; depth image; appearance feature; complex background; decision tree DOI: 10.3969/j.issn.1000-3428.2012.08.006 计 算 机 工 程 Computer Engineering 第38卷 第 8期 V ol.38 No.8 2012年4月 April 2012 ·博士论文· 文章编号：1000—3428(2012)08—0016—03文献标识码：A 中图分类号：TP391 1 概述 随着机器人技术的发展，智能服务机器人开始逐步融入人类的生活，人机交互技术的发展是智能服务机器人研究的重要组成部分。人机交互的研究方向主要有表情、声音和手势识别技术。其中，手势是一种自然直观的人机交流模式，在信息表达上比表情更明确、信息量更丰富。 在人机交互中，基于视觉的手势识别是实现新一代人机交互的关键技术。基于视觉的手势识别通过图像信息，让机器人获取人的手势姿态信息，对不同的手势信息进行分类。近年来，学者们对基于视觉的手势识别进行研究，文献[1]提出特征空间匹配法，文献[2]采用提取同类手势的SIFT 特征方法进行手势识别，文献[3]提出手势图解析分类法，文献[4]针对复杂背景采用空间分布特征对手势进行识别。 复杂背景下手势识别的研究[4-5]一般使用肤色模型实现手势区域分割，虽然可以区分肤色和非肤色区域，但是实际应用中图像都包含有肢体和面部肤色区域，它们对手势区域提取有着较大的影响，同时光线也直接影响肤色模型。现有的文献中并没有考虑强光和弱光环境下的手势识别情况，在实际应用中往往伴随光线的变化问题，这些问题都直接影响了人机交互的实际效果。本文提出一种基于深度图像技术的手势识别方法，从深度图像信息中提取手势区域，运用几何方法提取手势表观特征并分类，从而实现复杂环境下基于手势的人机交互。 2 2.1 手势识别系统 基于深度图像信息的手势识别系统框架如图1所示。深度图像的采集采用非接触测量方式，获取的场景中深度信息不受物体自身的颜色、纹理特征以及背景环境光线强弱的影响。本文选用微软公司的Kinect 进行深度图像的采集，获取 深度信息值，转换到灰度值图像，经过手势区域分割、特征提取、手势识别，转换为手势信息，提供人机交互使用。 图1 面向人机交互的手势识别框架 2.2 手势区域分割 2.2.1 深度图像成像原理 深度图像技术在近年来逐步得到广泛的关注，Kinect 采集640×480像素的深度图像速度可以达到30 f/s ，深度的分辨率在5 mm 左右。本文把Kinect 采集到的场景深度值转换到灰度值空间，实际场景的RGB 图像如图2所示。在深度图像中像素点灰度值的大小对应于场景中点的不同深度值，如图3所示，图像中的灰度值越大，表明该区域距离深度摄像头的距离越近。 图2 场景RGB 图像 图3 深度图像 基金项目：国家自然科学基金资助项目(61075081)；机器人技术与 系统国家重点实验室课题基金资助项目(SKLRS200802A02) 作者简介：曹雏清(1982－)，男，博士研究生，主研方向：模式识 别，人机交互；李瑞峰，教授、博士生导师；赵立军，讲师 收稿日期：2011-07-11 E-mail ：caochuqing@https://www.doczj.com/doc/542256658.html,
利用臭氧深度处理污水并进行尾气回收利用的技术实例 金 敦 （上海市政工程设计研究总院（集团）有限公司，上海 ２０００９２） 摘要 臭氧工艺在污水处理行业是一种先进、高效的处理方法，在市政污水处理中，可利用臭氧的强氧化性，脱色、去除ＣＯＤ、消毒等。受制于处理成本的因素，臭氧工艺在市政污水处理行业使用不多。如果将臭氧工艺产生的尾气予以回收利用，则可以降低臭氧工艺的处理成本，提升该工艺的竞争力。通过对即墨市污水处理厂臭氧尾气回收利用设计实例的介绍，分析了臭氧尾气回收利用技术适用情况与应用前景。 关键词 污水处理厂 臭氧 尾气回收利用 收集 增压 输送 控制 ０ 前言 在污水处理行业中，臭氧工艺因其处理成本较高，仅在小规模工业废水处理中有所应用，而市政污水处理应用较少。 随着城市经济发展，进入市政污水处理厂的污水组成也日趋复杂，纯粹以处理生活污水为主的污水处理厂少之又少，大部分污水处理厂还需纳入部分工业废水一并处理，如果纳入的工业废水中含有印染、医药、化工等难降解的废水，采用常规的处理手段难以处理；与此同时，国家对水域生态环境保护也日益重视，各地污水处理厂尾水水质标准日益提高，目前，排入主要流域的尾水水质基本都要求达到《城镇污水处理厂污染物排放标准》（ＧＢ １８９１８—２００２）中的一级Ａ标准，对尾水ＣＯＤ、色度、粪大肠菌群的达标排放都提出了更高的要求。在这样的背景下，臭氧工艺在市政污水处理的应用也将逐步增多。 在市政污水处理中，可利用臭氧的强氧化性，在深度处理阶段进行脱色、去除ＣＯＤ（尤其是可溶性不可降解ＣＯＤ，亦称ｎｂｓＣＯＤ）、消毒等。大多数情况下，臭氧工艺产生的尾气———氧气都白白排出，按臭氧浓度１０ｗｔ％计，用于制备臭氧的９０％氧气最终将浪费。运行成本是臭氧工艺在污水处理中应用的一个瓶颈，如果能对这部分尾气予以利用，将极大降低臭氧工艺的处理成本，充分发挥臭氧工艺在市政污水处理行业的作用，提升该工艺的竞争力。 本文结合青岛即墨市污水处理厂扩建升级工程的实例，介绍了污水处理厂臭氧尾气回收利用的技术。在即墨市污水处理厂扩建升级工程中，臭氧氧化后产生的尾气———氧气，予以回收利用，用于生物反应池的供氧，即发挥了臭氧氧化工艺的效用，又降低了臭氧氧化工艺的处理成本，为臭氧尾气回收利用的应用提供了参考和借鉴。 １ 工程概况 即墨市污水处理厂一、二期工程处理规模为１２万ｍ３／ｄ，采用Ａ２／Ｃ氧化沟工艺，经生物处理、加氯消毒后排放，设计出水水质执行《城镇污水处理厂污染物排放标准》（ＧＢ １８９１８—２００２）中的二级标准。随着当地污水量的增长及当地环保部门对流域水环境保护的要求，需对污水处理厂实施扩建升级工程。扩建规模３万ｍ３／ｄ，扩建后污水处理厂处理规模达到１５万ｍ３／ｄ，出水水质执行《城镇污水处理厂污染物排放标准》（ＧＢ １８９１８—２００２）中的一级Ａ标准。 即墨市污水处理厂进水成分非常复杂，近５０％的污水为工业废水，且印染废水的比重较大，进水色度较高（达到２００～３００倍），透光率低，即墨市污水处理厂一、二期工程采用二氧化氯的消毒工艺，对脱色效果不明显，感观较差，出水色度指标较高。为解决脱色问题，污水处理厂也尝试使用了多种脱色剂，但由于污水处理厂进水成分复杂，单一的脱色剂并不能有效的去除各类成分的发色基团，虽然脱色剂投加后对尾水脱色有一定效果，但是效果并不明显。因此，出水标准提高后，采用常规处理手段，色度很难稳定达标。除了色度问题以外，大量的工业废 水
基于深度学习的图像识别 摘要：本文讨论了两种实现图像识别的深度学习(Deep Learning,DL)方法：卷积神经网络（Convolution Neural Network,CNN)与深度信念网络(Deep Belief Network,DBN)。 关键词：深度学习，卷积神经网络，深度信念网络 1前言 在计算机图像处理中，最困难但又最让人兴奋的任务就是让机器可以实现图像分类，从而通过图像识别物体的种类。 这项任务很难实现。在数据库中的图像总是在不同状态下记录的。这意味这光线与角度的多变性。 而可运用的计算能力的限制是一大障碍。我们不可能像让人类识别图像一样让机器识别图像。计算能力的限制导致可供训练与测试的数据有限，而模型的复杂程度也受到限制。 但是，目前这种情况得到极大的改善。综合多CPU/综合多GPU系统（multi-CPU/multi-GPU systems)使得运行高速神经网络成为现实，而费用也可以负担得起。人们对深度学习模型在图像识别与机器学习中的应用兴趣渐浓，而与之对抗的传统模型日渐式微。目前最具意义的研究方向就是运用深度学习模型，处理综合数据库中的图像识别问题。 本文主要关注深度神经网络（DNN）在图像识别在的作用。 深度神经系统主要有多层特征提取单元组成。低层特征提取单元提取了简单特征，之后依照该单元的规模进行学习，并按该单元的权重或参照物将特征反馈给高层特征提取单元。而高层特征提取单元可以提取更复杂的特征。 目前有一些实现深层学习网络的方法。深度信念网络（DBN）一个多层生成模型，而每一层都是一个统计编码器（statistical encoder)。这些统计编码器都是基于附属于它的更低层的结点（unit）。而这种训练主要关注训练数据中的最大化概率。 DBN在众多领域都有成功运用，如手写数据识别与人类手势识别。 另一个深度学习模型是卷积神经网络（CNN），与相似层次尺寸的标准化前向反馈网络不同，这个模型所需的连接与参照物比较少，使其训练也更简单。 层次深，规模大的DNN结构往往可以产生最好的结果。这意味这我们需要数量巨大的基础样本与种类丰富的训练样本，以确保面对状况多变的数据时，我们的训练数据仍代表性。 2 模型介绍 人类的视觉系统可以在多种情况下高效识别物体，而对计算机算法，这个任务并不简单。 深度神经网络便是模拟哺乳动物视觉网络。这已被验证为这项任务的最佳实现方案。目前,有人已运用这种模型，设计出识别准确性可能高于人类的机器图像识别系统。 2.1 卷积神经网络（CNN） 卷积神经网络系统（CNNs）是专注处理图案识别的多层网络系统。它是多层感知器（Multi-Layer Percentrons，MLPs）的变体，灵感来自于生物系统。 CNNs是分层型（hierarchical）神经网络。通过运用卷积计算（convolution）将集成层（pooling layers）交织起来，CNNs可以实现特征信息的自动提取，形成可完成最终分类的一系列全连接的网络层次。 卷积神经网络 结构：输入，卷积，深层取样（sub-sampling)/总集成与分类层（max-pooling and classification layers) 2.1.1 卷积层（Convolution layer） 卷积成通常可由特征图（feature map）的数目，核（kernel）的大小(sizes)，与先前层的联系来展现。 每一层都包含了相同维度的特征图M，如 ) , ( y x M M；这些特征图可以通过先前层的一系列卷积运算得到。而在这些运算中，它们之间有相互关
龙源期刊网 https://www.doczj.com/doc/542256658.html, 基于深度图像技术的手势识别方法 作者：付学娜 来源：《电子技术与软件工程》2015年第04期 所谓手势是指人手或手臂同人手结合而产生的动作或姿势，作为人机交互的一项重要技术，手势识别通过在人手安置相关的硬件设备，并通过硬件设备中的计算模块对人手的位置和速度等信息进行获取，对于识别过程中的定位和跟踪均都具有良好的指导和保障作用。本文通过对手势识别系统与深度图像的成像原理进行阐述，进而结合手势区域分割的相关理论，对基于深度图像技术的手势识别方法展开了深入研究。 【关键词】深度图像技术手势识别圆形轨迹像素值变化点 随着科技的不断发展，基于视觉的手势识别已成为新一代人机交互中的核心技术。在借助相关图像信息的基础上，计算机可以对人手的各种姿态信息以及不同的手势信息尽心准确识别，有效提高了识别的速度与质量。本文以基于深度图像技术的手势识别作为研究对象，通过对手势识别系统及深度图像成像原理进行分析，从手势区域分割以及手势特征提取两方面出发，对深度图像技术下手势识别的方法做出了详细分析。 1 手势识别系统与深度图像成像原理 基于深度图像技术的手势识别系统主要包括了手势、深度图像、手势区域分割、手势特征提取以及手势识别和人机交互等，深度图像以非接触测量的方式对场景中的深度信息进行采集，而所采集的深度信息具有较强的稳定性和可靠性，即不受物体（人手）自身颜色、背景环境和纹理特征等因素的影响。本文以微软的Kinect作为图像采集和获取深度信息的工具，进而对手势识别展开分析。 基于Kinect下的深度图像技术下所采集的640×480深度图像信息的速度可达30f/s，且信息的分辨率维持在5mm左右，在应用方面具有较强的合理性。通过在相关场景采集的场景深度值进行转换，使其转移到灰度值空间，并使深度图像中所有的像素点灰度值大小与实际场景中不同的深度值相对应，进而显示成像。值得注意的是品拍摄区域与深度摄像头之间的距离与图像中的灰度值呈现出明显的负相关关系，即灰度值越大，距离越近。 2 基于深度图像技术的手势识别 2.1 手势区域分割 虽然具有相同深度的像素点，其在深度图像中所具有的灰度值也具有较高的一致性，但由于在每次对人手手势进行拍摄时，人手同深度摄像头间的距离存在差异。因此，无法利用单一的固定阈值对手势区域进行分割，故本文以灰度值直方图作为主要研究方法，进而确定出相关背景及手势区域分割的阈值。由于人手做出相关姿势的区域距离深度摄像头较近，且相对于整
基于图像的绘制技术综述 摘要： 基于图像的绘制技术（Image-based Rendering，IBR）近年来引起广泛的关注，目前的基于图像的绘制技术（IBR）可以根据他们依赖场景几何信息的程度分为三类：无几何信息的IBR 绘制、部分几何信息的IBR 绘制和全部几何信息的IBR 绘制。通过对三类技术特征及其数学描述的讨论，从中得出结论：在IBR 技术中图像和几何信息的双重应用表明IBR 和传统的基于三维几何的图形学可以统一成一个有机整体。 1 引言 由于基于图像的绘制技术（Image-Based Rendering）在从电影特效（The"Matrix"）到大场景虚拟漫游、远程现实等方面的广泛应用，其发展非常迅速，相继出现了一系列高效的技术方法。和传统的基于模型的绘制相比，基于图像的绘制有如下的优点：图形绘制独立于场景复杂性，仅与所要生成画面的分辨率有关；预先存储的图像(或环境映照) 既可以是计算机合成的，也可以是实际拍摄的画面，两者也可以混合使用；算法对计算资源的要求不高，可以在普通工作站和个人计算机上实现复杂场景的实时显示。 本文把IBR 技术分成无几何信息的绘制、基于部分几何信息的绘制和基于完全几何信息的绘制三类[1]。由于各种绘制技术和方法是相互关联的统一体，而不是完全彼此脱离的，所以分类界限并不是十分的严格，如图1 示。从近几年研究的侧重点和成果显示来看，目前越来越多的研究集中于图像和几何信息之间相结合的方法，这样能使绘制效果更加完美逼真。 2 无几何信息的IBR 绘制 无几何信息的IBR 绘制方法都是基于全光函数及其变形的。早期的全光函数(PlenOptic Function)是由Adelson 和Bergen 命名的，简单的讲它描述了构成场景的所有可能的环境映照（Environment map）。若记录光线的照相机的位置为(Vx,Vy,Vz)，光线的方向为(θ,Ф)，光波波长为λ，光强随时间t 变化，则全光函数可以表示为： P7=P(Vx,Vy,Vz,θ,Ф,λ,t) 在上式中，场景内的所有光线构成了一个全光函数。基于此，IBR 技术可以归结为以离散的样本图。 像重构连续的全光函数的过程，即采样、重建和重采样过程。表1 给出了在各种对视域假定和限制情况下7D 的全光函数被简化为从6D 到2D的各种形式，以及一些文中提到的有代表性表示方法。 2.1 全光模型（PlenOptic Modeling） McMillian 和Bishop 在文献[7]中对全光函数做了简化，假设场景的光波不变，且场景不随时间发生变化，则可以忽略场景的波长λ和时间参数t，全光函数从而简化为5 维函数，即： P5=P(Vx,Vy,Vz,θ,Ф) 这是一个柱面全景图的集合，这种表示在所有五维上都存在大量的冗余，而且方法中没有解决立体对应的问题。有关5D 全光函数其他的应用实例可见文献[2]
图像深度与颜色类型 2011-09-07 17:06:44| 分类：图像处理| 标签：|举报|字号大中小订阅四．图像深度与颜色类型< XMLNAMESPACE PREFIX ="O" /> 图像深度是指位图中记录每个像素点所占的位数，它决定了彩色图像中可出现的最多颜色数，或者灰度图像中的最大灰度等级数。图像的颜色需用三维空间来表示，如RGB颜色空间，而颜色的空间表示法又不是惟一的，所以每个像素点的图像深度的分配还与图像所用的颜色空间有关。以最常用的RGB颜色空间为例，图像深度与颜色的映射关系主要有真彩色、伪彩色和直接色。 （一）真彩色（true-color）：真彩色是指图像中的每个像素值都分成R、G、B三个基色分量，每个基色分量直接决定其基色的强度，这样产生的颜色称为真彩色。例如图像深度为24，用R：G：B＝8：8：8来表示颜色，则R、G、B各用8位来表示各自基色分量的强度，每个基色分量的强度等级为28＝256种。图像可容纳224＝16M 种颜色。这样得到的颜色可以反映原图的真实颜色，故称真彩色。 （二）伪彩色（pseudo-color）：伪彩色图像的每个像素值实际上是一个索引值或代码，该代码值作为颜色查找表（CLUT，Color Look-Up Table）中某一项的入口地址，根据该地址可查找出包含实际R、G、B的强度值。这种用查找映射的方法产生的颜色称为伪彩色。用这种方式产生的颜色本身是真的，不过它不一定反映原图的颜色。在VGA显示系统中，调色板就相当于颜色查找表。从16色标准VGA调色板的定义可以看出这种伪彩色的工作方式（表06-03-2）。调色板的代码对应RGB颜色的入口地址，颜色即调色板中RGB混合后对应的颜色。 表06-03-216色标准VGA调色板
Ｃｕ－丝光沸石／臭氧催化—坡缕石联用工艺降解染料污水的初步研究 中国非金属矿工业导刊.２００４年第５期 赵波１，尹琳１，卢保奇２，李真１，邹婷婷２，郑意春１ （１．南京大学地球科学系内生金属矿床成矿作用国家重点实验室，南京２１００９３； ２．上海大学材料科学与工程学院，上海２０１８００） ［摘要］对于生物难降解性有机染料，利用臭氧化加催化方法进行处理的效果较好。但由于臭氧能与许多有机物或官能团发生反应，生成有机小分子酸，使后处理的水体酸度大大增强，造成二次污染。本文主要针对这一问题将粘土矿物凹凸棒石和Ｃｕ－丝光沸石固体催化剂进行矿物复配。一方面提高臭氧化效果；另一方面调节臭氧化过程中的水体ｐＨ值。 Ｏ3/ＢＡＣ工艺应用于城市污水深度处理 中国给水排水2004Ｖｏｌ.20 蒋以元1,杨敏1,张昱1,邓荣森2,周军3,淳二4(1.中科院生态环境研究中心环境水质学国家重点实验室,北京100085;2.重庆大学城市建设与环境工程学院,重庆400045;3.北京城市排水集团有限责任公司,北京100061;4.三菱电机株式会社先端技术综合研究所,日本国) 摘要:为使再生水适合不同用途,对经过混凝沉淀和砂滤处理的再生水进行了臭氧—生物活性炭的深度处理。在臭氧消耗量和反应时间分别为5ｍｇ/Ｌ和10ｍｉｎ,ＢＡＣ空床停留时间(ＥＢＣＴ)为10ｍｉｎ的条件下,臭氧—生物活性炭工艺对ＣＯＤＭｎ、ＤＯＣ、ＵＶ254和色度平均去除率为32.4%、29.2%、48.6%和80.1%,出水ＣＯＤＭｎ、ＤＯＣ、ＵＶ254和色度的平均值分别为3.3ｍｇ/Ｌ、4.0ｍｇ/Ｌ、0.05ｃｍ-1和2.0倍;臭氧生物活性炭工艺出水ＳＤＩ<4,从而满足了反渗透系统的进水要求。
第8章基于图像的绘制 浙江大学CAD&CG国家重点实验室 秦学英 2004年9月
概述 基于图像的绘制，其优势在于计算的绘制量是与像素成正比，而不是与几何模型的顶点数相关。这样，对复杂场景会很有效 8.1 绘制谱 8.2 算法综述 8.3 布告板技术 8.4 透镜眩光和敷霜效果 8.5 粒子系统 8.6 深度精灵 8.7 层次图像缓存 8.8 全屏布告板技术 8.9 天空体 8.10 固定视点效果 8.11 图像处理 8.12 体绘制技术
绘制谱Rendering Spetrum Survey of IBR: 沈向洋 实时绘制的一个重要原则是，尽量多的预计算。比如辐射度。基于物体表示来说，基于图像的绘制，其基本思想是用图像来代替几帧画面中的物体
8.2 算法综述 精灵(Sprite) ：是一个带有透明度的、可在屏幕上任意移动的图像 精灵的连续画面生成的动画 精灵也可用于不同方式生成的billboard 甚至传统的二维应用也开始用三维的精灵于固定视域的游戏
图中，景物的深度排序在一个相当长的时间段中是保持的，因此，赋予每个子图以顺序，由后向前画，便可节省资源。即画家算法。 但是当视点改动或景物移动后，原来的长方形可能映射到一个四边形上，其变形可能越来越严重。这样就要求重新生成图像Sprite。何时映射合重新生成图像是IBR最困难的方面之一。另外，镜面高光和阴影增加了难度。 Talisman architexture [46,752] Sprite Layer
这些层组成的场景，由于texture mapping的便利性，映射和再生成这些层相对来说比绘制这些物体要简单得多。每个层可以独立地管理。具体讨论见[485] 穿插图像需要特别处理[724] 单纯的图像层(image layer)绘制依赖于快速、高画质图像映射、过滤以及合成 其实，IBR也可以与基于多边形绘制相结合 Quick Time VR Lumigraph/Light field rendering[282,490] SkyBoxing: 6个面的全景视图
基于深度学习的图像深度估计及其应用研究场景深度估计是计算机视觉领域的一项重要课题。利用图像的深度信息,可以重构场景的三维结构信息,对机器人自主导航、物体识别与抓取等任务具有重要意义。 传统的视觉深度估计方法多利用场景的多视信息,通过三角几何对应关系从二维图像中恢复场景深度,计算量大且复杂。近年,随着深度学习的发展,利用卷积神经网络重构场景深度成为研究者关注的热点方向。 卷积神经网络可以利用图像数据及其配套的基准深度数据预先训练学习,在测试阶段可以实现端到端的全分辨率图像深度估计。该方法不仅速度快,实现简单,而且可实现场景的尺度恢复,有益于机器人的空间任务执行。 在此背景下,本文在深入研究近年基于卷积神经网络的深度估计方法基础上,提出创新性的端到端深度学习网络,实验证明所提方法可进一步提升算法性能。本文首先提出了一种端到端的学习方案,用于从稀疏深度图和RGB图像中预测尺度化的稠密深度图。 该方案中,首先利用稀疏采样生成稀疏深度图,然后将彩色图像和稀疏深度图作为网络输入,输出全分辨率深度图像。在训练过程中,稀疏深度图作为深度估计网络的监督信号来恢复场景的真实尺度。 为了更精确的估计场景深度,本文引入“correlation”层,人工模拟标准匹配过程来融合稀疏深度信息和彩色图像信息,即使用颜色信息来帮助提高基于稀疏深度图的预测精度。最后,利用精细化模块以全分辨率输出场景深度图像。 在NYU-Depth-V2和KITTI数据集上的实验结果表明,与前沿算法相比,该模型能够以全分辨率恢复尺度化的场景深度,具有更优的性能。本文提出了并行构
建的深度估计网络和相机位姿估计网络。 相机位姿估计网络以单目视频序列为输入,输出六自由度的相机相对位姿。深度估计网络以单目目标视图为输入,生成稠密的场景深度。 最后基于相机模型,生成合成视图,并把它作为监督信号联合训练两个并行的估计网络。与此同时,稀疏采样生成的稀疏深度图作为深度估计网络的另一个监督信号,帮助恢复其全局尺度。 深度估计网络获得的尺度信息又通过合成视图与目标视图的光度误差耦合传递给位姿估计网络。在测试阶段,深度估计器和位姿估计器可以分别独立的使用。 在KITTI数据集上对本文算法进行了实验评估,所提算法在多个指标上优于前沿算法。
臭氧氧化法深度处理城市污水研究 【摘要】臭氧属于一种强氧化剂，其有较强的氧化能力，仅次于天然元素氟的氧化能力。我们利用臭氧进行污水处理，不仅可以除掉水的臭味和脱色的效果，还可以杀菌进行消毒并降酚和降解COD、BOD等有机物的功效。运用以臭氧氧化法进行城市污水的深度处理的试验，主要是通过调整不同的反应时间进行调控臭氧投加量。实验的结果表明了臭氧氧化法对去除城市污水中的各类细菌数量、总大肠菌的群数、TOC、UV254和色度等可以达到预期的处理效果。 【关键词】臭氧氧化法；深度处理；城市污水 就世界的水资源状况来说，我国是水资源短缺比较严重的国家，因此进行城市污水的回收利用可以适度的缓解水资源短缺所带来的困境。但是现实问题是我国的多数城市污水处理厂所处理的水还不能直接发挥作用，还需要进一步的做深度处理。臭氧在杀菌、消毒、除臭、脱色、氧化难降解有机物等方面的作用较为显著，在各种水处理中运用越来越广泛。采用臭氧氧化法深度处理城市污水是一种较好的污水处理措施，能达到回收和利用水的水质标准的要求。 1 城市污水处理现状及常用方法 1.1 污水处理现状 从上世纪70年代开始我国就开始对城市污水的净化问题进行研究。这可以说是污水处理的第一阶段，主要重视引进国外的先进技术和设备，并与国外进行各项的技术交流，开始探索适合我国国情工程和技术，这为以后的全面的发展城市污水处理奠定了一定基础。从上世纪80年代开始，我国的城市排水设施技术发展较快，多数城市对污水的处理达到了较高的层次。到1995年前后，我国城市排水系统的建设已经达到了较完备的层次，按实际的发挥的作用的面积计算，城市排水管网的建设普及率已经达到70%以上。到2000年以后，全国大面积的投入污水处理设施，加强了城市污水处理工程的建设，就2000年投资额达到了150亿元。现阶段的城市污水处理的处理设施多数已经废旧。但更新设备和更新技术方面需要的运行资金严重缺乏，污水处理的工艺技术开始有所改进，由过去仅仅注重去除有机物，到有效的除掉磷和脱氮功能。 1.2 常用的污水处理方法 常用的污水处理方法有活性污泥法、生物膜法和氧化法。城市生活污水的处理多数情况下运用活性污泥法，目前它是世界各国常用的的一种生物处理流程，不仅能够达到较好的水质的优点；而且有较强的处理能力。另外就是出水生物膜法，其在污水生物处理的发展和应用中过程中也占有一定的地位。生物膜法多是用于从废水中去除溶解性有机污染物，其主要的特点是微生物附着在介质“滤料”表面，形成生物膜，污水同生物膜接触后，溶解的有机污染物被微生物吸附转化为H2O、CO2、NH3和微生物细胞物质，最后达到净化污水的效果。 2 臭氧氧化法污水深度处理 2.1 臭氧氧化法污水深度处理特点 臭氧在水溶液中的强烈氧化作用，主要是由臭氧在水中分解的中间产物OH 基及HO2基引起的。很多有机物都容易与臭氧发生反应。臭氧对水溶性染料、蛋白质、氨基酸、有机氨及不饱和化合物、酚和芳香族衍生物以及杂环化合物、木质素、腐殖质等有机物有强烈的氧化降解作用；还有强烈的杀菌、消毒作用。 2.2 臭氧氧化法深度处理污水实验
臭氧在自来水厂深度处理工程中的应用(图) 信息来源：本站搜集更新时间：2006-12-12 16:49:14 （一）自来水厂深度处理工程介绍 水厂供水水源为大运河支流，全长约10km，河宽41m，最大水深2.72m，平均流速达0.025m/s，近年来受有机污染的程度逐年加大，水中的氨氮、色度、亚硝酸盐、耗氧量及铁、锰的含量偏高，原水浊度25～272.6NTU，色度6～40，铁0.23～2.80mg/L，氨氮0.5～5.0，CODMn3.28～8.90。按地面水环境质量标准（GB3838--2002）评价属Ⅳ～Ⅴ类，为微污染原水。 为了降低出厂水色度、氨氮及有机污染物的含量，水厂投入了大量资金及人力进行技改，增加生产及管理的技术含量，克服种种不利因素，基本保证了供水水质综合合格率达标，但随着在常规处理工艺中氯的大量投加，增加了出厂水中三氯甲烷等卤化烃和致癌变物质等的含量。水中的异味严重，色、嗅、味不能满足要求。 随着人们生活水平的提高，市民对饮用水质量的要求相应提高。国家已颁布新的《生活饮用水卫生规范》，因此针对日益恶化的原水水质，采用新颖的预处理工艺、臭氧活性炭深度处理工艺，是改善出厂水水质的必要手段。 水厂深度处理工程设计规模为15×104m3/d，结合原有8万吨常规处理，二期扩建7万吨包括常规处理，处理对象为微污染原水，主要水质指标是色度、耗氧量、氨氮及锰。 水厂目前设计供水能力8万立方米/日，远期规模达到15万立方米/日。水厂有常规处理2.5万立方米网格反应平流沉淀池两座，5万立方米四阀滤池1座，3万立方米网格反应平流沉淀池、四阀滤池各1座。深度处理工程，即在原有常规处理工艺基础上，增加预处理和臭氧活性炭深度处理工艺。现将该工程设计和建设特点介绍如下： 1 设计介绍 水厂深度处理工程建设规模为15万立方米/日，分两期建设。一期工程8万立方米/日，2002年7月正式动工，2003年5月投入运行。二期工程7万立方米深度处理包括常规处理，将在2003年8月正式动工。 通过技术经济比较，生物接触氧化工艺比较适合源水的水质特点，生物接触氧化池容易与水厂现有构筑物连接，且投资和运行费用较省。该工艺具有去除氨氮和有机物效果好、容积负荷高、耐冲击负荷、出水水质好且稳定、动力消耗相对较低等优点。同时此工艺在应用实践中，对停留时间曝气方式、填料品种、排泥和操作技术等工艺要素已有了大量的试验研究和较多的工程实例，取得了比较成熟的经验。因此，本工程采用生物接触氧化法作为预处理工艺。 原水经过生物预处理和常规处理后，水中有机污染物有了明显的去除。但由于水源水质较差，源水有机污染物含量较高，此时出水中有机物浓度还比符合《生活饮用水卫生规范》的要求，需后续补充深度处理工艺才能较大幅度去除。 饮用水深度处理的方法有高级氧化、活性炭吸附和膜法水处理工艺等，综合考虑经济和技术因素，在水厂中生产性运用较多的是臭氧--活性炭联用技术。本工程采用臭氧-活性炭法作为深度处理工艺。 臭氧-活性炭工艺主要涉及到臭氧的制造生产、投加及活性炭过滤等。臭氧的生产原料分为空气、纯氧和液氧三种，对三种臭
臭氧氧化设备深度处理技术及工艺效果 近年来，由于我国原油劣质化和原油资源全球化步伐加快，石化企业加工重质、劣质原油所占比例不断加大，从而导致企业高浓度有机废水的排放量不断增加：再加上为了提高市场竞争力，企业纷纷进行扩能改造，使废水产量不断加大：此外，国家即将提高外排废水的水质指标，这些都使废水处理装置的压力不断加大。虽然有少数企业对高浓度废水采用如臭氧氧化法等预处理工艺处理后再进人生化系统。 但生化处理后的炼油企业外排废水，出水水质不稳定，外排废水未达标的情况依然存在。这些不达标废水由于经过前期的生化处理，可生化性很差，所以处理起来比较困难。因为这些废水再采用生化法深度处理已无能为力，而臭氧氧化设备采活性炭吸附等深度处理技术成本又过高。膜分离技术由于投资昂贵和膜污染等实际问题，在应用上也存在一定难度。目前。多数企业只能通过混掺清水或其他中水来满足排放要求，造成水资源的巨大浪费。 臭氧氧化设备广泛用于去除水中的难生物降解有机物，能提高废水的BOD5和COD的比值，使其进一步生化处理成为可能。目前的高级氧化技术主要包括化学氧化法、电化学氧化法、湿式氧化法、超临界水氧化法和光催化氧化法等。 本研究探索采用臭氧氧化法处理可生化性很差的炼油废水的生化处理出水，考察了氧化反应的影响因素及氧化方法提高废水可生化性的能力。最后估算出氧化工艺的运行成本，为该类不达标炼油废水的进一步处理提供可以借鉴的思路。 (1)采用臭氧氧化法处理废水。在偏碱性的条件下降低废水COD的效果较好，同时废水COD的去除效果随臭氧浓度的增大而提高。 (2)采用臭氧氧化法处理废水，臭氧氧化设备能显著提高废水的可生化性。在碱性和臭氧浓度较高的条件下，对废水BOD 与COD的比值的提高效果较好。 (3) 过臭氧氧化设备后的废水。其中的难降解的芳烃类的含量也大大降低，废水中芳烃类物质的含量越少，废水的BOD 与COD的比值越高，可生化性越好。 (4)随着废水处理效果的提高，臭氧氧化设备的成本也随之增加，单纯采用臭氧氧化法来降低废水的COD从经济上并不合理，而通过臭氧氧化法适度处理，提高废水的可生化性后，再通过生化的方法降低废水的COD，经济上会更合理。