光场成像原理
- 格式:doc
- 大小:3.45 MB
- 文档页数:14
光场成像理论目录1. 光场概念 (1)1.1 七维全光函数 (1)1.2 全光函数的降维 (1)2. 光场采集设备的发展与典型结构 (2)2.1 多相机光场采集 (3)2.2 单相机光场采集 (6)3. 微透镜阵列的光场采集 (11)3.1 基于针孔阵列的光场采集 (11)3.2 基于微透镜阵列的光场采集 (13)1. 光场概念1.1 七维全光函数光场(Light field)的概念最早于1936年由A.Gershun 提出,用以描述光在三维空间中的辐射传输特性。
1991年,E.adelson 和J.Bergen 根据人眼对外部光线的视觉感知,提出全光函数(Plenoptic function),利用七维函数表征场景中物体表面发出(或反射)的光线。
在全光函数可以表示为:7(,,,,,,)P P x y z t θϕλ=其中,,,x y z —表征光纤中任意一点的三维坐标;,θϕ—表征光纤传输方向λ—表征光线波长t —表示时间此时,全光函数7(,,,,,,)P P x y z t θϕλ=表示了波长为λ的光线t 时刻经过三维空间中坐标为(,,)x y z 的点,且传播方向为(,)θϕ的一条光线。
与只包含位置信息的光场不同,全光函数的七维表示增加了光线的色彩信息及动态变化。
1.2 全光函数的降维根据全光函数7(,,,,,,)P P x y z t θϕλ=的意义,当光线在自由空间中传播时,其频率(即波长λ)不发生变化,对于静态场,此时全光函数可由七维降至五维,即5(,,,,)P P x y z θϕ=由于观察者往往受限于目标的成像范围,此时五维光场出现一位冗余,当给定光线在自由空间的辐射不发生变化,因此在限光器的空间范围内,五维光场可以表示为四维光场。
四维光场的参数化表征可有一下三种方式:1) 方向-点参数化表政法。
利用光线与平面的交点(,)x y 和光线方向(,)θϕ作为四维参数来描述光场中的光线。
光场成像原理————————————————————————————————作者:————————————————————————————————日期:ﻩ光场成像理论目录1. 光场概念 (3)1.1 七维全光函数 (3)1.2 全光函数的降维 (3)2. 光场采集设备的发展与典型结构 (4)2.1 多相机光场采集 (5)2.2 单相机光场采集 (8)3. 微透镜阵列的光场采集 (13)3.1 基于针孔阵列的光场采集 (13)3.2 基于微透镜阵列的光场采集 (15)1. 光场概念1.1 七维全光函数光场(Ligh t field)的概念最早于1936年由A.Gershun 提出,用以描述光在三维空间中的辐射传输特性。
1991年,E .adels on和J.Bergen 根据人眼对外部光线的视觉感知,提出全光函数(Ple no pti c functio n),利用七维函数表征场景中物体表面发出(或反射)的光线。
在全光函数可以表示为:7(,,,,,,)P P x y z t θϕλ=其中,,,x y z —表征光纤中任意一点的三维坐标;,θϕ—表征光纤传输方向λ—表征光线波长t —表示时间此时,全光函数7(,,,,,,)P P x y z t θϕλ=表示了波长为λ的光线t 时刻经过三维空间中坐标为(,,)x y z 的点,且传播方向为(,)θϕ的一条光线。
与只包含位置信息的光场不同,全光函数的七维表示增加了光线的色彩信息及动态变化。
1.2 全光函数的降维根据全光函数7(,,,,,,)P P x y z t θϕλ=的意义,当光线在自由空间中传播时,其频率(即波长λ)不发生变化,对于静态场,此时全光函数可由七维降至五维,即5(,,,,)P P x y z θϕ=由于观察者往往受限于目标的成像范围,此时五维光场出现一位冗余,当给定光线在自由空间的辐射不发生变化,因此在限光器的空间范围内,五维光场可以表示为四维光场。
南京理工大学课程考核论文课程名称:图像传感与测量论文题目:光场成像技术姓名:陈静学号: 314101002268 成绩:任课教师评语:签名:年月日光场成像技术一、引言光作为一种在分布在空间中的电磁场,具有振幅、相位、波长等多种属性,帮助人类感知物体的明暗、位置和色彩。
然而,传统的光学成像只能捕获到光辐射在二维平面上的投影强度,而丢失了其他维度的光学信息。
光场成像作为一种计算成像的方法,利用现代信息处理技术的优势,不仅克服了传统成像在原理上的某些局限性,同时也降低了成像能力对于物理器件性能的依赖性[1]。
光场成像指的是光场的采集以及将光场处理为图像的过程。
国外对光场成像技术的研究相对较早[2],早在1903年Ives便发明了运用真空成像技术的双目视差显示系统,它通过在主透镜的像面处放置针孔面阵列,从而使原像面处的光辐射按角度进行重分布后记录在光探测器上,避免了角度信息的丢失。
1908年,Lippman发明的集成照相术被后世广泛运用于三维全息成像,通过用微透镜阵列代替针孔面阵列,在底片上接收到有微小差别的一系列基元图像,消除了Ives 装置中的弥散斑。
Gershun在1936年提出光场的概念,将其定义为光辐射在空间各个位置向各个方向的传播。
他提出了到达空间不同点处的光辐射量连续变化,能够通过几何分析进而积分的方法来计算像面上每点的光辐射量的观点。
但由于计算量庞大的缺点和能够进行高次运算的计算机尚未出现的局限性,当时未能对其理论进行验证。
1948 年,Gabor利用2束相干光干涉记录下物体衍射未聚焦的波前,获得第一张全息图。
如果把这张全息图看作是包含方向和位置信息的光辐射函数,那么这其实也是一张特殊的光场图像,而非传统只记录强度信息的二维图像。
二十世纪六七十年代,Okoshi、Dudnikov、Dudley、Montebello等学者对IP技术进行了不断的改进,微透镜阵列在成像方面的作用也得以凸显。
随着计算机技术的不断发展和微透镜制作精度的提高,Adelson于1992年将光场理论成功运用到计算机视觉,并提出全光场理论。
光场相机原理应用领域1. 引言1.1 光场相机概述光场相机是一种利用光场技术拍摄图像的相机。
相比传统相机,光场相机能够捕捉场景中每个点的光线方向和强度信息,而不仅仅是颜色和亮度。
这种先进的成像技术为摄影师提供了更多的创作可能性,并在多个领域展现出了巨大的应用潜力。
光场相机能够通过在单个镜头上安装微透镜阵列来捕捉光线的方向和强度信息。
这些微透镜能够将光线分散成多个像素,从而实现对场景中每个点的光线信息进行采集。
通过将不同像素的信息综合起来,光场相机能够实现对焦点的调整、景深的增强以及三维重建等功能。
光场相机在摄影领域中的应用已经逐渐被认可。
摄影师可以利用光场相机拍摄出更加生动、逼真的图像,同时还可以在后期处理中实现更多的创作效果。
光场相机在医学影像学、虚拟现实技术和安防监控领域也有着广泛的应用。
光场相机的未来展望令人期待,它将持续推动影像技术的创新,为我们带来更加丰富多彩的视觉体验。
2. 正文2.1 光场相机工作原理光场相机是一种新型的摄影技术,它利用光场传感器来捕捉光线传播的完整信息,从而实现对焦距离和景深的后期调整。
光场相机的工作原理主要包括以下几个步骤:光线通过透镜进入相机,并在光场传感器上形成光场。
光场传感器是一种特殊的传感器,可以记录每个像素点上光线的入射方向和光强,这样就可以获得完整的光场信息。
接下来,软件对光场数据进行处理,可以根据需要对焦距离和景深进行后期调整,从而实现在后期编辑中模拟出不同的焦点和景深效果。
光场相机的工作原理虽然较为复杂,但其应用领域却十分广泛。
通过利用光场相机的特点,可以在摄影领域、医学影像学、虚拟现实技术和安防监控领域等方面实现更加灵活和精确的拍摄和监控效果。
在未来,随着光场相机技术的不断发展和成熟,相信其在各个领域的应用将会越来越广泛,并为我们带来更多的惊喜和便利。
2.2 光场相机应用于摄影领域光场相机在摄影领域的应用越来越受到人们的关注和喜爱。
光场相机通过捕捉光线的方向和强度,能够在拍摄时提供更多的焦深度信息,从而实现后期对焦的功能。
光场成像技术的研究与应用第一章介绍光学成像技术已经成为科学、医疗、工业等众多领域的基础工具。
近年来,随着计算机科学和数字信号处理技术的不断发展,出现了新兴的光场成像技术。
光场成像技术不仅可以记录物体的各个方向上的光学信息,还可以对物体进行数码焦处理和数码光学变焦。
本文将重点介绍光场成像技术的研究和应用。
第二章光场成像技术的基本原理光场成像技术的基本原理是在微观尺度下,物体这一区域内的每一点都能发射出大量的子光束。
通过记录和处理这些子光束的交叉信息,可以获得物体在三维空间内的光场信息。
光场图像的解密依赖于计算机处理能力和数字信号处理技术。
光场成像技术常用的方法主要包括物体波前捕获和背景光经过规定轨迹后在物体表面形成干涉条纹等。
第三章光场成像技术的应用3.1 医学影像在医学方面,光场成像技术可应用于动态全息术,用于捕捉和传输三维医学图像,如人体器官形态、运动、自发活动和药物传输等生理功能及其内部结构。
采用光场成像技术对疾病的研究有帮助,可提高疾病诊断和治疗效率,成为医学影像领域的一种有前景的方法。
3.2 工业制造在工业制造行业,光场成像技术可以用于检测和测量物体形状、表面和内部结构,以及质量的控制和改进,如半导体工艺、汽车制造、制药和航空航天等领域。
光场成像技术在工业制造中有广泛的应用,是提高生产效率和保证产品质量的重要手段。
3.3 虚拟现实光场成像技术可用于虚拟现实和增强现实技术,如计算机游戏、立体电影等,这些技术通过深度和距离信息感知用户的环境,可以产生增强现实感和超现实的体验。
光场成像技术的应用将为虚拟现实技术带来更丰富、更真实的视觉体验。
第四章光场成像技术的未来发展未来光场成像技术的发展有望在更广阔领域发挥重要作用,特别是随着虚拟现实技术和增强现实技术的发展,光场成像技术将成为这些领域的关键技术。
在医学领域,光场成像技术将有望更广泛地应用于生理学和病理学的研究。
在工业制造领域,光场成像技术将有望提高产品质量、加快设计和生产过程。
图像处理中的光场成像技术研究一、前言图像处理技术是计算机领域中的重要分支,具有广泛的应用前景。
在图像处理技术中,光场成像技术是一种重要且不断发展的技术。
本文旨在介绍光场成像技术的研究现状和发展趋势。
二、光场成像技术的定义及原理光场成像技术,又称全景成像技术,是一种从光场中获取所有入射光信息并重构成图像的技术。
其基本原理是通过捕获空间中光的各种属性,比如方向、颜色、强度和相位等,构建一个可视化光学映像,并在视觉平面上显示出来。
光场成像技术对光的传输过程和成像原理要求较高,需要使用特殊的光学系统和计算程序处理。
光场成像技术的成像原理基于光的波动性,如果有一种方法可以记录光在相机中进入的所有路径,则可以在计算机中对物体进行几何一致的成像。
研究者可以使用不同的装置进行记录,例如可旋转平面镜、井字形光阑、共焦成像系统或光学相移系统等。
在记录期间,每个像素都将记录一些票据,反映了相机中所有光的方向和位置信息。
然后,基于记录数据,计算机可以重建场景,并创建具有各种光学效果(像透视和焦散)的成品图像。
三、光场成像技术的应用光场成像技术在医学、游戏、计算机辅助设计(CAD)和虚拟现实(VR)等领域有着广泛的应用。
1、医学应用光场成像技术可以用于拍摄人的骨骼和其他组织的图像。
使用逆向光场成像技术,医生可以重建单个患者的散射光学模型,以获取更准确的医学图像信息。
2、游戏应用在游戏开发中,光场成像技术可以用于在游戏中创建更真实的光学效果。
例如,它可以用于创建更准确的阴影、环境光遮蔽等光学效果,并在游戏中实现更高效的渲染。
3、计算机辅助设计在3D计算机辅助制造中,光场成像技术可以用于捕捉和重建物体的三维表面。
这种技术已经得到了广泛的应用,例如制造透镜、汽车零部件、航空零部件等。
4、虚拟现实光场成像技术在虚拟现实(VR)和增强现实(AR)中也有着广泛的应用。
在虚拟现实中,它可以模拟真实场景,增强沉浸感。
在增强现实中,它可以显示虚拟物体并将其与现实场景融合在一起。
光场相机成像原理光场相机是一种新型的数字图像采集设备,它利用微透镜阵列和图像处理算法来实现对景深范围内的完整图像信息的采集和重构。
光场相机的成像原理相对传统相机来说更为复杂,下面将详细介绍其成像原理。
光场相机是根据薄透镜的成像原理设计而成的,它在传感器前面加入了一层微透镜阵列。
这个阵列由许多微型透镜组成,每个透镜上都有一个单独的像素。
当光通过透镜进入相机时,透镜上的每个像素都会记录下光线的方向和强度信息。
这种方式使得光场相机能够同时捕捉到不同方向和位置的光线信息。
由于传统相机只能记录光线通过透镜中心的信息,因此它只能获得到一种方向的光线信息,也就是只能获得到一组焦平面上的图像信息。
而光场相机则能够获得到全景深范围内相机前面的所有物体的完整信息。
在光线通过透镜进入传感器之前,会经过微透镜阵列的微透镜透镜,这些透镜会将光线分散到不同的像素上。
当光线通过透镜时,会根据入射光线的方向和强度被分配到不同的透镜上。
这样,每个像素上便记录下了该位置上的光线方向和强度信息。
通过微透镜阵列获得的光线方向和强度信息被传感器记录下来,经过AD转换后,得到了光场图像。
光场图像则存储了光线的方向和强度等信息,通过对这些信息的处理,便可以获取到景深范围内的完整图像信息。
对光场图像的处理一般包括两个主要步骤,分别是光线重构和景深调整。
光线重构是将光场传感器获取到的图像的不同像素上的光线方向和强度重新组合,形成完整图像。
景深调整则是通过改变焦距和孔径大小等参数来实现对焦平面的调整,从而获得不同景深范围内的图像。
光场相机还可以通过对光场图像进行后处理,如计算机视觉算法等,来实现更多的功能。
例如,可以通过后处理提取景深信息、实现3D重建、实现实时对焦和改变视角等。
总之,光场相机是一种基于微透镜阵列的成像设备,它通过记录光线的方向和强度信息,并经过适当处理,实现了对景深范围内的完整图像信息的采集和重构。
这种成像原理使得光场相机在摄影、计算机视觉和虚拟现实等领域具有广阔的应用前景。
光度立体成像原理Light-field imaging, also known as plenoptic imaging, is a technique that captures information about the light field emanating from a scene; that is, the intensity of light in a scene at every point. This technique allows for the reconstruction of both two-dimensional and three-dimensional images from the captured light field. The fundamental principle behind light-field imaging is to capture not only the intensity of light at each pixel in a two-dimensional image sensor, but also the direction of the rays of light. This additional directional information allows for a more comprehensive representation of the scene, enabling post-capture manipulation such as refocusing and depth estimation.光场成像,也称为光场成像,是一种捕捉来自场景的光场信息的技术;也就是说,场景中每个点的光强度。
这种技术允许从捕获的光场重建二维和三维图像。
光场成像的基本原理是捕捉不仅在二维图像传感器中每个像素的光强度,还有光线的方向。
光场相机原理
光场相机是一种利用光场技术进行成像的相机,它能够捕捉到更多的光线信息,从而实现更加灵活的后期处理和焦距调整。
光场相机的原理是基于对光线的角度、位置和颜色进行捕捉和记录,而不是传统相机只能捕捉到光线的位置和颜色。
接下来,我们将详细介绍光场相机的原理。
首先,光场相机通过微透镜阵列来捕捉光线的角度和位置信息。
在传统相机中,光线穿过透镜后会在焦平面上形成一个点,而光场相机的微透镜阵列能够将这个点扩散成一个小的图案,从而记录下了更多的光线信息。
这些微透镜能够捕捉到光线的入射角度和位置,使得光场相机能够在后期进行焦距调整和景深控制。
其次,光场相机利用计算机算法对捕捉到的光线信息进行处理和重建。
通过对
微透镜阵列捕捉到的光线信息进行处理,光场相机能够生成一张包含了更多深度信息的图像。
这意味着在后期处理中,我们可以对图像进行焦距调整、景深控制甚至是三维重建,从而实现更加灵活的后期处理。
最后,光场相机的原理还包括了对光线颜色的捕捉和记录。
传统相机只能捕捉
到光线的位置和强度,而光场相机能够记录下光线的颜色信息。
这意味着在后期处理中,我们可以更加精细地调整图像的色彩和色调,从而实现更加生动和真实的图像效果。
总的来说,光场相机的原理是基于微透镜阵列捕捉光线的角度、位置和颜色信息,通过计算机算法对这些信息进行处理和重建,从而实现更加灵活的后期处理和图像效果调整。
光场相机的出现,为摄影师和后期处理人员提供了更多的创作空间和可能性,也为图像的记录和呈现带来了全新的可能性。
三维光场成像技术是如何工作的?1. 光场成像技术的概念及原理- 光场成像技术是一种能够捕捉和重建光场的先进成像技术。
- 光场是指包含了物体对光的反射、折射和散射等所有信息的复杂光学信息。
- 光场成像技术通过记录入射场和物体场之间的相对位置信息,实现对整个光场的重建。
2. 主要技术步骤- 光场数据采集:使用特殊的光场相机或者光学传感器,采集光场信息。
- 光场重建:通过算法处理采集得到的光场数据,恢复出完整的光场信息。
- 光场显示:将重建得到的光场信息转化为人眼可视的图像或视频。
3. 数据采集过程- 光场相机:利用微透镜阵列收集和分解入射光束,生成多个透视图像。
- 光学传感器:使用光学方式记录入射光的方向、强度和相位等信息。
4. 光场重建算法- 基于点扫描:通过在不同位置扫描点源,重建出整个光场。
- 基于区域扫描:通过扫描光场区域的不同部分,重建出整个光场。
- 基于光学逆问题求解:利用数学模型推导和解决光场的重建问题。
- 机器学习算法:利用大量的训练样本,通过机器学习算法学习光场的重建规律。
5. 光场成像技术的应用领域- 虚拟现实和增强现实:用于创造逼真的虚拟环境或与现实环境融合的增强现实体验。
- 摄影和摄像:可以在后期进行焦点调整、景深控制和视角调整等操作。
- 医学图像学:用于医学影像的重建和分析,如微创手术导航和诊断等。
- 工业检测与无损检测:对复杂结构进行非接触式测量和检测。
总之,三维光场成像技术通过采集、重建和显示光场信息,实现了对复杂光学信息的全息式记录和再现。
它具有许多重要应用,可以为虚拟现实、摄影摄像、医学图像学和工业检测等领域提供更加精确、丰富和可操作的视觉信息。
随着技术的不断发展和创新,相信光场成像技术将会在更多领域发挥重要的作用。
太赫兹光场成像太赫兹光场成像光场成像获取光场的⽅式(⼀)微透镜阵列(⼆)相机阵列(三)掩膜太赫兹光场成像研究光场成像调研光场成像光场成像通过记录光辐射在传播过程中的四维位置和⽅向的信息,相⽐只记录⼆维的传统成像式多出2个⾃由度,因⽽在图像重建过程中,能够获得更加丰富的图像信息.通过数字重聚技术解决特殊场合图像的失焦、背景⽬标过多等问题;通过合成孔径技术实现“透视”监视;在与显微术融合后,还能得到多视⾓⼤景深显微图像,以及重建后的三维⽴体图.获取光场⽅式(⼀)微透镜阵列在普通成像系统的⼀次像⾯处插⼊⼀个微透镜阵列,每个微透镜元记录的光线对应相同位置不同视⾓的场景图像,从⽽得到⼀个四维光场。
典型产品有:Adelson光场相机,Ng⼿持光场相机,Levoy光场显微镜LFM,Fife光场“芯⽚”,Georgiev的PlenopticCamera,Adobe公司的光场相机(棱镜阵列)(⼆)相机阵列通过相机在空间的⼀定排布来同时抓取⼀系列视⾓略有差别的图像,从⽽重构出光场数据的⽅法。
典型的产品:斯坦福⼤学128相机阵列,Isaksen的单相机扫描系统,MIT的64相机阵列,卡耐基-梅陇⼤学的3D-ROOM(三)淹膜对相机的孔径做相应的处理,再重构出光场数据。
优点在于掩膜是⾮折射元件,从后期成像质量还是硬件⽅⾯⽐微透镜阵列容易实现。
三种获取光场⽅式详解微透镜阵列微透镜指微⼩透镜,通常其直径为10微⽶到1毫⽶数量级。
由这些微⼩透镜排列成的阵列称为微透镜阵列。
光场相机置⼀个微透镜阵列于主镜头和感光器之间,每个微透镜接收经主透镜进⼊的光线后,传送⾄感光器前,析出聚焦光线将光线信息转换,以数码⽅式记下。
相机内置软件操作,追踪每条光线在不同距离的影像上的落点,经数码重新对焦后,便能拍出完美照⽚。
并且,光场相机⼀反传统,降低镜头孔径⼤⼩和景深,⽤微透镜阵列控制额外的光线,这样可以展露每个影像的景深,然后将微⼩的次影像投射⾄感光器上,使得所有聚焦影像周围的模糊光圈变为清晰,在不⽤牺牲景深及影像清晰度的前提下,保持传统相机的⼤孔径的优势,及增加光度、减少拍摄时间。
光场成像理论目录1. 光场概念 (1)1.1 七维全光函数 (1)1.2 全光函数的降维 (1)2. 光场采集设备的发展与典型结构 (2)2.1 多相机光场采集 (3)2.2 单相机光场采集 (6)3. 微透镜阵列的光场采集 (11)3.1 基于针孔阵列的光场采集 (11)3.2 基于微透镜阵列的光场采集 (13)1. 光场概念1.1 七维全光函数光场(Light field)的概念最早于1936年由A.Gershun 提出,用以描述光在三维空间中的辐射传输特性。
1991年,E.adelson 和J.Bergen 根据人眼对外部光线的视觉感知,提出全光函数(Plenoptic function),利用七维函数表征场景中物体表面发出(或反射)的光线。
在全光函数可以表示为:7(,,,,,,)P P x y z t θϕλ=其中,,,x y z —表征光纤中任意一点的三维坐标;,θϕ—表征光纤传输方向λ—表征光线波长t —表示时间此时,全光函数7(,,,,,,)P P x y z t θϕλ=表示了波长为λ的光线t 时刻经过三维空间中坐标为(,,)x y z 的点,且传播方向为(,)θϕ的一条光线。
与只包含位置信息的光场不同,全光函数的七维表示增加了光线的色彩信息及动态变化。
1.2 全光函数的降维根据全光函数7(,,,,,,)P P x y z t θϕλ=的意义,当光线在自由空间中传播时,其频率(即波长λ)不发生变化,对于静态场,此时全光函数可由七维降至五维,即5(,,,,)P P x y z θϕ=由于观察者往往受限于目标的成像范围,此时五维光场出现一位冗余,当给定光线在自由空间的辐射不发生变化,因此在限光器的空间范围内,五维光场可以表示为四维光场。
四维光场的参数化表征可有一下三种方式:1) 方向-点参数化表政法。
利用光线与平面的交点(,)x y 和光线方向(,)θϕ作为四维参数来描述光场中的光线。
2) 球面光场参数表征法。
利用紧紧包围三维物体的球面上两点,可以表征球面封闭范围内任意一条光线的传播。
尽管该参数表征方式采样均匀,但无法表征与球面相切的光线。
3) 双平面参数化表征法。
双平面参数化表征法是采用光线与两个平行平面的焦点坐标来对光场中光线进行参数化表征。
其表达形式为(,,,)L s t u v ,其中(,)s t 和(,)u v 分表是光纤盒两平面的坐标交点。
由于实际中大部分成像系统都可以简化成两个相互平行的平面,如传统光学系统中的光瞳面和探测器像面,因此双平面参数化表征法具有较高的合理性和实用性。
图1.1 三种光场参数化模型2. 光场采集设备的发展与典型结构区别于传统成像方式,光场成像是一种计算成像技术,对捕获光场信息进行相应的数字处理才能得到相应的图像信息。
从目前光场相机的结构组成上区分,可分为多相机阵列和单相机改造两种方式。
多相机阵列采集光场信息是通过相机阵列对同一目标进行成像,因为每一个相机分别处于不同视角,因此对应光场的一个方向采样。
单相机改造结构是利用在单个相机中引入光学调制元件,改变成像结构进行如何光场的重新采集,实现将入射的四维光场重新分布在二维探测器平面。
2.1 多相机光场采集在多相机阵列出现之前,一般通机械移动装置实现相机多目标多视角图像采集。
其中典型结构包括M.Levoy所设计的移动机械臂和A.Isaksen等人设计的二维移动平台。
自1996年,美国斯坦福大学的Marc Levoy等人将相机固定到一个广场采集支架,如图2.1所示。
利用支架的二维平移和二维转动实现四个自由度的调整,仅为完成目标广场的完成采集。
在2000年,根据斯坦福实验室所设计的移动机械臂原理,A.Isaksen等人设计了类似的二维移动平台驱动相机进行光场采样,如图2.2所示,利用光场参数的变化实现不同的成像应用,包括改变景深及调节焦点。
当相机在平台上能够移动较大范围距离时,合成光场能够穿透遮挡物对其后目标进行图像的重构。
图2.1 斯坦福采集光场平台图2.2 二维移动平台和相机在2002年,J.C.Yang利用结构排列紧密的微透镜阵列代替摄像头阵列设计了一种结构紧促、成本低廉的光场采集设备,如图2.3所示。
设备通过8×11 个微透镜阵列对物体进行多角度成像实现光场采集,再利用一个平板扫描仪对透镜像平面完成一次扫描,即可将所有微透镜所成的像记录到计算机中。
图2.3 采集微透镜阵列和平板扫描仪的光场采集装置早期的多相机阵列还包括J.C.Yang等人设的8×11个摄像机阵列(如图 2.4),以及C.Zhang和T.Chen设计可独立调节姿态的多相机阵列(如图2.5)。
在后者的设中,每个相机都固定到一个移动机构单元中,可以各自在水平方向和两维转动方向进行调节。
图2.4 J.C.Yang等人设计的实时相机阵列图2.5 可独立调节姿态的相机阵列论是采用外部机械或是扫描仪,要完成光场的采集都需要一定的扫描周期,因此只能局限于对静态物体的拍摄,而采用多相机阵列可以弥补这一缺陷。
斯坦福大学的学者利用大型的相机阵列对光场进行捕捉与处理,对此进行全面的分析和研究。
围绕成像应用领域的不同,在2003 年B.Wilburn等人设计了几种不同的摄像机阵列,如图2.6.所示。
通过严格控制每个相机单元的时间同步以及位置的精度,从而能精确地对光场数据进行捕捉处理,获得高分辨率光场图像。
图2.6 斯坦福相机阵列2.2 单相机光场采集多相机阵列的规模和尺寸限制其使用场合,而实现单相机内的广场获取则更具实际意义。
1992年,E.Adelson和J.Wang设计了一种全光相机(Plenoptic camera),其结构原理如图2.7.a所示,系统由主镜头、微透镜阵列、成像探测器组成。
探测器与主镜头的光瞳关于微透镜共轭,主镜头出射的光线经过每个微透镜后投影到其对对应的若干像元上,这些像元共同组成一个“宏像素”(Macropixel)。
此时每个宏像素的坐标对应目标像点的几何位置,二宏像素中所覆盖的每个探测器像元则代表目标的不同视角信息。
在该系统的设计中,包含了一个光学扩散片和一个场景。
前者的作用类似于摄影相机中的额低通滤镜,相处高于透镜阵列采样频率的高频成分;而场景的引入可以将宏像素对齐到微透镜所在位置。
在如图2.7.b所示系统中,利用中继镜头将微透镜阵列焦面上的像转接到探测器,可以解决犹豫微透镜焦距非常小导致的探测器和微透镜阵列难以直接耦合的困难。
由于二次成像具有较严重的渐晕效应,因此在微透镜焦平面处加入一片毛玻璃进行匀光补偿。
图2.7 (a)全光相机设计结构;(b)采用终极镜头的全光相机2005年,R. Ng等人简化了全光相机的设计,在常规摄影相机的基础上制成手持式全光相机(光场相机),如图2.8所示。
等通探测器芯片立接安装在微透镜阵列的焦面上,减少了中继镜头所带来的额外尺寸以及渐晕效应。
由于宏像素的排列次序与相应微透镜单元的排列保持一致,两者并不需要严格的对齐,因此也可以去除场镜。
图2.9中,顶部两幅图片为手持式光场相机所拍摄的光场图像,宏观上来看与常规图像没有太大区别,但从放大后的图中可以明显看出,每个微透镜所对应的宏像素均覆盖了若干个探测器像元。
对二维光场图像中的像素进行重新排列,得到四维光场矩阵,将四维光场重新投影到新的像平而进行积分叠加,就可以获得不同像平而上的对焦图像。
这一对焦过程完全依靠数字计算来完成,而非传统的机械对焦方式,因此称之为“数字对焦”(Digital refocusing)。
图2.9底部三幅图片给出光场相机依次对焦到前、中、后三个、同深度位置的重构图像。
图2.9 上图为光场相机结构原理图;下图为光场相机外观图2.8光场图像与数字对焦T.Georgiev等人基于光场维度冗余性,减少光场方向维度的采样,即用较低的分辨率换取相对较高的空间分辨率。
在光场相机中,减少方向采样的直接方法就是减小微透镜单元的孔径和焦距,使单个宏像素所覆盖的像元数减少。
减小微透镜单元孔径和焦距的方法分别会引入制造和处理的两大问题。
为此,T.Georgiev等人对此展开相关研究,其中A.Lumsdaine和T.Georgiev提出的光场相机2.0,又称”聚焦光场相机”,其结构如图2.9所示。
探测器位于微透镜阵列之前某个有限距离处的虚拟无平面上。
若该虚拟物平面和探测器分别距离微透镜a和b,那么光场相机对光场的方向分辨率为/a b,空问分辨率为探测器分辨率的/b a倍。
通过调整参数a和b可以对光场方向采样和空问采样进行折衷调节。
图2.9 光场相机2.0结构针对处理的问题,T.Georgiev等设计了一种外置与常规相机镜头前端的微透镜阵列(或透镜-棱镜阵列),如图2.10所示。
每个子图像为光场的一个方向维度采样,而子图像内的像元表示光场的空间采样。
由于光场的方向采样数一般都远小于其空间采样数,因此采用这种排列方式能够减少子图像边缘像素的比例,因而提高了探测器像元的有效利用率。
图2.10 采用外置透镜-棱镜阵列的光场相机与此结构类似,由P.Green等人设计的多孔径相机,如图2.11所示。
多孔径相机将主镜头的孔径分割为四个同心环,目标经过每个环形子孔径所成的像,经过不同的反射光路重新分布到探测器像面。
与上述光场相机在光场方向维度的二维形采样方式不同,多孔径相机只对光场的方向维度沿径向进行一维采样,将其获得的多孔径图像直接相加即可合成为常规扣机在不同光圈下的图像。
环形孔径分割方式难以直接在折射型透镜上实现,因此需采用额外的反射和中继光路,增加了整个系统的尺寸重量和工程复杂度。
图2.11 基于环形分割的多孔径相机C.K.Liang 等人设计的一种可编程孔径相机(Programmable aperture camera),可通过多次曝光对主镜的子孔径进行采样,每次曝光只允许特定子孔径位置的光线成像到探测器。
可编程孔径相机所采集到的光场具有与探测器桕当的空问分辨率,但这同时是以牺牲噪光时间或图像信噪比为代价的,多次曙光成像所形成的庞大数据量也成为额外的负担。
A.Veeraraghavan等人还提出了另一种采用编码调制的方式获取光场的方法,即外差式光场相机(Heterodyne light field camera),如图2.12所示。
与空域对光场进行调制的光场相机不同,外差式光场相机实现的是四维光场在傅里叶频域中的调制。
在傅里叶域来看,某个深度位置所成的像就是四维光场沿相应角度θ的二维切片。
如果在这个深度平面放置一片具有特定透过率函数的编码掩膜,则光线经过掩膜滤光的过程在傅里叶域表现为光场频谱与透过率函数傅里叶变换的卷积。
将掩膜透过率函数设计为余弦函数,其傅里叶变换为脉冲函数,就可以实现光场频谱沿θ角度的复制和搬移。