光场相机解码-刘超俊

第37卷第4期2022年4月Vol.37No.4Apr.2022液晶与显示Chinese Journal of Liquid Crystals and Displays一种应用相机阵列实现图像遮挡物移除的方法杨墨轩，赵源萌*，朱凤霞，张宏飞，张存林（太赫兹光电子学教育部重点实验室，太赫兹波谱与成像北京市重点实验室，北京成像理论与技术高精尖创新中心，首都师范大学物理系，北京100048）摘要：针对光路中前景遮挡物影响感兴趣信息采集的问题，本文对应用相机阵列的遮挡物移除算法进行实验研究。

用阵列型光场相机采集四维光场数据，然后用数字重聚焦技术进行不同深度的重聚焦，突出目标物细节特征。

利用图像重构技术合成子图像阵列，选择最小误差阈值分割法标记遮挡物区域并复现原图像的细节特征。

实验结果证明了应用阵列型光场相机移除遮挡物的可行性，及其改善图像质量、复现遮挡区域图像、提高图像可读性、降低噪声影响的能力。

依据无参考的图像质量评价指标，本文算法在重构图像质量上SNR与PSNR分别提升了17.3%与77.6%。

关键词：光场采集；数字重聚焦；图像重构；遮挡物中图分类号：TP391；O436文献标识码：A doi：10.37188/CJLCD.2021-0255Method of the image de-occlusion by using focal plane cameraYANG Mo-xuan，ZHAO Yuan-meng*，ZHU Feng-xia，ZHANG Hong-fei，ZHANG Cun-lin （Key Laboratory of Terahertz Optoelectronics，Ministry of Education，Beijing Key Laboratory for Terahertz Spectroscopy and Imaging，Beijing Advanced Innovation Center for Imaging Theory and Technology，Department of Physics，Capital Normal University，Beijing100048，China）Abstract：In order to address the problem that the foreground occlusions in the light path affect the acquisi‐tion of information of interest，this paper explores the de-occlusion algorithm based on the application of the camera array through experiments.The array light field camera is used to collect4D light field data，af‐ter which the digital refocusing technology is employed to perform refocusing at different depths so as to highlight the detailed features of target objects.The experimental results support the feasibility of applying the array light field camera to remove occlusions，as well as its ability to enhance the quality of images，re‐produce the image of occluded areas，improve the readability of images，and mitigate the effects of noise. According to the no-reference image quality assessment，in terms of the quality of reconstructed images，the algorithm in this paper can improve the signal to noise ratio（SNR）and peak signal to noise ratio 文章编号：1007-2780（2022）04-0494-07收稿日期：2021-10-09；修订日期：2021-11-21.基金项目：国家自然科学基金（No.61875140）；首都师范大学分类发展-学位点建设与研究生教育立项及研究生高水平学术创新项目（No.008-2155089）；科技创新服务能力建设-基本科研业务（No.20530290044）Supported by National Natural Science Foundation of China（No.61875140）；Classified Development ofCapital Normal University-Construction of Academic Sites，Project Approval of Graduate Education andHigh-Level Academic Innovation Project of Graduate Students（No.008-2155089）；Scientific and Techno‐logical Innovation Service Capacity Building-Basic Scientific Research Services（No.20530290044）*通信联系人，E-mail：*********************.cn第4期杨墨轩，等：一种应用相机阵列实现图像遮挡物移除的方法（PSNR）by17.3%and77.6%，respectively.Key words：light field acquisition；digital refocusing；image reconstruction；occlusion1引言在计算机视觉领域中，目标物前出现遮挡与目标物出现混叠时都会对数据采集造成影响。

第49卷第11期Vol.49No.ll红外与激光工程Infrared and Laser Engineering2020年11月Nov. 2020光场相机在湍流下的清晰成像和点云计算张烜喆u’3,王彦3,王佳华3,侯再红杜少军3(1.中国科学院合肥物质科学研究院，安徽合肥230031;2.中国科学技术大学科学岛分院，安徽合肥230026;3.国防科技大学前沿交叉学科学院，湖南长沙410073)摘要：无变形镜条件下抵抗大气湍流影响获取几百米至几十公里外目标的清晰成像和点云数据具有重要意义。

光场相机是清晰成像和点云计算领域的有力工具，但是它在湍流条件下无法正常工作。

同时光场相机支术的主要研究方向集中在如何提高点云的精度和密度，暂无人将其应用于湍流清晰成 像。

基于相空间光学原理改进了光场相机的信息提取算法，在湍流条件下完成了清晰成像和点云计算。

这种算法使用四维密度函数来描述复眼结构，对原始数据的使用更加充分，能够提取物点完整的低阶相位信息，因而，可以抵抗湍流对局部子孔径的影响，稳健地获取目标点云，解算深度图并得到全聚焦清晰成像。

根据这一原理设计了光场相机系统，探测室内湍流池后方的目标以及室外湍流下500m处目标，均获得了 4 k以上个物点的准确低阶相位分布，给出了目标的三维点云图和清晰成像。

结果表明，该方法无需变形镜系统，也不需要先验信息，是一种稳定工作的解析算法。

关键词：去瑞流清晰成像；三维点云；光场相机；相空间光学中图分类号：0439 文献标志码：A DOI：10.3788/IRLA20200053Image clarification and point cloud calculation underturbulence by light field cameraZhang Xuanzhe1，2'3, Wang Yan3, Wang Jiahua3, Hou Zaihong1’2, Du Shaojun3(1.Hefei I n s t i t u t e s of Physical Science, Chinese Academy of Sciences, Hefei 230031, China;2.Science Island Branch, University of Science and Technology of China, Hefei 230026, China;3.College of Advanced I nterdisciplinary Studies, National University of Defense Technology, Changsha 410073, China)Abstract:It is of great significance to obtain clear imaging and point cloud data of targets from hundreds to dozens of kilometers away under atmospheric turbulence without deformable mirror.Light field cameras are powerful tools in the field of image clarification and point cloud calculation,but they don't work well in turbulent conditions.Meanwhile,the main research direction of light field camera technology focuses on how to improvethe precision and density of point cloud,and no one applies it to turbulence image clarification temporarily.Thisjob was finished by improving information extraction algorithm of light field camera based on phase space optics. This algorithm was more fully to use RAW data,because of adopting four dimensional density functions to describe the structure of compound eye,and therefore,it could resist the influence of turbulence on local sub-aperture images,acquire target point cloud steady,calculate the depth map and clarify turbulence-degraded image. Light field camera based on such method acquired more than 4 k accurate wavefront distribution,when it was used for detecting indoor target behind the turbulence pool and outdoor target500 m far from the camera,and3D收稿日期:2020-02-16;修订日期:2020-03-20作者简介:张烜喆（1981-)，男，助理研究员，博士生，主要从事光场相机和相空间光学方面的研究。

LYTRO相机光场图像深度估计算法及重建的研究孙福盛;韩燮;丁江华;刘涛【摘要】Light-field cameras have now become available in both consumer and industrial applications. It is an important research subject to reconstruct the object by using the light field camera. In the course of practical research, the spatial information of the Lytro camera and the angle information are reused in the same sensor, which leads to the low resolution of the image, and the reconstruction effect is not ideal. In order to solve this problem, this paper presents a method of sub-pixel image depth estimation, performing the sub-pixel shifts based on multi-label of sub-aperture images in the frequency domain, building the matching cost volume reference to center view image. Then the use of the guide filter suppresses noise while keeping the edge of the image well, and matching cost behavior of multi label is optimized, the accurate depth estimation results are obtained. Finally, the surface rendering and texture mapping of the target depth map are processed, and finer results are obtained. The experimental results show that the proposed algorithm can solve the problem of fuzzy reconstruction in the reconstruction of complex objects with good performance.%光场相机目前已广泛应用于消费领域和工业应用领域,利用光场相机对目标物进行深度重建成为了一项重要的研究课题.在实际研究过程中,Lytro相机空间信息与角度信息复用于同一传感器,导致图像分辨率较低,从而使得重建效果不甚理想.为解决这一问题,提出了一种亚像素精度的光场图像深度估计方法,在频率域对子孔径图像进行多标签下的亚像素偏移,以中心视角图像为参照,建立像素匹配代价行为;使用引导滤波抑制噪声的同时保持了图像边缘;对多标签下的匹配代价行为进行优化,得到精确的深度估计结果.对目标深度图进行表面渲染、纹理映射等重建处理,得到较为精细的重建结果.实验结果表明,该算法在对复杂度较高的物体进行重建时,解决了重建模糊等问题,有较好的表现.【期刊名称】《计算机工程与应用》【年(卷),期】2018(054)013【总页数】6页(P175-180)【关键词】亚像素精度;多标签;图像匹配;图像分割;深度估计;三维重建【作者】孙福盛;韩燮;丁江华;刘涛【作者单位】中北大学计算机与控制工程学院,太原 030051;中北大学计算机与控制工程学院,太原 030051;中北大学计算机与控制工程学院,太原 030051;中北大学计算机与控制工程学院,太原 030051【正文语种】中文【中图分类】TP391.411 引言图像的深度估计是计算机视觉研究中的一个基本问题，它在机器人学、目标跟踪、场景理解和三维重建中有着重要作用[1]。

Mars说光场（4）—光场显⽰沉浸感按：光场技术是⽬前最受追捧的下⼀代显⽰技术，⾕歌、Facebook、Magic Leap等国内外⼤公司都在⼤⼒布局。

然⽽⽬前国内对光场（Light Field）技术的中⽂介绍⼗分匮乏，曹煊博⼠《Mars说光场》系列⽂章旨在对光场技术及其应⽤的科普介绍。

曹煊博⼠系腾讯优图实验室⾼级研究员。

优图— 腾讯旗下顶级的机器学习研发团队，专注于图像处理、模式识别、深度学习。

在⼈脸识别、图像识别、医疗AI、OCR、哼唱识别、语⾳合成等领域都积累了领先的技术⽔平和完整解决⽅案。

《Mars说光场》系列⽂章⽬前已有5篇，包括：《Mars说光场（1）— 为何巨头纷纷布局光场技术》；《Mars说光场（2）— 光场与⼈眼⽴体成像机理》；《Mars说光场（3）— 光场采集》；《Mars说光场（4）— 光场显⽰》；《Mars说光场（5）— 光场在三维⼈脸建模中的应⽤》；沉浸感经授权发布。

重现⼀个真实的三维世界，实现类似于《阿凡达》电影所展⽰的全息显⽰，是⼈类长久以来的梦想。

如果能采集并投射出全光函数中7个维度的光线，将能使环境中所有⼈同时获得⾝临其境的全息视觉体验。

光场作为理想的3D显⽰技术与传统2D显⽰有着明显的区别：传统的2D显⽰器只能提供仿射、遮挡、光照阴影、纹理、先验知识五⽅⾯⼼理视觉信息。

光场显⽰除了能产⽣传统2D显⽰器的所有信息外，还能提供双⽬视差、移动视差、聚焦模糊三⽅⾯的⽣理视觉信息。

在光场显⽰技术发展过程中，出现了多种光场显⽰技术⽅案，引起⼴泛关注和研究的主要有五种技术：（1）体三维显⽰（Volumetric 3D Display）；（2）多视投影阵列（Multi-view Projector Array）；（3）集成成像（Integral Imaging）；（4）数字全息；（5）多层液晶张量显⽰。

关于三维显⽰的详细发展历史及其应⽤可以参见[1-11]。

图 1. 电影《阿凡达》中描绘的光场全息三维军事沙盘⼀体三维显⽰体三维显⽰技术[12,13]主要通过在空间中不同深度平⾯显⽰不同图像来实现。

光场技术：让用户拥有更自然的景深佚名【期刊名称】《发明与创新（综合科技）》【年(卷),期】2017(000)010【总页数】2页(P46-47)【正文语种】中文当你走过一扇窗，你会发现什么？也许是窗外色彩缤纷的景色，也许是徐徐吹来的凉风，但最重要的是，你在窗子的正面和左右角度看到的东西有很大差异。

那么，如果说你刚才经过的不是窗户，而是一台电视机呢？当然，眼下的电视机是无法达到这种体验的——因为它只是单纯的2D平面。

要让电视机真正实现“窗户”的感觉就要倚仗光场技术，而这也很有可能是未来VR（虚拟现实）/AR（增强现实）的显示技术。

“严格来说，国内VR领域的企业缺乏核心技术。

”谈及技术，叠境数字科技（上海）有限公司创始人、上海科技大学教授虞晶怡毫不留情地说。

目前，VR内容制作主要有两种主流方法：一是利用全景相机拍摄360度视频，即360度环拍技术；二是利用更加高端的软件建模技术，利用计算机工具打造更具沉浸感的VR游戏或视频。

但在虞晶怡看来，这些都不是VR内容制作最理想的方法。

大约20年前，出现了一种影响深远的虚拟现实技术叫Quick-Time VR。

这项技术很简单：拿手机拍一圈，把照片拼成一个360度的图片，现在手机上就能实现这个功能。

“现在市面上很多做虚拟现实的公司就是用的这样的技术！1996年的技术！”“360度环拍技术最大的问题就是无法实现动态视觉。

”虞晶怡解释，人眼重叠的区域特别大，在重叠区域里，由于左眼和右眼看到的东西一样，就会形成动态的视野，这就是人眼的3D识别。

然而，360度环拍技术无法实现这一功能。

早在1995年，苹果就发布了一款主要拍摄360度图片的QuickTime VR相机。

虞晶怡试图将QuickTime VR相机的技术运用到旅游上，并用360度环拍技术拍摄了拉斯维加斯赌场等地的全景照片，但最后却发现做出来的全景照片并不怎么吸引人。

虞晶怡认为这个问题直到今天依然存在。

同样，软件建模技术虽然更高端，但不够真实的缺点依然存在。

基于光场相机的深度面光场计算重构陈琦;徐熙平;姜肇国;尹鹏;王鹤程【期刊名称】《光学精密工程》【年(卷),期】2018(026)003【摘要】光场相机与传统相机不同,通过在主镜组和传感器间特定位置设置微透镜阵列,实现在采集物方光强的同时记录光线方向.为了重构物方光场,研究了基于光场相机的深度面计算重构算法,对该算法所采用的焦点堆栈、投影切片定理进行研究.首先,对四维光场定义及光场相机工作原理进行分析;建立了相机内部深度面重构模型,分析了投影切片定理在深度面获取的应用,并推导出不同深度面图像表达式;根据得到不同深度位置图像,研究了计算重构算法,搭建了含有微透镜阵列的微型单相机光场采集系统,采集原始光场,利用本文方法实现了物方光场的逆向重构.实验结果表明:利用本文重构算法,光场相机采集的物方光场可通过滤波计算方法逆向重构,通过重构光场数据可获得物方场景深度信息.本文深度面获取算法较其他算法节省30％以上的时间,各深度面图像峰值信噪比在25～30 dB之间,实现了高精度、稳定可靠的计算光场重构.【总页数】7页(P708-714)【作者】陈琦;徐熙平;姜肇国;尹鹏;王鹤程【作者单位】长春理工大学光电工程学院,吉林长春130022;长春理工大学光电工程学院,吉林长春130022;长春理工大学光电工程学院,吉林长春130022;长春理工大学光电工程学院,吉林长春130022;长春理工大学光电工程学院,吉林长春130022【正文语种】中文【中图分类】O438【相关文献】1.基于光场相机的深度图像获取技术研究 [J], 牛朦朦2.LYTRO相机光场图像深度估计算法及重建的研究 [J], 孙福盛;韩燮;丁江华;刘涛3.基于双光场相机的高分辨率光场三维PIV技术 [J], 梅迪;丁俊飞;施圣贤4.基于虚拟深度的聚焦型显微光场相机深度测量标定 [J], 钱天磊; 周骛; 马原驰; 刘慧芳; 蔡小舒5.基于相位重构的计算全息再现光场中噪声的消除方法 [J], 庞永杰;钱晓凡因版权原因，仅展示原文概要，查看原文内容请购买。