计算成像
1.为何要研究计算成像？
计算成像能够实现传统成像无法完成的任务，例如：去除运动模糊、超分辨率重建等。
2.用计算成像的方法怎样提高图像分辨率？
增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸（例如增加每单元面积的像素数量）。然而，随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。不受散粒噪声的影响而减少像素的尺寸有一个极限，对于0.35微米的CMOS处理器，像素的理想极限尺寸大约是40平方微米。当前的图像传感器技术大多能达到这个水平。
另外一个增加空间分辨率的方法是增加芯片的尺寸，从而增加图像的容量。因为很难提高大容量的耦合转换率，因此这种方法一般不认为是有效的。在许多高分辨率图像的商业应用领域，高精度光学和图像传感器的高价格也是一个必须考虑的重要因素。因此，有必要采用一种新的方法来增加空间分辨率，从而克服传感器和光学制造技术的限制。
（1）超分辨率重建
图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像，高分辨率图像意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。图像超分辨率技术分为超分辨率复原和超分辨率重建。超分辨率重构的基本过程为：先进行图像退化分析，然后进行图像的配准，最后根据配准的信息对图像进行重构。目前，图像超分辨率研究可分为3个主要范畴：基于插值、基于重建和基于学习的方法。具体方法有：规整化重建方法，均匀空间样本内插方法，迭代反投影方法(IBP)，集合理论重建方法(凸集投影POCS)，统计重建方法(最大后验概率MAP和最大似然估计ML)，混合ML/MAP/POCS方法，自适应滤波/维纳滤波/卡尔曼滤波方法，确定性重建方法基于学习和模式识别的方法。
超分辨率重建，即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像。超分辨率重建的核心思想就是用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率，实现时间分辨率向空间分辨率的转换。在基于超分辨率重建的空间分辨率增强技术中，其基本前提是通过同一场景可以获取多幅低分辨率细节图像。在超分辨率重建中，典型地认为低分辨率图像代表了同一场景的不同侧面，也就是说低分辨率图像是基于亚像素精度的平移亚采样。如果仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为高分辨率图像的复原提供新的信息。如果每幅低分辨率图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅低分辨率图像都会为高分辨率图像的复原提供一些不同的信息。为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。我们可以通过一台照相机的多次拍摄或者在不同地点的多台照相机获取多个场景，例如在轨道卫星一类可控制的图像应用中，这种场景运动是能够实现的；对于局部对象移动或者震荡一类的不可控制的图像应用也是同样能实现的。如果这些场景运动是已知的或者是在亚像素精度范围了可估计的，同时如果我们能够合成这些高分辨率图像，那么超分辨率重建图像复原是可以实现的。
通过对获得的低分辨率图像进行处理以后，一方面能够对成像光学系统的点扩展函数进行反卷积，去除光学系统的影响；另一方面能够获得显示图像的像元总数增加，同时也希望在处理过程中去除相应的成像系统的噪声等。通过这些处理以后，图像的分辨率得到了改善，但获得的并不一定是真实的高分辨率图像，而是对真实高分辨率图像的某种估计，因而通常称所获得的图像为超分辨率图像，相应处理过程为超分辨率图像重建。超分辨率涉及的两个问题：a)图像修复：改良光照不均匀、噪声较多的图像，但是不改变图像大小；b)图像插值改变图像大小，对单张图像进行插值并不属于超分辨率重建技术。图像插值，即增加单幅图像的尺寸。插值也分线性插值与非线性插值，其中线性插值最简单，容易实现。尽管这个领域已经被广泛地研究，即使一些基本的功能已经建立，从一幅近似的低分辨率图像放大图像的质量仍然是有限的，这是因为对单幅图像插值不能恢复在低分辨率采样过程中损失的高频部分，因此图像插值方法不能被认作是超分辨率重建技术。为了在这方面有更大的改进，下一步就需要应用基于同一场景的相关的额外数据，基于同一场景的不同的观察信息的融合就构成了基于场景的超分辨率重建复原。
基于学习的概念首次由Freeman提出，基本思想是先学习低分辨率图像与高分辨率图像之间的关系，利用这种关系来指导对图像进行超分辨率。马尔可夫网络建模低分辨率和高分辨率图像块间的关系，学习因降质丢失的高频分量，然后与插值得到的初始估计相加恢复出高分辨率图像。主要方法有：有效组织图像块数据库提高匹配效率，通过主要轮廓先验增强图像质量，基于流形学习的方法，利用多尺度张量投票理论来估计位置的高分辨率图像，融合不同尺寸的图像进行分辨率增强。
（2）双目视觉
双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的景深信息，就可以计算出物体与相机之间的实际距离，物体3维大小，两点之间实际距离。目前也有很多研究机构进行3维物体识别，来解决2D算法无法处理遮挡，姿态变化的问题，提高物体的识别率。双目视觉算法流程如下：
（3）双摄像头
华为P9 采用双摄像头设计，两个摄像头做不同的事情。两个摄像头中的一颗采用了索尼IMX 286 传感器，这个用于捕捉物体的RGB 颜色；而另外一颗采用了monochrome 黑白摄像头用于捕捉物体的黑白影像。通过黑白摄像头的大进光量捕捉到更清晰的物体细节；而通过IMX 286 的RGB 颜色摄像头去考虑颜色，就是配备一颗摄像头负责记录色彩，一颗黑白负责记录细节轮廓。当P9 拿到RGB 摄像头捕捉到的彩色信息的图片和黑白大进光量的monochrome 摄像头捕捉到的细节图片时，通过软件算法将两张图片合成。这样理论上我们会获得一张拍摄质量更好的照片，特别是在高亮以及暗处的细节表现上。
3.用计算成像的方法怎样扩大视场？
（1）微相机阵列拼接
结合微相机阵列的大视场成像系统主要利用球透镜成像的轴向对称性，结合微相机阵列与后期的计算成像技术，实现宽视场和高分辨率效果的成像结果。结合微相机阵列的大视场成像系统包括一个共心光学主透镜组和一系列小的光学元件组成的微相机阵列，共心光学主透镜组将观测视场成像于球面一次像面，微相机阵列在距一次像面一定位置处成球面分布，一次成像面经过微相机阵列折转后被分割成一系列子图像，相邻微相机阵列之间存在视场重叠，利用图像处理算法，将每一个微相机拍摄的小视场图像拼接为一幅宽视场图像，最终实现宽视场成像。
（2）复眼仿生
节肢动物的复眼一直是科学家感兴趣的研究对象。复眼有非常大的视角和景深，对运动物体的感应也十分灵敏。模拟复眼特性的仿生复眼照相机可实现视角和景深极大化，且不会产生轴外像差。人造同位复眼照相机由一组弹性微型透镜阵列和一组可变形的硅基光电感
应阵列组成，分别布置在弹性薄膜基底的两侧，其中每个微型透镜和光感元件构成一个“小眼”。这两个阵列都在平面上制造并组装起来，然后经由弹性变形转换成近乎完整的半球形状（160度），上面集成了180个小眼，与火蚁和树皮甲虫复眼中的小眼数相近。这一特性使新相机实现了视角和景深的极大化。可拉伸电子器件对于仿生复眼照相机的研制起到了关键作用。因为传统的脆性电子器件不能承受变形，无法像昆虫的复眼那样把光电感应阵列分布在一个半球形的表面上。仿生复眼照相机具有的所谓“同位”功能，是指弹性薄膜基底在液压调控下变形成任意曲率的球面时，微型透镜和光感元件都能保持高度对应性，从而确保复眼照相机不会发生轴外像差，即由于折射球面存在球面像差和像面弯曲，衍生出实际像与理想像的偏差。
（3）球面探测器
完全对称的共心光学系统各球面共心，没有与视场相关的像差，容易实现大视场，其像面为球面，如果采用曲面探测器则可以较好地匹配光学系统，但是基于目前曲面探测器的发展状况，实现球形像面的困难较多。
谷歌公司2016年01月27日申请公布的发明专利《曲面基板上的光电探测器阵列》提出将多个光电探测器定位在由光学系统限定的弯曲的焦曲面上的精确位置。为了实现该定位，光电探测器可以被安装在平坦配置的柔性基板上的期望位置处。安装有光电探测器的柔性基板可以被成形为与弯曲的焦曲面的形状基本上一致。该成形可以通过将柔性基板夹在至少两个夹紧件之间而实现。夹在所述至少两个夹紧件之间的弯曲的柔性基板可以被相对于光学系统定位，使得光电探测器位于弯曲的焦曲面上的期望三维位置处。
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910198845.9 (22)申请日 2019.03.15 (71)申请人 西安交通大学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 郑淮斌 王高 周宇 刘建彬 陈辉 徐卓 (74)专利代理机构 西安通大专利代理有限责任 公司 61200 代理人 徐文权 (51)Int.Cl. G01V 8/12(2006.01) (54)发明名称 基于低阶Hadamard基矢计算鬼成像的编码 系统及方法 (57)摘要 一种基于低阶Hadamard基矢计算鬼成像的 编码系统及方法，系统包括采用低阶Hadamard基 矢进行编码的光强编码器，光强编码器发出的 光，照射到待成像物体后被桶探测器接收，传输 给符合电路，与光强编码进行关联计算；光强编 码器的编码规则为将N阶Hadamard方阵中的-1置 零，并将第一行和第一列去除，得到N -1行和N -1 列的方阵，每一列或每一行即作为低阶Hadamard 基矢，其中N是2的幂；光强编码器采用镂空方式 划分0与1将编码规则制作成掩模版。本发明从原 理上提高了成像对比度，并运用快速Hadamard反 变换替代经典计算鬼成像中的计算机关联运算， 成像计算速度快， 分辨率高。权利要求书1页 说明书4页 附图2页CN 109946753 A 2019.06.28 C N 109946753 A
1.一种基于低阶Hadamard基矢计算鬼成像的编码系统，其特征在于：包括采用低阶Hadamard基矢进行编码的光强编码器(1)，所述光强编码器(1)发出的光，照射到待成像物体(2)后被桶探测器(3)接收，传输给符合电路(4)，与光强编码进行关联计算；所述光强编码器(1)的编码规则为将N阶Hadamard方阵中的-1置零，并将第一行和第一列去除，得到N -1行和N -1列的方阵，每一列或每一行即作为低阶Hadamard基矢，其中N是2的幂；所述的光强编码器(1)采用镂空方式划分0与1将编码规则制作成掩模版。 2.根据权利要求1所述基于低阶Hadamard基矢计算鬼成像的编码系统，其特征在于：所述的光强编码器(1)将低阶Hadamard基矢通过镂空方式划分0与1设计成圆形掩模版，并通过圆形掩模版的旋转来实现周期性快速变化的光强编码。 3.根据权利要求2所述基于低阶Hadamard基矢计算鬼成像的编码系统，其特征在于：所述的圆形掩模版能够替换为带型掩模版。 4.一种如权利要求1-3中任意一项所述基于低阶Hadamard基矢计算鬼成像的编码系统的成像方法，其特征在于，包括以下步骤： 1)光源发出的光经过光强编码器(1)，照射到待成像物体(2)被桶探测器(3)接收； 其中，光经过处于第i个低阶Hadamard基矢编码的光强编码器(1)后形成编码散斑光束， 其光强分布为桶探测器(3)探测到的总光强值为：在上式中，是待成像物体的像素矢量，I i 是桶探测器(3)在第i个编码散斑光束下探测到的总光强值； 2)桶探测器(3)测量得到的光强信号传输给符合电路(4)，得到成像结果； 所述的符合电路(4)把桶探测器(3)的输出信号进行快速Hadamard反变换，即实现了桶 探测器(3)的输出信号与对应的光强编码进行快速关联计算： 式中，N为光强编码器的编码周期，C H 为编码的自相关矩阵，G (2)为物体的鬼成像结果。 5.根据权利要求4所述的成像方法，其特征在于，Hadamard方阵的自相关矩阵C ij 为：将N阶Hadamard方阵中的-1置零，得到方阵M； 方阵M的自相关矩阵C Mij 为： 对于单个像素点的物体进行成像，低阶Hadamard获得的对比度为： 6.根据权利要求4所述的成像方法，其特征在于，所述的符合电路(4)采用快速Hadamard反变换时借助蝶形运算来实现计算复杂度为O(NlogN)的加减法。 权 利 要 求 书1/1页2CN 109946753 A
Invited Paper 3D computational ghost imaging Matthew P.Edgar a,Baoqing Sun a,Richard Bowman a,b,Stephen S.Welsh a and Miles J.Padgett a a SUPA,School of Physics and Astronomy,University of Glasgow,Glasgow,G128QQ. b Department of Physics,Cavendish Lab,University of Cambridge,Cambridge,CB30HE. ABSTRACT Computational ghost imaging is a technique that enables lensless single-pixel detectors to produce images.By illuminating a scene with a series of patterns from a digital light projector(DLP)and measuring the re?ected or transmitted intensity,it is possible to retrieve a two-dimensional(2D)image when using a suitable computer algorithm.An important feature of this approach is that although the light travels from the DLP and is measured by the detector,the images produced reveal that the detector behaves like a source of light and the DLP behaves like a camera.By placing multiple single-pixel detectors in di?erent locations it is possible to obtain multiple ghost images with di?erent shading pro?les,which together can be used to accurately calculate the three-dimensional(3D)surface geometry through a photometric stereo techniques.In this work we show that using four photodiodes and a850nm source of illumination,high quality3D images of a large toy soldier can be retrieved.The use of simpli?ed lensless detectors in3D imaging allows di?erent detector materials and architectures to be used whose sensitivity may extend beyond the visible spectrum,at wavelengths where existing camera based technology can become expensive or unsuitable. Keywords:3D imaging,structured illumination,infrared imaging,computational imaging,ghost imaging 1.INTRODUCTION Computational ghost imaging(GI)is an alternative technique to conventional imaging and removes the need for a spatially resolving detector.Instead,ghost imaging infers the scene by correlating the known spatial information of a changing incident light?eld with the re?ected(or transmitted)intensity. The principles of GI were originally demonstrated using spatially entangled photon pairs produced by sponta-neous parametric down-conversion,known as quantum GI.1,2The two photons propagate along di?erent paths: in the?rst path,the photon interacts with the object and if not absorbed is detected by a detector with no spatial resolution,in the second path the photon never interacts with the object,but its transverse position is measured by a scanning imaging system.It is by correlating the coincidence measurements over many photon pairs that enables an image of the object to be deduced. It was subsequently demonstrated that GI could be performed not only using an entangled light source but also with thermal light,a technique commonly termed classical GI.3–5In classical GI a copy of the light?eld is usually made with a beam splitter,one copy of the light?eld interacts with the object and a non spatially resolving detector and the other copy is recorded with a camera.Correlations between the two detectors again yield an image,albeit one with a higher background than in the quantum case.6The earlier controversy over the distinction between classical and quantum GI is now largely resolved.7 Classical GI systems can be simpli?ed by introducing a device capable of generating computer programmable light?elds,which negates the requirement for the beam splitter and the camera since knowledge of the light ?eld is held in the computer memory.This type of system,termed computational GI,8,9has previously been performed using a programmable spatial light modulator(SLM)and a laser,but can also be achieved using a presentation-type programmable light projector.10,11We note that in this form computational GI is related to Further author information:(Send correspondence to M.P.E.or M.J.P.) M.P.E.:E-mail:matthew.edgar@https://www.doczj.com/doc/b75665720.html,,Telephone:+44(0)1413306432 M.J.P.:E-mail:miles.padgett@https://www.doczj.com/doc/b75665720.html,,Telephone:+44(0)1413305389 Emerging Technologies in Security and Defence; and Quantum Security II; and Unmanned Sensor Systems X, edited by K. L. Lewis, R. C. Hollins, T. J. Merlet, M. T. Gruneisen, M. Dusek, J. G. Rarity, E. M. Carapezza, Proc. of SPIE Vol. 8899, 889902 · ? 2013 SPIE · CCC code: 0277-786X/13/$18 · doi: 10.1117/12.2032739
光学成像原理 光学成像原理简介 一个成像系统主要包含以下几个要素： ·视场：能够在显示器上看到的物体上的部分 ·分辨率：能够最小分辨的物体上两点间的距离 ·景深：成像系统能够保持聚焦清晰的最近和最远的距离之差 ·工作距离：观察物体时，镜头最后一面透镜顶点到被观察物体的距离 ·畸变：由镜头所引起的光学误差，使得像面上各点的放大倍数不同，导致变形 ·视差：是由传统镜头引起的，在最佳聚焦点外物体上各点的变化，远心镜头可以解决此难题。 ·图像传感器尺寸：图像传感器（一般是CCD 或CMOS ）有效的工作区域，一般指的是水平尺寸。对所希望的视场来说，这个参数对决定预先放大倍数（PMAG ）是很重要的。多数图像传感器的长度与宽度之比是4:3 ，如下图所示。
·预放大倍数：是指视场与图像传感器尺寸的比值，这个过程是由镜头来完成的 ·系统放大倍数：是指显示器上的图像与实际物体大小的比值，也就是整个系统的放大倍数。它也可以写成预放大倍数与电子放大倍数的乘积，而电子放大倍数则是显示器尺寸与图像传感器尺寸的比值。 ·分辨率：分辨率的大小表征了对物体上细节的辨别能力，下图简单的说明了物体上的两个方块区域成像到CMOS/CCD相机上。可以看出，因为图像传感器上像素间的距离已经确定，如果想要区分物体上很近的两点，它们之间必须隔开一定的距离。 与分辨率相关的术语有以下几个： ·每毫米对线（lp/mm）：如上图所示，一对线是指一个红色的区域和一个空白的区 域。分辨率就是用每毫米上对线的数量来表示，因此分辨率常常被看作是空间频率。 这个频率的倒数是指最小可分辨的物体上两点间的距离，用毫米来表示。这个参数可 以用来表征镜头或者相机的分辨率。 ·像素数：数码相机的分辨率也可以用图像传感器的像素数来表示。如图所示，一对线 与两个像素相对应，换句话说，如果要使两个红色区域分开，就必须一个像素贡献于 红色区域，一个像素贡献于红色区域间的空白。
鬼成像发展历史及现状 学号：1011010430 姓名：陈超 一，引言 近年来，量子通信作为一门新兴学科得到了迅猛的发展。它巨大的科学意义和潜在应用价值不仅引起物理学家、信息科学家的兴趣，而且也引起各国政府、军事部门、金融银行和企业厂商的重视。它的未来发展势将对整个基础科学和工程科学，包括计算机科技、通讯科技、材料工程、精密测量技术、量子基础科学及信息论科学带来一次巨大的变革。 在对非线性晶体的自发参量下转换过程产生的双光子纠缠态进行的理论和实验的研究中，发现了一些新的光学现象，如鬼成像[1]等。这些奇特的物理效应更新了我们对光现象的认识的传统观念，为开拓新的光信息技术提供了可能。由于光源具有量子纠缠特性，人们自然将之归于量子纠缠态的非定域性。在鬼成像系统中，纠缠光子对在空间上是分离的，鬼成像技术可以通过测量这两个相关光源而获得物体的像，而单独测量某一光源只能获得有限的信息。鬼成像技术以其独特的非定域成像方式引起人们极大的研究热情，并在军事、医疗以及搜救等领域有着不可估量的应用价值。在军事上，鬼成像传感器可以使直升机或无人机获得能评估投下的炸弹所造成的破坏程度的图像，可以在硝烟弥漫的战场上辨别敌我。除此之外，在医学领域和搜救行动中也能利用这种成像技术并且能避免云雾和烟等使常规成像技术无能为力的气象条件的干扰，从而获得更清晰的图像。作为量子通信和量子信息领域分支的鬼成像，以其独特的成像方式以及潜在的应用价值受到越来越多的关注。 二，发展历史及成果 (一)鬼成像基本知识 如图2.1所示，所谓鬼成像就是由同一个光源发出的两束光，其中一束通过物体照射探测器（称为信号光），另一束光（称为闲置光）的光路上不包含任何物体，最后对这两束光进行符合计数，符合测量的结果重现了物体，这种成像称为关联成像或鬼成像。鬼成像按阶数可分为二阶、三阶、甚至更高阶，按光源可分为真热光源（完全非相干光）、赝热光源、双光子纠缠光源和部分相干光光源。真热光源所发出的光称为热光，有时也称混沌光。真热光源中的大量原子、分子是独立地、随机地通过自发辐射发光的，各个基元辐射体发射的波列的相位关系是随机变化的。它们叠加而成的热光场有两个特点：首先热光场有着剧烈的随机涨落，其次热光场服从高斯统计分布，这是中心极限定理的直接结果。绝大多数光源，例如太阳、白炽灯、气体放电灯等都是热光源。赝热光源是通过激光入射毛玻璃产生的，因为这种光源的相干时间可调、亮度高，且具有良好的单色性。双光子纠缠光源是由自发参量下转换产生的纠缠双光子。自发参量下转换过程是一种非线性过程，当一束高频泵浦光入射到光学非线性晶体上，晶体会自发地辐射一对信号——闲置光子，在被探测前，信号光子(或闲置光子)的位置和动量都是随机的。不同于一般经典成像技术，量子成像是利用光场的量子力学性质，在量子水平上发展出新的光学成像和量子信息并行处理技术。相对于传统光学成像
“计算光学成像的探索者”——中关村企业借你一双慧眼 目前，上亿像素大阵列复眼成像技术的公司，全球范围内仅3家公司。而在北京中关村，就有这样一家公司叫泰邦泰平，他们被称为“计算光学成像的探索者”。这个成立于2013年的年轻企业，不仅是2016年首批中关村前沿技术企业，而且是国家高新技术企业，拥有两项世界首创技术，多项国内外发明专利技术。 科普时间到： 什么是计算成像： 传统的的光学成像的原理就是几何光学成像，核心只在镜头。比如说一个镜头，后面摆一个胶片或者一面屏幕，这样都能看到图像，拍到的是什么像，看到的就是什么像。 而计算成像中的成像首先要运用到光学的组件和技术，第二要运用图片信号处理的技术，把这两个结合到一起做成的成像技术，比如说我们现在要说的复眼成像和光圈景深联合延拓成像等，可以用计算成像做任意高分辨率的成像和光圈景深联合延拓成像。 本文重点来了！
什么是复眼成像？ 复眼成像是仿照昆虫眼睛的成像原理研发的新型成像技术，复眼成像技术相比于传统的单眼成像技术有着无法比拟的优势，比如复眼相机能够实现超高分辨率的成像，几千万到几亿甚至几十亿像素的分辨率都可以达到！其他的如超低照度，超宽视场角的性能也可以同时达到。 传统的单眼相机只能实现宽、远、清成像的三者之二，而复眼相机可以同时实现宽、远、清的成像！进一步，复眼相机具备广角和特写兼备、动态细节长时间跟拍的全新拍摄体验！
如图，通俗的说，传统技术下一个大房子经过镜头成像形成一个小房子的图片 而运用复眼技术后，可以形成更加清晰的大房子的图片 复眼技术分为两种，一是多个眼睛看同一个场景，每个眼睛的分辨率不高，看同一个场景的同时，通过计算，形成一个高分辨率的效果。二是所有的子系统都看同一个画面，形成一个高分辨率。还有一种所有的子系统都看画面的一部分，但是每一个系统的分辨率都比较高，最后的系统分辨率会非常高，就像蜻蜓的眼睛或者苍蝇的眼睛。 下图就是16个复眼监控的摄像头，通过坐标的变换、画面的拼接和融合，颜色的统一后形成一张完整的图片。
常用光学计算公式 文章来源：未知(发布时间：2012-07-03) 1. 焦距：反向延长的轴上成像锥形光束与延长的入射光束相交形成一个平面，从像到该平面的沿光轴距离就是焦距。焦距f、通光孔径D与f/#（F数）之间的关系： 2.视场角：由光学系统主平面与光轴交点看景物或看成像面的线长度时所张的角度。全视场角2ω、像面尺寸2y与焦距f之间的关系： 像面尺寸=像素数×像元尺寸 ω=arctg(像素数×像元尺寸/2f) 视场角分为水平视场角和垂直视场角，没有特殊说明是指由像面对角线尺寸计算出的视场角。 3. 分辨率：反映光学系统分辨物体细节的能力，通常将光学系统能够分辨名义物距处两个靠近的有间隙点源的能力定义为分辨率。瑞利判据指出，两个靠近的有间隙点源通过光学系统成像，每个点都形成一个衍射斑。如果两个衍射斑之间的距离等于艾里斑半径，两个点像是可以分辨的，此时像面上两个点的间距d 为： 4.空间分辨率：探测器的张角，为像元尺寸与焦距的比值，单位为mrad。 空间分辨率=像元尺寸/f 5. 尼奎斯特频率：是像素化传感器可以成功记录的最大空间频率，为1/（2像素周期），以lp/mm为单位。例如，某传感器的像元尺寸为25um，其尼奎斯特频率为： 1000/（2×25）=20lp/mm
6.视觉放大率：视觉光学系统的放大倍率，其定义为有光学系统（即通过光学系统观察）时目标所张的角度与无光学系统（即用肉眼直接观察）时目标所张的角度之比。在人眼为探测器的目视光学系统中，在250mm距离处定义放大倍率为1。 目镜视觉放大率Г=250/f 7.数值孔径：就是到达轴上像的边缘光线的半锥角的正弦，即来自轴上物点的半锥角的正弦。 8.红外系统识别和探测距离的计算： 其中，d s—识别距离 d t—探测距离 h—物体尺寸 f—光机系统焦距 n—识别或者探测所需像素数 d0—像元尺寸 9. 光焦度：焦距的倒数。用Φ表示： 其中，n—透镜的折射率 r1，r2—透镜的两个曲率半径
计算成像 1.为何要研究计算成像？ 计算成像能够实现传统成像无法完成的任务，例如：去除运动模糊、超分辨率重建等。 2.用计算成像的方法怎样提高图像分辨率？ 增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸（例如增加每单元面积的像素数量）。然而，随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。不受散粒噪声的影响而减少像素的尺寸有一个极限，对于0.35微米的CMOS处理器，像素的理想极限尺寸大约是40平方微米。当前的图像传感器技术大多能达到这个水平。 另外一个增加空间分辨率的方法是增加芯片的尺寸，从而增加图像的容量。因为很难提高大容量的耦合转换率，因此这种方法一般不认为是有效的。在许多高分辨率图像的商业应用领域，高精度光学和图像传感器的高价格也是一个必须考虑的重要因素。因此，有必要采用一种新的方法来增加空间分辨率，从而克服传感器和光学制造技术的限制。 （1）超分辨率重建 图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像，高分辨率图像意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。图像超分辨率技术分为超分辨率复原和超分辨率重建。超分辨率重构的基本过程为：先进行图像退化分析，然后进行图像的配准，最后根据配准的信息对图像进行重构。目前，图像超分辨率研究可分为3个主要范畴：基于插值、基于重建和基于学习的方法。具体方法有：规整化重建方法，均匀空间样本内插方法，迭代反投影方法(IBP)，集合理论重建方法(凸集投影POCS)，统计重建方法(最大后验概率MAP和最大似然估计ML)，混合ML/MAP/POCS 方法，自适应滤波/维纳滤波/卡尔曼滤波方法，确定性重建方法基于学习和模式识别的方法。 超分辨率重建，即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像。超分辨率重建的核心思想就是用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率，实现时间分辨率向空间分辨率的转换。在基于超分辨率重建的空间分辨率增强技术中，其基本前提是通过同一场景可以获取多幅低分辨率细节图像。在超分辨率重建中，典型地认为低分辨率图像代表了同一场景的不同侧面，也就是说低分辨率图像是基于亚像素精度的平移亚采样。如果仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为高分辨率图像的复原提供新的信息。如果每幅低分辨率图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅低分辨率图像都会为高分辨率图像的复原提供一些不同的信息。为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。我们可以通过一台照相机的多次拍摄或者在不同地点的多台照相机获取多个场景，例如在轨道卫星一类可控制的图像应用中，这种场景运动是能够实现的；对于局部对象移动或者震荡一类的不可控制的图像应用也是同样能实现的。如果这些场景运动是已知的或者是在亚像素精度范围了可估计的，同时如果我们能够合成这些高分辨率图像，那么超分辨率重建图像复原是可以实现的。
计算光学显微成像理论与关键技术研究 随着计算光学成像理论和技术的快速发展,其与传统显微镜相结合出现的计算光学显微成像技术为显微镜带来了新的发展契机。计算光学显微成像是借助计算光学成像技术实现了以简单的光学系统获取高性能的影像,赋予了传统显微镜无法具有的新颖成像功能。光场显微镜是一种具有大视场、快速三维显微信息获取能力的计算光学显微镜,它能利用二维图像传感器同时记录成像光线的空间位置和角度的四维光场信息,允许对获取的光场图像经不同的后期算法处理实现多视角成像、数字重聚焦成像等新功能。本论文在综述国内外研究文献的基础上,深入系统的研究了计算光学显微成像理论和关键技术,旨在解决光场显微镜相关理论与实际应用方面的若干关键问题,具有重要的理论意义和应用价值。 论文的主要工作和取得的创新性成果如下:1、针对光场显微镜的相位成像问题,提出了将基于光强传输方程的相位成像与光场显微镜相结合的快速相位成像方法。利用光场显微镜的快速三维信息获取能力,通过光场的数字重聚焦算法实现了单帧采集两幅不同成像面上的光强图像。最终在不移动实验系统相机或样品的情况下,实现了显微样品的单帧相位成像。2、针对双平面的光场相位成像存在的严重的低频云雾噪声问题,提出了基于光场数字重聚焦的最优频率选择法,并将该方法与指数函数距离选择策略相结合,实现了多幅不同成像面位置的优化选取,从而实现以少量的一组离焦图像重建高信噪比的相位成像。 通过光场的数字重聚焦算法实现了单帧采集多幅不同成像面上的光强图像,实现了高信噪比的单帧相位成像。该方法有效解决了传统方法中低频云雾噪声与非线性误差难以同时兼顾的问题。3、针对光场显微镜空间分辨率的限制问题,提出了低噪声光场矩显微镜。该方法采用多幅离焦光强度图像,基于最小二乘拟合法估计焦平面位置处的强度微分,解决了传统光场矩成像中,因只用强度差分估计强度微分而引起的非线性误差和噪声误差的权衡问题,提高了传统光场矩显微镜计算重建四维光场的抗噪性与准确性;利用算法计算重建的四维光场,因无需使用微透镜阵列,因此能获取全分辨率的光场。 4、创新性地提出了将光场显微镜技术应用于内窥镜。搭建了光场内窥镜系统,该系统无需复杂的光学系统设计,只需将一片微透镜阵列加入到原来的内窥镜光路中,即可使普通的内窥镜具有获取三维信息的能力,解决了实现三维内窥