反卷积荧光显微成像技术

Light Field Microscopy光场显微镜Marc LevoyRen Ng Andrew Adams Matthew Footer Mark Horowitz 斯坦福大学计算机科学部斯坦福大学生物化学部斯坦福大学电气工程部图1：左边是一个通过拍摄通过显微镜的物镜和微透镜阵列的荧光蜡笔蜡斑点捕获的光场。

物镜放大倍率为16倍，1.3mm宽的视场。

图像由1702个子图像构成，每一个微透镜描绘了不同样本的一部分。

每个子图像有202像素，每个代表镜片上不同的点，因此形成了独特的视野方向。

通过提取从每个子图像的一个像素，我们可以制作样本的透视图，即显示在右上角的序列。

另外，通过总结各子图像中的像素，我们可以用浅景深产生正交视图的领域，像一个普通的显微镜，但空间分辨率较低。

在之前剪切光场我们将注重不同的深度，如右下序列所示。

这些图像在计算机实时计算。

摘要通过将微透镜序列插到传统显微镜中，可以在单一的照片中捕捉生物样本的光场。

虽然衍射的产品在这些光场的空间和角度分辨率的限制，我们仍然可以产生透视视野和栈。

由于显微镜本质上是正交的设备，透视视野代表看待微观样本的一种全新的方式。

从一个单一的照片增加焦点栈的功能使得光敏感的样本被记录。

应用这些重点栈的三维反褶积，我们可以生产出一系列的横截面，可以用量渲染可视化地呈现。

在本文中，我们展示了原型光场显微镜（LFM），分析其光学性能，并展示各种生物样本的透视图，重点栈和重建卷。

我们还展示了通过三维反褶积合成聚焦后相当于直接施加有限角度的断层扫描的4D光场。

关键词：光场，合成孔径，显微镜，反褶积，断层摄影，体绘制1. 介绍在许多生物实验室里，显微镜是主要的科学仪器。

尽管在400年的历史中，其性能和易用性都得到显著改善，显微镜仍有一些局限性。

首先，衍射限制了它们的空间分辨率，特别是在高放大倍率下。

这种限制可以通过增大物镜（数值孔径）的接受角改善，但我们在每一侧光学轴约70度达到实际限制。

第43 卷第 1 期2024 年1 月Vol.43 No.119~31分析测试学报FENXI CESHI XUEBAO（Journal of Instrumental Analysis）生物光学成像技术在组织穿透性方面的研究进展张玉敏，王富，林俐*，叶坚*（上海交通大学生物医学工程学院，上海200030）摘要：光学成像因灵敏度高、特异性强、无电离辐射、低成本、丰富的候选探针、可获取细胞/分子水平信息和可实时检测等优势，在临床前的基础研究和临床诊断与治疗领域具有巨大的应用价值。

但由于生物组织对光子的高散射与高吸收特性，光学成像的组织穿透深度通常非常有限，很大程度上限制了其在深部病变活体生物医学检测方面的应用，研究者们对此做了大量的努力。

随着科学技术的发展，光学技术的组织检测深度已覆盖微米到厘米甚至分米以上的范围，在生物检测、成像、诊断、术中导航等领域展现出了广阔的应用前景。

该文从常见的光学成像技术入手，对荧光成像、生物/化学发光成像、光声成像以及拉曼成像在组织穿透性方面的研究进展进行了总结与讨论，并对这些光学成像技术未来在组织穿透方面的主要研究方向进行了展望。

关键词：生物光学成像；组织穿透性；深穿透拉曼光谱中图分类号：O657.3；R318文献标识码：A 文章编号：1004-4957（2024）01-0019-13Advances in Tissue Penetration by Optical Imaging TechniquesZHANG Yu-min，WANG Fu，LIN Li*，YE Jian*（School of Biomedical Engineering，Shanghai Jiao Tong University，Shanghai　200030，China）Abstract：Optical imaging has great potential for application in the field of preclinical basic research and clinical diagnostics and therapeutics，due to its advantages of high sensitivity and specificity，non-ionizing radiation，simplicity of equipment，low cost，rich nanoprobe candidates，ability to ob⁃tain cellular/molecular level information and real-time acquisition capability.However，due to the nature of high scattering and absorption of photons in biological tissues，optical imaging is usually limited by the shallow tissue penetration depth，which largely limits its usage for in vivo biomedical detection of deep-seated lesions. A lot of efforts have been done by researchers to overcome this is⁃sue.This paper summarizes and discusses the progress of various common optical imaging tech⁃niques，such as fluorescence imaging，bioluminescence/chemiluminescence imaging，photoacous⁃tic imaging，and Raman imaging，in terms of their research progress in tissue penetration. With the development of science and technology，the tissue detection depths of optical modalities have cov⁃ered a range from microns to centimeters or even to decimeters，and have shown broad application prospects in the fields of biological detection，imaging，diagnosis，intraoperative navigation，and so on. Finally，the main directions of future research of these optical imaging techniques in tissue penetration are prospected.Key words：optical imaging；tissue penetration；deep Raman spectroscopy近一个世纪以来，光在生物组织中的传播与分布，以及光与生物组织的相互作用引起了科学家们的广泛关注，引发了光学方法在生物医学检测与成像领域的研究热潮。

三维荧光显微与反卷积
三维荧光显微镜是利用荧光信号实现对生物分子及细胞的三维成
像的技术。

反卷积是一种修复模糊或失真的图像的算法，可以应用于
三维荧光显微成像中。

三维荧光显微技术可以在不破坏生物样本的情况下，以高分辨率
观察和记录三维结构、分布和交互方式的生物分子和细胞内事件。

然而，由于成像系统和样本造成的光子吸收和散射等因素，荧光显微成
像中存在着像限制和模糊，这会限制成像分辨率和质量。

为了消除这
些限制，可以运用计算机反卷积算法对图像进行重建和增强。

反卷积算法利用成像系统的点扩散函数（PSF）和图像的模糊程
度来恢复图像。

PSF是描述成像系统的点源被放大后的空间响应的函数，而模糊程度则由成像系统的调制传递函数（MTF）来描述。

反卷积算法
通过将模糊影响从实际图像中的每个像素中去除，从而恢复被模糊的
细节。

通过将三维荧光显微成像与反卷积算法相结合，可以得到更清晰、更准确和更高分辨率的三维图像，这对于生物学和医学研究有着重要
意义。

姓名：何青学号：1224143003 专业：生物医学信息技术荧光显微成像技术在生物医学研究领域的应用随着光电子技术，尤其是激光技术的发展，越来越多的现代显微技术迅速发展起来。

目前，通过激光光源以激发被测物体的荧光或者非线性光学现象从而获得高分辨率的成像的技术就有：激光共聚焦显微技术、双光子荧光显微技术、二次谐波显微成像技术以及拉曼光谱成像技术等。

通过能量密度比普通光源高数十乃至数百倍的激光可以激发被测物的各种非线性光学现象，而被测物内部不同组织、不同成分的部分将显示不同的光学性质（如激发光的强度或者波长不一样），从而将这些不同部分区分开来，提高了显微系统的分辨率。

荧光显微成像技术在生物医学研究领域的应用日益广泛，技术发展也突飞猛进，成为热门的研究领域，并发展了突破衍射极限的超高分辨率荧光显微成像系统[1]。

现就目前应用比较广泛的激光扫描共焦显微镜和多光子激光扫描显微镜进行介绍。

1 激光扫描共焦显微镜激光扫描共焦显微镜是近年来发展较为迅速的无创诊断技术。

它以光学系统的共焦成像为基础，利用光扫描技术对样品进行无创动态测量，目前已经发展成为生物学和医学研究诊断的重要工具，在生物医学的各方面得到了广泛的应用。

1.1 激光共聚焦扫描显微镜基本原理如图1所示，激光共聚焦扫描显微镜（Confocal laser scanning microscope，CLSM）用激光作扫描光源，采用双针孔的结构以形成物像共轭。

激光通过透镜聚焦在焦平面上针孔形成点光源，并在物镜焦平面对样品逐点扫描,样品上的每个照射点在像焦平面的探测孔处成像。

进行点扫描时，扫描点以外的点不会成像。

，扫描的激光与荧光收集共用一个物镜，物镜的焦点即扫描激光的聚焦点，也是瞬时成像的物点。

由于激光束的波长较短，光束很细，所以共焦激光扫描显微镜有较高的分辨力，大约是普通光学显微镜的3倍。

系统经一次调焦，扫描限制在样品的一个平面内。

调焦深度不一样时，就可以获得样品不同深度层次的图像。

在过去的十年当中，人们尝试了各种算法来消除数字图片的模糊问题。

在光学显微术中，应用最为广泛的算法可分为两类，去模糊（deblurring）及图像还原（image restoration）。

deblurring算法适用于二维去模糊，这种算法采取逐层计算的方式还原三维图像。

相对的，image restoration则是三维意义上的算法，这种算法以每一个体素为目标同时进行去模糊计算。

在介绍详细的内容之前，我们先来书记几个术语。

object指显微镜视野下被激发的三维荧光。

raw image指显微镜下获得的未经处理的数字图片或图片层。

features指图片中某一感兴趣的特定区域。

deburring算法二维算法比如nearest-neighbor，multi-neighbor，no-neighbor，及unsharp masking在这里，我们都将其归为deblurring算法中。

在三维图片层中，这种算法通过逐层计算来去除每一层的模糊。

Figure 1显示，为三维图片中的某一光切层面，样品为Xenopus 细胞的微管结构。

a为处理前图片，b为经nearest-neighbor算法处理后的图片。

这种单层计算的方式相对来说很经济有效。

但deblurring算法也有一些较大的缺点。

首先，几个层面中的噪音重叠在了一起；另外，deblurring算法去除了干扰信号的同时降低了信号的总强度；第三，features中的信号在z轴方向上的扩散，在每一个层面中都会计算一次，但实际上某些层面，这些信号是假的，于是features的位置会发生偏移。

这种情况在二维图片的去模糊中尤为严重，这些二维图片上，其他层面的干涉环或光经过计算后会被认为是这一层的信号而留在二维图像上。

总的来讲，deblurring算法改进的图像对比度，但牺牲了信噪比，并且还有可能引入假信号。

当需要快速去模糊或计算机性能有限的时候，二维deblurring算法是很有用的。

三维荧光显微与反卷积1. 引言三维荧光显微与反卷积技术是一种在生物医学领域中广泛应用的高级显微成像技术。

它通过结合荧光显微镜和图像处理算法，能够实现对三维生物样本的高分辨率成像和重建。

本文将对三维荧光显微与反卷积技术进行深入研究，探讨其原理、应用以及未来的发展方向。

2. 三维荧光显微原理2.1 荧光显微镜荧光显微镜是一种能够通过激发样本中的特定分子发射荧光信号来实现成像的仪器。

它通过激发样本中的特定分子使其处于激发态，然后检测其发射出的荧光信号。

相比于传统的透射式显微镜，荧光显微镜具有更高的灵敏度和分辨率。

2.2 三维成像传统的二维成像只能提供样本表面或者某个特定深度处信息，而无法获取整个样本内部结构信息。

而在生物医学研究中，我们往往需要对样本的三维结构进行观察和分析。

三维荧光显微技术通过对样本进行多次成像，然后通过图像处理算法将这些成像结果叠加起来，从而实现对样本的三维成像。

3. 三维荧光显微与反卷积技术3.1 反卷积原理反卷积是一种图像处理算法，它可以将模糊图像恢复为原始清晰图像。

在三维荧光显微中，由于光学系统的限制和样本的散射等因素，得到的成像结果往往是模糊的。

反卷积技术可以通过数学算法将这些模糊图像恢复为清晰的原始图像。

3.2 三维反卷积在二维反卷积中，我们可以利用二维傅里叶变换来实现。

然而，在三维荧光显微中需要处理的是三维数据，因此需要将二维傅里叶变换扩展到三维空间。

通过对样本进行多次成像，并利用数学算法将这些成像结果进行叠加和处理，可以得到清晰的三维结构信息。

4. 三维荧光显微与反卷积的应用4.1 细胞成像三维荧光显微与反卷积技术在细胞成像领域有着广泛的应用。

通过对细胞内部的分子进行标记，可以观察到细胞内部的结构和功能。

三维荧光显微与反卷积技术可以提供高分辨率的细胞成像，帮助研究人员更好地理解和研究生物学过程。

4.2 神经科学研究在神经科学研究中，三维荧光显微与反卷积技术可以帮助研究人员观察和分析神经元的结构和连接方式。

基于高速相位型空间光调制器的双光子多焦点结构光显微技术*喻欢欢 张晨爽 林丹樱 于斌† 屈军乐(深圳大学物理与光电工程学院, 光电子器件与系统教育部/广东省重点实验室, 深圳　518060)(2020 年10 月29日收到; 2020 年11 月24日收到修改稿)多焦点结构光照明显微镜(multifocal structured illumination microscopy, MSIM)能在50 µm的成像深度内实现2倍于衍射极限分辨率的提升, 但在对厚样品成像时, 散射光和离焦光限制了其层析能力和图像衬度.双光子多焦点结构光照明显微镜(two-photon MSIM, 2P-MSIM)克服了样品组织散射的影响, 进一步提高了MSIM的成像深度和成像特性. 然而, 现有的2P-MSIM通常采用振镜扫描成像, 系统复杂, 灵活性差. 为了解决上述问题, 本文提出了一种基于高速相位型空间光调制器(spatial light modulator, SLM)的双光子多焦点结构光照明超分辨显微成像系统, 通过在SLM上同时加载生成多焦点阵列的相位图和线性相位光栅的相位图,实现了多焦点阵列的产生和在样品面上的高精度的并行数字随机寻址扫描和激发成像, 结合像素重定位和反卷积技术实现了三维双光子多焦点结构光超分辨成像, 解决了扫描振镜在2P-MSIM成像中的机械惯性问题,同时降低了系统的复杂性, 提升了灵活性. 在此基础上, 利用搭建的2P-MSIM开展了小鼠肾组织切片和铃兰根茎双光子超分辨成像实验, 验证了该方法的三维超分辨成像能力, 对于2P-MSIM的发展具有重要的意义.关键词：多焦点结构光照明显微技术, 双光子, 荧光显微镜, 空间光调制器PACS：87.64.M–, 87.64.kv, 42.30.–d, 87.85.Pq　DOI: 10.7498/aps.70.202017971 引　言近年来, 多种突破光学衍射极限限制的超分辨显微技术蓬勃发展, 如: 受激发射损耗(stimulated emission depletion, STED)显微技术[1]、光激活定位显微技术[2]、随机光学重构显微成像技术(stocha-stic optical reconstruction microscopy, STORM)[3]及结构光照明显微成像技术(structured illumina-tion microscopy, SIM)[4]等, 已达到了纳米量级的空间分辨率, 实现了对细胞内精细结构的观察, 极大地推动了生命科学等诸多领域的发展. 尽管STED显微技术能对较厚的生物组织进行高分辨率成像, 但需要特定荧光标记的样品及高能量的损耗光, 后者一定程度地造成了光漂白和光损伤, 限制了该技术的进一步应用. STORM虽能提供更高分辨率成像, 但其不仅仅受到荧光染料种类的限制, 宽场的激发方式和稀疏化的发光模式进一步限制了其成像深度和成像速度. 与此同时, SIM虽然仅仅能提供2倍的分辨率提升, 但由于其具有成像时不受荧光染料的限制, 不需要高的激发光功率, 以及快的成像速度等优势, 在活细胞成像方面获得广泛的应用. 令人遗憾的是, 传统的宽场结构光照明显微成像技术仅仅能实现对比较薄的样品(< 10 µm)超分辨成像, 限制了其发展. 图像扫描显微镜(image scanning microscopy, ISM)[5]被认* 国家自然科学基金 (批准号: 61975131, 61775144, 61835009)、广东省自然科学基金(批准号: 2018A030313362)、广东省高等学校科技创新(重点)项目(批准号: 2016KCXTD007)和深圳市基础研究项目(批准号: JCYJ20170818141701667, JCYJ201708资助的课题.† 通信作者. E-mail: yubin@© 2021 中国物理学会 Chinese Physical Society 为是一种点扫描照明显微成像技术, 这种超分辨技术的出现大大提高了结构光照明显微成像技术的成像深度. 然而, 单个聚焦点的扫描方式限制了ISM的成像速度, 于是多焦点结构光照明显微镜(multifocal structured illumination microscopy, MSIM)[6]被提出, 采用多点并行扫描的方式, 大大提高了单点扫描结构光照明显微镜的成像速度.MSIM 不仅能够实现2倍于宽场显微镜的成像分辨率, 还具有传统共聚焦显微技术的层析能力, 成像深度可以达到50 µm. 但是, 在对厚样品成像时, 样品中的散射和离焦背景光降低了MSIM 的成像特性. 双光子显微镜由于成像深度大并具有较好的层析能力在生物成像领域获得了广泛应用.发展基于双光子技术的MSIM, 即双光子多焦点结构光照明显微镜(two-photon MSIM, 2P-MSIM),进一步提升MSIM的成像性能, 将进一步推进其在活体厚样品超分辨成像中广泛应用. MSIM采用数字微镜器件(digtital micromirror device, DMD)实现点阵的产生和扫描, 但是DMD因其较低的能量利用率而难以实现2P-MSIM. 为了能够获得高效的多焦点双光子激发, 各种不同类型的光学器件被应用在多光子多焦点显微成像技术中, 包括光分束器[7]、微透镜阵列[8−10]、衍射光学元件[11,12]及空间光调制器(spatial light modulator, SLM)[13−15]等. 目前, 在2P-MSIM[10]中, 主要采用微透镜阵列与扫描振镜相结合的方式实现双光子点阵的激发和扫描, 但其双光子激发点阵是固定的, 灵活性差.而基于SLM的多焦点产生技术在点阵的均匀性、效率及随机性方面都具有较大的优势. 利用SLM 生成点阵的算法主要有基于相位恢复(Gerchberg-Saxton, GS)算法[16]、广义自适应加法算法[17]、直接搜寻算法[18]、以及加权相位恢复(weighted GS, WGS)算法[19,20]等. 在这些算法中, WGS算法生成的点阵具有更好的均匀性和效率. 直到目前, 几乎所有的多焦点多光子结构光照明显微成像系统都需要振镜来实现扫描成像, 系统具有较大的复杂性且受机械惯性的影响, 灵活性差. 为了解决上述问题, 本文提出并搭建了一种基于高速相位型SLM的2P-MSIM, 仅通过在SLM上加载生成点阵和线性相位光栅的合成相位图, 就同时实现了点阵产生和在样品面上高精度并行数字随机寻址扫描激发, 结合像素重定位和反卷积技术实现了三维双光子多焦点结构光超分辨成像. 利用搭建的系统完成了对小鼠肾切片、铃兰根茎及荧光珠的双光子超分辨成像, 具有较好的成像效果, 验证了该方法的三维超分辨成像能力.2 2P-MSIM原理与方法2.1 2P-MSIM成像理论2P-MSIM被认为是一种并行的2P-ISM, 其实现超分辨的原理与2P-ISM一致. 在ISM[5]中,一个面阵探测器替换了激光共聚焦扫描显微镜中的点探测器. 探测器探测到的图像不仅仅与激发点的位置有关, 同时也与探测器上的像素点的位置有关, 因此, 在不考虑系统放大倍率的情况下, 在样品面扫描位置r处, 探测器s位置处的双光子荧光光强分布可以表示为[5,21]c(r′)E(r′)U(r+s)E0(r)U(r+s)E0(r)=E2(r)σinσdet其中, 表示荧光分子分布, 表示在扫描位置为r的系统激发点扩散函数, 表示探测位置为r + s的系统探测点扩散函数. 那么, 在双光子激发下, 系统有效的点扩散函数可表示为, 其中, 表示在扫描位置为r的双光子激发点扩散函数. 假设双光子激发点扩散函数和系统探测点扩散函数采用高斯分布模型, 且标准差分别为和, 那么双光子激发下, 系统有效的点扩散函数可重新表示为[22]U eff其中, G表示高斯函数, 表示有效的点扩散函数.σ2P-in=σex/√2σexλexλdet1<k<2k=λex/λdetσex=kσdetσ2P-in=kσdet/√2在2P-ISM中, 双光子激发点扩散函数为系统激发点扩散函数的平方, 则双光子激发点扩散函数的标准差为, 其中为单光子激发下, 系统激发点扩散函数的标准差. 在双光子激发过程中, 分子吸收两个光子经过斯托克斯位移后自发辐射出单个光子, 则双光子激发波长与探测波长的比值, 其中. 所以系统激发点扩散函数和系统探测点扩散的标准差之间的关系变为, 因此, 双光子激发点扩散函数的标准差与系统探测点扩散函数标准差之间关系为.假设不考虑双光子激发时荧光染料的吸收截面, 再结合(2)式, 则2P-ISM的有效点扩散函数U 2P-eff 可以描述为I r −k 2k 2+2s ,s 因此, 有效的双光子图像可以通过 对s 的积分来重构:再结合(1)式, 2P-MSIM 有效图像可重新表示为如果从频率域来考虑, 那么两边同时进行傅里叶变换将得到:(k 2+2)/k 2(k 2+2)/k 2从(6)式可以看出, 有效图像包含的频谱范围是宽场照明得到 , 所以, 通过像素重定位(pixel reassignment)和反卷积(deconvolution)处理, 理论上2P-MSIM 相比于宽场显微镜能实现倍分辨率的提升.2.2 系统光路设计2P-MSIM 是基于尼康显微镜实现的(Nikon ECLIPSE Ti-U). 一台波长为1036 nm 、功率为1 W 、脉宽为145 fs 的激光从光纤激光器发出(安扬, FemotoYL-6), 首先通过一个可用来调节激光出射功率的半波片(Thorlabs, AHWP05M-980)和偏振分光棱镜对; 从偏振分光棱镜出射的P 偏振光再次经过半波片(Thorlabs, AQWP10M-980),用来调整飞秒光在通过SLM 之前的偏振方向. 然后, 光束被一对包含焦距为25 mm (Thorlabs,AC127-025-B-ML)以及焦距为80 mm (Thorlabs,AC254-080-B-ML)的透镜对扩束; 经扩束后的光束通过一个可调光阑照射在一个高速相位型SLM (Meadowlark Optics, 像元数为1920 × 1152, 像素尺寸为9.2 µm × 9.2 µm)上; 通过在SLM 上加载生成点阵和线性相位光栅的合成相位图, 能够实现多个聚焦点阵列在其傅里叶面上的扫描移动;经SLM 调制的激发光经过一个焦距为300 mm 的透镜(Thorlabs, AC508-300-B)后照射在显微镜的管镜上; 为了满足SLM 采光面大小与物镜后孔径面大小尽可能匹配, 将原来的管镜替换成焦距为300 mm, 尺寸为2英寸的透镜(Thorlabs, A508-300-AB-ML), 与前一个透镜构成一个无扩束的4f 系统;为了只让SLM 的一级光通过系统, 在4f 系统两个透镜间放置一个可调光阑用来滤除SLM 的其他衍射级的光; 光束经过管镜后又经过水浸物镜(Nikon, 60 ×, NA 为1.27)在样品面上形成多个聚焦点; 样品被激发后产生的荧光信号经二向色镜与发射片后由sCMOS 相机(滨松,ORCA-Flash4.0 v3)接收. 整个光路的示意图如图1所示.SLMSampleLaser λ/2 plate λ/2 plate PBS f = 25 mmf = 300 mmf = 300 mmf = 80 mmMirrorMirror IrisDichroic mirrorObjectivesCMOS Tube lens f = 200 mm图 1 2P-MSIM 系统光路示意图Fig. 1. Schematic diagram of 2P-MSIM system.2.3 点阵产生和扫描相位图设计2.3.1 点阵相位图设计原理整个相位图的设计分成3步: 1)点阵相位图的设计; 2)用于点阵扫描的线性相位光栅的设计;3)将两个相位图进行叠加生成最终的复合相位图.√I (x )Φi (x )点阵相位图的生成方法采用的是一种改进的WGS 算法[20], 即当WGS 算法迭代几次后, 一直保持频谱面的相位不变, 用作下一次的迭代, 直至算法收敛. 利用这种方式大大减少了迭代次数, 加快了收敛速度. 在传统的WGS 算法中, 初值相位可以设置成分布范围为–π—π的随机矩阵, 当算法执行第i 次迭代时, 傅里叶平面的振幅和相位可以根据输入平面的振幅 和相位 经过二维Ψi (u )B i (u )Γ(u )g i (u )g i (u )傅里叶变换得到. 保持傅里叶面的相位 不变,振幅 用目标振幅 乘以一个不均匀性矫正的加权系数 来替换. 可以表达为⟨B i (u )⟩M δ(u )g 0(u )其中, 表示计算得到的M 个点的振幅平均值, 表示的是狄拉克函数, 设置为1.A i +1(x )Φi +1(x )√I (x )A i +1(x )g i (u )δΨi (u )δg i (u )g i (u )δΨi (u )Ψi (u )=ΨN (u )然后, 用替换后的振幅和计算得到的相位进行二维逆傅里叶变换就得到输入平面的振幅 和相位 , 通过这种方式不断迭代下去, 最后就能得到均匀性好的点阵的输入相位. 但是当用传统的WGS 算法生成点阵时, 我们发现在迭代过程中用 替换 使 在矫正均匀性时很难有较大的改善, 往往需要较长的时间才能实现较好的矫正效果. 主要原因是对于输入平面的傅里叶变换, 振幅的替换引入了一个相位改变量, 这个改变量要比加权系数改变量 大得多, 所以导致了 在矫正不均匀性方面很难有比较好的效果. 值得注意的是, 通过对后续的i +1次迭代的相位改变施加影响, 能有效地移除相位改变量 . 具体做法是在WGS 算法执行N 次迭代达到目标调制效率后, 保持后续迭代中傅里叶平面的相位不变, 即. 利用这种方法, 算法可以在很少的迭代次数就完成了收敛, 且最终生成了一个均匀性好、效率高的多焦点阵列. 算法的执行过程可以通过图2(a)来表示,图2(b)和图2(c)分别表示利用该算法得到的相位图和点阵图.2.3.2 线性相位光栅的设计线性相位光栅的相位表达式可以表示为其中, k 表示光栅的频率, r 表示SLM 面的坐标.exp (i 2πkr )δ(u −k )δ(ufλ−k )k =ρfλδ(u −ρfλ)B i (u )Ψi (u )B i(u −ρfλ)Ψi(u −ρfλ)相应地, 复振幅表达式可以写成 ,从频率空间来考虑, 其傅里叶变换为 . 考虑到光学的傅里叶变换和数学上傅里叶变换的坐标变换关系, 相位光栅对应的傅里叶面的复振幅分布为 , 其中f 表示透镜的焦距, l 表示激光器的波长. 再令 , 则该复振幅表达式变为 . 假设生成的点阵对应的复振幅为且激光器的波长带宽很窄, 考虑到空域内的复振幅的乘积对应频域内的复振幅的卷积, 则相应的叠加相位图对应傅里叶面的复振幅分布为. 从这个表达式上看, 点阵的位置被移动了r .δf /k max δf =fλ/D k max jδf δf k max 由于SLM 本身是由一个个的像素单元构成的, 在SLM 面上的相位光栅的相位值被离散化,所以实际的线性相位光栅不可能实现点阵的连续移动. 根据文献[23], 相位光栅能实现的扫描精度为 , 这里, D 表示物镜的通光孔径; 表示相位光栅产生位移在 — 的最大可实现个数, 可以表示为其中, N 为产生的相位光栅在SLM 上所占的像素个数, g 为是SLM 的灰度级. 综合以上的分析, 利用线性相位光栅可实现亚纳米级的扫描步长.根据以上的相位图的设计理论, 利用MATLAB 软件分别生成点阵的相位图和线性相位光栅的相位图, 最后通过相位叠加的方式生成最后的相位图.FTIFT[Focal plane](a)(b)(c)( ), ( )( ), ( ) ( ) ( ), ( )[SLM plane]( )( ) ( )= ( )if > , ( )= ( )图 2 (a) WGS 算法流程图; (b)得到的相位图; (c)生成的点阵图Fig. 2. (a) Flow chart of WGS algorithm; (b) generated phase map; (c) generated multi-focus array.2.4 2 P-MSIM 数据获取与分析为了实现同步扫描同步记录的目的, 用LABV-IEW 软件分别控制纳米位移台(Pi, E-709)、相机和空间光调制器. 实验中, 纳米位移台每上升一步,就用SLM 和相机完成一层的成像. SLM 每加载一张图片, 相机同时曝光记录一次, 直至成像完成整个二维平面. 根据每一层的图像信息能够完成对荧光样品的三维重构.与单光子的MSIM 的数据处理方法[6]相类似,2P-MSIM 超分辨图像也可以通过像素重定位技术, 即: 多焦激发(multifocal-exciting)、数字高斯针孔(pinholing)滤波、图像缩放(scaling)、求和(summing) 4个图像处理步骤来重建超分辨图像(multifocal-exciting pinholing scaling summing,MPSS), 再经过Richardson-Lucy (RL)反卷积来进一步提升图像的分辨率, 获得2倍分辨率提升的2P-MSIM 图像. 考虑到激发点大小的改变和波长的差异, 实际的处理过程需要对实验室已有程序[24]略微加以改进, 即可获得近似2倍分辨率提升的双光子超分辨图像.3 结果与讨论3.1 荧光珠成像为了测试系统的空间分辨率, 首先对尺寸100 nm, 中心发射波长为580 nm 的荧光珠进行成像, 由于所选荧光珠尺寸小于该成像系统的理论分辨率, 所以实验分析时未考虑荧光珠直径对测量的半高全宽的影响. 对得到的2P-MSIM 原始数据进行了重构, 分别获得了点阵激发图通过添加高斯数字针孔再叠加(pinholed+summed)的初步降噪的宽场图像(pinholed widefield, Pinholed WF)、像素重定位的MPSS 图像及MSIM 图像, 结果如图3所示. 图3(a)—(c)分别表示荧光珠在经过这3个过程后得到的图像, 大的虚线框内的荧光珠为小的虚线框内的荧光珠的放大, 可以明显观察到在PinholedWF 图像中原本分不开的荧光珠图像在MPSS 和MSIM 图像中能明显地分开. 图3(d)为图3(a)—(c)中黄色实线所在像素的值的大小与对应的像素所占的宽度作的曲线拟合, 每条曲线都经过了归一化处理. 为了能标定系统的分辨率,1.00.80.6N o r m a l i z e d i n t e n s i t yWidth/m m0.40.2000.20.40.60.8 1.0 1.2PinholedWF MPSS MSIM1.00.80.6N o r m a l i z e d i n t e n s i t yWidth/m m 0.40.200.20.40.60.8 1.0PinholedWF MPSS MSIMPinholedWF (a) 2 m m (b) 2 m m(c)2 m m(d)(e)图 3 100 nm 荧光珠成像　(a) PinholedWF 图像; (b) MPSS 图像; (c) MSIM 图像; (d)图(a)—(c)中黄色实线所在像素值的大小与对应像素所占宽度的拟合曲线; (e)单个荧光珠的高斯拟合曲线Fig. 3. 100 nm fluorescent bead imaging: (a) PinholedWF image; (b) MPSS image; (c) MSIM image; (d) fitting curves of the size of the pixel value of the yellow solid lines in panel (a)－(c) vs. the width of corresponding pixel; (e) Gaussian fitting curves of a single fluorescent bead.也对视场范围内10颗荧光珠的图像进行高斯曲线拟合, 并进行统计平均, 得到了系统的平均分辨率,如图3(e)所示. 经过对单个荧光珠的Pinholed-WF, MPSS和MSIM图像拟合, 得到荧光珠的半高全宽值分别是(360 ± 15) nm, (207 ± 15) nm 和(148 ± 13) nm, 与系统的宽场分辨率相比基本实现了近似2倍的分辨率提升.3.2 小鼠肾切片三维成像2P-MSIM相比于1P-MSIM在成像深度方面有明显的提升, 具有良好的三维层析成像能力. 为了测试2P-MSIM的三维成像能力, 对商用的小鼠肾切片进行成像. 为了尽可能提高成像速度, 同时保证超分辨成像质量, 避免图像出现伪影及点阵信号之间的串扰. 设置点阵间隔为3250 nm, 点阵数量为8 × 8, 横向的扫描步长为130 nm, 整幅图像的成像时间是6.25 s, 成像区域大小为26.1 µm ×26.1 µm. 通过控制纳米位移台, 实现了同一个小鼠肾切片的不同厚度的成像, 分别是0, 5, 10 µm,如图4所示. 可以明显地观察到小鼠肾切片在不同深度结构的改变, 同时MSIM处理后的图像的分辨率具有显著的提高.为了能更直观地观察生物样品的三维结构, 进一步扫描了小鼠肾切片的一个三维成像区域, 横向的扫描参数设置保持不变, 轴向的扫描步长设置为200 nm, 扫描层数为30层, 这样总的成像深度为6 µm. 对每层进行超分辨处理后的数据通过Imaris软件进行三维堆栈. 如图5所示, 重构出的三维超分辨小鼠肾切片图像实现了近似2倍的分辨率提升.4 m m4 m m4 m m4 m m4 m m4 m m4 m m4 m m4 m m图 4 小鼠肾切片的不同厚度层成像图Fig. 4. Images of different thickness layers of mouse kidney section.3.3 铃兰根茎成像为了进一步测试2P-MISM的成像能力和分辨率, 对铃兰根茎进行了成像. 和前文描述的方法一样, 对铃兰根茎的不同深度的区域完成了成像,成像深度分别是0, 12, 24 µm, 如图6所示. 可以看出原本无法观测到的铃兰根茎内部结构变化在超分辨处理后能较清晰地观测到, 进一步验证了所搭建2P-MSIM的成像能力.4 结　论本文提出和搭建了一套新的双光子多焦点结构光超分辨显微成像系统. 利用了一个高速相位型空间光调制器同时完成了多焦点阵列的生成及点阵在样品面上的高精度扫描移动, 实现了双光子多焦点成像的目的, 解决了扫描振镜在多焦点成像中的机械惯性问题, 同时降低了系统的复杂性, 提高8 m m8 m m图 5 小鼠肾切片三维成像图　(a) PinholedWF图像; (b) MSIM图像Fig. 5. Three-dimensional image of mouse kidney section: (a) PinholedWF image; (b) MSIM image.4 m m4 m m4 m m4 m m4 m m4 m m4 m m4 m m4 m m图 6 铃兰根茎不同厚度层成像图Fig. 6. Images of different thickness layers of lily of the valley rhizome.了灵活性. 另外, 为了进一步提高双光子多焦点成像的分辨率, 把点扫描结构光成像和双光子成像结合在一起, 实现了双光子多焦点结构光照明的超分辨成像, 将双光子多焦点的成像分辨率提高了近2倍. 最后, 利用该系统完成了小鼠肾切片和铃兰根茎的三维超分辨成像, 证实了该系统具有优异的成像特性, 为进一步开展活体细胞及组织的超分辨成像打下了基础.参考文献H ell S W, Wichmann J 1994 Opt. Lett. 19 780[1]B etzig E, Patterson G H, Sougrat R, Lindwasser O W,Olenych S, Bonifacino J S, Davidson M W, Lippincott-Schwartz J, Hess H F 2006 Science 313 1642[2]R ust M J, Bates M, Zhuang X W 2006 Nat. Methods 3 793[3]G ustafsson M G L 2000 J. Microsc. 198 82[4]M uller C B, Enderlein J 2010 Phys. Rev. Lett. 104[5]Y ork A G, Parekh S H, Nogare D D, Fischer R S, Temprine K, Mione M, Chitnis A B, Combs C A, Shroff H 2012 Nat.Methods 9 749[6]N ielsen T, Frick M, Hellweg D, Andresen P 2001 J. Microsc-Oxford 201 368[7]B ewersdorf J, Pick R, Hell S W 1998 Opt. Lett. 23 655[8]Q u J L, Liu L X, Chen D N, Lin Z Y, Xu G X, Guo B P, Niu [9]H B 2006 Opt. Lett. 31 368I ngaramo M, York A G, Wawrzusin P, Milberg O, Hong A,Weigert R, Shroff H, Patterson G H 2014 Proc. Natl. Acad.Sci. U.S.A. 111 5254[10]S acconi L, Froner E, Antolini R, Taghizadeh M R, Choudhury A, Pavone F S 2003 Opt. Lett. 28 1918[11]J ureller J E, Kim H Y, Scherer N F 2006 Opt. Express 14 3406[12]S hao Y, Qin W, Liu H, Qu J, Peng X, Niu H, Gao B Z 2012 Appl. Phys. B 107 653[13]M atsumoto N, Okazaki S, Fukushi Y, Takamoto H, Inoue T, Terakawa S 2014 Opt. Express 22 633[14]M atsumoto N, Konno A, Ohbayashi Y, Inoue T, Matsumoto A, Uchimura K, Kadomatsu K, Okazaki S 2017 Opt. Express25 7055[15]S inclair G, Leach J, Jordan P, Gibson G, Yao E, Laczik Z J, Padgett M J, Courtial J 2004 Opt. Express 12 1665[16]C urtis J E, Koss B A, GrierD G 2002 Opt. Commun. 207 169[17]M eister M, Winfield R J 2002 Opt. Commun. 203 39[18]D i Leonardo R, Ianni F, Ruocco G 2007 Opt. Express 15 1913[19]K im D, Keesling A, Omran A, Levine H, Bernien H, Greiner M, Lukin M D, Englund D R 2019 Opt. Lett. 44 3178[20]S heppard C J R, Gu M 1990 Opitk 86 104[21]R oider C, Heintzmann R, Piestun R, Jesacher A 2016 Opt.Express 24 15456[22]S chmitz C H J, Spatz J P, Curtis J E 2005 Opt. Express 13 8678[23]L i S W, Wu J J, Li H, Lin D Y, Yu B, Qu J L 2018 Opt.Express 26 23585[24]Two-photon multifocal structured light microscopy based on high-speed phase-type spatial light modulator*Yu Huan -Huan Zhang Chen -Shuang Lin Dan -Ying Yu Bin † Qu Jun -Le(Key Laboratory of Optoelectronic Devices and Systems of Ministry of Education and Guangdong Province, College of Physics andOptoelectronic Engineering, Shenzhen University, Shenzhen 518060, China)( Received 29 October 2020; revised manuscript received 24 November 2020 )AbstractMultifocal structured illumination microscopy (MSIM) can achieve a doubled improvement in the resolution of the diffraction limit within an imaging depth of 50 µm. But when imaging thick samples, scattered light and defocused light limit its optical sectioning capability and image contrast. Two-photon MSIM (2P-MSIM) overcomes the influence of sample tissue scattering and further improves the imaging depth and imaging characteristics. However, the existing 2P-MSIM usually adopts galvanometer based scanning mirrors for precisely scanning imaging, which is a complicated and poor flexibility system. Here we propose a simpler 2P-MSIM. Two-photon multifocal scanning imaging can be realized by a spatial light modulator (SLM) with a high frame rate (< 845 Hz). The phase map of generating multi-focus array and linear phase grating loaded on the SLM simultaneously, high-precision parallel digital random address scanning and excitation imaging on the sample surface can be realized. The mechanical inertia problem of the galvanometer scanner in multifocal imaging can be solved by the proposed method while reducing the complexity of the system and improving flexibility. We finally realize two-photon multifocal imaging of mouse kidney tissue slices and lily of the valley rhizome by this system, which verifies the three-dimensional super-resolution imaging capability of this method. It is of great significance in developing the 2P-MSIM.Keywords: multifocal structured illumination microscopy, two-photon, fluorescence microscope, spatial light modulatorPACS: 87.64.M–, 87.64.kv, 42.30.–d, 87.85.Pq DOI: 10.7498/aps.70.20201797* Project supported by the National Natural Science Foundation of China (Grant Nos. 61975131, 61775144, 61835009), the Natural Science Foundation of Guangdong Province, China (Grant No. 2018A030313362), the Scientific and Technological Innovation (Key) Projects of Department of Education of Guangdong Province, China (Grant No. 2016KCXTD007), and the Shenzhen Basic Research Project, China (Grant Nos. JCYJ20170818141701667, JCYJ20170818144012025, JCYJ20170412 105003520, JCYJ20180305125649693).† Corresponding author. E-mail: yubin@。

基于不同光学平台的荧光共振能量转移(FRET)技术［摘要］:荧光共振能量转移(FRET)是用于对生物大分子之间相互作用龙性、迫量检测的一种有效方法。

根据所基于的荧光显微镜配苣不同而有不同的应用侧重，可在溶液，细胞悬液，多细胞，单细胞，细胞膜，细胞器等不同层次对生物大分子间的相互作用距离，动力学特性等进行研究。

本文就基于常规宽场荧光显微镜、全内反射荧光显微镜，连续激光共聚焦显微镜、脉冲多光子激发显微镜等显微技术的FRET方法分别进行了介绍和对比评估。

对于实验室应用和配置FRET系统具有参考意义.［关键词］:荧光共振能屋转移.W-FRET, TIRF-FRET. Confocal- FRET, MP-FRET1介绍随着生命科学研究的不断深入，光学显微镜使我们理解了细胞结构和有关功能。

但是分子生物学研究已经显示了分子事件，例如信号传导和基因翻译，需要蛋白质的装配成特殊的大分子复合体等。

对各种生命现象发生的机制，特别是对细胞内蛋白质间相互作用的研究变得尤为重要。

传统的生物物理或生物化学方法例如亲和色谱法或免疫沉淀反应法和近来的酵母双杂交、磷酸化抗体、免疫荧光、放射性标记等方法等，都需要破碎细胞或对细胞造成损伤，无法做到在活细胞生理条件下实时地对细胞内蛋白质-蛋白质间相互作用进行动态研究。

而基于强度的影像技术例如FRET方法(宽场，共聚焦，双光子)，使得研究活细胞内的这些相互作用变得容易了(Periasamy. 2001)«新的影像技术，结合开发新的基因编码的荧光基团标记和传感器以及计算机影像采集和分析软件的能力增强，使许多复杂的研究例如蛋白质功能和加工、基因表达和第二信使传递、胞内信号传导等研究成为可能。

(Rocsscl and Brand, 2002).FRET是通过分子间的电偶极相互作用将供体激发态能量转移到受体激发态的过程，它是一种非辐射跃迁［2］,发生FRET时，分子间距离小于lOnmo如果发生FRET,则供体通路信号将淬火而受体通路信号将激活或增强(Herman.1998)。

反卷积简介反卷积是一种计算密集型图像处理技术，通过该技术，可以提高显微图像的对比度和清晰度。

物镜数值孔径受限的情况下，这项技术主要是依靠一系列去模糊处理技术来提高图像的质量。

基本上所有通过数码荧光显微镜拍摄的图像都可以反卷积处理。

还有一些新的技术将反卷积应用在透射光图像中。

在所有反卷积技术的研究应用中，3D成像是最常用到反卷积处理的。

图1标注了反卷积处理中需要用到的光学元件。

样品是一个理想的细胞，由普通光学显微镜延Z轴获得一系列光切图（右图）重建形成。

在每一个焦平面上，相对应的平面图像被探测器记录并保存在计算机中。

在反卷积分析中，每一个焦平面上的图像被处理重建为一个3D图像。

反卷积技术常被认为是共聚焦显微镜的很好的替代品。

严格来说这种说法并不准确，因为利用针孔光阑获得的共聚焦图像也可以用反卷积技术分析。

然而，文献中记载的大部分涉及反卷积技术的实验，都是应用于宽场荧光显微镜上的。

当今反卷积算法处理的图像可以跟共聚焦拍摄的图像相媲美。

事实上，共聚焦显微镜与宽场反卷积处理显微技术都可以去模糊，但工作原理是相反的。

共聚焦显微镜是通过安装在物镜和检测器之间的针孔光阑，来阻止非焦平面上的模糊图像，而只有焦平面上的光可以通过。

相反，宽视场显微镜允许探测器接收到的所有光通过，随后利用反卷积技术对获得的图像去模糊处理。

共聚焦显微镜尤其适合观察厚的样品，比如胚胎或者组织；而宽视场反卷积显微镜很适合拍摄在非常低光水平的样品，比如荧光标记的活细胞和核酸。

图像降质的原因图像降质可分为4个独立的原因：噪声，散射，眩光和模糊。

图2分别展示了上述4种原因造成的图像效果。

反卷积技术的主要任务就是去除非焦平面上的模糊。

反卷积算法确实可以去除噪声，但只是整体上相对简单的去除。

1. 噪声。

噪声通常被描述为图像细节的拟随机紊乱（quasi-random disarrangement），最严重的形式就是白噪声（white noise）或者黑白相间噪声（salt-and-pepper noise），就是类似于电视中图像信号不好导致屏幕上的雪花点（图2(a)）。

全自动倒置荧光显微镜招标参数1．设备用途：可观察细胞培养，荧光标本观察，以及高内涵多孔板拍摄及分析等研究工作。

2．工作条件2.1 适于在气温为摄氏-40℃～＋50℃的环境条件下运输和贮存，在电源220V（ 10%）/50Hz、气温摄氏-5℃～40℃和相对湿度85%的环境条件下运行。

2.2 配置符合中国有关标准要求的插头，或提供适当的转换插座。

3．主要技术指标3.1 研究级倒置显微镜3.1.1显微镜镜体*3.1.1.1显微镜镜体光学系统：无限远校正光学系统，齐焦距离为≥45mm，目镜筒长度≥60mm;显微系统支持明场、相差、荧光的观察方式。

3.1.1.2 物镜转换器：电动6孔式物镜转换器（可安装DIC模块），防水结构。

*3.1.1.3 电动聚焦机构：备有粗微调转换旋钮（最小调焦精度：≤10nm），物镜离开/ 回复按键和记忆回位按键，最大驱动速度≥2.5mm/sec。

*3.1.1.4 原象光口：双层光路设计，最多可同时接4 路采集原像的图像获取系统。

3.1.2 透射光照明装置3.1.2.1 照明支柱倾斜结构（30度倾斜角，采用减震结构），视场可变光阑可调3.1.2.2 100W卤素灯照明或LED照明，带有光强自动管理系统，视野照明均一。

3.1.3 可倾斜双目镜筒：35-85°角度科连续调节，瞳距可在50-76mm范围内进行调节，视场直径为223.1.4 载物台：有效行程X轴±57mm；Y轴±36.5mm，最大速度25mm/sec，重复精度≤0.5μm,配有多功能、96孔板标本夹，磁性标本夹。

3.1.5 电动长工作距离万能聚光镜：孔位≥6孔，电动孔径光阑，N.A.0.52，工作距离≥29mm。

3.1.6 相差附件系统：相差环板：PHL、PH1、PH2。

3.1.7 物镜3.1.7.1 万能平场半复消色差相差物镜4X（N.A.≥0.13, W.D. ≥17.0mm）3.1.7.2 万能平场半复消色差物镜10X（N.A.≥0.3, W.D. 10mm）*3.1.7.3 高分辨率长工作距离平场半复消色差相差物镜20X（N.A.≥0.7, W.D.≥2.3-1.3mm）3.1.7.4 长工作距离平场半复消色差相差物镜40X（N.A.≥0.6, W.D.≥3.0-4.2mm）3.1.8 滤色镜：日光平衡滤色片，中性灰度滤色片3.1.9 目镜：高眼点目镜，10×，视场直径：223.1.10 反射荧光系统3.1.10.1 荧光照明装置：备有视场可变光阑，滤光片插板*3.1.10.2 荧光滤色镜盒：电动孔位≥6位的滤色镜转盘盒，内装光闸，防水结构。

揭示充满活力的生命亚细胞器网络配备Lattice SIM²的蔡司Elyra 7超高分辨率活细胞成像系统/elyra› 简介›优势›应用›系统›技术参数›售后服务现代生命科学界有一大共识，即对生物实体（无论是高分子、细胞器、细胞、还是有机体）结构的洞悉是理解其功能的关键。

对于刚性结构，关键只在于空间分辨率，但对于动态结构来说，要想在保护活体样品的同时实现所需时间分辨率，则更高的采集速度和低光毒性成为了不可避免的必要条件。

但是，当使用活体观察所需的最小曝光进行高速成像的时候，您是否必须牺牲分辨率？不一定！Lattice SIM²凭借其两倍于传统结构光照明显微镜（SIM）分辨率的性能，可以让您对苛刻条件下所采集到的精细图像细节进行重建。

使用SIM² Apotome，甚至可以实现无损的超高分辨率成像，这意味着以1：1的比例重建原始图像已经成为了现实——所有这些都具有出色的非焦平面光抑制和光学切面性能。

之前Lattice SIM和SIM Apotome的所有优势都保留在其后续的SIM²中。

因此，在实现双倍分辨率提升的同时，您仍然可以使用常用的染料和荧光蛋白，更好地分离不同标记的结构以获得双色同步成像，并在有需要时使用大视野。

成像模式（如Burst和Leap模式）可以无缝结合且无其它限制。

Lattice SIM²可以根据需要与Elyra 7平台上的TIRF、SIM、SMLM和Airyscan成像相结合。

配备Lattice SIM²和SIM² Apotome的Elyra 7：兼具高速与超高分辨率成像›简介› 优势›应用›系统›技术参数›售后服务更简单、更智能、更高度集成Lattice SIM²获得更出色的分辨率新的图像重建算法SIM²可以将SIM技术提升到一个新的水平，可以让您尽可能充分的利用光子。

现在您可以使传统的SIM分辨率翻倍，辨析出超精细的亚细胞结构，甚至是那些相距不超过60 nm的结构。