下载文档原格式
视网膜功能启发的边缘检测层级模型郑程驰 1范影乐1摘 要 基于视网膜对视觉信息的处理方式, 提出一种视网膜功能启发的边缘检测层级模型. 针对视网膜神经元在周期性光刺激下产生适应的特性, 构建具有自适应阈值的Izhikevich 神经元模型; 模拟光感受器中视锥细胞、视杆细胞对亮度的感知能力, 构建亮度感知编码层; 引入双极细胞对给光−撤光刺激的分离能力, 并结合神经节细胞对运动方向敏感的特性, 构建双通路边缘提取层; 另外根据神经节细胞神经元在多特征调控下延迟激活的现象, 构建具有脉冲延时特性的纹理抑制层; 最后将双通路边缘提取的结果与延时抑制量相融合, 得到最终边缘检测结果. 以150张来自实验室采集和AGAR 数据集中的菌落图像为实验对象对所提方法进行验证, 检测结果的重建图像相似度、边缘置信度、边缘连续性和综合指标分别达到0.9629、0.3111、0.9159和0.7870, 表明所提方法能更有效地进行边缘定位、抑制冗余纹理、保持主体边缘完整性. 本文面向边缘检测任务, 构建了模拟视网膜对视觉信息处理方式的边缘检测模型, 也为后续构建由视觉机制启发的图像计算模型提供了新思路.关键词 边缘检测, 视网膜, Izhikevich 模型, 神经编码, 方向选择性神经节细胞引用格式 郑程驰, 范影乐. 视网膜功能启发的边缘检测层级模型. 自动化学报, 2023, 49(8): 1771−1784DOI 10.16383/j.aas.c220574Multi-layer Edge Detection Model Inspired by Retinal FunctionZHENG Cheng-Chi 1 FAN Ying-Le 1Abstract Based on the processing of visual information by the retina, this paper proposes a multi-layer model of edge detection inspired by retinal functions. Aiming at the adaptive characteristics of retinal neurons under periodic light stimulation, an Izhikevich neuron model with adaptive threshold is established; By simulating the perception ability of cones and rods for luminance and color in photoreceptors, the luminance perception coding layer is con-structed; By introducing the ability of bipolar cells for separating light stimulation, and combining with the charac-teristics of ganglion cells sensitive to the direction of movement, a multi-pathway edge extraction layer is constructed;In addition, according to the phenomenon of delayed activation of ganglion cell neurons under multi-feature regula-tion, a texture inhibition layer with pulse delay characteristics is constructed; Finally, by fusing the result of multi-pathway edge extraction with the delay suppression amount, the final edge detection result is obtained. The 150colony images from laboratory collection and AGAR dataset are used as experimental objects to test the proposed method. The reconstruction image similarity, edge confidence, edge continuity and comprehensive indicators of the detection results are 0.9629, 0.3111, 0.9159 and 0.7870, respectively. The results show that the proposed method can better localize edges, suppress redundant textures, and maintain the integrity of subject edges. This research is oriented to the task of edge detection, constructs an edge detection model that simulates the processing of visual information by the retina, and also provides new ideas for the construction of image computing model inspired by visual mechanism.Key words Edge detection, retina, Izhikevich model, neural coding, direction-selective ganglion cells (DSGCs)Citation Zheng Cheng-Chi, Fan Ying-Le. Multi-layer edge detection model inspired by retinal function. Acta Automatica Sinica , 2023, 49(8): 1771−1784边缘检测作为目标分析和识别等高级视觉任务的前级环节, 在图像处理和工程应用领域中有重要地位. 以Sobel 和Canny 为代表的传统方法大多根据相邻像素间的灰度跃变进行边缘定位, 再设定阈值调整边缘强度和冗余细节[1]. 虽然易于计算且快速, 但无法兼顾弱边缘感知与纹理抑制之间的有效性, 难以满足复杂环境下的应用需要. 随着对生物视觉系统研究的进展, 人们对视觉认知的过程和视觉组织的功能有了更深刻的了解. 许多国内外学者在这些视觉组织宏观作用的基础上, 进一步考虑神经编码方式与神经元之间的相互作用, 并应用于边缘检测中. 这些检测方法大多首先会选择合适的神经元模型模拟视觉组织细胞的群体放电特性, 再关联例如视觉感受野和方向选择性等视觉机制, 以不收稿日期 2022-07-14 录用日期 2022-11-29Manuscript received July 14, 2022; accepted November 29,2022国家自然科学基金(61501154)资助Supported by National Natural Science Foundation of China (61501154)本文责任编委 张道强Recommended by Associate Editor ZHANG Dao-Qiang1. 杭州电子科技大学模式识别与图像处理实验室 杭州 3100181. Laboratory of Pattern Recognition and Image Processing,Hangzhou Dianzi University, Hangzhou 310018第 49 卷 第 8 期自 动 化 学 报Vol. 49, No. 82023 年 8 月ACTA AUTOMATICA SINICAAugust, 2023同的编码方式将输入的图像转化为脉冲信号, 经过多级功能区块处理和传递后提取出图像的边缘. 其中, 频率编码和时间编码是视觉系统编码光刺激的重要方式, 在一些计算模型中被广泛使用. 例如,文献[2]以HH (Hodgkin-Huxley)神经元模型为基础, 使用多方向Gabor滤波器模拟神经元感受野的方向选择性, 实现神经元间连接强度关联边缘方向,将每个神经元的脉冲发放频率作为边缘检测的结果输出, 实验结果表明其比传统方法更有效; 文献[3]在 LIF (Leaky integrate-and-fire) 神经元模型的基础上进行改进, 引入根据神经元响应对外界输入进行调整的权值, 在编码的过程中将空间的脉冲发放转化为时序上的激励强度, 实现强弱边缘分类, 对梯度变化幅度小的弱边缘具有良好的检测能力. 除此之外, 也有关注神经元突触间的相互作用, 通过引入使突触的连接权值产生自适应调节的机制来提取边缘信息的计算方法. 例如, 文献 [4] 构建具有STDP (Spike-timing-dependent plasticity) 性质的神经元模型, 根据突触前后神经元首次脉冲发放时间顺序来增强或减弱突触连接, 对真伪边缘具有较强的辨别能力; 文献 [5] 则在构建神经元模型时考虑了具有时间不对称性的STDP机制, 再融合方向特征和侧抑制机制重建图像的主要边缘信息, 其计算过程对神经元突触间的动态特性描述更加准确.更进一步, 神经编码也被应用于实际的工程需要.例如, 文献 [6]针对现有的红外图像边缘检测算法中存在的缺陷, 构建一种新式的脉冲神经网络, 增强了对红外图像中弱边缘的感知; 文献 [7] 则通过模拟视皮层的处理机制, 使用包含左侧、右侧和前向3条并行处理支路的脉冲神经网络模型提取脑核磁共振图像的边缘, 并将提取的结果用于异常检测,同样具有较好的效果. 上述方法都在一定程度上考虑了视觉组织中神经元的编码特性以及视觉机制,与传统方法相比, 在对复杂环境的适应性更强的同时也有较高的计算效率. 但这些方法都未能考虑到神经元自身也会随着外界刺激产生适应, 从而使活动特性发生改变. 此外, 上述方法大多也只选择了频率编码、时间编码等编码方式中的一种, 并不能完整地体现视觉组织中多种编码方式的共同作用.事实上, 在对神经生理实验和理论的持续探索中发现, 视觉组织(以视网膜为例)在对视觉刺激的加工中就存在着丰富的动态特性和编码机制[8−9]. 视网膜作为视觉系统中的初级组织结构, 由多种不同类型的细胞构成, 共同组成一个纵横相连、具有层级结构的复杂网络, 能够针对不同类型的刺激性选择相应的编码方式进行有效处理. 因此, 本文面向图像的边缘检测任务, 以菌落图像处理为例, 模拟视网膜中各成分对视觉信息的处理方式, 构建基于视网膜动态编码机制的多层边缘检测模型, 以适应具有多种形态结构差异的菌落图像边缘检测任务.1 材料和方法本文提出的算法流程如图1所示. 首先, 根据视网膜神经元在周期性光刺激下脉冲发放频率发生改变的特性, 构建具有自适应阈值特性的Izhikevich 神经元模型, 改善神经元的同步发放能力; 其次, 考虑光感受器对强弱光和颜色信息的不同处理方式编码亮度信息, 实现不同亮度水平目标与背景的区分;然后, 引入固视微动机制, 结合神经节细胞的方向选择性和给光−撤光通路的传递特性, 将首发脉冲时间编码的结果作为双通路的初级边缘响应输出;随后, 模拟神经节细胞的延迟发放特性, 融入对比度和突触前后偏好方向差异, 计算各神经元的延时抑制量, 对双通路的计算结果进行纹理抑制; 最后,整合双通路边缘信息, 将二者融合为最终的边缘检测结果.1.1 亮度感知编码层构建神经元模型时, 本文综合考虑对神经元生理特性模拟的合理性和进行仿真计算的高效性, 以Izhikevich模型[10]为基础构建神经元模型. Izhike-vich模型由Izhikevich在HH模型的基础上简化而来, 在保留原模型对神经元放电模式描述的准确性的同时, 也具有较低的时间复杂度, 适合神经元群体计算时应用, 其表达式如下式所示v thv th 其中, v为神经元的膜电位, 其初始值设置为 −70; u为细胞膜恢复变量, 设置为14; I为接收的图像亮度刺激; 为神经元脉冲发放的阈值, 设置为30; a描述恢复变量u的时间尺度, b描述恢复变量u 对膜电位在阈值下波动的敏感性, c和d分别描述产生脉冲发放后膜电位v的重置值和恢复变量u的增加程度, a, b, c, d这4个模型参数的典型值分别为0.02、0.2、−65和6. 若某时刻膜电位v达到,则进行一次脉冲发放, 同时该神经元对应的v被重置为c, u被重置为u + d.适应是神经系统中广泛存在的现象, 具体表现为神经元会根据外界的刺激不断地调节自身的性质. 其中, 视网膜能够适应昼夜环境中万亿倍范围的光照变化, 这种适应能够帮助其在避免饱和的同时保持对光照的敏感性[11]. 研究表明, 视网膜持续1772自 动 化 学 报49 卷接受外界周期性光刺激时, 光感受器会使神经元细胞的活动特性发生改变, 导致单个神经元的发放阈值上升, 放电频率下降; 没有脉冲发放时, 对应阈值又会以指数形式衰减, 同时放电频率逐渐恢复[12].因此, 本文在Izhikevich 模型的基础上作出改进,加入根据脉冲发放频率对阈值进行自适应调节的机制, 如下式所示τ1τ2τ1τ2v th τ1v th τ2其中, 和 分别为脉冲发放和未发放时阈值变化的时间常数, 其值越小, 阈值变化的幅度越大, 神经元敏感性变化的过程越快; 反之, 则表示阈值变化的幅度越小, 神经元敏感性变化的过程也就越慢.生理学实验表明, 在外界持续光刺激下, 神经元对刺激产生适应导致放电频率降低后, 这种适应衰退的过程比产生适应的过程通常要长数倍[13]. 因此,为了在准确模拟生理特性的同时保证计算模型的性能, 本文将 和 分别设置为20和40. 这样, 当某时刻某个神经元产生脉冲发放时, 则对应阈值 根据 的值升高, 神经元产生适应, 活跃度降低; 反之, 对应阈值 根据 的值下降, 神经元的适应衰退, 活跃度提升. 实现限制活跃神经元的脉冲发放频率, 促进不活跃神经元的脉冲发放, 改善神经元群体的同步发放能力, 减少检测目标内部冗余. 图2边缘检测结果图 1 边缘检测算法原理图Fig. 1 Principle of edge detection algorithm8 期郑程驰等: 视网膜功能启发的边缘检测层级模型1773显示了改进前后的Izhikevich 模型对图像进行处理后目标内部冗余情况.0∼255为了规范检测目标图像的亮度范围, 本文将输入的彩色图像Img 各通路的亮度映射到 区间内, 如下式所示Img (;i )I (;i )其中, 和 表示经亮度映射前和映射后的R 、G 、B 三种颜色分量图像; max(·) 和min(·)分别计算对应分量图像中的最大和最小像素值.光感受器分两类, 分别为视锥细胞和视杆细胞[14], 都能将接收到的视觉刺激转化为电信号, 实现信息的编码和传递. 其中, 视锥细胞能够根据外界光刺激的波长来分解为三个不同的颜色通道[15].考虑到人眼对颜色信息的敏感性能有效区分离散目标与背景, 令图像中的每个像素点对应一个神经元,将R 、G 、B 三种颜色分量图像分别输入上文构建的神经元模型中, 在一定时间范围内进行脉冲发放,如下式所示fires (x,y ;i )其中, 为每个神经元的脉冲发放次数,函数Izhikevich(·)表示式(2)给出的神经元模型.视杆细胞对光线敏感, 主要负责弱光环境下的外界刺激感知. 当光刺激足够强时, 视杆细胞的感知能力达到饱和, 视觉系统转为使用视锥细胞负责亮度信息的处理[16]. 因此, 除了对颜色信息敏感外,视锥细胞对强光也有高度辨别能力. 考虑到作为检测对象的图像中, 目标与背景具有不同的亮度水平,本文构建一种综合视锥细胞和视杆细胞亮度感知能力的编码方法, 以适应目标与背景不同亮度对比的多种情况, 如下式所示I base I base (x,y )fires Res (x,y )其中, var(·) 计算图像亮度方差; ave(·) 计算图像亮度均值. 本文取三种颜色分量图像中方差最大的一幅作为基准图像 , 对于其中的像素值 ,将其中亮度低于平均亮度的部分设置为三种颜色分量脉冲发放结果的最小值, 反之设置为最大值, 最终得到模型的亮度编码结果 , 实现在图像局部亮度相对较低的区域由视杆细胞进行弱光感知, 亮度较高区域由视锥细胞处理, 强化计算模型对不同亮度目标和背景的区分能力, 凸显具有弱边缘的对象. 图3显示了亮度感知编码对存在弱边缘的对象的感知能力.1.2 基于固视微动的多方向双通路边缘提取层Img gray 人眼注视目标时, 接收的图像并非是静止的,而是眼球以每秒2至3次的微动使投射在视网膜上的图像发生持续运动, 不断地改变照射在光感受器上的光刺激[17]. 本文考虑人眼的固视微动机制,在原图像的灰度图像 上构建大小为3×3的微动作用窗口temp , 使窗口接收到的亮度信息朝8个方向进行微动, 如下式所示p i q i θi temp θi d x d y 其中, 和 是用于决定微动方向 的参数, 其值被设置为 −1、0或1, 通过计算反正切函数能够得到以45° 为单位、从0° 到315° 的8个角度的微动方向, 对应8个微动结果窗口 ; 和 分别表示水平和竖直方向的微动尺度; Dir 为计算得到(a) 原图(a) Original image (b) Izhikevich 模型(b) Izhikevich model (c) 改进的 Izhikevich 模型(c) Improved Izhikevich model图 2 改进前后的Izhikevich 模型对图像进行脉冲发放的结果对比图Fig. 2 Comparison of the image processing results of the Izhikevich model before and after improvement1774自 动 化 学 报49 卷Dir (x,y )的微动方向矩阵, 其中每个像素点的值为 ;sum(·) 计算窗口中像素值的和. 本文取每个微动窗口前后差异最大的方向作为该点的偏好方向, 分别用数字1 ~ 8表示.视网膜存在一类负责对运动刺激编码、具有方向选择性的神经节细胞 (Direction-selective gangli-on cells, DSGCs)[18]. 经过光感受器处理, 转化为电信号的视觉信息, 通过双极细胞处理后传递给神经节细胞. 双极细胞可分为由光照增强 (ON) 激发的细胞和由光照减弱 (OFF) 激发的细胞[19], 分别将信号输入给光通路 (ON-pathway)和撤光通路 (OFF-pathways) 两条并行通路[20], 传递给光运动和撤光运动产生的刺激. 而神经节细胞同样包括ON 和OFF 两种, 会对给光和撤光所产生的运动方向做出反应[21]. 因此, 本文构造5×5大小的对特定方向微动敏感的神经节细胞感受野窗口, 将其对偏好方向和反方向微动所产生的响应分别作为给光通路和撤光通路的输入. 以偏好方向为45° 的方向选择性神θi fires Res S xy ∗通过上述定义, 可以形成以45° 为单位、从0°到315° 的8个方向的感受野窗口, 与上文 的8个方向对应. 之后本文在亮度编码结果 上构筑与感受野相同大小的局部窗口 , 根据最优方向矩阵Dir 对应窗口中心点的方向, 取与其相同和相反方向的感受野窗口和亮度编码结果进行卷积运算 (本文用符号 表示卷积运算), 分别作为ON 和OFF 通道的输入, 如下式所示T ON T OFF 考虑到眼球微动能够将静止的空间场景转变为视网膜上的时间信息流, 激活视网膜神经元的发放,同时ON 和OFF 两通路也只在光刺激的呈现和撤去的瞬时产生电位发放, 因此本文采用首发脉冲时间作为编码方式, 将 和 定义为两通路首次脉冲发放时间构成的时间矩阵, 并作为初级边缘响应的结果. 将1个单位的发放时间设置为0.25, 当总发放时间大于30时停止计算, 此时还未进行发放的神经元即被判断为非边缘.1.3 多特征脉冲延时纹理抑制层视网膜神经节细胞在对光刺激编码的过程中,外界刺激特征的变化会显著影响神经元的反应时间. 研究发现, 当刺激对比度增大时, 神经元反应延时会减小, 更快速地进行脉冲发放; 反之, 则反应延时增大, 抑制神经元的活性[22]. 除此之外, 方向差异也会影响神经元活动, 突触前后偏好方向相似的神经元更倾向于优先连接, 在受到外界刺激时能够更快被同步激活[23]. 因此, 本文引入视网膜的神经元延时发放机制, 考虑方向和对比度对神经元敏感性的影响, 构造脉冲延时抑制模型. 首先结合局部窗口权重函数计算图像对比度, 如下式所示ω(x i ,y i )其中, 为窗口权重函数, L 为亮度图像, Con(a) 原图(a) Original image (b) Izhikevich 模型(b) Izhikevich model (c) 改进的 Izhikevich 模型(c) Improved Izhikevich model (d) 亮度感知编码(d) Luminance perception coding图 3 不同方式对存在弱边缘的菌落图像的处理结果Fig. 3 Different ways to process the image of colonies with weak edges8 期郑程驰等: 视网膜功能启发的边缘检测层级模型1775S xy x i y i µ=∑x i ,y i ∈S xy ω(x i ,y i )为对比度图像, 为以(x , y )为中心的局部窗口,( , ) 为方窗中除中心外的周边像素, ws 为局部方窗的窗长, . 之后考虑局部方窗中心神经元和周边神经元方向差异, 同时用高斯函数模拟对比度大小与延时作用强度之间的关系, 构建脉冲延时抑制模型, 如下式所示D Dir (x,y )D Con (x,y )D (x,y )∆Dir (x i ,y i )min {|θ(x i ,y i )−θ(x,y )|,2π−|θ(x i ,y i )−θ(x,y )|}δ其中, 和 分别表示方向延时抑制量和对比度延时抑制量; 为计算得到的综合延时抑制量; 为突触前后神经元微动方向的差异, 被定义为 ; 用于调节对比度延时抑制量.T ON T OFFRes ON Res OFF 将上文计算得到的两个时间矩阵 和 中进行过脉冲发放的神经元与综合延时抑制量相加, 同样设置1个单位的发放时间为0.25, 将经延时作用后总发放时间大于30的神经元设置为不发放, 即判定为非边缘, 反之则判定为边缘. 根据式(19)和式(20) 得到两通道边缘检测结果 和. 最后, 将两通道得到的结果融合, 得到最终边缘响应结果Res ,如下式所示2 算法流程基于视网膜对视觉信息的处理顺序和编码特性, 本文构建图4所示的算法流程, 具体步骤如下:1) 根据视网膜在外界持续周期性光刺激下产生的适应现象, 在式(1)所示的Izhikevich 模型上作出改进, 构建如式(2)所示的具有自适应阈值的Izhikevich 模型.2) 根据式(3)将作为检测目标的图像映射到0 ~ 255区间规范亮度范围, 接着分离3种通道的颜色分量, 根据式(4)输入到改进的Izhikevich 模型中进行脉冲发放.3) 根据式(5)的方差计算提取出基准图像, 再结合基准图像根据式(6)对三通道脉冲发放的结果进行亮度感知编码, 得到亮度编码结果.4) 考虑人眼的固视微动机制, 根据式(7)和式(8)通过原图的灰度图像提取每个神经元的偏好方向, 得到微动方向矩阵, 接着根据式(9)和式(10)构筑8个方向的方向选择性神经节细胞感受野窗口.5) 根据式(11)和式(12), 将感受野窗口与亮度编码图像作卷积运算, 并输入Izhikevich 模型中得到ON 和OFF 通路的首发脉冲时间矩阵, 作为两通道的初级边缘响应.6) 根据式(13) ~ 式 (15), 结合局部窗口权重计算图像对比度.7) 考虑对比度和突触前后偏好方向对脉冲发放的延时作用, 根据式(16) ~ 式 (18)构建延时纹理抑制模型, 并根据式(19)和式(20)将纹理抑制模型和两通道的初级边缘响应相融合.8) 根据式(21)将两通路纹理抑制后的结果在神经节细胞处进行整合, 得到最终边缘响应结果.3 结果为了验证本文方法用于菌落边缘检测的有效性, 本文选择Canny 方法和其他3种同样基于神经元编码的边缘检测方法作为横向对比, 并进行定性、定量分析. 首先, 选择文献[4]提出的基于神经元突触可塑性的边缘检测方法(Synaptic plasticity model, SPM), 用于对比本文方法对弱边缘的增强效果; 其次, 选择文献[24]提出的基于抑制性突触的多层神经元群放电编码的边缘检测方法 (Inhibit-ory synapse model, ISM), 验证本文的延时抑制层在抑制冗余纹理方面的有效性; 然后, 选择文献[25]提出的基于突触连接视通路方向敏感的分级边缘检测方法(Orientation sensitivity model, OSM), 对比本文方法在抑制冗余纹理的同时保持边缘提取完整性上的优势; 最后, 还以本文方法为基础, 选择去除亮度感知编码后的方法(No luminance coding,NLC)作为消融实验, 以验证本文方法模拟光感受器功能的亮度感知编码模块的有效性.本文使用实验室在微生物学实验中采集的菌落图像和AGAR 数据集[26]作为实验对象. 前者具有丰富的颜色和形态结构, 用于检验算法对复杂检测环境的适应性; 后者则存在更多层次强度的边缘信息, 菌落本身与背景的颜色和亮度水平也较为相近,用于检测算法对颜色、亮度特征和弱边缘的敏感性.本文通过局部采样生成150张512×512像素大小的测试图像, 其中38张来自实验室采集, 112张来自AGAR 数据集. 然后分别使用上文的6种边缘1776自 动 化 学 报49 卷检测算法提取图像边缘, 使每种算法得到150张边缘检测结果, 其中部分检测结果如图5所示.定性分析图5可知, Canny 、SPM 和ISM 方法在Colony4和Colony5等存在弱边缘的图像中往往会出现大面积的边缘丢失. OSM 方法对弱边缘的敏感性强于以上3种方法, 但仍然会出现不同程度的边缘断裂, 且在调整阈值时难以均衡边缘连续性和目标菌落内部冗余. NLC 方法同样丢失了Colony4和Colony5中几乎所有的边缘, 对于Colony3也只能检出其中亮度较低的菌落内部, 对于梯度变化不明显的边缘辨别力差. 与其他方法相比, 本文方法检出的边缘更加显著且完整性更高, 对于弱边缘也有很强的检测能力, 在Colony3、Colony4和Colony5等存在多层次水平强弱边缘的菌落图像中能够取得较好的检测结果. 为了对检测结果进行定量分析并客观评价各方法的优劣, 计算边缘图像重建相似度MSSIM [27]对检测结果进行重建, 并计算重建图像与原图像的相似度作为边缘定位的准确性RGfires (R)fires (G)亮度编码结果Luminance codingresult方差计算Variance1 2 3ON-result对比度Contrast脉冲延时抑制量Neuron spiking delay感受野窗口感受野窗口DSGC templateOFF-通路输出OFF-result 5)6)7)图 4 边缘检测算法流程图Fig. 4 The procedure of edge detection algorithm8 期郑程驰等: 视网膜功能启发的边缘检测层级模型1777图 5 Colony1 ~ Colony5的边缘检测结果(第1行为原图; 第2行为Canny 检测的结果; 第3行为SPM 检测的结果; 第4行为ISM 检测的结果; 第5行为OSM 检测的结果; 第6行为NLC 检测的结果; 第7行为本文方法检测的结果)Fig. 5 Edge detection results of Colony1 to Colony5 (The first line is original images; The second line is the results of Canny; The third line is the results of SPM; The fourth line is the results of ISM; The fifth line is the results of OSM;The sixth line is the results of NLC; The seventh line is the results of the proposed method)1778自 动 化 学 报49 卷指标. 首先对检测出的边缘图像做膨胀处理, 之后将原图像上的像素值赋给膨胀后边缘的对应位置,得到的图像记为ET , 则边缘重建如下式所示T k ET d k 其中, 为图像 上3×3窗口中8个方向的周边像素, 为窗口中心像素点与周边像素的距离, 计算得到重建图像R . 重建图像的相似度指标如下式所示µA µB σA σB σAB 其中, 和 为原图像和重建图像的灰度均值, 和 为其各自的标准差, 为原图像与重建图像之间的协方差. 将原图像和重建图像各自分为N 个子图, 并分别计算相似度指标SSIM , 得到平均相似度指标MSSIM . 除此之外, 为了验证边缘检测方法检出边缘的真实性和对菌落内部冗余纹理的抑制能力, 本文计算边缘置信度BIdx [28], 根据边缘两侧灰度值的跃变程度判断边缘的真伪. 边缘置信度指标如下式所示σij E (x i k ,y ik )(x i ,y i )d i其中, 为边缘像素在原图像对应位置的邻域标准差, EdgeNum 为边缘像素数量. 另外, 本文进一步计算边缘连续性 CIdx [29]来验证检出目标的边缘完整性. 首先将得到的边缘图像E 分割为m 个区域, 分别计算每个区域中的边缘像素 到其空间中心 的距离 ,则连续性指标如下式所示c i k C i n i 其中, 为边缘连续性的贡献值, D 为阈值, 为第i 个区域的像素点的连续性贡献值之和,为第i 个区域边缘像素点数量. 最后, 将计算得到的3个指标根据下式融合, 得到综合评价指标EIdx [21]其中, row 和col 分别为原图像的行数和列数. 于是, 检测图像的各项性能指标如表1 ~ 表5所示, 图像重建的结果如图6所示.表 1 不同检测方法下的重建相似度MSSIM Table 1 MSSIM of different methodsSerial number MSSIMCanny SPMISMOSMNLC本文方法Colony10.74520.77250.83570.92650.91750.9371Colony20.79510.79710.84900.95280.94470.9725Colony30.85760.86620.83140.91490.83370.9278Colony40.96900.98270.98380.98870.98930.9972Colony50.96340.97580.97800.97710.98830.9933表 2 不同检测方法下的边缘置信度BIdx Table 2 BIdx of different methodsSerial number BIdxCanny SPMISMOSMNLC本文方法Colony10.49880.46180.43070.58010.50580.6026Colony20.18210.15370.15530.33650.46150.4479Colony30.19830.15100.16100.26340.12630.3257Colony40.16310.14880.19060.14370.15210.2016Colony50.16200.18960.19020.18820.17350.1654表 3 不同检测方法下的边缘连续性CIdxTable 3 CIdx of different methodsSerial numberCIdxCanny SPMISMOSMNLC本文方法Colony10.83770.85300.86010.86760.97490.9652Colony20.80690.86550.85330.82930.91770.9518Colony30.80640.74080.72930.82690.77640.9406Colony40.81430.86110.90440.84300.90150.9776Colony50.90470.84480.86320.85920.87090.95718 期郑程驰等: 视网膜功能启发的边缘检测层级模型1779。
3 Pure Color LasersTriple-Laser UST Built for Home Cinema107%BT.2020 Color1 BillionColors• Red + Green + Blue Lasers • 107% BT.2020 Color • 100 to 120-inch Projection• 4K Resolution, 60Hz Refresh • HDR10, HLG• 2000 Lumens• 30W Dolby Atmos ® Sound • High-Speed HDMI with eARC • Android TVThe PX1 features the award-winning triple-laser TriChroma laser engine to achieve full coverage of the BT.2020 color space for a true-to-life picture. With Variable Focus the PX1 delivers a razor-sharp 4K image in sizes from 100 to 120-inches . And with premium features like eARC for lossless audio, Filmmaker Mode, and Auto Low Latency Mode, the PX1 is an Ultra Short Throw projector brimming with immersive entertainment potential.TriChroma really is R, G, B-eautiful. The PX1 uses pure red, green, and blue lasers to achieve new levels of color performance, reaching 107% of the BT.2020 color space - that’s color you’ve never seen on a display before.Incredible Clarity and Contrast4K UHD Image Resolution HDR10High Dynamic RangeImmersive Entertainment100″ ~ 120”Projection Size 2000 Lumens VariableFocusGet ready to take movie night, your next streamingbinge, or gaming with the boys to a whole new level.With Variable Focus the PX1 can project images from100 to 120 inches with razor-sharp focus for maximumviewing immersion.4K Ultra HD produces over 8 million pixels to create extremeclarity across an extra-large projection. High DynamicRange expands color and contrast so you can enjoy astunningly vibrant picture with incredible depth and detail.30WDolby Atmos® SoundHigh-Speed HDMIwith eARCPerfect for Home Cinema1,000,000:1Dynamic ContrastAt 2000 Lumens peak brightness, the PX1 has plenty ofoutput to faithfully recreate sparkling highlights, punchycolors, and deep blacks. While a good performer in anyspace when paired with an ALR screen, the PX1 looksbest in a darkened room with lighting control.With built-in 30W Dolby Atmos® sound, PX1 sounds biggerthan it looks. Get clear speech, crisp highs, and boominglows without having to invest in any extra gear. Or use theHigh-Speed HDMI port with eARC to pass-thru uncom-pressed audio to your surround sound system.Up to 120”ProjectionPorts & Connectivity2xHigh-Speed HDMI (1 with eARC)1xDigital Audio Out 1xRF Antenna 1xUSB 3.01xUSB 2.01xLAN EthernetWith the PX1’s microsecond-level processor response, younever miss a moment of the action. Fast-moving imagesare buttery smooth and crystal clear - so whether itssports, games, or action films the PX1 keeps pace.Built-in WiFi, Bluetooth, Google Assistant, Works with Alexa,and Control4 compatible, the PX1 can be integrated withyour smart home ecosystem to create automations toyour heart’s content.The PX1 takes eye safety seriously with an eye-protectionfunction that dims the picture when something gets alittle too close. Also great for keeping kids and pets fromtouching the projector. Of course, you can always turn EyeSafety off.Filmmaker Mode disables several image processing adjustments from the projector settings to ensure you’re seeing content exactly the way the moviemakers intended. No need to manually change picture settings when you’re about to drop in. Auto Low Latency Mode detects when a gaming console is the active source and automatically adjusts projector settings to optimize game performance.Integrate Laser Cinema with your wireless multi-channel surround sound system - the PX1 is WiSA ready.PX1 leverages DLP display technology used in 9 out of 10 cinemas worldwide. With extreme clarity and depth of color, everything you watch looks truly cinematic.Android TV brings great content to the biggest screen in your home. Install apps from the Google Play Store and login to your favorite streaming services for limitless entertainment. Use Chromecast to mirror your phone or tablet directly to the Laser Cinema.Dial-in image focus from the convenience of your couch. Variable Focus allows you to adjust the projector’s focus mechanism with your remote -no need to mess with a manual focus wheel.The PX1’s laser light technology provides up to 25,000 hours of entertainment without any loss in laser performance. And forget LED projectors with their slow warm-up time – the PX1 has instant-on laser light to set the perfect picture without the wait.Tech SpecsPX1 TriChroma Laser CinemaDimensionsWeightPackaged Dimensions Packaged Weight Smart TV PlatformApp StoreStreaming Services Voice Assistant Works With Screen MirroringWi-Fi Bluetooth Wired EthernetPower Consumption Standby Consumption Power Supply Audio Output Power Surround Sound Projection Size BrightnessResolution / Refresh Rate Color SpaceContrast Ratio HDR Light Source Laser Life Throw Ratio Chipset20.5” x 6.3” x 12.8” (WxHxD)20.3 lbs23.8” x 11.6“ x 15.8” (WxHxD)26.5 lbs 30W (Stereo)Dolby Atmos, Dolby Digital 100”-120” 2000 Lumens 4k @ 60Hz107% BT.20201,000,000:1 (dynamic)HDR10, HLGRed + Green + Blue Laser 25,000+ Hours 0.25:10.47” DMD P h y s i c a lP i c t u r eA u d i oP o w e rS m a r t F e a t u r e sC o n n e c t i v i t yHDMIHDMI ARC, CEC USBRF Antenna Ethernet (LAN)Digital Audio Output Analog Audio Output Android TV (Google Certified)Google Play StoreGoogle AssistantHey Google, Amazon Alexa ChromecastYes, 802.11a/b/g/n/ac (Dual-Band)Yes Yes200W <0.5W AC 120V, 60Hz 2x HDMI 2.11x (eARC on HDMI port 2), CEC 1x USB 3.0, 1x USB 2.01x 1x 1x Optical 1x Chassis Color Gaming Input Lag Parental Controls Closed Caption Sleep Timer Eye Safety MEMCRemote Finder WiSA Ready RemoteQuick Start Guide / Manual Power Cable Cleaning Kit Navy Blue ~30 ms Yes Yes Yes Yes Yes Yes YesYes, voice remote with backlight QSG in box, Manual online Yes Yes Warranty UPC1 Year 888143012926P o r t s O h t e r F e a t u r e sA c c e s s o r i e sDisney+, HBO NOW, Hulu, Prime Video, SHOWTIME, Pandora, Sling TV, YouTubeHisense USA Corporation | 7310 McGinnis Ferry Road, Suwanee, GA 30024 | 1-888-935-8880 | Image Size100”110”120”L 12 3/4”14 3/4”16 3/4”H 15”16”17“LHSTANDWALL / SCREEN。
《智能网联汽车：激光与视觉SLAM详解》读书随笔目录一、内容描述 (2)1.1 背景介绍 (3)1.2 智能网联汽车的发展趋势 (4)二、激光SLAM技术 (6)2.1 激光SLAM的基本原理 (7)2.2 激光SLAM的关键技术 (8)2.2.1 盲区检测与补全 (10)2.2.2 闭环检测与修正 (11)2.2.3 传感器标定与误差校正 (11)2.3 激光SLAM在智能网联汽车中的应用场景 (13)2.3.1 自动驾驶辅助系统 (15)2.3.2 环境感知与导航 (16)2.3.3 车辆协同与交通管理 (17)三、视觉SLAM技术 (18)3.1 视觉SLAM的基本原理 (19)3.2 视觉SLAM的关键技术 (21)3.2.1 目标识别与跟踪 (22)3.2.2 语义地图构建与更新 (23)3.2.3 重定位与路径规划 (24)3.3 视觉SLAM在智能网联汽车中的应用场景 (25)3.3.1 车载导航与娱乐系统 (27)3.3.2 车辆控制与交互 (28)3.3.3 实时路况分析与预警 (30)四、激光与视觉SLAM的融合应用 (31)4.1 融合框架与策略 (32)4.2 数据关联与优化方法 (34)4.3 融合系统的性能评估与改进方向 (36)五、未来展望与挑战 (38)5.1 智能网联汽车激光与视觉SLAM技术的发展趋势 (39)5.2 面临的技术挑战与解决方案 (41)六、结语 (42)6.1 读书感悟与收获 (43)6.2 对智能网联汽车激光与视觉SLAM技术的期待 (45)一、内容描述《智能网联汽车：激光与视觉SLAM详解》一书深入探讨了智能网联汽车在激光与视觉SLAM技术方面的应用和发展。
本书不仅介绍了智能网联汽车的基础知识和相关技术背景，还详细解析了激光SLAM 和视觉SLAM在智能网联汽车中的应用原理和实践应用。
在阅读这本书的过程中，我深感其内容丰富、逻辑清晰，既有理论深度，又注重实际应用。
Bruker In-Vivo Xtreme小动物活体成像系统标准操作规程【目的】通过制定本操作规程，规范小动物活体成像系统使用。
【准备】1、实验试剂（药物、染料、麻醉剂、水、脱毛膏等）；2、实验对象（小鼠、大鼠、黑鼠、裸鼠等）；3、如需要气体麻醉则要进行氧气准备，将麻醉剂倒入麻醉机中，并检查麻醉机检查窗中液位位于“min”和“Max”之间；气体麻醉前根据室内温度情况酌情打开动物空气加热器。
【开机】主机部分：1、打开X-Ray光源，将开关钥匙打到“ON”的位置；2、打开主机，将主机右后方的电源开关打到“ON”的位置。
接着打开电脑，等待网线图标出现一个黄色三角叹号后，将MI软件打开。
注意：仪器开机以后，需要大约20分钟的预冷时间。
附属部分：1、如需要进行气体麻醉，则需要打开麻醉机，并对实验对象进行预麻醉；2、如果需要进行三维旋转拍摄，则需准备动物旋转系统（MARS），动物旋转系统的准备需要在不开拍摄软件和MARS控制器按钮打到manual的情况下，先按要求将旋转器安装到暗箱中，然后将按钮打到auto，完成之后即可打开MI软件【拍照】1、将实验对象摆放到托盘中，拍照部位朝下，如拍摄腹部影像，需将实验对象腹部朝下，并将四肢伸展开，然后将托盘放入暗箱拍摄位置，放置是托盘缺口朝右侧摆放；2、双击桌面MI图标，打开MI软件，单击“Capture”按钮，打开拍摄参数设置界面；1）：拍摄界面顶部显示仪器型号。
MI软件提供同时拍摄两张图像的功能，即第一张图像是Foreground，主图像，第二张图像是Background，背景图像。
点击Foreground和Background按钮进行切换，对两张图像的拍摄程序分别进行编辑。
2）：左边第一部分File里可以执行和创建、编辑修改一个Protocol，同时，Protocol还可以通过点击软件顶部的工具栏中Protocol按钮打开。
3）：第二部分是选择拍摄模式，共有5种，分别为Fluorescence荧光，Luminescence化学发光，Radioisotopix同位素，X-Ray X光，Reflectance反射光，另外可以Custom定制程序。
I SPY 视觉大发现系列这是一套奇妙的视觉益智游戏书这是一套视觉奇观珍品。
每本书里包含让人目眩神迷的上万件物品和300项视觉发现游戏。
每一张谜题图都是一幅摄影艺术精品，无论是玩具工厂还是海底世界，漂亮的景物既可以吸引读者进行认知，丰富读者的视觉经验、又可供欣赏，给读者美的熏陶。
这是一套可让任何年龄段的孩子都可以参与的互动宝典，它可以让不同发展水平的孩子都能在视觉游戏中获得成功的喜悦和自我激励。
锻炼孩子观察更细致性、反应更敏捷，培养孩子遭遇挫折时的意志品质。
书中的照片上看似杂乱无章的物品陈设，都经过精心的设计和摆放，让孩子突破心理定势、驾驭丰富联想、躲避视觉圈套，在完成各种找寻任务中体验发现的乐趣和顿悟的惊喜。
这是一套常看常新的魔术宝书。
每次翻开，都会有一些意想不到的新灵感、新发现。
每本书的末尾还特别为观察高手提供了展示自我的空间，你可以将书中没有提到却被你发现的非常隐秘的各种东西记录下来，或者尝试为所发现的谜题编写神奇的故事……本书的宝藏可自设：你和家人不仅可以按照书中既定的问题来进行常规阅读，也可以随机根据画面内容和难易程度自己设计一些探寻和发现的目标。
您可以为搜寻项目记时：即用更短的时间完成同等数量的游戏，或在同样的时间里，完成更多的游戏。
这些搜寻游戏既可以让能够自主阅读的孩子一个人自得其乐，也可以大家一起互相比赛，看谁能用更短的时间，找到的更多。
阅读需要用眼睛没错，可是阅读《I SPY视觉大发现》这样的书，却得同时用上神探的眼睛、魔术师的手、猜谜高手的脑袋，以及艺术大师的审美力和探险家的那颗心。
从来没读过这样的书！这是套让侦探小说家苦笑、让恐怖小说家沉默、让插图画家尴尬、让游戏设计家拍手称快的那种书。
