自顶向下视觉注意机制的进展

基于视觉注意机制的图像识别算法研究

随着人工智能技术的飞速发展，图像识别技术也越来越成熟，已经广泛应用于各个领域，如安防、医疗、汽车驾驶等。图像识别在很多场景中具有广泛的应用，但是一些复杂场景下，图像识别存在一些问题，例如目标遮挡、光照变化等，在这种情况下，常规的图像识别算法往往无法取得理想的识别效果。因此，如何开发一种新的图像识别算法，从而提高识别准确率，成为了一个热门的研究领域。

在本文中，我们将介绍基于视觉注意机制的图像识别算法，这是一种新兴的图像识别方法，通过视觉注意机制对图像进行处理和分析，从而提高识别准确率。

一、视觉注意机制的定义

视觉注意机制，又称为视觉注意机制（Visual Attention

Mechanism，VAM），是指人类视觉系统为了有效地获取信息，通过对外界环境的感知进行筛选和过滤，使一个个重要的信息成为人类注意的焦点，从而快速获取关键的信息。

视觉注意机制源于人类视觉系统，是一种自然的信息处理方式。视觉注意机制可以帮助人类在复杂和多变的环境中进行高效的信息处理。不同的人具有不同的注意机制，但都具有迅速响应和快速处理信息的能力。如何使用视觉注意机制辅助图像识别算法的研究已经受到了学术界和工程界的广泛关注。

二、基于视觉注意机制的图像识别算法

基于视觉注意机制的图像识别算法主要分为以下两类：

1. 基于视觉注意机制的前处理算法

基于视觉注意机制的前处理算法，通常称为视觉感知模型。该算法通过对图像中包含的信息进行筛选和过滤，将视觉关注的重要信息高亮显示出来，从而帮助识别算法更准确地识别图像中的物体。视觉感知模型主要包括两个步骤：视觉显著性检测和区域提取。

（1）视觉显著性检测

视觉显著性检测是基于视觉注意机制的前处理算法中的一项重要技术。视觉显著性检测技术的主要任务是发现图像中具有显著性的视觉目标或区域，将其从其他视觉信息中分离出来。在图像中，具有显著性的对象通常具有明亮或鲜艳的颜色，或者具有不同的纹理或形状特征。

显著性检测

视觉注意机制(Visual Attention Mechanism，VA)，即面对一个场景时，人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些人们感兴趣区域被称之为显著性区域。人类视觉注意机制有两种策略，即采用自底向上策略注意机制和采用自顶向下策略注意机制。前者利用图像的颜色、亮度、边缘等特征表示，判断目标区域和它周围像素的差异，进而计算图像区域的显著性。后者针对图像的特定特征来计算图像区域的显著性。

显著性检测就是提取图像中重要的、人类感兴趣的区域。根据显著性区域的应用不同，产生了很多不同的显著性区域定义，相应的显著性检测算法也不相同。按检测目标，显著性检测可分为基于显著性点的显著性检测和基于显著性对象(图像前景)的显著性检测。前者以最能引起人类视觉系统的点为检测目标，后者以最能引起人类视觉系统的前景为检测目标。按显著性检测的变换域，显著性检测还可以分为时域显著性检测和变换域显著性检测。下面我们介绍几种经典的显著性检测方法。

根据视觉系统的行为和神经网络结构，Itti等人提出Itti视觉注意力模型。它是经典的基于自底向上策略视觉注意力模型。该模型组合多尺度图像特征到一个单一视觉显著性图中。首先，通过线性滤波对图像颜色、亮度、方向等特征进行提取。其次，通过高斯金字塔、中央周围(center-surround)算子和归一化处理获得显著性图，其中包括6个亮度特征图、12个色彩特征图和24个方向特征图。最后，再根据显著图确定图像显著性区域，从而实现图像的显著性检测。

Hou等人提出了一种基于傅里叶频谱残差(Spectrum Residual，SR)的分析方法。该方法将输入图像进行对数频谱分析，去除对数频谱中的通用信息，得到目标的频谱信息，最后利用傅里叶反变换得到其显著性映射，即得到其空间域对应的目标区域。我们可以通过阈值选择确定重要物体。该方法原理简单、运算速度快并且具有较强的抗干扰性。

改进视皮层视觉机制的视觉注意力模型

一、引言

1.1 背景

视觉注意力是人类视觉系统中的重要功能，它使我们能够在复杂的视觉环境下集中注意力于感兴趣的目标。在大脑的视皮层，视觉注意力起到了调节视觉处理的作用，使得我们能够更有效地处理重要的信息并忽略无关的干扰。

1.2 目的

本文的目的是探讨并改进视皮层视觉机制的视觉注意力模型，以提升人类视觉系统的处理能力和对目标的敏感度。

二、现有的视觉注意力模型

2.1 特征显著性模型

特征显著性模型是一种常见的视觉注意力模型，它基于对图像中显著性特征的检测来确定视觉注意的位置。这些模型通常利用图像的低级特征如颜色、对比度和方向等来计算显著图。然而，这种模型在处理复杂场景时容易受到干扰，无法捕捉到高级语义信息的显著性。

2.2 空间注意力模型

空间注意力模型基于空间位置的选择性，将注意力视为一个在视觉场景中移动的虚拟焦点。这些模型通常利用图像的局部信息和全局布局等来确定视觉注意的位置。然而，这种模型没有考虑到目标在语义信息上的重要性差异，导致在处理复杂环境时表现不佳。 2.3 特征整合注意力模型

特征整合注意力模型试图结合特征显著性模型和空间注意力模型的优点，以提高视觉注意力的效果。这些模型通过整合图像的低级特征和高级语义信息来确定视觉注意的位置。然而，这种模型仍然存在一些问题，如对目标的判断不准确、对复杂场景的处理能力有限等。

三、改进的思路

为了改进视皮层视觉机制的视觉注意力模型，我们可以从以下几个方面入手：

3.1 引入深度学习方法

深度学习在计算机视觉领域取得了巨大的成功，可以应用于改进视觉注意力模型。通过将深度学习算法应用于视觉注意力模型中，可以有效地学习图像的表示和特征，提高对目标的准确性和对复杂场景的处理能力。

3.2 结合时空注意力模型

时空注意力模型可以通过考虑时间和空间上的关系，更好地捕捉到目标的运动和物体间的交互。因此，在改进视觉注意力模型时，可以结合时空注意力模型，加入对目标运动的建模和对物体间关系的理解，以提高对复杂动态场景的处理能力。

2011年10月（下）现代人类视觉系统的研究发现，人类视觉系统能够在复杂场景中迅速地将注意力集中在少数几个显著的视觉对象上，这就是视觉选择注意（VisualSelection）。在计算机视觉研究方面，依据人类视觉选择注意的基本原理，开发能够进行智能图像信息处理的计算机视觉注意模型就成为我们的一大任务。生物科学、脑科学及注意的认知等方面的研究发现，人类的视觉注意过程包括两个方面，一方面是对自底向上的初级视觉特征的加工，另一方面是由自顶向下的任务指导，两方面结合共同完成了视觉的选择性注意。与此对应，当前的计算机视觉注意研究也分为这两个方面。在没有先验任务指导的情况下，视觉注意的目标选择主要是由场景中自底向上数据驱动的，目标是否被关注由它的显著性决定。该方法通过对输入图像提取初视觉特征，形成各个特征对应的显著图，其中以Itti的显著图模型最具代表性。1Itti的显著图模型Itti的显著图模型（简称Itti模型）通过初级特征的提取，将多种特征、多种尺度的视觉空间通过中央—周边（center-surround）算子得到的各个特征的显著性图合成一幅显著图。该模型主要包含3个模块：特征提取、显著图生成和注意焦点转移。1.1特征提取外界输入的图像信息在特征提取模块得到初级视觉特征的提取图，初级视觉特征主要包括颜色、运动、朝向、亮度等。1.2显著图生成自然环境下的图像含有大量冗余，大脑可以有效去除这些冗余，将注意力集中在有用的信息上。视觉注意计算模型完成图像处理时也要有效消除自然图像中的冗余信息，才能进一步为显著信息的提取做好准备。静态图像所包含的信息H（Iimage）可以分为显著信息H（Iinno-vation）和背景信息H（Iredundancy）（冗余信息）两类，去除图像中的冗余信息，就可以得到显著的信息。得到亮度、颜色和方向各特征显著图后，将这些显著图进行特征融合，之后得到的就是最终的综合显著图。1.3注意焦点确定及转移最终的显著图产生之后，在显著图中显示的各个目标通过竞争机制吸引注意焦点（FOA）。显著图中各目标的竞争采用胜者为王（WTA）的竞争机制来实现。WTA机制中被检测出来的胜者，即为显著度更高的注意焦点（FOA）。由于待注意目标在所有参与竞争的目标中总是最显著的，在竞争中总是会获得胜利的，所以如果没有特定的控制机制，焦点将恒定地指向同一个目标，而其他目标不会获得被注意的机会，注意焦点就无法转移。可以通过禁止返回的检测机制、就近转移的原则，和注意区域尺寸的确定来实现焦点的注意与转移。2Itti模型的注意效果试验及不足试验表明没有上层任务指导，完全根据图像中各区域的显著程度进行视觉焦点转移的情况下，Itti模型基本可以搜索出各个注意区域。Itti模型相比前期的注意选择计算模型在视觉目标的选择方面表现出了很大的优势，但在实际应用研究中我们也发现，Itti模型还有一些不足。比如显著区与目标区域有偏差、计算量较大等。3Itti模型的改进Itti模型中，显著图的生成一般是由各种初级特征显著图在一定的合并策略下产生的，但有时生成显著区域的大小及位置和目标有较大偏差。而人类的视觉注意系统总是能从各种干扰信息中有效的提取注意目标的准确信息，显然该方法在提取注意目标方面和人类的视觉注意选择是有差距的。人类的视觉注意系统之所以能够准确有效提取注意目标，主要是因为人类的视觉系统提取注意目标是自下而上的数据驱动和自上而下的任务驱动相结合进行的。Itti模型中注意目标的提取过程完全是自下而上的数据驱动过程，在该模型的应用中就会产生一些问题。如原始图像经过Itti方法进行初级特征提取后，按全局加强法进行各显著图合并得到合成显著图。在合成显著图后，常常出现目标区域散乱，最终很难通过处理过的显著图来确定注意焦点。初级特征提取后所形成的各个特征维上的初级特征显著图会有一定的显著性特征，但可能某个特征维上的显著信息特征不明显。如果显著点所在的区域过于平滑或显著区域空间分布过大，都会对最终合成显著图的生成造成障碍。由于有以上特点的显著信息的存在，对合成显著图中的显著物生成造成负贡献，导致合成显著区域散乱，干扰显著目标的获取。对此，我们在计算机视觉注意模型中将显著图合并改为通过先验任务指导下的显著区域合并策略。4先验任务指导下的显著区域合并策略原始图像进行各特征维的初级特征提取后，进行显著图合并之前，先对各特征维显著图进行二值化处理，再对各个特征维的显著图进行显著区域合成。需要注意的是在显著图合成时需要引入先验任务指导下的显著区域合并策略。即在进行区域合并之前先由先验任务判断每一个特征维上的显著区域是否能够对综合显著图的生成构成贡献。如果能够，则允许合并；如果不能，舍去该特征维上的显著区域图再进行区域合并。实验证明，当显著图中显著点的分布过于均匀时或密度过大时，该显著图就不在能够给最终显著图的合成做出贡献，只会在显著图合并中起干扰作用，影响最终显著图的精度。判断某特征维显著图是否为干扰图，可由式1和式2表示。Arat=S面积M面积（式1）Gi=1Arat＞Tjud0Arat≤Tjud!（式2）我们把显著区域面积S面积和图像区域面积M面积进行比较的比值作为Arat判别对象。当该值大于判定阈值Tjud（如0.7）时我们认为该显著图为干扰图Gi=1，应该舍去，不再参加显著图的合并。5结语实践证明，基于先验任务指导下的视觉区域合并策略而构建的计算机视觉注意模型能较好的解决Itti模型中的目标区域散乱，确定目标焦点困难等问题。但需注意的是的设定是否合理会直接影响判断结果，从而造成对合并区域的影响，进而反应到最终的注意目标确定上。所以在该模型中判定阈值Tjud的选取十分重要。应在大量数据实验基础上进行总结后才能准确选取。衡水学院科研资金资助课题（课题编号2010032）［参考文献］[1]IttiL,KochC.Featurecombinationstrategiesforsaliencybasedvisualattentionsystems.JournalofElectronicImaging,2001.[2]高静静,张菁,沈兰荪.视觉注意力模型的改进算法.电子测量技术.2008.［摘要］本文通过对Itti模型的分析，提出Itti模型的不足，并以建立了以先验任务指导下的显著区域合并策略为基础的计算机视觉注意模型，并提出了模型的注意事项。［关键词］视觉注意；模型；研究基于Itti模型的计算机视觉注意模型研究冯俊丽（衡水学院，河北衡水053000）