下载文档原格式
尺度空间理论和SIFT算法小结一、尺度空间理论尺度空间理论是一种描述图像在不同尺度上的表示方法。
它源于人类视觉系统在感知物体时会通过改变焦距和观察距离来获得不同尺度的信息。
尺度空间理论在图像处理中模拟了这种方式，通过高斯滤波器的不同尺度参数来表示图像的不同尺度信息。
高斯滤波器具有平滑图像的作用，其尺度参数越大则平滑效果越明显，图像的细节信息也会被模糊化。
通过不同尺度的高斯滤波器对图像进行滤波操作，得到一系列尺度空间图像，即每张图像代表了特定尺度下的图像信息。
尺度空间理论的应用有两个主要目的：尺度不变性和尺度选择。
尺度不变性是指当图像在不同尺度上发生变化时，特征点的描述子应保持不变。
这一特性在物体检测和图像匹配中非常重要，因为物体的大小和形状在不同尺度下可能发生变化。
尺度选择是指如何选择合适的尺度参数来提取图像特征。
根据尺度空间理论，选择一个合适的尺度参数可以提取到物体的局部特征，并使得特征对尺度的变化不敏感。
二、SIFT算法SIFT（Scale Invariant Feature Transform）算法是一种用于检测和描述图像中的局部特征的算法。
它由David Lowe在1999年提出，是一种具有尺度不变性和鲁棒性的特征提取算法，并被广泛应用于物体检测、图像匹配和三维重建等领域。
SIFT算法的主要步骤包括尺度空间极值检测、关键点精确定位、方向分配和特征描述等。
首先，通过构建尺度空间图像和高斯差分金字塔，从图像中检测出尺度空间极值点，用于确定关键点的位置和尺度。
然后，对关键点进行迭代精确定位，通过求解关键点的仿射变换参数来提高关键点的准确性。
接下来，通过梯度方向直方图统计的方法为每个关键点分配主方向，用于为关键点的描述子进行旋转。
最后，使用关键点周围的梯度信息生成一个128维的特征向量作为关键点的描述子，该描述子具有尺度不变性和鲁棒性。
SIFT算法的优点是具有良好的尺度不变性和鲁棒性，在复杂的环境下仍能较好地提取和匹配特征。
前面们介绍了Harris和Shi-Tomasi角检测算法，这两种算法具有旋转不变性，但不具有尺度不变性，以下图为例，在左侧小图中可以检测到角，但图像被放后，在使用同样的窗口，就检测不到角了。
所以，们来介绍一种计算机视觉的算法，尺度不变特征转换即SIFT(Scale-invariantfeaturetransform)。
它用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值，并提取出其位置、尺度、旋转不变量，此算法由DavidLowe在1999年所发表，2004年完善总结。
应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对等领域。
SIFT算法的实质在不同的尺度空间上查找关键(特征)，并计算出关键的方向。
SIFT 所查找到的关键一些十分突出，不会因光照，仿变换和噪音等因素而变化的，如角、边缘、暗区的亮及亮区的暗等。
1.1基本流程Lowe将SIFT算法分解为如下四步：尺度空间极值检测：搜索所有尺度上的图像位置。
通过高斯差分函数来识别潜在的对于尺度和旋转不变的关键。
关键定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。
关键的选择依据于它们的稳定程度。
关键方向确定：基于图像局部的梯度方向，分配给每个关键位置一个或多个方向。
所有后面的对图像数据的操作都相对于关键的方向、尺度和位置进行变换，从而保证了对于这些变换的不变性。
关键描述：在每个关键周围的邻域内，在选定的尺度上测量图像局部的梯度。
这些梯度作为关键的描述符，它允许比较的局部形状的变形或光照变化。
们就沿着Lowe的步骤，对SIFT算法的实现过程进行介绍：1.2尺度空间极值检测在不同的尺度空间不能使用相同的窗口检测极值，对小的关键使用小的窗口，对的关键使用的窗口，为了达到上述目的，们使用尺度空间滤波器。
高斯核可以产生多尺度空间的核函数。
-《Scale-spacetheory:Abasictoolforanalysingstructuresatdifferentscales》。
SIFT算法提取特征总结SIFT（Scale-Invariant Feature Transform）算法是一种用于图像特征提取的算法，它能够从图像中提取出具有尺度不变性的关键点，并计算出这些关键点的描述子，从而实现图像的匹配、识别等任务。
下面将对SIFT算法进行总结。
一、SIFT算法的基本思想1.构建高斯金字塔：通过不同尺度的高斯滤波器对原始图像进行平滑，得到一系列不同尺度的图像。
2.构建高斯差分金字塔：对高斯金字塔进行相邻层之间的差分，得到一系列不同尺度的差分图像。
3.寻找关键点：在每个尺度的差分图像中，通过比较一个像素与其周围的26个像素，判断是否为极值点，这些极值点即为关键点。
4.精确定位关键点位置：通过插值计算关键点的亚像素位置。
5.确定关键点的尺度和方向：根据关键点的尺度和梯度方向，构建关键点的方向直方图，找到主方向。
6.计算关键点的描述子：根据关键点周围的图像局部梯度，构建特征向量，得到关键点的描述子。
二、SIFT算法的特点1.尺度不变性：SIFT算法通过高斯金字塔和高斯差分金字塔的构建，使得算法对图像的尺度变化具有不变性，能够在不同尺度上检测到相同的关键点。
2.旋转不变性：SIFT算法通过确定关键点的主方向，将关键点的描述子旋转到相同的方向，使得算法对图像的旋转变化具有不变性。
3.具有唯一性：SIFT算法通过极值点检测和亚像素插值，能够找到图像中稳定的关键点，并且能够通过描述子计算，使得关键点具有唯一性。
4.强鲁棒性：SIFT算法通过对图像局部梯度的计算，能够对光照、噪声等变化具有鲁棒性，使得算法具有较好的稳定性。
三、SIFT算法的应用1.图像匹配：通过提取图像的关键点和描述子，将两幅图像进行特征点的匹配，从而实现图像的对齐、拼接等任务。
2.物体识别：通过提取物体图像的SIFT特征，并建立特征数据库，可以对未知图像进行特征的匹配和识别，实现物体的检测和识别。
3.目标跟踪：将目标物体的SIFT特征提取出来，并通过匹配目标特征和图像中的特征点，可以进行目标的跟踪和定位。
SIFTSURF算法的深入剖析——谈SIFT的精妙与不足SIFTSURF (Scale-Invariant Feature Transform Speeded UpRobust Features) 算法是一种经典的计算机视觉算法，用于在图像中检测和描述特征点。
它由 David G. Lowe 在 1999 年提出，并被广泛应用于图像匹配、目标识别、图像拼接等领域。
SIFTSURF 算法具有很多优点，但同时也存在一些不足之处。
SIFTSURF算法的精妙之处在于它的关键步骤：尺度空间极值检测、关键点定位、关键点方向计算、关键点描述子生成和匹配。
首先，尺度空间极值检测通过应用尺度空间的高斯差分来寻找图像中的极值点，选择出尺度和位置具有显著变化的关键点。
这能够使得算法对尺度和旋转的变化具有很强的鲁棒性。
其次，关键点定位通过对极值点进行精细的位置确定和过滤，排除噪声和边缘响应。
然后，关键点方向计算通过计算关键点周围像素的梯度方向直方图，并选择主导方向作为关键点的方向。
关键点描述子生成则使用关键点周围的图像局部区域的梯度信息生成一个具有旋转和尺度不变性的特征描述子。
最后，特征点匹配通过比较描述子之间的相似度，找出图像中具有相似特征的点。
SIFTSURF算法的精妙之处在于它的多尺度和旋转不变性，这使得它能够在不同尺度和旋转变换下对图像特征进行有效匹配。
它也具有较好的鲁棒性，能够在一定程度上抵抗图像噪声和视角变化的影响。
此外，生成的关键点描述子具有很好的区分度，可以用来进行图像匹配和目标识别。
然而，SIFTSURF算法也存在一些不足之处。
首先，尽管该算法通过高斯差分来检测尺度空间极值点，但在特征点数量较大的情况下，会导致计算量过大，降低计算效率。
其次，关键点匹配过程中，由于描述子的维数较高，需要进行大量的比较计算，这同样会带来较大的计算开销。
而且，在存在大量外观相似但空间位置不同的特征点的情况下，匹配过程容易产生误匹配。
SIFT特征提取算法SIFT（Scale-Invariant Feature Transform）特征提取算法是一种用于图像的局部特征分析的算法。
它能够提取出图像中的关键点，并对这些关键点进行描述，从而可以用于图像匹配、物体识别等应用领域。
本文将详细介绍SIFT算法的原理和过程。
1.尺度空间构建SIFT算法首先通过使用高斯滤波器来构建图像的尺度空间，以便在不同尺度下检测关键点。
高斯滤波器可以通过一系列的高斯卷积操作实现，每次卷积之后对图像进行下采样（降低分辨率），得到不同尺度的图像。
2.关键点检测在尺度空间构建完成后，SIFT算法使用差分运算来检测关键点。
差分运算可以通过对图像进行高斯平滑操作来实现，然后计算相邻尺度之间的差分图像。
对差分图像进行极值检测，即寻找局部最大和最小值的像素点，这些像素点就是图像中的关键点。
3.关键点精确定位关键点的精确定位是通过拟合关键点周围的局部图像来实现的。
SIFT算法使用了一种高度鲁棒的方法，即利用关键点周围梯度的方向和大小来进行拟合。
具体来说，SIFT算法在关键点周围计算图像的梯度幅值和方向，并构建梯度直方图。
然后通过在梯度直方图中寻找局部极值来确定关键点的方向。
4.关键点描述关键点的描述是为了提取关键点周围的特征向量，用于后续的匹配和识别。
SIFT算法使用了一种局部特征描述算法，即将关键点周围的图像区域划分为小的子区域，并计算每个子区域的梯度方向直方图。
然后将这些直方图组合起来，构成一个维度较高的特征向量。
5.特征向量匹配在完成关键点描述之后，SIFT算法使用一种近似的最近邻方法来进行特征向量的匹配。
具体来说，使用KD树或者暴力匹配的方法来寻找两幅图像中最相似的特征向量。
通过计算特征向量之间的距离，可以找到最相似的匹配对。
6.尺度不变性SIFT算法具有尺度不变性的特点，即对于图像的缩放、旋转和视角变化等变换具有较好的鲁棒性。
这是因为在特征提取的过程中，SIFT算法对图像进行了多尺度的分析，并利用了关键点周围的梯度信息进行描述。
尺度空间理论尺度空间(scalesPace)思想最早由Iijima 于1962年提出([l])，但当时并未引起算机视觉领域研究者们的足够注意，直到上世纪八十年代，witkin([2])Koenderink([3])等人的奠基性工作使得尺度空间方法逐渐得到关注和发展。
此后，随着非线性扩散方程、变分法和数学形态学等方法在计算机视觉领域中的广泛应用，尺度空间方法进入了快速发展阶段。
尺度空间方法本质上是偏微分方程对图像的作用。
尺度空间方法的基本思想是：在视觉信息(图像信息)处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征。
尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态分析框架中，因此更容易获得图像的本质特征。
尺度空间的生成目的是模拟图像数据的多尺度特征。
高斯卷积核是实现尺度变换的唯一线性核。
尺度空间是一个用来控制观察尺度或表征图像数据多尺度自然特性的框架；信号的尺度空间表征是信号的特征结构集合并包含有一个连续的尺度参量(即观察尺度)。
尺度空间理论[8]是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。
尺度空间表示是一种基于区域而不是基于边缘的表达，它无需关于图像的先验知识。
与通过减小图像尺寸而提高计算效率的其他多尺度或多分辨率表达相比，尺度空间表示由平滑获得，在多由尺度上都保持了不变的空间取样，但对同一特征而言，它在粗糙尺度上对应更多的像素点，这样就使得对这些数据的计算任务得到连续的简化。
尺度空间表示的另一个重要特征，就是基于尺度的结构特性能以一种简单的方式解析的表达，不同尺度上的特征可以一种精确的方式联系起来。
作为尺度空间理论中的一个重要概念，尺度空间核被定义为：in out f K f *= (1)对于所有的信号in f ，若它与变换核K 卷积后得到的信号out f 中的极值(一阶微分过零点数)不超过原图像的极值，则称K 为尺度空间核，所进行的卷积变换称为尺度变换。
SIFT算法详解及应用SIFT（Scale-Invariant Feature Transform）是一种在计算机视觉中常用的特征点提取算法，由David Lowe在1999年提出，并在2004年的论文中进行了详细阐述。
SIFT算法可以在不同尺度和旋转下保持图像的特征点不变性，因此在图像拼接、目标识别、图像匹配等领域具有广泛的应用。
1.尺度空间构建：SIFT算法使用高斯差分函数来检测不同尺度下的特征点。
通过在图像中采用不同尺度的高斯滤波，构建尺度空间，从而检测到不同尺度的图像特征。
2.关键点提取：在构建的尺度空间中，SIFT算法通过在每个像素点检测局部极值点来获取关键点。
具体的做法是对每个像素点在尺度空间上进行比较，找出该点与它相邻像素点和尺度上的极值，从而得到关键点。
3. 关键点定位：在关键点提取后，SIFT算法通过利用二阶偏导数的Hessian矩阵来对关键点进行进一步定位。
Hessian矩阵可以描述图像对灰度变化的响应，通过计算关键点周围像素点的Hessian矩阵，可以对关键点进行精确定位。
4.方向分配：在关键点定位后，SIFT算法为每个关键点分配一个主导方向。
通过对关键点周围的图像梯度进行统计，找到梯度方向分布最大的方向作为主导方向，以此来保证关键点对旋转具有不变性。
5.特征描述：在分配了主导方向后，SIFT算法使用局部图像梯度的方向直方图来描述关键点的局部特征。
将关键点周围的16x16邻域划分为4x4的小格子，计算每个小格子内的梯度方向直方图，最终得到一个128维的特征向量来表示关键点的局部特征。
1.尺度不变性：SIFT算法通过在不同尺度下检测特征点，使得算法对于图像缩放具有不变性。
这一特性使得SIFT在目标识别和图像匹配等领域具有广泛应用，可以应对不同尺寸的目标和场景。
2.旋转不变性：SIFT算法通过为每个关键点分配主导方向，使得算法对于图像旋转具有不变性。
这一特性使得SIFT在图像拼接和图像匹配中能够应对图像的旋转变换。
SIFT算法详解SIFT（Scale-Invariant Feature Transform）算法是一种用于计算图像特征的算法，最早由David Lowe于1999年提出，是一种用于在不同尺度和旋转下具有不变性的特征描述算法。
1.关键点检测：SIFT算法首先对图像进行多尺度空间的检测，即在图像中寻找尺度空间极值点。
为了实现尺度不变性，SIFT算法采用了高斯金字塔的方法来对图像进行多尺度模糊处理。
金字塔的每一层可以通过对上一层图像进行下采样和卷积来生成。
然后，在每一层金字塔上使用一种拉普拉斯算子来计算尺度空间的极值点，这些极值点包括图像的边缘点、角点和斑点等。
极值点的检测是通过对每个像素点的周围像素点进行梯度计算和方向估计来实现的。
2.关键点描述：在关键点检测之后，SIFT算法通过计算每个关键点的局部图像梯度直方图来对关键点进行描述。
首先，将关键点周围的领域分为若干个子区域，一般为16个，每个子区域可以通过将关键点周围的区域划分为4×4个小区域来实现。
然后，对每个小区域中的像素点计算其梯度幅值和方向，并将其分到相应的方向直方图中。
通过对所有子区域的梯度方向直方图进行拼接，就可以得到整个关键点的描述子。
描述子的维度一般为128维，特征向量的每个维度包含了关键点的领域中的梯度方向信息。
3.特征匹配：在关键点描述之后，SIFT算法使用一种基于特征向量距离的匹配方法来实现图像特征点的匹配。
常用的方法是计算两个特征向量之间的欧式距离，并使用一个阈值来筛选出较为相似的特征点。
为了提高匹配的准确性和稳定性，SIFT算法使用了一种自适应的阈值筛选方法，通过计算两个特征向量距离的比值来判断特征点的匹配性。
总结来说，SIFT算法通过对图像进行多尺度的检测、关键点的描述和特征的匹配，实现了对图像特征的提取和匹配。
这种算法对于图像的尺度变化、旋转变换和部分遮挡等具有一定的不变性，因此被广泛应用于图像处理、目标识别和三维重建等领域。
SIFT 算法小结
1 SIFT 发展历程
SIFT 算法由D.G.Lowe 1999年提出，2004年完善总结。
后来Y.Ke 将其描述子部分用PCA 代替直方图的方式，对其进行改进。
2 SIFT 主要思想
SIFT 算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。
3 SIFT 算法的主要特点：
a) SIFT 特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。
b) 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配[23]c) 多量性，即使少数的几个物体也可以产生大量SIFT 特征向量。
d) 高速性，经优化的SIFT 匹配算法甚至可以达到实时的要求。
e) 可扩展性，可以很方便的与其他形式的特征向量进行联合。
4 SIFT 算法步骤：
1）检测尺度空间极值点
2）精确定位极值点
3）为每个关键点指定方向参数
4）关键点描述子的生成
5 SIFT 算法详细
▲尺度空间的生成
尺度空间理论目的是模拟图像数据的多尺度特征。
高斯卷积核是实现尺度变换的唯一线性核[]，于是一副二维图像的尺度空间定义为：
),(),(),,(y x I y x G y x L ∗=σσ （1） 其中 ),,(σy x G 是尺度可变高斯函数， 2)(22/21
),,(22σπσσy x e y x G +−=
（2） （x ，y ）是空间坐标，σ是尺度坐标。
为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space ）。
利用不同尺度的高斯差分核与图像卷积生成。
),,(),,(),()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D −=∗−= （3） DOG 算子计算简单，是尺度归一化的LoG 算子的近似。
图像金字塔的构建：图像金字塔共O 组，每组有S 层，下一组的图像由上一组图像降采样得到。
图1由两组高斯尺度空间图像示例金字塔的构建， 第二组的第一副图像由第一组的第一副到最后一副图像由一个因子2降采样得到。
图2 DoG 算子的构建：
图1 Two octaves of a Gaussian scale-space image pyramid with s =2 intervals. The first image in the second octave is created by down sampling the second to last image in the previous
图2 The difference of two adjacent intervals in the Gaussian scale-space pyramid create an interval in the difference-of-Gaussian pyramid (shown in green).
▲空间极值点检测
为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。
如图3所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。
▲ 构建尺度空间需确定的参数
σ－尺度空间坐标
O －octave 坐标
S － sub-level 坐标
σ和O 、S 的关系S s o s o /02),(+=σσ，],1,...,0[min −+∈O o o ]1,...,0[−∈S s 其中0σ是基准层尺度。
o －octave 坐标，s － sub-level 坐标。
注：octaves 的索引可能是负的。
第一组索引常常设为0或者-1,当设为-1的时候，图像在计算高斯尺度空间前先扩大一倍。
空间坐标x 是组octave 的函数，设0x 是0组的空间坐标，则
[][]1,...,01,...,0,,20000−×−∈Ζ∈=M N x o x x o
如果()00,M N 是基础组o=0的分辨率，则其他组的分辨率由下式获得：
0000,22o o N M N M ==
注：在Lowe 的文章中，Lowe 使用了如下的参数：
1/0min 0.5, 1.62,1,3S n o S σσ==⋅=−=
在组o=-1，图像用双线性插值扩大一倍（对于扩大的图像1n σ=）。
▲ 精确确定极值点位置
通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG 算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。
边缘响应的去除
一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。
主曲率通过一个2x2 的Hessian 矩阵H 求出:
图3 DoG 尺度空间局部极值检测
xx xy xy yy D D H D D = （4）
导数由采样点相邻差估计得到。
D 的主曲率和H 的特征值成正比，令α为最大特征值，β为最小的特征值，则
令αγβ=，则：
(r + 1)
2
/r 的值在两个特征值相等的时候最小，随着r 的增大而增大，因此，为了检测主曲率是否在某域值r 下，只需检测
在Lowe 的文章中，取r ＝10。
▲ 关键点方向分配
利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。
(5)
式(5)为(x,y)处梯度的模值和方向公式。
其中L 所用的尺度为每个关键点各自所在的尺度。
在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。
梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。
直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。
图4是采用7个柱时使用梯度直方图为关键点确定主方向的示例。
图4 由梯度方向直方图确定主梯度方向
在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。
一个关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以增强匹配的鲁棒性[53]至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。
由此可以确定一个SIFT 特征区域（在实验章节用椭圆或箭头表示）。
。
▲ 特征点描述子生成
首先将坐标轴旋转为关键点的方向，以确保旋转不变性。
图5 由关键点邻域梯度信息生成特征向量
接下来以关键点为中心取8×8的窗口。
图5-4左部分的中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。
然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图5右部分所示。
此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。
这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。
实际计算过程中，为了增强匹配的稳健性，Lowe 建议对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT 特征向量。
此时SIFT 特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。
当两幅图像的SIFT 特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。
取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。
降低这个比例阈值，SIFT 匹配点数目会减少，但更加稳定。
