superpixel lattice中文版
- 格式：doc
- 大小：1.04 MB
- 文档页数：8
然而，由于内存或时间的限制，在任何给定的例子中，这个解决方案只有一半将限制所
图10.超像素的稳定性。例图中心蓝色区域稳定是0.70用黑色十字叉标记，注意连续帧间超像素边界（红色）的变化。a)和b)是用【3】算法划分i个帧和i+1个帧，稳定度是0.69。c)和d)是用贪婪正则晶阵划分i个帧和i+1个帧，稳定度是0.97.
（ⅰ）不变的像素位置：对于固定的分辨率，我们的超像素在图像中始终都在同一位置。这有利于图像类的空间变化的定义【6】。例如，我们能限制在图像左上角的超像素1的信息趋向于成为天空的一部分。在其他的分割法案中，我们必须先建立超像素1的空间位置，这可能是模糊的，然后把此空间位置和先前定义的原图像的空间联系起来。
在这篇文章中，我们介绍一种分割算法确保产生一个超像素正则网格（超像素晶阵）。这是源于两个点：
●第一，网格增加工程效率使用方便。常见的传感器体系结构意味着大多数当前的视觉算法含蓄的假定笛卡尔网格，可以容易的应用在超像素晶阵中而不需要诉诸于更多的通用图像算法【5】。
●有些算法很难适应非正则拓扑的图形。例如，最近已经有相当大的兴趣把高阶派系的相关标记到图像的小区域【6,9】。然而，怎样在超像素的区域结合标记统计学（如果超像素的相关拓扑在每一个图像中改变）是不明显的。事实上，He et al【6】抱怨这一状态，声称“我们描述的理想的系统将被应用在表征的更高水平（比像素）。然而，提取这样的图像表征需要一致和可靠地方法。我们提出的算法是一个这样高水平的表征。
(iii)稳定保守：在超像素晶阵中的分割是标准尺度，没有贪婪的选择大的图像区域。这就限制了语义上不同的大区域的错误概率，例如天空和海洋类间导致严重遗漏。其他算法产生扩展区域（例图5c的天空）。
(ⅳ)自然规模层次结构：用多尺度技术解决随机场模型是常见的（例【15】）。正则晶阵很容易适应此方法，因为它们有和原像素相同的多尺度关系：每个超像素分为四个小的子超像素。图4b-c。
在图6a我们用可解释的变差调查此算法的性能。对于所有的边界图期望变差随着逐渐回到原像素图像超像素的数量的增加而增加。我们用边界图【13】和【2】实现相似的性能。就像【3】花费大约一分钟去计算是什么阻止了它在预处理阶段的应用是重要的。【2】是没有界限的，因为它在Canny边界图上用扩展的分类器。不足为奇的是这两个算法都比Sobel算子有优势。我们对Sobel算子进行最小分割和动态程序规划比较。最小分割规划是优越的：即使我们控制的路径光滑度减弱，它也允许路径自动按原路折回。
方法2-动态规划：在带中像素我们定义一个二维、不同的图形GDP={V,E}如图3b。
路径慢慢符合边界图中的成本。增加这个参数无疑能提高结果，因为在很高水平，算法产生一个曲折的解决方案来试图吸收所有的图像边缘形成一个路径。
3.质量评估
如图5中我们定性比较同一副图像的正则晶阵（顶部）和其他两个超像素算法（中间和底部）。此算法产生的分割有许多令人满意的属性：
图像分析算法【19,7,20】结合了分割、检测和识别，试图解决这些不确定性。用马尔科夫随机场（MRF）模型或条件随机场（CRF）模型
在现在的图像分析方案【7】中他们的方法已经被用在预处理阶段。其他的超像素算法包括【1,3】和用分水岭算法减少节点数在【10】中有说明。
不幸的是，这些超像素算法丢失了原始像素表征的几个有用的性能。第一，像素可以表示为不需要指针的数组。第二，它很容易进行一致的和多尺度的子采样。第三，第n个像素在图像中有一致的、有序的位置。第四，第n个像素与第n-1个像素有一定的关系，允许局部关系操作。第五，相同维数（行*列）的图像的像素表征是同构的（在不同的图像中像素到像素的唯一映射）。这些性能是由像素的原始网格图的正则拓扑造成的，已经被现代超像素算法所丢弃。
表1.用可解释的变差的算法比较。我们的方法在重建图像方面相对劣势，因为它把超像素粗劣的分布在框架上，而不是在高变形区和其他区域分布许多的超像素。
目前给出的图像分析算法的错误率是这个量度级的几倍，对于未知参数减少数量（大约500倍）带来的方便这个代价是能接受的。
4.3.与其他算法的比较
我们和其他两个方法比较：【14】提出的归一化分割准则(NC)和Felzenszwalb和Huttenlocher的聚集方法（FH）。这些算法表述分割算法的结束范围：NC算法提供针对人工标记真实值的最先进的性能，然而FH算法设置效率基准点。NC算法的实施包括移除小分割块的后期处理和把超像素分成均匀大小。我们把NC算法应用发哦边界图中来达到最大性能的基准点。我们移除小于被超像素分割的图像区10%的区域。这提高了在低分辨率的性能和使得产生的结果能和我们的算法相媲美，我们的算法有天然的正则约束。所以我们的算法不用做后处理。
我们介绍两个方案。s-t最小分割方法产生任意拓扑路径。我们也用动态规划方法产生无回归路径（路径上每一个随后的点是靠近图像另一边的，路径不能自动返回）。通常我们期望第一个方法离边界更近，但是第二个方法更快、更稳定。最小分割方法展示在图1和图4.动态规划方法展示在图5。
方法1 s-t最小分割法：对于这个方法。我们定义图形GMC={V,E}在图3a中描述。在这个图形中存在相邻节点对间与每个边界（ ）都有关的成本。带一侧的所有节点组成源，另一侧则组成汇。像素连接的边界成本由边界成本图决定，所以路径尽量沿着边缘。另外，我们为垂直分割的带的方向增加一个常量来控制弯曲度（路径偏离直线的程度）。最小分割算法【4】找到源和汇的最小成本和定义路径。
这篇文章的描述如下：在第2部分我们提出保留正则晶阵的拓扑的超像素算法，表述在图形1b.第3部分我们探讨分割结果的性能和与存在的算法对比。第4部分我们开发几个数量测量来表明应用在正则晶阵中的拓扑约束是对分割无害的,使我们的系统成为图像分析算法可行的预处理阶段。在第5部分我们说明超像素是怎样被合并来产生鲁棒分割仍然保留我们系统的性质上的优点。
我们把最初的分割增加到784个超像素（28*28），合并超像素知道得到400个超像素。在这种情况下，此算法的性能大幅增长（见表3）。就可解释的变差而言我们的算法比【13】+【14】有优势，也能和【3】相比较。然而，在我们的方案中超像素在质量上更具有可解释性，是由于它们没有试图去模拟单个纹理元素。更重要的是，用平均精度我们的算法比其他两个更有优势，可能是由于通过过分割和合并减少了最小分割的表现【17】。
1.引言
图像分析试图在一幅图像中为每一个像素找到一个语义上有意义的标记。用到自然图像的许多食品问题都涉及到图像分析。可能的应用在自主导航、增强现实技术和图像数据库检索。
解决图像局部区域的自然不确定性需要图像分析【18】。图1a描述了不确定性的例子。这个小蓝色的图像块可能是各种各样语义上不用的类组成的：天空、水、车门或者是人的衣服。然而，对于给定的整个图像，我们能看出来：当在树顶、山上、沿着穿过图像上部相似的块，不存在船、人等，正确的类可能是天空。
（1）
我们求i个像素的和， 是像素真实值， 是全部像素的均值， 是包含像素 的被分配到超像素中的所有像素的均值。用超像素均值的例子间图1b。可解释的变差描述图像变化的比例，当超像素中的细节被剔除时说明此比例。
可解释的变差度量标准 将随着超像素数量的增加趋近于最大值1，这时我们从新获得原像素。当只有一个超像素时（图像均值）可解释的变差值为0。对于评估性能来说这不是一个完美的度量标准，因为它对包含大的像素变化的一致的纹理的超像素是不利的。然而，我们的目的是提供一个人工独立的度量标准。
图3.穿过图像带的最优路径估计。a）愿与汇之间的最小分割。允许任意路径。b）动态规划。正推法是绿色，逆推法的全局最优路径是红色。只获得不返回的路径。
我们首先每个路径是怎样形成的，然后讨论怎样维持约束条件。
此算法的每个阶段都在寻找穿过这个图像的最优路径。边界成本图决定最优路径（我们试图沿着图像的边界）。然而，用正则约束条件防止路径任意形成。一个约束限制了每个路径都在穿过图像的预定义带中（见图2）。防止了形成的路径对角的穿过整个图像，因此限制了随后路径的位置。它也通过限制路径数量迫使准正则网格和减少每一步的计算。
5.合并超像素
通过合并相邻的超像素我们的算法可能能提高性能。换句话说，我们能把进一步分割算法应用到计算超像素网格中。基于最小成本的贪婪的移动边界来合并超像素见图8。合并过程不需要排除晶格结构令人满意的性能。在上下文消息传递算法中，我们把合并的区域看作超像素组：它们依然和组外的超像素保持正常关系，但是如果组内成员取不同的值，MRF/CRF成本也如此设计将产生无限点球。在这种情况下目前许多的推理算法能操作。图形仍能用所提供的有许多优势的规则的网格代替。新区域之间的关系能被容易的计算，因为我们是在20*20的超像素网格中进行的，而不是在640*480的原始图像中。
表3.合并超像素后用两个指标比较算法。我们的算法还有在最好的算法【3】中解释图像变化，我们的算法产生比其他两个算法好的平均精度。
6.稳定度
贪婪算法的使用意味着对于连续视频帧是不稳定的。为了处理视频镜头分割序列的时间问题，我们把在第2部分中讲到的s-t最小分割方法扩展到3维。在这个新的图形中源和汇节点被连接到图像每个带的边缘的几个帧上。
(ⅴ)图形同构：对于给定的分辨率，每个分割的超像素彼此间有相同的关系。这允许算法的进一步开发，即超像素组标记间关系的学习。（例高阶派系）
图6.用交替的边界图的超像素算法的性能a)可解释的变差度量标准( )b)平均精度（ ）。100-2000个超像素区域代表原始像素的1%的区域。
4.1可解释的变差
在测量中我们感兴趣的是原始像素的数据在多大程度上被超像素所代替，为此我们介绍可解释的变差
7.讨论和结论
在这篇文章中，我们介绍了一种把图像分割成超像素正则网格的新奇算法。我们知道规则网格带来许多的有用性能，我们也说明了尽管有拓扑限制，但是我们的算法实现的分割性能能比得上现存的算法。
当今分割的黄金标准方法是【17】中的归一化分割算法，对于一个N*N图像，即有 个像素，这涉及到用Lanczos方法m次迭代解决大小为 的特征问题，每个图像大约花一分钟时间收敛，【3】的计算量主要由边缘强度的排序（大约有2 ）和O（ ㏒ ）复杂度，实践中在大小合适的图像经常在靠近帧速率下工作。我们的算法是快速的、当应用到长为N宽为S的重合带宽会随着图像大小的增加调整尺度，不考虑重合，大约有2N/S个带。对于最小分割方法，处理没有带的成本是O( ㏒NS),对于一个321*481的图像，大约20*20个超像素，工作在每秒2个帧，复杂度可能为O( ㏒NS)。
图10.超像素的稳定性。例图中心蓝色区域稳定是0.70用黑色十字叉标记，注意连续帧间超像素边界（红色）的变化。a)和b)是用【3】算法划分i个帧和i+1个帧，稳定度是0.69。c)和d)是用贪婪正则晶阵划分i个帧和i+1个帧，稳定度是0.97.
（ⅰ）不变的像素位置：对于固定的分辨率，我们的超像素在图像中始终都在同一位置。这有利于图像类的空间变化的定义【6】。例如，我们能限制在图像左上角的超像素1的信息趋向于成为天空的一部分。在其他的分割法案中，我们必须先建立超像素1的空间位置，这可能是模糊的，然后把此空间位置和先前定义的原图像的空间联系起来。
在这篇文章中，我们介绍一种分割算法确保产生一个超像素正则网格（超像素晶阵）。这是源于两个点：
●第一，网格增加工程效率使用方便。常见的传感器体系结构意味着大多数当前的视觉算法含蓄的假定笛卡尔网格，可以容易的应用在超像素晶阵中而不需要诉诸于更多的通用图像算法【5】。
●有些算法很难适应非正则拓扑的图形。例如，最近已经有相当大的兴趣把高阶派系的相关标记到图像的小区域【6,9】。然而，怎样在超像素的区域结合标记统计学（如果超像素的相关拓扑在每一个图像中改变）是不明显的。事实上，He et al【6】抱怨这一状态，声称“我们描述的理想的系统将被应用在表征的更高水平（比像素）。然而，提取这样的图像表征需要一致和可靠地方法。我们提出的算法是一个这样高水平的表征。
(iii)稳定保守：在超像素晶阵中的分割是标准尺度，没有贪婪的选择大的图像区域。这就限制了语义上不同的大区域的错误概率，例如天空和海洋类间导致严重遗漏。其他算法产生扩展区域（例图5c的天空）。
(ⅳ)自然规模层次结构：用多尺度技术解决随机场模型是常见的（例【15】）。正则晶阵很容易适应此方法，因为它们有和原像素相同的多尺度关系：每个超像素分为四个小的子超像素。图4b-c。
在图6a我们用可解释的变差调查此算法的性能。对于所有的边界图期望变差随着逐渐回到原像素图像超像素的数量的增加而增加。我们用边界图【13】和【2】实现相似的性能。就像【3】花费大约一分钟去计算是什么阻止了它在预处理阶段的应用是重要的。【2】是没有界限的，因为它在Canny边界图上用扩展的分类器。不足为奇的是这两个算法都比Sobel算子有优势。我们对Sobel算子进行最小分割和动态程序规划比较。最小分割规划是优越的：即使我们控制的路径光滑度减弱，它也允许路径自动按原路折回。
方法2-动态规划：在带中像素我们定义一个二维、不同的图形GDP={V,E}如图3b。
路径慢慢符合边界图中的成本。增加这个参数无疑能提高结果，因为在很高水平，算法产生一个曲折的解决方案来试图吸收所有的图像边缘形成一个路径。
3.质量评估
如图5中我们定性比较同一副图像的正则晶阵（顶部）和其他两个超像素算法（中间和底部）。此算法产生的分割有许多令人满意的属性：
图像分析算法【19,7,20】结合了分割、检测和识别，试图解决这些不确定性。用马尔科夫随机场（MRF）模型或条件随机场（CRF）模型
在现在的图像分析方案【7】中他们的方法已经被用在预处理阶段。其他的超像素算法包括【1,3】和用分水岭算法减少节点数在【10】中有说明。
不幸的是，这些超像素算法丢失了原始像素表征的几个有用的性能。第一，像素可以表示为不需要指针的数组。第二，它很容易进行一致的和多尺度的子采样。第三，第n个像素在图像中有一致的、有序的位置。第四，第n个像素与第n-1个像素有一定的关系，允许局部关系操作。第五，相同维数（行*列）的图像的像素表征是同构的（在不同的图像中像素到像素的唯一映射）。这些性能是由像素的原始网格图的正则拓扑造成的，已经被现代超像素算法所丢弃。
表1.用可解释的变差的算法比较。我们的方法在重建图像方面相对劣势，因为它把超像素粗劣的分布在框架上，而不是在高变形区和其他区域分布许多的超像素。
目前给出的图像分析算法的错误率是这个量度级的几倍，对于未知参数减少数量（大约500倍）带来的方便这个代价是能接受的。
4.3.与其他算法的比较
我们和其他两个方法比较：【14】提出的归一化分割准则(NC)和Felzenszwalb和Huttenlocher的聚集方法（FH）。这些算法表述分割算法的结束范围：NC算法提供针对人工标记真实值的最先进的性能，然而FH算法设置效率基准点。NC算法的实施包括移除小分割块的后期处理和把超像素分成均匀大小。我们把NC算法应用发哦边界图中来达到最大性能的基准点。我们移除小于被超像素分割的图像区10%的区域。这提高了在低分辨率的性能和使得产生的结果能和我们的算法相媲美，我们的算法有天然的正则约束。所以我们的算法不用做后处理。
我们介绍两个方案。s-t最小分割方法产生任意拓扑路径。我们也用动态规划方法产生无回归路径（路径上每一个随后的点是靠近图像另一边的，路径不能自动返回）。通常我们期望第一个方法离边界更近，但是第二个方法更快、更稳定。最小分割方法展示在图1和图4.动态规划方法展示在图5。
方法1 s-t最小分割法：对于这个方法。我们定义图形GMC={V,E}在图3a中描述。在这个图形中存在相邻节点对间与每个边界（ ）都有关的成本。带一侧的所有节点组成源，另一侧则组成汇。像素连接的边界成本由边界成本图决定，所以路径尽量沿着边缘。另外，我们为垂直分割的带的方向增加一个常量来控制弯曲度（路径偏离直线的程度）。最小分割算法【4】找到源和汇的最小成本和定义路径。
这篇文章的描述如下：在第2部分我们提出保留正则晶阵的拓扑的超像素算法，表述在图形1b.第3部分我们探讨分割结果的性能和与存在的算法对比。第4部分我们开发几个数量测量来表明应用在正则晶阵中的拓扑约束是对分割无害的,使我们的系统成为图像分析算法可行的预处理阶段。在第5部分我们说明超像素是怎样被合并来产生鲁棒分割仍然保留我们系统的性质上的优点。
我们把最初的分割增加到784个超像素（28*28），合并超像素知道得到400个超像素。在这种情况下，此算法的性能大幅增长（见表3）。就可解释的变差而言我们的算法比【13】+【14】有优势，也能和【3】相比较。然而，在我们的方案中超像素在质量上更具有可解释性，是由于它们没有试图去模拟单个纹理元素。更重要的是，用平均精度我们的算法比其他两个更有优势，可能是由于通过过分割和合并减少了最小分割的表现【17】。
1.引言
图像分析试图在一幅图像中为每一个像素找到一个语义上有意义的标记。用到自然图像的许多食品问题都涉及到图像分析。可能的应用在自主导航、增强现实技术和图像数据库检索。
解决图像局部区域的自然不确定性需要图像分析【18】。图1a描述了不确定性的例子。这个小蓝色的图像块可能是各种各样语义上不用的类组成的：天空、水、车门或者是人的衣服。然而，对于给定的整个图像，我们能看出来：当在树顶、山上、沿着穿过图像上部相似的块，不存在船、人等，正确的类可能是天空。
（1）
我们求i个像素的和， 是像素真实值， 是全部像素的均值， 是包含像素 的被分配到超像素中的所有像素的均值。用超像素均值的例子间图1b。可解释的变差描述图像变化的比例，当超像素中的细节被剔除时说明此比例。
可解释的变差度量标准 将随着超像素数量的增加趋近于最大值1，这时我们从新获得原像素。当只有一个超像素时（图像均值）可解释的变差值为0。对于评估性能来说这不是一个完美的度量标准，因为它对包含大的像素变化的一致的纹理的超像素是不利的。然而，我们的目的是提供一个人工独立的度量标准。
图3.穿过图像带的最优路径估计。a）愿与汇之间的最小分割。允许任意路径。b）动态规划。正推法是绿色，逆推法的全局最优路径是红色。只获得不返回的路径。
我们首先每个路径是怎样形成的，然后讨论怎样维持约束条件。
此算法的每个阶段都在寻找穿过这个图像的最优路径。边界成本图决定最优路径（我们试图沿着图像的边界）。然而，用正则约束条件防止路径任意形成。一个约束限制了每个路径都在穿过图像的预定义带中（见图2）。防止了形成的路径对角的穿过整个图像，因此限制了随后路径的位置。它也通过限制路径数量迫使准正则网格和减少每一步的计算。
5.合并超像素
通过合并相邻的超像素我们的算法可能能提高性能。换句话说，我们能把进一步分割算法应用到计算超像素网格中。基于最小成本的贪婪的移动边界来合并超像素见图8。合并过程不需要排除晶格结构令人满意的性能。在上下文消息传递算法中，我们把合并的区域看作超像素组：它们依然和组外的超像素保持正常关系，但是如果组内成员取不同的值，MRF/CRF成本也如此设计将产生无限点球。在这种情况下目前许多的推理算法能操作。图形仍能用所提供的有许多优势的规则的网格代替。新区域之间的关系能被容易的计算，因为我们是在20*20的超像素网格中进行的，而不是在640*480的原始图像中。
表3.合并超像素后用两个指标比较算法。我们的算法还有在最好的算法【3】中解释图像变化，我们的算法产生比其他两个算法好的平均精度。
6.稳定度
贪婪算法的使用意味着对于连续视频帧是不稳定的。为了处理视频镜头分割序列的时间问题，我们把在第2部分中讲到的s-t最小分割方法扩展到3维。在这个新的图形中源和汇节点被连接到图像每个带的边缘的几个帧上。
(ⅴ)图形同构：对于给定的分辨率，每个分割的超像素彼此间有相同的关系。这允许算法的进一步开发，即超像素组标记间关系的学习。（例高阶派系）
图6.用交替的边界图的超像素算法的性能a)可解释的变差度量标准( )b)平均精度（ ）。100-2000个超像素区域代表原始像素的1%的区域。
4.1可解释的变差
在测量中我们感兴趣的是原始像素的数据在多大程度上被超像素所代替，为此我们介绍可解释的变差
7.讨论和结论
在这篇文章中，我们介绍了一种把图像分割成超像素正则网格的新奇算法。我们知道规则网格带来许多的有用性能，我们也说明了尽管有拓扑限制，但是我们的算法实现的分割性能能比得上现存的算法。
当今分割的黄金标准方法是【17】中的归一化分割算法，对于一个N*N图像，即有 个像素，这涉及到用Lanczos方法m次迭代解决大小为 的特征问题，每个图像大约花一分钟时间收敛，【3】的计算量主要由边缘强度的排序（大约有2 ）和O（ ㏒ ）复杂度，实践中在大小合适的图像经常在靠近帧速率下工作。我们的算法是快速的、当应用到长为N宽为S的重合带宽会随着图像大小的增加调整尺度，不考虑重合，大约有2N/S个带。对于最小分割方法，处理没有带的成本是O( ㏒NS),对于一个321*481的图像，大约20*20个超像素，工作在每秒2个帧，复杂度可能为O( ㏒NS)。
