第五讲 特征提取和特征选择

第五讲特征提取和特征选择
**特征提取和特征选择**
特征提取和特征选择是机器学习的重要组成部分，它们既可以提高机
器学习算法的性能、训练速度，也可以帮助研究者了解数据。

特征提取和
特征选择的目的是最大限度地挖掘数据中的有用信息，并创建出一组有意
义的特征，以便进一步的分析和模型建立。

特征提取是指从原始数据中提取出具有含义的特征，一般情况下，特
征提取过程中会涉及到一定的数据预处理、特征提取算法和特征可视化等
步骤。

常见的特征提取方法有主成分分析（PCA）、独立成分分析（ICA）、因子分析（FA）、降维分析（DA）、线性判别分析（LDA）等。

特征选择是从特征矩阵中选择最有效的特征，可以提高模型的准确率，减少模型的运行时间，同时可以更加深入地了解数据。

常见的特征选择方
法有过滤法（Filter）、包裹法（Wrapper）和嵌入法（Embedded）。

特征提取和特征选择非常重要，可以在机器学习的各个阶段发挥重要
作用，比如，可以在训练数据集合的构建阶段快速提取有效特征，以减少
数据集的维度；可以在模型训练阶段和测试阶段选择最优特征，以提高模
型性能，减少运算负担；还可以在结果分析和结论阶段。

特征提取与特征选择的区别与联系特征提取和特征选择是机器学习和模式识别领域中常用的两种特征处理方法。

它们都是在原始特征空间中对特征进行加工和处理，以便更好地应用于后续的分类、聚类或回归任务。

虽然它们都是对特征进行处理，但是它们的目的和方法却有很大的不同。

下面我们将详细探讨特征提取与特征选择的区别与联系。

特征提取是指从原始特征中抽取出新的特征表示。

在实际应用中，原始特征往往具有冗余和噪声，通过特征提取可以将原始特征进行变换，得到更具有辨识度和可分性的特征表示。

常见的特征提取方法包括主成分分析（PCA）、线性判别分析（LDA）、独立成分分析（ICA）等。

这些方法通过线性或非线性的变换，将原始特征映射到一个新的特征空间中，以便更好地进行后续的分类或聚类任务。

特征选择则是从原始特征中选择出子集，以降低维度、提高模型的泛化能力和减少计算复杂度。

特征选择方法包括过滤式、包裹式和嵌入式三种。

过滤式方法通过对特征进行打分或排序，然后选择得分高的特征作为子集；包裹式方法则是将特征选择看作一个搜索问题，针对具体的学习算法进行搜索；嵌入式方法则是将特征选择融入到学习器的训练过程中。

这些方法都是通过评估特征子集的质量，选择对模型性能影响最大的特征子集。

特征提取和特征选择在目的和方法上存在着很大的不同。

特征提取的目的是通过变换原始特征，得到更具有可分性和辨识度的新特征表示，从而提高模型的性能；而特征选择的目的则是通过选择出对模型性能影响最大的特征子集，降低维度、提高泛化能力和减少计算复杂度。

从方法上看，特征提取是通过线性或非线性的变换，将原始特征映射到一个新的特征空间中；而特征选择则是在原始特征空间中进行子集选择，保留对模型性能影响最大的特征子集。

特征提取和特征选择虽然在目的和方法上有很大的不同，但是它们之间也存在着联系。

首先，特征提取可以看作是一种特殊的特征选择，它通过对原始特征进行变换和映射，得到一个新的特征表示，实质上也是在选择对模型性能影响最大的特征子集。

特征提取与特征选择的区别与联系在机器学习和数据挖掘领域，特征提取和特征选择是两个重要的概念。

它们在数据预处理和模型构建中起着至关重要的作用。

本文将探讨特征提取与特征选择的区别与联系，并从理论和实践角度进行深入分析。

1. 特征提取的定义与意义首先，我们来看看特征提取的定义与意义。

特征提取是指从原始数据中提取出具有代表性的特征，以便进行后续的数据分析和建模。

在实际应用中，原始数据往往包含大量的冗余信息和噪声，特征提取的目的就是通过某种算法或方法，对原始数据进行转换或映射，得到更加有用和有效的特征表示。

这样可以提高模型的准确性和泛化能力，同时减少计算复杂度和存储空间的消耗。

特征提取的方法有很多种，比如主成分分析（PCA）、独立成分分析（ICA）、线性判别分析（LDA）等。

这些方法都是通过对原始数据进行变换，得到新的特征表示，从而达到降维、去噪或增强特征的目的。

2. 特征选择的定义与意义接下来，我们再来看看特征选择的定义与意义。

特征选择是指从原始特征中选择出最具有代表性和重要性的特征子集，以用于后续的建模和预测。

在实际应用中，原始特征往往包含很多冗余和无关的信息，特征选择的目的就是找出对目标变量影响最大的特征，从而简化模型、提高预测性能和可解释性。

特征选择的方法有很多种，比如过滤式、包裹式和嵌入式等。

过滤式方法是直接对特征进行评估和排序，选择最高分的特征子集；包裹式方法是把特征选择看作一个搜索问题，通过试验不同的特征子集来找到最佳组合；嵌入式方法则是在模型训练过程中，通过正则化或增加惩罚项的方式来选择特征。

3. 特征提取与特征选择的区别特征提取与特征选择虽然都是对原始数据或特征进行处理，但它们在目的和方法上有着明显的区别。

首先，特征提取是通过某种变换或映射，得到新的特征表示，目的是降维、去噪或增强特征；而特征选择是从原始特征中选择出最具有代表性和重要性的特征子集，目的是简化模型、提高预测性能和可解释性。

特征提取和特征选择是机器学习和数据挖掘领域中常用的两个概念。

虽然它们都是为了从原始数据中提取出有用的特征以便进行进一步的分析和建模，但是它们之间有着明显的区别和联系。

首先我们来看看特征提取，特征提取是指从原始数据中提取出一些能够代表数据特征的特征。

这些特征可以是原始数据中的某些属性，也可以是对原始数据进行某种变换得到的新的特征。

特征提取的目的是将原始数据转化为更容易被机器学习算法处理的形式，同时保持数据的最重要的特征。

特征提取的方法有很多种，比如说主成分分析（PCA）、线性判别分析（LDA）、小波变换等。

这些方法可以将高维度的数据降维到低维度，从而减小了数据的复杂度，提高了机器学习的效率。

特征提取的过程可以看成是对数据的一种抽象和概括，它的目的是提取出对于目标任务最有用的信息。

而特征选择则是在特征提取的基础上进行的一个步骤。

特征选择是指从已有的特征中选择出对目标任务最有用的特征。

在特征提取的过程中，可能会产生大量的特征，有些特征可能对于目标任务没有太大的作用，甚至会影响到机器学习算法的性能。

因此需要进行特征选择，选择出对目标任务最有用的特征，去除那些冗余或者无关的特征。

特征选择的方法也有很多种，比如说过滤式特征选择、包裹式特征选择、嵌入式特征选择等。

过滤式特征选择是指通过对特征进行评估，选择出对目标任务最有用的特征，比如说使用相关系数或者信息增益进行特征评估。

包裹式特征选择是指在特征子集上训练出一个机器学习模型，通过模型的性能来评估特征的重要性。

嵌入式特征选择则是指在模型训练的过程中自动选择出对目标任务最有用的特征，比如说使用正则化方法。

特征提取和特征选择在实际应用中经常会同时进行，它们之间有着很大的联系。

特征提取会产生大量的特征，在特征选择的过程中，有时候也需要对特征进行一些变换和组合。

比如说，在包裹式特征选择的过程中，需要对特征子集进行训练，可能需要将特征进行某种组合，而这个过程有点类似于特征提取。

特征选择与特征提取特征选择主要是从原始特征集中选择出一部分最具有代表性的特征，以减少数据维度和消除冗余信息，同时提高模型的泛化性能和可解释性。

特征提取则是从原始数据中提取出一组新的特征集，用于替代原始特征集，以更好地表示数据的内在特点。

特征选择和特征提取可以单独使用，也可以结合使用。

特征选择通常从以下几个方面进行考虑：1. 特征重要性：通过模型训练的过程中，可以计算每个特征在模型中的重要性，根据重要性进行特征选择。

例如，可以使用随机森林、决策树等模型计算特征的Gini指数或信息增益，选择重要性较高的特征。

2.相关性分析：通过计算特征之间的相关性，选择与目标变量相关性较高的特征。

例如，可以使用皮尔森相关系数、互信息等方法进行相关性分析。

3.方差分析：通过计算特征的方差，选择方差较大的特征。

方差较大的特征表示特征值在样本间的差异较大，对于区分不同类别的样本有更好的能力。

4.正则化方法：通过添加正则化项，使得模型选择更少的特征。

例如，LASSO正则化可以使得特征的系数趋向于0，从而实现特征选择。

特征提取主要通过以下几种方法进行：2.独立成分分析（ICA）：通过独立地解耦数据的非高斯分布特性，将原始数据分解为独立的子信号，从而实现特征提取。

3.稀疏编码：通过稀疏表示的方式，将原始数据表示为尽可能少的非零元素组成的代码，从而实现特征提取。

4.字典学习：通过学习一个字典，将原始数据表示为字典中原子的线性组合，从而实现特征提取。

特征选择和特征提取的选择与应用主要依赖于具体的数据集和问题。

在选择方法时需要考虑数据的性质、特征与目标变量的相关性、特征的可解释性以及模型的复杂度等因素。

总之，特征选择和特征提取是机器学习领域中常用的数据预处理技术，可以提高模型训练的效果和泛化能力。

在实际应用中，根据不同的需求选择适合的方法，对数据进行处理，提取最有用的特征。

第五章 特征选择与特征提取5.1 问题的提出前面主要介绍的是各种分类器的设计方法，实际上我们已经完全可以解决模式识别的问题了。

然而在实际应用中，在分类器设计之前，往往需要对抽取出的特征进行一下处理，争取尽量减小特征的维数。

在实践中我们发现，特征的维数越大，分类器设计的难度也越大，一维特征的识别问题最容易解决，我们只要找到一个阈值t ，大于t 的为一类，小于t 的为一类。

同时特征维数越大，要求的训练样本数量越多，例如在一维的情况下，10个训练样本就可以比较好的代表一个类别了，而在10维空间中，10个训练样本则是远远不够的。

这一章中我们就来介绍一下减小特征维数的方法。

一般来说模式识别系统的输入是传感器对实物或过程进行测量所得到的一些数据，其中有一些数据直接可以作为特征，有一些数据经过处理之后可以作为特征，这样的一组特征一般称为原始特征。

在原始特征中并不一定每个特征都是有用的，比如在识别苹果和橙子的系统中，我们可以抽取出的特征很多，（体积，重量，颜色，高度，宽度，最宽处高度），同样还有可能抽取出其它更多的特征。

在这些特征中对分类有用的是（颜色，高度，最宽处高度），其它特征对识别意义不大，应该去除掉。

这样的过程称为是特征选择，也可以称为是特征压缩。

特征选择可以描述成这样一个过程，原始特征为N 维特征()12,,,TN x x x =X L ，从中选择出M 个特征构成新的特征矢量()11,,,MTi i i Y x x x =L ，M N <。

同时，特征矢量的每一个分量并不一定是独立的，它们之间可能具有一定的相关性，比如说高度和最宽处的高度，高度值越大，最宽处的高度值也越大，它们之间具有相关性，我们可以通过一定的变换消除掉这种相关性，比如取一个比值：最宽处的高度/高度。

这样的过程称为特征提取。

特征提取可以描述为这样一个过程，对特征矢量()12,,,TN x x x =X L 施行变换：()i i y h =X ，1,2,,i M =L ，M N <，产生出降维的特征矢量()12,,,TM Y y y y =L 。

特征选择与特征提取的关系在特征选择与特征提取的这个话题上，咱们可以说是开启了一扇新大门。

想象一下，数据就像一盘丰盛的自助餐，各种美味琳琅满目，但你可不能每样都吃，那样你一定会撑得像个气球。

特征选择就像是挑选你最爱的几道菜，而特征提取呢，则是把那些菜进行精致的加工，变得更加美味可口。

其实，这两者就像是老朋友，各自有各自的独特魅力，但又总是相辅相成。

首先，我们来聊聊特征选择，哎呀，这可是一项重要的技术啊。

它的主要目标是从大量的数据中挑出最有用的特征。

就好比你去逛超市，面对一堆促销商品，总得有个清单，知道自己真正需要什么，对吧？特征选择就是那个清单，它让我们不至于在数据的海洋中迷失方向。

它不仅能提高模型的效率，还能防止过拟合，简直是一举多得！那么，特征提取又是怎么一回事呢？其实，它就像是个高超的厨师，能够把原材料进行精细加工，提炼出更加有效的信息。

比如说，我们有一个图像数据集，里面充满了各种色彩和细节，特征提取就是从这些杂乱无章的元素中提炼出有意义的特征，就像将一幅风景画浓缩成几笔生动的线条。

通过这些提取出来的特征，我们能够更好地理解数据背后的含义。

就拿人脸识别来说，特征提取能够从脸部图像中提取出独特的面部特征，这样我们的模型就能轻松识别出每个人，简直是科技界的小魔术呢！当然，特征选择和特征提取这两者的关系，就像是鸡和蛋，永远是个循环。

特征选择能够帮助我们聚焦于最关键的数据，而特征提取则让我们更深入地了解这些关键数据的内在结构。

在实际操作中，咱们通常是先进行特征选择，筛选出最具代表性的特征，然后再进行特征提取，以进一步优化我们的模型性能。

这就好比我们先挑选出食材，再把它们做成一道精致的菜肴，最后上桌给客人享用，大家都心满意足。

而且，这两者的结合不仅能提升模型的性能，还能让我们的数据分析过程变得更加高效。

在面对大数据时代，数据量庞大且复杂，如何从中快速获取有用的信息，真是个不小的挑战。

特征选择和特征提取就像是我们的两大武器，帮助我们在这场信息战中占得先机。

数据降维（特征提取）和特征选择有什么区别？Feature extraction和feature selection 都同属于Dimension reduction。

要想搞清楚问题当中⼆者的区别，就⾸先得知道Dimension reduction 是包含了feature selection这种内在联系，再在这种框架下去理解各种算法和⽅法之间的区别。

和feature selection不同之处在于feature extraction是在原有特征基础之上去创造凝练出⼀些新的特征出来，但是feature selection则只是在原有特征上进⾏筛选。

Feature extraction有多种⽅法，包括PCA,LDA,LSA等等，相关算法则更多，pLSA,LDA,ICA,FA,UV-Decomposition,LFM,SVD等等。

这⾥⾯有⼀个共同的算法，那就是⿍⿍⼤名的SVD。

SVD本质上是⼀种数学的⽅法，它并不是⼀种什么机器学习算法，但是它在机器学习领域⾥有⾮常⼴泛的应⽤。

PCA的⽬标是在新的低维空间上有最⼤的⽅差，也就是原始数据在主成分上的投影要有最⼤的⽅差。

这个是⽅差的解释法，⽽这正好对应着特征值最⼤的那些主成分。

有⼈说，PCA本质上是去中⼼化的SVD，这可以看出PCA内在上与SVD的联系。

PCA的得到是先将原始数据X的每⼀个样本，都减去所有样本的平均值，然后再⽤每⼀维的标准差进⾏归⼀化。

假如原始矩阵X的每⼀⾏对应着每⼀个样本，列对应着相应的特征，那么上述去中⼼化的步骤对应着先所有⾏求平均值，得到的是⼀个向量，然后再将每⼀⾏减去这个向量，接着，针对每⼀列求标准差，然后再把每⼀列的数据除以这个标准差。

这样得到的便是去中⼼化的矩阵了。

我在整理相关⽂档的时候，有如下体会：我们的学习是什么，学习的本质是什么？其实在我看来就是⼀种特征抽取的过程，在学习⼀门新知识的时候，这⾥⼀个知识点，那⼉⼀个知识点，你头脑⾥⼀篇混乱，完全不知所云，这些知识点在你的⼤脑中也纯粹是杂乱⽆章毫⽆头绪的，这不正是⾼维空间⾥数据的特征么？最本质的数据完全湮没在太多太多的扰动中，⽽我们要做的就是提炼，从⼀堆毫⽆头绪的扰动中寻找到最本质的真理。

机器学习技术中的特征提取和特征选择的区别与选择原则特征提取和特征选择是机器学习中常用的两种特征预处理方法。

在机器学习任务中，特征是描述样本的属性或特性，可以理解为输入数据的各个方面。

有效的特征能够提高模型的性能和预测能力。

特征提取和特征选择是为了从原始数据中选择出最有价值的特征，减少冗余和噪声的影响，提高模型的泛化能力。

特征提取是指将原始的高维数据通过各种变换和映射，转换为新的特征空间，从而降低数据维度并保留最重要的信息。

特征提取通过定义新的特征来表达原始数据，目的是寻找到能够最好地描述数据的低维特征。

特征提取方法常用的有主成分分析（PCA）、线性判别分析（LDA）等。

主成分分析通过线性变换将原始数据映射到一个新的特征空间中，其中每个新特征都是原始特征的线性组合，并通过最大化方差来选择最重要的特征。

而线性判别分析则是通过线性变换将高维数据映射到一维或低维空间中，使得同类样本尽可能接近，不同类样本尽可能远离。

特征选择是指从原始特征集合中选择一个最优子集，丢弃无关特征和冗余特征，以达到优化模型性能和降低计算复杂度的目的。

特征选择可以分为过滤式（Filter）和包裹式（Wrapper）两种方式。

过滤式特征选择通常在特征与目标变量之间进行统计测试或分析，选择相关性最高的特征作为最终的特征集。

常用的过滤式特征选择方法有方差阈值法、互信息法、卡方检验等。

相比之下，包裹式特征选择是将特征子集的评估作为一个搜索问题，通过尝试不同的组合来评估特征集的性能，逐步搜索最优子集。

常用的包裹式特征选择方法有递归特征消除、遗传算法等。

特征选择的选择原则主要根据以下几个方面进行考虑：1. 目标相关性：选择与目标变量相关性强的特征。

如果某个特征与目标变量之间的相关性较低，那么这个特征对于模型的预测能力可能较弱，可以考虑放弃该特征。

2. 特征重要性：选择对模型的预测能力贡献较大的特征。

某些特征可能对模型的性能影响较小，可以考虑放弃这些特征，以减少计算复杂度和降低过拟合的风险。

机器学习之特征提取VS特征选择1.待征提取V.S特征选择特征提取和特征选择是DimensionalityReduction (降维)的两种方法，针对于the curse of dimensionality(维灾难)，都可以达到降维的LI的。

但是这两个有所不同。

特征提取(Feature Extraction) :Creatting a subset of new features by combinations of the exsiting features.也就是说，特征抽取后的新特征是原来特征的一个映射。

特征选择(Feature Selection ) :choosing a subset of all the features(the ones more informative)<>也就是说，特征选择后的特征是原来特征的一个子集。

2. PCA V.S LDA主成分分析(Principle Components Analysis ,PCA)和线性评判分析(Linear Discriminant Analysis,LDA )是特征提取的两种主要经典方法。

对于特征提取，有两种类别:(1 ) Signal wpresentation(信号表示)：The goal of the feature extraction mapping is to represent the samples accurately in a low-dimensional space・也就是说，特征抽取后的特征要能够精确地表示样本信息，使得信息丢失很小。

对应的方法是PCA.（2 ） Signal classification （信号分类）：The goal of the feature extraction mapping is toenhance the class-discriminatory information in a low- dimensional space.也就是说，特征抽取后的特征，要使得分类后的准确率很高，不能比原来特征进行分类的准确率低。

特征提取与特征选择
1.特征提取
特征提取，通常称为特征工程，是指从数据集中提取有助于建模、分析过程和预测结果的特征，是机器学习和深度学习的基础，是实现有效机器学习和深度学习模型的关键环节。

特征提取的主要目的是从原始数据中提取出有价值的特征，从而提升模型的精确度。

特征提取的方法主要有：
1）非监督学习：非监督学习通过聚类、主成分分析（PCA）、奇异值分解、独立成分分析（ICA）等方法从原始数据中提取出有价值的特征。

2）监督学习：监督学习可以通过特征选择，递归特征消除（RFE），基于权重的统计特征选择和基于函数的特征选择等方法从原始数据中提取出有价值的特征。

2.特征选择
特征选择是指从原始数据中选择具有预测性的特征，以便提高模型有效性。

特征选择有助于减少过拟合，进而提高模型准确性。

特征选择的方法主要有：
1）特征选择：特征选择可以使用过滤法（Filter），包括单变量统计，相关性，卡方，信息增益等方法，也可以使用包裹法（Wrapper），包括递归特征消除（RFE），贪心，粒子群优化等方法，还可以使用嵌入法（Embedded），包括 L1正则化，L2正则化等方法。

特征选择与特征提取的比较在机器学习中，特征选择和特征提取是两个非常重要的概念。

它们可以帮助我们从原始数据中提取出最相关的特征，用于训练模型并做出预测。

本文将探讨特征选择和特征提取的比较，并分析它们各自的优缺点。

一、特征选择特征选择是指从原始特征集中选择最有用的特征子集。

这种方法的目的是降低特征维度，从而减少训练时间和提高模型准确性。

特征选择有三种常见的方法：1.过滤式特征选择过滤式特征选择方法通过计算每个特征和目标变量之间的相关性来选择有用的特征。

这些特征可以在训练模型之前进行筛选，并且与特定模型无关。

过滤式特征选择的优点是计算速度快，但也有一些缺点，例如无法处理特征之间的复杂关系。

2.包装式特征选择包装式特征选择方法会使用给定模型来评估每个特征的重要性。

这种方法通过不断调整模型来选择最佳特征子集。

包装式特征选择的优点是可以处理特征之间的复杂关系，但计算时间较长。

3.嵌入式特征选择嵌入式特征选择方法与包装式特征选择非常相似，但是它们会将选定的特征直接嵌入到模型中。

这种方法可以帮助模型更加精确地理解数据，但也需要更长的训练时间。

特征选择的优点是可以减少特征集的大小并提高模型的准确性。

但它也有缺点，例如可能会导致信息损失和对特定模型的依赖性。

二、特征提取特征提取是将原始数据转换为可用于机器学习的特征集的过程。

这些特征通常由更高层次的信息组成，其目的是让模型更容易理解数据并做出准确的预测。

主要有两种特征提取方法：1.基于深度学习的特征提取深度学习是一种可用于特征提取的强大工具。

它可以自动发现数据中的模式和规律，并在此基础上提取出相关的特征。

这些特征通常被用于训练分类器和预测模型。

2.基于统计学的特征提取基于统计学的特征提取方法通常用于处理分类或聚类问题。

这种方法通过计算数据中的各种统计值来提取有用的特征，例如平均值、标准差、偏度和峰度等。

特征提取的优点是可以帮助模型更好地理解数据，并提高模型的准确性。

第五章 特征选择和提取特征选择和提取是模式识别中的一个关键问题前面讨论分类器设计的时候，一直假定已给出了特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征；这些特征的选择是很重要的，它强烈地影响到分类器的设计及其性能；假若对不同的类别，这些特征的差别很大，则比较容易设计出具有较好性能的分类器。

特征选择和提取是构造模式识别系统时的一个重要课题在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们进行有效的测量；因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些；另外，由于客观上的需要，为了突出某些有用信息，抑制无用信息，有意加上一些比值、指数或对数等组合计算特征；如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。

为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征；在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。

为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别。

为此，需对特征进行选择。

应去掉模棱两可、不易判别的特征；所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。

说明：实际上，特征选择和提取这一任务应在设计分类器之前进行；从通常的模式识别教学经验看，在讨论分类器设计之后讲述特征选择和提取，更有利于加深对该问题的理解。

所谓特征选择，就是从n 个度量值集合{x1, x2,…, xn}中，按某一准则选取出供分类用的子集，作为降维（m 维，m<n ）的分类特征；所谓特征提取，就是使(x1, x2,…, xn)通过某种变换，产生m 个特征(y1, y2,…, ym) (m<n) ，作为新的分类特征（或称为二次特征）；其目的都是为了在尽可能保留识别信息的前提下，降低特征空间的维数，已达到有效的分类。