常见地特征选择或特征降维方法

URL:https://www.doczj.com/doc/413128920.html,/14072.html

特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。

特征选择主要有两个功能：

1.减少特征数量、降维，使模型泛化能力更强，减少过拟合

2.增强对特征和特征值之间的理解

拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。

在许多机器学习的书里，很难找到关于特征选择的容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。

1 去掉取值变化小的特征 Removing features with low variance

这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。

2 单变量特征选择 Univariate feature selection

单变量特征选择能够对每一个特征进行测试，衡量该特征和响应变量之间的关系，根据得分扔掉不好的特征。对于回归和分类问题可以采用卡方检验等方式对特征进行测试。

这种方法比较简单，易于运行，易于理解，通常对于理解数据有较好的效果（但对特征优化、提高泛化能力来说不一定有效）；这种方法有许多改进的版本、变种。

2.1 Pearson相关系数 Pearson Correlation

皮尔森相关系数是一种最简单的，能帮助理解特征和响应变量之间关系的方法，该方法衡量的是变量之间的线性相关性，结果的取值区间为[-1，1]，-1表示完全的负相关(这个变量下降，那个就会上升)，+1表示完全的正相关，0表示没有线性相关。

Pearson Correlation速度快、易于计算，经常在拿到数据(经过清洗和特征提取之后的)之后第一时间就执行。

Pearson相关系数的一个明显缺陷是，作为特征排序机制，他只对线性关系敏感。如果关系是非线性的，即便两个变量具有一一对应的关系，Pearson相关性也可能会接近0。

2.2 互信息和最大信息系数Mutual information and maximal

information coefficient (MIC)

以上就是经典的互信息公式了。想把互信息直接用于特征选择其实不是太方便：1、它不属于度量方式，也没有办法归一化，在不同数据及上

的结果无法做比较；2、对于连续变量的计算不是很方便（X和Y都是集

合，x，y都是离散的取值），通常变量需要先离散化，而互信息的结果对离散化的方式很敏感。

最大信息系数克服了这两个问题。它首先寻找一种最优的离散化方式，然后把互信息取值转换成一种度量方式，取值区间在[0，1]。minepy 提供了MIC功能。

2.3 距离相关系数 (Distance correlation)

距离相关系数是为了克服Pearson相关系数的弱点而生的。在x和x^2这个例子中，即便Pearson相关系数是0，我们也不能断定这两个变量是独立的（有可能是非线性相关）；但如果距离相关系数是0，那么我们就可以说这两个变量是独立的。

尽管有MIC和距离相关系数在了，但当变量之间的关系接近线性相关的时候，Pearson相关系数仍然是不可替代的。第一、Pearson相关系数计算速度快，这在处理大规模数据的时候很重要。第二、Pearson相关系数的取值区间是[-1，1]，而MIC和距离相关系数都是[0，1]。这个特点使得Pearson相关系数能够表征更丰富的关系，符号表示关系的正负，绝对值能够表示强度。当然，Pearson相关性有效的前提是两个变量的变化关系是单调的。

2.4 基于学习模型的特征排序 (Model based ranking)

这种方法的思路是直接使用你要用的机器学习算法，针对每个单独的特征和响应变量建立预测模型。其实Pearson相关系数等价于线性回归里的标准化回归系数。假如某个特征和响应变量之间的关系是非线性的，可以用基于树的方法（决策树、随机森林）、或者扩展的线性模型等。基于树的方法比较易于使用，因为他们对非线性关系的建模比较好，并且不需要太多的调试。但要注意过拟合问题，因此树的深度最好不要太大，再就是运用交叉验证。

3 线性模型和正则化

单变量特征选择方法独立的衡量每个特征与响应变量之间的关系，另一种主流的特征选择方法是基于机器学习模型的方法。有些机器学习方法本身就具有对特征进行打分的机制，或者很容易将其运用到特征选择任务中，例如回归模型，SVM，决策树，随机森林等等。说句题外话，这种方法好像在一些地方叫做wrapper类型，大概意思是说，特征排序模型和机器学习模型是耦盒在一起的，对应的非wrapper类型的特征选择方法叫做filter类型。

下面将介绍如何用回归模型的系数来选择特征。越是重要的特征在模型中对应的系数就会越大，而跟输出变量越是无关的特征对应的系数就会越接近于0。在噪音不多的数据上，或者是数据量远远大于特征数的数据上，如果特征之间相对来说是比较独立的，那么即便是运用最简单的线性回归模型也一样能取得非常好的效果。

在这个例子当中，尽管数据中存在一些噪音，但这种特征选择模型仍然能够很好的体现出数据的底层结构。当然这也是因为例子中的这个问题非常适合用线性模型来解：特征和响应变量之间全都是线性关系，并且特征之间均是独立的。

3.1 正则化模型

正则化就是把额外的约束或者惩罚项加到已有模型（损失函数）上，以防止过拟合并提高泛化能力。损失函数由原来的E(X,Y)变为

E(X,Y)+alpha||w||，w是模型系数组成的向量（有些地方也叫参数

parameter，coefficients），||·||一般是L1或者L2数，alpha是一个可调的参数，控制着正则化的强度。当用在线性模型上时，L1正则化和L2正则化也称为Lasso和Ridge。

3.2 L1正则化/Lasso

PCA降维方法(主成分分析降维)

一、简介 PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题时，比如经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像。这时，我们通常的方法是对图像库中的图片提取响应的特征，如颜色，纹理，sift，surf，vlad等等特征，然后将其保存，建立响应的数据索引，然后对要查询的图像提取相应的特征，与数据库中的图像特征对比，找出与之最近的图片。这里，如果我们为了提高查询的准确率，通常会提取一些较为复杂的特征，如sift，surf等，一幅图像有很多个这种特征点，每个特征点又有一个相应的描述该特征点的128维的向量，设想如果一幅图像有300个这种特征点，那么该幅图像就有300*vector（128维）个，如果我们数据库中有一百万张图片，这个存储量是相当大的，建立索引也很耗时，如果我们对每个向量进行PCA处理，将其降维为64维，是不是很节约存储空间啊？对于学习图像处理的人来说，都知道PCA是降维的，但是，很多人不知道具体的原理，为此，我写这篇文章，来详细阐述一下PCA及其具体计算过程： 二、PCA原理 1、原始数据： 为了方便，我们假定数据是二维的，借助网络上的一组数据，如下： x=[2.5, 0.5, 2.2, 1.9, 3.1, 2.3, 2, 1,1.5, 1.1]T y=[2.4, 0.7, 2.9, 2.2, 3.0, 2.7, 1.6, 1.1, 1.6, 0.9]T 2、计算协方差矩阵 什么是协方差矩阵？相信看这篇文章的人都学过数理统计，一些基本的常识都知道，但是，也许你很长时间不看了，都忘差不多了，为了方便大家更好的理解，这里先简单的回顾一下数理统计的相关知识，当然如果你知道协方差矩阵的求法你可以跳过这里。 （1）协方差矩阵： 首先我们给你一个含有n个样本的集合，依次给出数理统计中的一些相关概念： 均值： 标准差：

降维和特征选择

1.数据降维和特征选择的区别 数据降维，一般说的是维数约简（Dimensionality reduction）。它的思路是：将原始高维特征空间里的点向一个低维空间投影，新的空间维度低于原特征空间，所以维数减少了。在这个过程中，特征发生了根本性的变化，原始的特征消失了（虽然新的特征也保持了原特征的一些性质）。 特征选择，是从 n 个特征中选择 d (d

降维方法

国内当前流行的文本分类算法有最大熵(MaximumEntropy，ME),K近邻法(KNN)，朴素贝叶斯法(NB)，支持向量机法(SVM)，线性最小平分拟合法(LLSF)，神经网络法(Nnet)等，其中KNN、NB和SVM的分类效果相对较好。 文本分类由文本表示，特征降维和分类器训练组成，分类算法只是其中的一个环节，另外两个环节也非常重要。目前普遍采用向量空间模型来表示文本，常见的特征词加权方法有：布尔权重、词频权重、TF—IDF权重等，常见的特征选择方法有文档频率，互信息和统计等。 基于机器学习文本分类的基础技术由文本的表示(representation) 、分类方法及效果(effectiveness)评估3 部分组成。Sebastiani对文本分类发展历程及当时的技术进行了总结，主要内容包括: (1)文本关于项(term)或特征的向量空间表示模型(VSM)及特征选择 (selection)与特征提取(extraction)两种表示空间降维(dimensionality reduction)策略,讨论了χ2,IG,MI,OR 等用于特征过滤的显著性统计量及项聚类和隐含语义索引(LSI)等特征提取方法; (2) 当时较成熟的分类模型方法,即分类器的归纳构造(inductive construction)或模型的挖掘学习过程; (3) 分类效果评估指标,如正确率(precision) 召回率(recall) 均衡点(BEP) F β(常用F1)和精度(accuracy)等,以及之前报道的在Reuters 等基准语料上的效果参考比较。 1、中文评论语料的采集 利用DOM 构建网页结构树，对结构树的分析实现了中文评论的自动采集的方

方法：因子分析法

因子分析基础理论知识 1 概念 因子分析（Factor analysis ）：就是用少数几个因子来描述许多指标或因素之间的联系，以较少几个因子来反映原资料的大部分信息的统计学分析方法。从数学角度来看，主成分分析是一种化繁为简的降维处理技术。 主成分分析（Principal component analysis ）：是因子分析的一个特例，是使用最多的因子提取方法。它通过坐标变换手段，将原有的多个相关变量，做线性变化，转换为另外一组不相关的变量。选取前面几个方差最大的主成分，这样达到了因子分析较少变量个数的目的，同时又能与较少的变量反映原有变量的绝大部分的信息。 两者关系：主成分分析（PCA ）和因子分析（FA ）是两种把变量维数降低以便于描述、理解和分析的方法，而实际上主成分分析可以说是因子分析的一个特例。 2 特点 （1）因子变量的数量远少于原有的指标变量的数量，因而对因子变量的分析能够减少分析中的工作量。 （2）因子变量不是对原始变量的取舍，而是根据原始变量的信息进行重新组构，它能够反映原有变量大部分的信息。 （3）因子变量之间不存在显着的线性相关关系，对变量的分析比较方便，但原始部分变量之间多存在较显着的相关关系。 （4）因子变量具有命名解释性，即该变量是对某些原始变量信息的综合和反映。 在保证数据信息丢失最少的原则下，对高维变量空间进行降维处理（即通过因子分析或主成分分析）。显然，在一个低维空间解释系统要比在高维系统容易的多。 3 类型 根据研究对象的不同，把因子分析分为R 型和Q 型两种。 当研究对象是变量时，属于R 型因子分析； 当研究对象是样品时，属于Q 型因子分析。 但有的因子分析方法兼有R 型和Q 型因子分析的一些特点，如因子分析中的对应分析方法，有的学者称之为双重型因子分析，以示与其他两类的区别。 4分析原理 假定：有n 个地理样本，每个样本共有p 个变量，构成一个n ×p 阶的地理数据矩阵 : ?????? ????? ???=np n n p p x x x x x x x x x X ΛM M M M ΛΛ212222111211

常见的特征选择或特征降维方法

URL:https://www.doczj.com/doc/413128920.html,/14072.html 特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更强，减少过拟合 2.增强对特征和特征值之间的理解 拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。 在许多机器学习的书里，很难找到关于特征选择的容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。 1 去掉取值变化小的特征Removing features with low variance 这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。

2 单变量特征选择Univariate feature selection 单变量特征选择能够对每一个特征进行测试，衡量该特征和响应变量之间的关系，根据得分扔掉不好的特征。对于回归和分类问题可以采用卡方检验等方式对特征进行测试。 这种方法比较简单，易于运行，易于理解，通常对于理解数据有较好的效果（但对特征优化、提高泛化能力来说不一定有效）；这种方法有许多改进的版本、变种。 2.1 Pearson相关系数Pearson Correlation 皮尔森相关系数是一种最简单的，能帮助理解特征和响应变量之间关系的方法，该方法衡量的是变量之间的线性相关性，结果的取值区间为[-1，1]，-1表示完全的负相关(这个变量下降，那个就会上升)，+1表示完全的正相关，0表示没有线性相关。 Pearson Correlation速度快、易于计算，经常在拿到数据(经过清洗和特征提取之后的)之后第一时间就执行。 Pearson相关系数的一个明显缺陷是，作为特征排序机制，他只对线性关系敏感。如果关系是非线性的，即便两个变量具有一一对应的关系， Pearson相关性也可能会接近0。 2.2 互信息和最大信息系数Mutual information and maximal information coefficient (MIC)

数据降维方法分析与研究_吴晓婷

收稿日期:2008211226;修回日期:2009201224 基金项目:国家自然科学基金资助项目(60372071);中国科学院自动化研究所复杂系统与智能科学重点实验室开放课题基金资助项目(20070101);辽宁省教育厅高等学校科学研究基金资助项目(2004C031) 作者简介:吴晓婷(19852),女(蒙古族),内蒙古呼伦贝尔人,硕士研究生,主要研究方向为数据降维、模式识别等(xiaoting wu85@hot m ail . com );闫德勤(19622),男,博士,主要研究方向为模式识别、数字水印和数据挖掘等. 数据降维方法分析与研究 3 吴晓婷,闫德勤 (辽宁师范大学计算机与信息技术学院,辽宁大连116081) 摘　要:全面总结现有的数据降维方法,对具有代表性的降维方法进行了系统分类,详细地阐述了典型的降维方法,并从算法的时间复杂度和优缺点两方面对这些算法进行了深入的分析和比较。最后提出了数据降维中仍待解决的问题。 关键词:数据降维;主成分分析;局部线性嵌入;等度规映射;计算复杂度 中图分类号:TP301 文献标志码:A 文章编号:100123695(2009)0822832204 doi:10.3969/j .jssn .100123695.2009.08.008 Analysis and research on method of data dimensi onality reducti on WU Xiao 2ting,Y AN De 2qin (School of Co m puter &Infor m ation Technology,L iaoning N or m al U niversity,D alian L iaoning 116081,China ) Abstract:This paper gave a comp rehensive su mmarizati on of existing di m ensi onality reducti on methods,as well as made a classificati on t o the rep resentative methods systematically and described s ome typ ical methods in detail.Further more,it deep ly analyzed and compared these methods by their computati onal comp lexity and their advantages and disadvantages .Finally,it p r oposed the crucial p r oble m s which needed t o be res olved in future work in data di m ensi onality reducti on . Key words:data di m ensi onality reducti on;p rinci pal component analysis (PCA );l ocally linear e mbedding (LLE );is ometric mapp ing;computati onal comp lexity 近年来,数据降维在许多领域起着越来越重要的作用。通过数据降维可以减轻维数灾难和高维空间中其他不相关属性,从而促进高维数据的分类、可视化及压缩。所谓数据降维是指通过线性或非线性映射将样本从高维空间映射到低维空间,从而获得高维数据的一个有意义的低维表示的过程。数据降维的数学描述如下:a )X ={x i }N i =1是D 维空间中的一个样本集, Y ={y i }N i =1是d (d <

数据分析中常用的降维方法有哪些

数据分析中常用的降维方法有哪些 对大数据分析感兴趣的小伙伴们是否了解数据分析中常用的降维方法都有哪些呢?本篇文章小编和大家分享一下数据分析领域中最为人称道的七种降维方法，对大数据开发技术感兴趣的小伙伴或者是想要参加大数据培训进入大数据领域的小伙伴就随小编一起来看一下吧。 近来由于数据记录和属性规模的急剧增长，大数据处理平台和并行数据分析算法也随之出现。于此同时，这也推动了数据降维处理的应用。实际上，数据量有时过犹不及。有时在数据分析应用中大量的数据反而会产生更坏的性能。 我们今天以2009 KDD Challenge 大数据集来预测客户流失量为例来探讨一下，大多数数据挖掘算法都直接对数据逐列处理，在数据数目一大时，导致算法越来越慢。因此，下面我们一下来了解一下数据分析中常用的降维方法。 缺失值比率(Missing Values Ratio) 该方法的是基于包含太多缺失值的数据列包含有用信息的可能性较少。因此，可以将数据列缺失值大于某个阈值的列去掉。阈值越高，降维方法更为积极，即降维越少。 低方差滤波(Low Variance Filter) 与上个方法相似，该方法假设数据列变化非常小的列包含的信息量少。因此，所有的数据列方差小的列被移除。需要注意的一点是：方差与数据范围相关的，因此在采用该方法前需要对数据做归一化处理。 高相关滤波(High Correlation Filter) 高相关滤波认为当两列数据变化趋势相似时，它们包含的信息也显示。这样，使用相似列中的一列就可以满足机器学习模型。对于数值列之间的相似性通过计算相关系数来表示，对于名词类列的相关系数可以通过计算皮尔逊卡方值来表示。相关系数大于某个阈值的两列只保留一列。同样要注意的是：相关系数对范围敏感，所以在计算之前也需要对数据进行归一化处理。 随机森林/组合树(Random Forests) 组合决策树通常又被成为随机森林，它在进行特征选择与构建有效的分类器时非常有用。一种常用的降维方法是对目标属性产生许多巨大的树，然后根据对每个属性的统计结果找到信息量最大的特征子集。例如，我们能够对一个非常巨大的数据集生成非常层次非常浅的树，每颗树只训练一小部分属性。如果一个属

如何进行数据降维—主成分分析与因子分析的比较

如何进行数据降维 —主成分分析与因子分析的比较 当我们使用统计分析方法进行多变量分析的时候，变量个数太多就会增加分析的复杂性。遇到这种情况，我们一般需要采取降维的方法对变量进行降维，以期更好来进行后续的分析工作。因子分析和主成分分析就是我们常用的两种变量降维的方法。但哪种方法更好呢？本文将对这两种方法来进行比较，希望大家能从相互的比较过程中，找到适合自己分析的降维方法。 首先，先来给大家简单的介绍下这两种方法的原理。 一般而言，针对某一个响应的若干因子之间存在着一定的相关性，因子分析就是在这些变量中找出隐藏的具有代表性的因子，将相同本质的变量归入一个因子，以此来减少变量的数目。 而对于主成分来说，这种相关性意味着这些变量之间存在着一定的信息重叠，主成分分析将重复的因子（相关性强的因子）删去，通过建立尽可能保持原有信息、彼此不相关的新因子来对响应进行重新的刻画。 从统计学上来看，主成分分析本质上是一种通过线性变换来进行数据集简化的技术，它是将数据从现有的坐标系统变换到一个新的坐标系统中，然后将数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。 相比较主成分分析，因子分析不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分，然后通过构造因子模型，将原始观察变量分解为公共因子因子的线性组合。简而言之，主成分分析是将主要成分表示为原始观察变量的线性组合，而因子分析是将原始观察变量表示为新因子的线性组合。 基于两个方法的原理及实施步骤，我们不难看出，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。大致说来，当需要寻找潜在的因子，并对这些因子进行解释的时候，更加倾向于使用因子分析，并且借助旋转技术帮助更好解释。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。 此外，主成分分析主要是作为一种探索性的技术，可以同聚类分析和判别分析一起使用，帮助我们更好的进行多元分析，特别是当变量很多，数据样本量少的情况，一些统计分析方

大数据降维的经典方法

大数据降维的经典方法 近来由于数据记录和属性规模的急剧增长，大数据处理平台和并行数据分析算法也随之出现。 近来由于数据记录和属性规模的急剧增长，大数据处理平台和并行数据分析算法也随之出现。于此同时，这也推动了数据降维处理的应用。实际上，数据量有时过犹不及。有时在数据分析应用中大量的数据反而会产生更坏的性能。 最新的一个例子是采用2009 KDD Challenge 大数据集来预测客户流失量。该数据集维度达到15000 维。大多数数据挖掘算法都直接对数据逐列处理，在数据数目一大时，导致算法越来越慢。该项目的最重要的就是在减少数据列数的同时保证丢失的数据信息尽可能少。 以该项目为例，我们开始来探讨在当前数据分析领域中最为数据分析人员称道和接受的数据降维方法。 缺失值比率(Missing Values Ratio) 该方法的是基于包含太多缺失值的数据列包含有用信息的可能性较少。因此，可以将数据列缺失值大于某个阈值的列去掉。阈值越高，降维方法更为积极，即降维越少。该方法示意图如下： 低方差滤波(Low Variance Filter) 与上个方法相似，该方法假设数据列变化非常小的列包含的信息量少。因此，所有的数据列方差小的列被移除。需要注意的一点是：方差与数据范围相关的，因此在采用该方法前需要对数据做归一化处理。算法示意图如下： 高相关滤波(High Correlation Filter) 高相关滤波认为当两列数据变化趋势相似时，它们包含的信息也显示。这样，使

用相似列中的一列就可以满足机器学习模型。对于数值列之间的相似性通过计算相关系数来表示，对于名词类列的相关系数可以通过计算皮尔逊卡方值来表示。相关系数大于某个阈值的两列只保留一列。同样要注意的是：相关系数对范围敏感，所以在计算之前也需要对数据进行归一化处理。算法示意图如下： 随机森林/组合树(Random Forests) 组合决策树通常又被成为随机森林，它在进行特征选择与构建有效的分类器时非常有用。一种常用的降维方法是对目标属性产生许多巨大的树，然后根据对每个属性的统计结果找到信息量最大的特征子集。例如，我们能够对一个非常巨大的数据集生成非常层次非常浅的树，每颗树只训练一小部分属性。如果一个属性经常成为最佳分裂属性，那么它很有可能是需要保留的信息特征。对随机森林数据属性的统计评分会向我们揭示与其它属性相比，哪个属性才是预测能力最好的属性。算法示意图如下： 主成分分析(PCA) 主成分分析是一个统计过程，该过程通过正交变换将原始的n 维数据集变换到一个新的被称做主成分的数据集中。变换后的结果中，第一个主成分具有最大的方差值，每个后续的成分在与前述主成分正交条件限制下与具有最大方差。降维时仅保存前m(m < n) 个主成分即可保持最大的数据信息量。需要注意的是主成分变换对正交向量的尺度敏感。数据在变换前需要进行归一化处理。同样也需要注意的是，新的主成分并不是由实际系统产生的，因此在进行PCA 变换后会丧失数据的解释性。如果说，数据的解释能力对你的分析来说很重要，那么PCA 对你来说可能就不适用了。算法示意图如下： 反向特征消除(Backward Feature Elimination)

主成分分析是处理降维的一种方法

主成分分析是处理降维的一种方法。 将多个指标化为少数相互无关的综合指标的统计方法叫做主成分分析。 主成分分析的基本思想是通过构造原变量的适当的线性组合，以产生一系列互不相关的新信息，从中选出少数几个新变量并使它们含有尽可能多的原变量带有的信息，从而使得用这几个新变量代替原变量分析问题和解决问题成为可能。当研究的问题确定之后,变量中所含“信息”的大小通常用该变量的方差或样本方差来度量。 因子分析是主成分分析的推广和发展，它是将具有错综复杂关系的变量（或样品）综合为数量较少的几个因子，以再现原始变量与因子之间的相互关系，同时根据不同因子还可以对变量进行分类，它也是属于多元分析中处理降维的一种统计方法。 因子分析的基本思想是通过变量的相关系数矩阵内部结构的研究，找出能控制所有变量的少数几个随机变量去描述多个变量之间的相关关系，但在这里，这少数几个随机变量是不可观测的，通常称为因子。然后根据相关性的大小把变量分组，使得同组内的变量之间相关性较高，但不同组的变量相关性较低。 典型相关分析的基本思想：结合主成分分析的思想，自然是考虑X 的综合指标（X 的线性函数）与Y 的综合指标之间的相关性程度来刻画X 与Y 的相关性，即把两组变量的相关，变为两个新变量（线性函数）之间的相关来讨论，同时又尽量保留原来变量的信息，或者说，找X 的线性函数和找Y 的线性函数，使这两个线性函数具有最大的相关性。（称这种相关为典型相关，称形成的两个线性函数即两个新的变量为典型变量。）继而，还可以分别找X 与Y 的第二对线性函数。是其与第一对典型变量不相关，而这两个线性函数之间又具有最大的相关性。如此继续进行下去，直到两组变量X 与Y 之间的相关性被提取完毕为止。 判别分析就是解决分类问题，模式识别的分类问题就是根据待识别对象的特征向量值及其它约束条件将其分到某个类别中去。统计判别分析理论是模式分类问题的基本理论之一，它对模式分析和分类器的设计有着实际的指导意义。 距离判别法的基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。 距离判别法对各类（或总体）的分布，并无特定的要求。 系统聚类法的基本思想：先将每个研究对象（样品或指标）各自看成一类，按某种顺序分别称作第1，第2，…第h 类（如果对象是样品，则h=n ；如果对象是指标，则h=p ）；然后根据对象间的相似度量，将h 类中最相似的两类合并，组成一个新类，这样得到h-1类，再在这h-1类中找出最相似的两类，得到h-2类，如此下去，直至将所有的对象并成一个大类为止。 系统聚类法优点：既可以对观测量（样品）也可对变量进行聚类，既可以是连续变量也可以是分类变量，提供的距离计算方法和结果显示方法也很丰富。 系统聚类法基本步骤 初始化过程：（1）样本集：{}n x x x X ,,,21K =（2）选择样本间距离的定义及类间距离的定义； （3）构造n 个类，每类只含有一个样本；{}{}{}n n x C x C x C ===,,,2211K （4）计算n 个样本两两之间的距离{}ij d ，得到距离矩阵，记作()()()n n ij d D ?=00； 归并类过程：（5）合并距离最近的两类为一个新类，称作第n+1类，并取消刚合并的那两类，这样得到n-1类；（6）计算新类与剩余各类的距离，其他各类间距离不变，得到降一阶的新距离矩阵 ()()() ()()1111-?-=n n ij d D 。若类的个数等于1，则转到步骤7；否则，回到步骤5. 决策过程：（7）画出聚类图；（8）决定类的个数和类。 正交试验的的极差分析法的一般步骤：1、定指标，确定因素，选水平；2、选用适当的正交表，表头设计，确定实验方案；3、严格按条件做实验，并记录实验结果。4、计算各列的统一水平的数据和与极差；5、按极差大小排出因素的主次；6、选取较优生产条件；7、进行验证性试验，做进

四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps

机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。 目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高阶张量表达的数据。之所以使用降维后的数据表示是因为在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用例如图像识别中造成了误差，降低了准确率；而通过降维,我们希望减少冗余信息所造成的误差,提高识别（或其他应用）的精度。又或者希望通过降维算法来寻找数据内部的本质结构特征。 在很多算法中，降维算法成为了数据预处理的一部分，如PCA。事实上，有一些算法如果没有降维预处理，其实是很难得到很好的效果的。 主成分分析算法（PCA） Principal Component Analysis(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息（如点和点之间的距离关系）都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，以此来保留更多的信息。可以证明，PCA是丢失原始数据信息最少的一种线性降维方式。（实际上就是最接近原始数据，但是PCA并不试图去探索数据内在结构） 设n维向量w为目标子空间的一个坐标轴方向（称为映射向量），最大化数据映射后的方差，有：

主成分分析法的步骤和原理

（一）主成分分析法的基本思想 主成分分析（Principal Component Analysis ）是利用降维的思想，将多个变 量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性 组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信息， 且所含的信息互不重叠。[2] 采用这种方法可以克服单一的财务指标不能真实反映公司的财务情况的缺 点，引进多方面的财务指标，但又将复杂因素归结为几个主成分，使得复杂问题 得以简化，同时得到更为科学、准确的财务信息。 （二）主成分分析法代数模型 假设用p 个变量来描述研究对象，分别用X 1，X 2…X p 来表示，这p 个变量 构成的p 维随机向量为X=(X 1，X 2…X p )t 。设随机向量X 的均值为μ，协方差矩 阵为Σ。假设 X 是以 n 个标量随机变量组成的列向量，并且μk 是其第k 个元素的期望 值，即，μk= E(xk)，协方差矩阵然后被定义为： Σ=E{(X -E[X])(X-E[X])}=(如图 对X 进行线性变化，考虑原始变量的线性组合： Z 1=μ11X 1+μ12X 2+…μ1p X p Z 2=μ21X 1+μ22X 2+…μ2p X p …… …… …… Z p =μp1X 1+μp2X 2+…μpp X p 主成分是不相关的线性组合Z 1，Z 2……Z p ，并且Z 1是X 1，X 2…X p 的线性组 合中方差最大者，Z 2是与Z 1不相关的线性组合中方差最大者，…，Z p 是与Z 1， Z 2 ……Z p-1都不相关的线性组合中方差最大者。 （三）主成分分析法基本步骤 第一步：设估计样本数为n ，选取的财务指标数为p ，则由估计样本的原始 数据可得矩阵X=(x ij )m ×p ，其中x ij 表示第i 家上市公司的第j 项财务指标数据。 第二步：为了消除各项财务指标之间在量纲化和数量级上的差别，对指标数 据进行标准化，得到标准化矩阵（系统自动生成）。 第三步：根据标准化数据矩阵建立协方差矩阵R ，是反映标准化后的数据之 间相关关系密切程度的统计指标，值越大，说明有必要对数据进行主成分分析。 其中，R ij （i ，j=1，2，…，p ）为原始变量X i 与X j 的相关系数。R 为实对称矩阵 （即R ij =R ji ），只需计算其上三角元素或下三角元素即可，其计算公式为：

降维与特征选择

降维与特征选择（随机划分训练集与测试集） %% I. 清空环境变量主成分分析 clear all clc %% II. 导入数据 load spectra; %% III. 随机划分训练集与测试集 temp = randperm(size(NIR, 1)); % temp = 1:60; %% % 1. 训练集——50个样本 P_train = NIR(temp(1:50),:); T_train = octane(temp(1:50),:); %% % 2. 测试集——10个样本 P_test = NIR(temp(51:end),:); T_test = octane(temp(51:end),:); %% IV. 主成分分析 %% % 1. 主成分贡献率分析PCAVar 特征值 [PCALoadings,PCAScores,PCAVar] = princomp(NIR); figure percent_explained = 100 * PCAVar / sum(PCAVar); pareto(percent_explained) xlabel('主成分') ylabel('贡献率(%)') title('主成分贡献率') %% % 2. 第一主成分vs.第二主成分可以用于训练样本是否好的判断依据 [PCALoadings,PCAScores,PCAVar] = princomp(P_train); figure plot(PCAScores(:,1),PCAScores(:,2),'r+') hold on [PCALoadings_test,PCAScores_test,PCAVar_test] = princomp(P_test); plot(PCAScores_test(:,1),PCAScores_test(:,2),'o')

常见的特征选择或特征降维方法

URL:https://www.doczj.com/doc/413128920.html,/14072.html 特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更强，减少过拟合 2.增强对特征和特征值之间的理解 拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。 在许多机器学习的书里，很难找到关于特征选择的内容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。 1 去掉取值变化小的特征 Removing features with low variance 这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。 2 单变量特征选择 Univariate feature selection

光谱数据的特征挖掘降维方法

ＩＳＳＮ１００４‐９０３７，ＣＯＤＥＮＳＣＹＣＥ４ ＪｏｕｒｎａｌｏｆＤａｔａＡｃｑｕｉｓｉｔｉｏｎａｎｄＰｒｏｃｅｓｓｉｎｇＶｏｌ．３１，Ｎｏ．６，Ｎｏｖ．２０１６，ｐｐ．１０９７－１１０５ＤＯＩ：１０．１６３３７／ｊ．１００４‐９０３７．２０１６．０６．００３ 眗２０１６ｂｙＪｏｕｒｎａｌｏｆＤａｔａＡｃｑｕｉｓｉｔｉｏｎａｎｄＰｒｏｃｅｓｓｉｎｇ ｈｔｔｐ：／／ｓｊｃｊ．ｎｕａａ．ｅｄｕ．ｃｎＥ‐ｍａｉｌ：ｓｊｃｊ＠ｎｕａａ．ｅｄｕ．ｃｎＴｅｌ／Ｆａｘ：＋８６‐０２５‐８４８９２７４２ 　 光谱数据的特征挖掘降维方法 戴琼海　张　晶　李菲菲　范静涛 （清华大学自动化系，北京，１０００８４） 摘　要：“去繁存精”的光谱数据解耦方法可去除高维光谱数据的大量冗余，提炼其特征谱段，是光谱仪器得以广泛应用的重要基础。应用各异性和光谱特征优选方法普适性所构成的矛盾，在一定程度上制约了光谱仪器的应用。本文提出了序列前向选择（Ｓｅｑｕｅｎｔｉａｌｆｏｒｗａｒｄｓｅｌｅｃｔｉｏｎ，ＳＦＳ）的光谱特征自适应数据挖掘方法，生成最优变量组合作为支持向量机（Ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ，ＳＶＭ）分类模型的输入，在对光谱数据降维的同时，实现了高精度的数据分类。本文方法可有效解决大量光谱数据的多类分类问题，并在红木分类中得到了实际验证和应用，为破解因光谱特征峰高度混叠而难以进行主观经验特征选择的困境提供了新思路。 关键词：光谱数据；特征挖掘；序列前向选择；数据降维 中图分类号：Ｏ４３３．４ 文献标志码：Ａ ＤｉｍｅｎｓｉｏｎＲｅｄｕｃｔｉｏｎｏｆＳｐｅｃｔｒａｌＤａｔａＢａｓｅｄｏｎＦｅａｔｕｒｅＭｉｎｉｎｇ ＤａｉＱｉｏｎｇｈａｉ，ＺｈａｎｇＪｉｎｇ，ＬｉＦｅｉｆｅｉ，ＦａｎＪｉｎｇｔａｏ （ＤｅｐａｒｔｍｅｎｔｏｆＡｕｔｏｍａｔｉｏｎ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ，１０００８４） Ａｂｓｔｒａｃｔ：Ｔｈｅｍｅｔｈｏｄｏｆｓｐｅｃｔｒａｌｄａｔａａｎａｌｙｓｉｓ，ｗｈｉｃｈｃａｎｒｅｍｏｖｅａｌｏｔｏｆｒｅｄｕｎｄａｎｃｙｏｆｈｉｇｈ‐ｄｉｍｅｎｓｉｏｎａｌｓｐｅｃｔｒａｌｄａｔａａｎｄｅｘｔｒａｃｔｉｔｓｃｈａｒａｃｔｅｒｉｓｔｉｃｓｐｅｃｔｒｕｍ，ｉｓａｎｉｍｐｏｒｔａｎｔｆｏｕｎｄａｔｉｏｎｆｏｒｔｈｅｗｉｄｅｓｐｒｅａｄａｐｐｌｉ‐ｃａｔｉｏｎｏｆｓｐｅｃｔｒａｌｉｎｓｔｒｕｍｅｎｔｓ．Ｔｈｅｃｏｎｔｒａｄｉｃｔｉｏｎｏｆｔｈｅａｐｐｌｉｃａｂｉｌｉｔｙｏｆｔｈｅｈｅｔｅｒｏｇｅｎｅｉｔｙａｎｄｓｐｅｃｔｒａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｍｅｔｈｏｄｏｆｕｎｉｖｅｒｓａｌｓｅｌｅｃｔｉｏｎ，ｔｏａｃｅｒｔａｉｎｅｘｔｅｎｔ，ｒｅｓｔｒｉｃｔｓｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｓｐｅｃ‐ｔｒａｌｉｎｓｔｒｕｍｅｎｔｓ，ｎｅｅｄｔｏｂｅｒｅｓｏｌｖｅｄ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｓｅｑｕｅｎｔｉａｌｆｏｒｗａｒｄｓｅｌｅｃｔｉｏｎ（ＳＦＳ）ｓｐｅｃｔｒａｌｆｅａｔｕｒｅａｄａｐｔｉｖｅｄａｔａｍｉｎｉｎｇｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄｔｏｇｅｎｅｒａｔｅｔｈｅｏｐｔｉｍａｌｃｏｍｂｉｎａｔｉｏｎｏｆｖａｒｉａｂｌｅｓａｓｓｕｐｐｏｒｔｖｅｃ‐ｔｏｒｍａｃｈｉｎｅ（ＳＶＭ）ｃｌａｓｓｉｆｉｃａｔｉｏｎｍｏｄｅｌｉｎｐｕｔ，ｔｏａｃｈｉｅｖｅｔｈｅｓｐｅｃｔｒａｌｄａｔａｒｅｄｕｃｔｉｏｎａｎｄｏｂｔａｉｎａｈｉｇｈ‐ｐｒｅｃｉｓｉｏｎｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｔｈｉｓｍｅｔｈｏｄｃａｎｅｆｆｅｃｔｉｖｅｌｙｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｍｕｌｔｉ‐ｃｌａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆａｌａｒｇｅｎｕｍｂｅｒｏｆｓｐｅｃｔｒａｌｄａｔａ，ｗｈｉｃｈｉｓｐｒｏｖｅｄａｎｄａｐｐｌｉｅｄｉｎｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｍａｈｏｇａｎｙ．Ｉｔｐｒｏｖｉｄｅｓａｎｅｗｗａｙｔｏｓｏｌｖｅｔｈｅｄｉｆｆｉｃｕｌｔｙｏｆｓｕｂｊｅｃｔｉｖｅｅｘｐｅｒｉｅｎｃｅｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｉｎｈｅｉｇｈｔ‐ａｌｉａｓｉｎｇｏｆｓｐｅｃｔｒａｌｐｅａｋｓ． Ｋｅｙｗｏｒｄｓ：ｓｐｅｃｔｒａｌｄａｔａ；ｆｅａｔｕｒｅｍｉｎｉｎｇ；ｓｅｑｕｅｎｔｉａｌｆｏｒｗａｒｄｓｅｌｅｃｔｉｏｎ；ｄｉｍｅｎｓｉｏｎｒｅｄｕｃｔｉｏｎ 引 言 光谱信息能够反映物质的结构和成分，是物质的ＤＮＡ。在光谱数据采集方面，文献［１，２］提出了一 基金项目：国家自然科学基金委国家重大科研仪器设备研制专项（６１３２７９０２）资助项目；国家自然科学基金面上（６１２７１４５０）资助项目。 收稿日期：２０１６‐１１‐２５；修订日期：２０１６‐１１‐２９ 万方数据

降维算法

第五部分：降维方法 线性降维方法：PCA ICA LDA LFA LPP(LE的线性表示) 基于核函数的非线性降维方法：KPCA KICA KDA 基于特征值的非线性降维方法（流型学习）：ISOMAPLLE LE LPP LTSA MVU LLE（Locally Linear Embedding）算法（局部线性嵌入）：每一个数据点都可以由其近邻点的线性加权组合构造得到。 算法的主要步骤分为三步： （1）寻找每个样本点的k个近邻点（k是一个预先给定的值）； （2）由每个样本点的近邻点计算出该样本点的局部重建权值矩阵； （3）由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值，定义一个误差函数。

机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。 目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高阶张量表达的数据。之所以使用降维后的数据表示是因为在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用例如图像识别中造成了误差，降低了准确率；而通过降维,我们希望减少冗余信息所造成的误差,提高识别（或其他应用）的精度。又或者希望通过降维算法来寻找数据内部的本质结构特征。 在很多算法中，降维算法成为了数据预处理的一部分，如PCA。事实上，有一些算法如果没有降维预处理，其实是很难得到很好的效果的。 主成分分析算法（PCA） Principal Component Analysis(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息（如点和点之间的距离关系）都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，以此来保留更多的信息。可以证明，PCA是丢失原始数据信息最少的一