下载文档原格式
特征选择与降维在数据挖掘中的应用随着数据量的不断增加，数据挖掘已经成为各个领域的热门技术。
而在数据挖掘的过程中，特征选择与降维是非常重要的技术手段。
它可以在保持模型效果不变或者几乎不变的情况下，降低特征数量和数据维度，提高模型学习速度、减少运算成本和减小过拟合发生的概率。
下文将从特征选择和降维的定义、方法和应用三个方面来探讨特征选择和降维在数据挖掘中的应用。
一. 特征选择和降维的定义特征选择（feature selection）指从原始特征中挑选出最有用的特征子集，并用其代替原始特征集，以提高学习算法的性能。
特征选择可以减少模型的复杂性，提高学习效果和模型解释性。
根据特征选择的原理，特征选择方法可以分为三类：过滤式、包裹式和嵌入式。
其中，过滤式方法在特征选择和模型学习之间引入一个特征选择的环节，在模型学习之前预先进行一次特征选择。
包裹式方法直接把特征选择和模型学习框在一起，直接考虑模型性能作为特征选择评价指标。
嵌入式方法把特征选择和模型训练融合在一起，把特征选择嵌入到模型训练的过程中。
降维（dimensionality reduction）也可以看作是特征选择的一种方式，它是指通过保留数据中最有信息的部分，减少数据维度的过程。
降维可以减少数据存储空间和计算成本，同时也可以提高模型的学习效果和泛化能力。
根据降维的原理，降维方法可以分为两类：基于线性变换的降维方法和基于非线性的降维方法。
其中，基于线性变换的降维方法主要包括主成分分析（Principal Component Analysis，PCA）、线性判别分析（Linear Discriminant Analysis，LDA）等。
基于非线性的降维方法主要包括流形学习（Manifold Learning）等。
二. 特征选择和降维的方法1. 过滤式方法过滤式方法主要从两方面来考虑特征子集的优劣：一是从特征子集的内部因素考虑，如特征之间的互相关系；二是从特征子集的外部因素来考虑，如特征子集对模型预测性能的影响。
数据分级分类要用到的技术以数据分级分类要用到的技术为标题，本文将介绍数据分级分类的技术和方法。
数据分级分类是指根据数据的属性和特征，将数据进行分类和分组，以便更好地理解和利用数据。
数据分级分类的技术包括以下几种：1. 监督学习算法：监督学习是一种常用的数据分级分类方法，它通过训练数据集来建立一个模型，然后利用该模型对新的数据进行分类。
常用的监督学习算法包括决策树、支持向量机、逻辑回归等。
2. 无监督学习算法：无监督学习是一种不依赖于已知标签的数据分级分类方法，它通过对数据的内在结构和特征进行分析和挖掘，将数据进行聚类和分组。
常用的无监督学习算法包括K均值聚类、层次聚类、关联规则挖掘等。
3. 特征选择和降维：在数据分级分类过程中，往往需要选择合适的特征来描述和区分不同的数据类别。
特征选择和降维技术可以从原始数据中选择最具代表性的特征，并将高维数据转化为低维数据，以便更好地进行分类和分级。
常用的特征选择和降维方法包括主成分分析、线性判别分析、信息增益等。
4. 文本挖掘和自然语言处理：对于文本数据的分级分类，常常需要借助文本挖掘和自然语言处理技术。
文本挖掘可以从大量的文本数据中提取关键词、主题和情感等信息，以实现对文本的分类和分级。
自然语言处理则可以对文本进行分词、词性标注、句法分析等处理，以便更好地理解和处理文本数据。
5. 图像处理和计算机视觉：对于图像数据的分级分类，常常需要利用图像处理和计算机视觉技术。
图像处理可以对图像进行预处理、特征提取和图像增强等操作，以便更好地描述和区分不同的图像类别。
计算机视觉则可以实现对图像的目标检测、图像识别和图像分割等任务，以实现对图像数据的分类和分级。
6. 时间序列分析和模式识别：对于时间序列数据的分级分类，常常需要利用时间序列分析和模式识别技术。
时间序列分析可以揭示时间序列数据中的趋势、周期和季节性等规律，以便更好地对时间序列数据进行分类和分级。
模式识别则可以识别时间序列数据中的特征模式和异常模式，以实现对时间序列数据的分类和分级。
物体识别与分类算法原理与方法详解物体识别与分类是计算机视觉领域中的重要研究方向，目标在于让计算机能够像人一样识别和分类物体。
在实际应用中，物体识别与分类算法可以广泛应用于图像检索、智能安防、机器人导航等领域。
本文将详细介绍物体识别与分类算法的原理和常用的方法。
一、物体识别与分类算法原理物体识别与分类的核心原理是从图像中提取特征，并利用这些特征进行分类。
特征提取是物体识别与分类算法的关键步骤，它能够对图像进行表征，将图像中的物体特征与分类目标进行匹配。
常用的特征包括颜色、纹理、形状等。
在物体识别与分类算法中，一般会使用多种特征进行组合，以提高分类准确度。
物体识别与分类算法的原理可以分为以下几个步骤：1. 图像预处理：对输入图像进行预处理，如消除噪声、图像增强等，以提高后续特征提取的准确性和鲁棒性。
2. 特征提取：从预处理后的图像中提取特征。
常用的特征提取方法有颜色直方图、纹理描述子、形状特征等。
其中，颜色直方图可以描述图像的颜色分布情况，纹理描述子可以描述图像的纹理特征，形状特征可以描述图像的轮廓信息。
3. 特征选择与降维：对提取得到的特征进行选择和降维，以减少计算复杂度并保持分类性能。
常用的特征选择与降维方法有主成分分析（PCA）、线性判别分析（LDA）等。
4. 分类器设计：设计分类器将特征与分类目标进行匹配，并进行分类。
常用的分类器有支持向量机（SVM）、人工神经网络（ANN）、朴素贝叶斯分类器等。
这些分类器可以根据特征提取的结果进行训练，以获得最佳的分类模型。
5. 特征匹配与分类：将输入图像的特征与已训练好的分类模型进行匹配，得到物体的分类结果。
一般会根据匹配结果确定物体的类别，或者进行概率估计。
二、物体识别与分类算法方法1. 基于颜色特征的物体识别与分类算法：颜色特征是物体识别与分类中常用的特征之一。
常见的颜色特征提取方法有颜色直方图、颜色矩、颜色共生矩阵等。
这些方法可以描述图像的颜色分布情况，从而实现物体的识别与分类。
特征提取的基本原理特征提取是指从原始数据中提取出具有代表性和区分度的特征，以便用于数据分析、模式识别、机器学习等领域。
在计算机视觉、语音识别、生物信息学等领域中，特征提取是非常重要的一环，它可以大大提高数据的处理效率和准确性。
特征提取的基本原理包括特征选择、特征提取和特征降维。
特征选择是指从原始数据中选择出与目标任务相关的特征。
在大部分情况下，原始数据的维度是非常高的，而且有些特征可能是无关的、重复的或者噪声的。
因此，特征选择的目的就是要筛选出最具代表性的特征，减少数据的维度和复杂度。
特征选择的方法有过滤式、包裹式和嵌入式等，这些方法可以根据具体的任务和数据集选择合适的特征。
特征提取是指从原始数据中抽取出一些新的特征，这些特征可以更好地表示数据的性质和结构。
常见的特征提取方法包括主成分分析（PCA）、独立成分分析（ICA）、小波变换、局部二值模式（LBP）等。
这些方法可以将原始数据转换成更加紧凑和有意义的特征表示，提高数据的可分性和可解释性。
特征降维是指从高维度的特征空间中找到一个低维度的子空间，以便用更少的特征来表示数据。
特征降维的目的是要减少数据的冗余信息和噪声，提高数据的处理效率和准确性。
常见的特征降维方法包括线性判别分析（LDA）、t分布邻域嵌入（t-SNE）、自编码器等。
这些方法可以有效地压缩数据的维度，同时保持数据的局部结构和全局结构。
特征提取的基本原理可以总结为：从原始数据中选择出具有代表性和区分度的特征，通过一系列的转换和处理，将原始数据转换成更加紧凑和有意义的特征表示。
特征提取是数据分析和模式识别的一个重要环节，它可以大大提高数据的处理效率和准确性。
在实际应用中，特征提取的方法和技术需要根据具体的任务和数据集进行选择和调整，以便得到最佳的特征表示。
使用AI进行数据降维和特征选择的方法数据降维和特征选择在机器学习和数据分析中起着重要的作用。
随着大数据时代的到来，数据的规模和复杂性日益增长，使用传统的方法处理和分析数据变得困难和耗时。
因此，使用AI技术进行数据降维和特征选择成为一种有效的解决方案。
本文将介绍几种使用AI进行数据降维和特征选择的方法，并分析其优缺点。
一、主成分分析（PCA）主成分分析是一种常用的数据降维技术，它可以将高维数据转化为低维数据，并保留原始数据中的大部分信息。
主成分分析通过线性变化将原始数据投影到一个新的坐标系中，使得新坐标系下的数据具有最大的方差。
这样一来，我们就可以使用新坐标系下的数据来代表原始数据，从而实现数据降维的目的。
但是，主成分分析也有一些局限性。
首先，它只能处理线性相关的数据。
如果数据具有复杂的非线性关系，主成分分析可能无法很好地降维。
其次，主成分分析是一种无监督学习方法，它忽略了类别信息，可能会导致降维后的数据难以区分不同类别。
因此，在某些情况下，我们需要使用其他更复杂的方法来进行数据降维和特征选择。
二、自编码器（Autoencoder）自编码器是一种神经网络模型，可以用于数据降维和特征选择。
自编码器包括一个编码器和一个解码器，它们分别将原始数据映射到一个低维表示和重构回原始数据。
通过训练自编码器，我们可以学习到数据的低维表示，并利用这些表示进行数据降维和特征选择。
与主成分分析类似，自编码器也有一些局限性。
首先，自编码器的训练过程相对较慢，特别是在处理大规模数据时。
其次，自编码器在处理噪声数据时可能表现不佳。
噪声数据可能导致自编码器学习到错误的特征表示，从而影响降维和特征选择的效果。
因此，在使用自编码器进行数据降维和特征选择时，我们需要谨慎处理数据的质量和噪声问题。
三、遗传算法（Genetic Algorithm）遗传算法是一种基于进化思想的优化算法，可以用于特征选择和数据降维。
遗传算法通过模拟自然选择、交叉和变异等过程，不断演化出适应性更好的个体。
统计学中的降维方法与特征选择在统计学中，降维方法和特征选择是两个重要的概念。
它们都是为了解决高维数据分析中的问题而提出的。
降维方法旨在将高维数据转换为低维空间，以便更好地理解和分析数据。
特征选择则是从原始数据中选择最相关的特征，以便减少数据的维度和复杂性。
本文将介绍降维方法和特征选择的基本概念，并探讨它们在实际应用中的价值和挑战。
一、降维方法降维方法是一种将高维数据转换为低维空间的技术。
在实际应用中，高维数据往往存在着冗余和噪声，这给数据分析带来了困难。
降维方法可以通过保留数据中最重要的信息，减少数据的维度和复杂性，从而简化数据分析过程。
常见的降维方法包括主成分分析（PCA）、线性判别分析（LDA）和因子分析等。
主成分分析是一种通过线性变换将原始数据转换为一组无关的主成分的方法。
它通过计算数据的协方差矩阵和特征值分解来实现。
线性判别分析则是一种通过线性变换将数据投影到低维空间中的方法，以便更好地区分不同类别的数据。
因子分析是一种通过寻找潜在变量来描述数据的方法，它可以帮助我们理解数据背后的潜在结构和关系。
降维方法在各个领域都有广泛的应用。
在图像处理中，降维方法可以帮助我们提取图像的主要特征，以便进行图像分类和识别。
在生物信息学中，降维方法可以帮助我们发现基因表达数据中的重要基因，以及它们之间的关系。
在金融领域中，降维方法可以帮助我们识别重要的金融指标，以便进行风险评估和投资决策。
然而，降维方法也面临着一些挑战。
首先，降维过程中可能会丢失一些重要的信息。
虽然降维可以减少数据的维度和复杂性，但也可能导致数据的丢失和失真。
其次，降维方法的选择和参数设置也是一个复杂的问题。
不同的降维方法适用于不同的数据类型和分析目标，选择合适的方法和参数是一个关键的挑战。
二、特征选择特征选择是一种从原始数据中选择最相关的特征的方法。
在高维数据中，往往存在着大量的冗余和噪声特征，这给数据分析带来了困难。
特征选择可以通过选择最相关的特征，减少数据的维度和复杂性，从而提高数据分析的效率和准确性。
影像组学代码复现
影像组学是一种利用医学影像数据进行研究和分析的方法。
复现影像组学代码需要具备以下几个步骤：
1. 数据准备：收集和整理相关的医学影像数据，例如CT、MRI 等。
确保数据集的质量和完整性，并进行预处理，如图像归一化、去噪等操作。
2. 特征提取：根据具体的研究目标和问题，使用合适的特征提取方法从影像数据中提取关键特征。
常见的特征提取方法包括传统的图像处理技术、深度学习网络等。
3. 特征选择与降维：对提取的特征进行选择和降维，以减少特征维度和提高分类或回归模型的性能。
常见的特征选择和降维方法有主成分分析（PCA）、线性判别分析（LDA）等。
4. 模型训练和评估：根据具体的任务需求选择合适的机器学习或深度学习模型，并使用准备好的数据集对模型进行训练和验证。
常见的模型包括支持向量机（SVM）、随机森林（Random Forest）、卷积神经网络（CNN）等。
5. 模型优化与调参：通过调整模型超参数和优化算法，进一步提高模型的性能和泛化能力。
常见的优化方法包括网格搜索、随机搜索、交叉验证等。
6. 结果分析与可视化：对训练好的模型进行测试和评估，并对结果进行分析和可视化展示。
可以使用混淆矩阵、ROC曲线、特征重要性等方法来评估模型的性能和解释模型的结果。
需要注意的是，影像组学是一个复杂的领域，涉及到医学影像学、统计学、机器学习等多个学科。
复现代码需要具备相关的专业知识和技能，并对具体任务进行合理的调整和优化。
掌握机器学习的特征选择和降维方法特征选择和降维是机器学习中非常重要的两个步骤。
在处理大规模数据集和高维数据时，选择合适的特征和降低维度可以提高模型的效率和准确性。
本文将介绍机器学习中常用的特征选择和降维方法，以及它们的应用。
一、特征选择方法特征选择是从原始特征集中选择出对目标变量有关系的最重要的特征。
常用的特征选择方法包括过滤式、包裹式和嵌入式三种。
1.过滤式特征选择过滤式特征选择独立于机器学习算法，通过统计方法或者特征相关度评估来选择特征。
常用的方法有皮尔逊相关系数、卡方检验、互信息和方差分析等。
这些方法能够评估特征与目标变量之间的相关性，从而选择出与目标变量相关性较高的特征。
2.包裹式特征选择包裹式特征选择使用实际的机器学习算法来评估特征的好坏。
它通过反复训练机器学习模型，并根据特征子集的性能进行评估和选择。
常用的包裹式特征选择方法有基于遗传算法的方法和递归特征消除等。
这些方法能够更准确地选择出对于机器学习算法性能影响较大的特征。
3.嵌入式特征选择嵌入式特征选择将特征选择融入到机器学习算法中，直接通过算法本身来选择特征。
经典的嵌入式特征选择方法有L1正则化和决策树算法等。
这些方法能够通过特征权重或者特征重要性指标来选择特征。
二、降维方法降维是将原始数据映射到一个低维空间中，减少数据的维度。
降维的目标是保留尽量多的数据信息，同时减少数据的复杂度和计算开销。
常用的降维方法包括主成分分析（PCA）、线性判别分析（LDA）和因子分析等。
1.主成分分析（PCA）主成分分析是一种常用的无监督降维技术，通过线性变换将原始特征映射到新的低维子空间中。
它能够最大化数据方差，实现降维的同时保留较多的数据信息。
主成分分析在图像处理、模式识别和数据可视化等领域有着广泛的应用。
2.线性判别分析（LDA）线性判别分析是一种有监督降维方法，它同时考虑了数据映射到低维空间后的类别可分性和类内紧凑性。
线性判别分析在模式识别和人脸识别等领域有着重要的应用。
人工智能开发技术中的特征选择与特征提取技巧在人工智能开发技术的领域中，特征选择和特征提取是两个关键的环节，能够对数据进行处理和优化，从而提高机器学习算法的准确性和性能。
特征选择的目标是从原始特征中选择最具有代表性和区分性的子集，而特征提取则是将原始特征进行转换和组合，得到新的特征空间。
本文将介绍人工智能开发技术中的特征选择和特征提取技巧，并探讨它们在不同应用领域中的应用。
一、特征选择技巧特征选择在机器学习中有着重要的地位，它能够提高模型的泛化能力和训练的效率。
在进行特征选择时，需要考虑以下几个方面：1. 相关性分析：通过计算特征与目标变量之间的相关性，判断特征对目标变量的贡献程度。
常用的方法有皮尔逊相关系数和互信息等。
相关系数越大，则特征对目标变量的相关性越强，应优先选择。
2. 嵌入式方法：在特征选择的训练过程中，将特征选择过程嵌入到机器学习算法中。
常用的方法有L1正则化和决策树等。
L1正则化能够使得某些特征的系数为0，从而实现特征选择的效果。
3. 过滤式方法：在特征选择之前，通过统计量或某种评价函数对特征进行排序，选择排名靠前的特征。
常用的过滤式方法有相关系数法、卡方检验和相关矩阵等。
二、特征提取技巧特征提取是将原始特征进行转换和组合，从而得到新的特征空间。
特征提取的目标是减少特征空间的维度，同时保留原始数据的关键信息。
在进行特征提取时，需要考虑以下几个方面：1. 主成分分析（PCA）：PCA是一种经典的降维方法，通过线性变换将原始特征投影到新的低维子空间中。
这样可以保留原始数据的主要信息，并且降低特征空间的维度。
2. 独立成分分析（ICA）：ICA是一种盲源分离方法，通过寻找数据中的独立成分，将原始特征进行线性组合。
这样可以从原始数据中分离出相互独立的特征。
3. 非负矩阵分解（NMF）：NMF是一种非线性的降维方法，通过将原始特征分解为非负的基向量和系数矩阵。
这样可以得到原始数据的非负线性表示，从而获得更加有意义和准确的特征表示。
特征提取是指从原始数据中提取出具有代表性的特征，以用于后续的数据分析和模型训练。
其研究内容涵盖以下几个方面：
特征选择：从原始数据中选择出对目标任务有用的特征。
特征选择的目标是保留最重要的特征，以降低数据维度和复杂性，并提高模型的性能和泛化能力。
常用的特征选择方法包括过滤式方法、包裹式方法和嵌入式方法。
特征提取方法：通过数学和统计方法将原始数据转换为更具有表达性和可解释性的特征表示。
常用的特征提取方法包括主成分分析（PCA）、线性判别分析（LDA）、局部特征提取（LBP、HOG等）等。
特征降维：在保持数据信息的同时，降低数据的维度。
特征降维可以帮助减少冗余信息，并提高数据分析和模型训练的效率。
常用的特征降维方法包括主成分分析（PCA）、线性判别分析（LDA）、稀疏编码（Sparse Coding）等。
特征表达与表示学习：通过学习数据的特征表达，使得特征能够更好地适应具体任务的要求。
表示学习方法可以通过自编码器、深度神经网络等实现特征学习和表达。
特征融合：将来自不同来源或不同特征提取方法的特征进行融合，以提高模型的性能和鲁棒性。
常见的特征融合方法包括特征加权、特征拼接、特征堆叠等。
特征提取的研究内容主要涉及到特征选择、特征提取方法、特征降维、特征表达与表示学习以及特征融合等方面的技术和方法，旨在从原始数据中提取出对目标任务有用的特征，为后续的数据分析和模型训练提供更好的输入。
URL:/14072.html特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。
好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。
特征选择主要有两个功能：1.减少特征数量、降维，使模型泛化能力更强，减少过拟合2.增强对特征和特征值之间的理解拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。
通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。
在许多机器学习的书里，很难找到关于特征选择的容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。
本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。
1 去掉取值变化小的特征Removing features with low variance这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。
如果100%都是1，那这个特征就没意义了。
当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。
可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。
2 单变量特征选择Univariate feature selection单变量特征选择能够对每一个特征进行测试，衡量该特征和响应变量之间的关系，根据得分扔掉不好的特征。
对于回归和分类问题可以采用卡方检验等方式对特征进行测试。
这种方法比较简单，易于运行，易于理解，通常对于理解数据有较好的效果（但对特征优化、提高泛化能力来说不一定有效）；这种方法有许多改进的版本、变种。
2.1 Pearson相关系数Pearson Correlation皮尔森相关系数是一种最简单的，能帮助理解特征和响应变量之间关系的方法，该方法衡量的是变量之间的线性相关性，结果的取值区间为[-1，1]，-1表示完全的负相关(这个变量下降，那个就会上升)，+1表示完全的正相关，0表示没有线性相关。
Pearson Correlation速度快、易于计算，经常在拿到数据(经过清洗和特征提取之后的)之后第一时间就执行。
Pearson相关系数的一个明显缺陷是，作为特征排序机制，他只对线性关系敏感。
如果关系是非线性的，即便两个变量具有一一对应的关系，Pearson相关性也可能会接近0。
2.2 互信息和最大信息系数Mutual information and maximalinformation coefficient (MIC)以上就是经典的互信息公式了。
想把互信息直接用于特征选择其实不是太方便：1、它不属于度量方式，也没有办法归一化，在不同数据及上的结果无法做比较；2、对于连续变量的计算不是很方便（X和Y都是集合，x，y都是离散的取值），通常变量需要先离散化，而互信息的结果对离散化的方式很敏感。
最大信息系数克服了这两个问题。
它首先寻找一种最优的离散化方式，然后把互信息取值转换成一种度量方式，取值区间在[0，1]。
minepy提供了MIC功能。
2.3 距离相关系数(Distance correlation)距离相关系数是为了克服Pearson相关系数的弱点而生的。
在x和x^2这个例子中，即便Pearson相关系数是0，我们也不能断定这两个变量是独立的（有可能是非线性相关）；但如果距离相关系数是0，那么我们就可以说这两个变量是独立的。
尽管有MIC和距离相关系数在了，但当变量之间的关系接近线性相关的时候，Pearson相关系数仍然是不可替代的。
第一、Pearson相关系数计算速度快，这在处理大规模数据的时候很重要。
第二、Pearson相关系数的取值区间是[-1，1]，而MIC和距离相关系数都是[0，1]。
这个特点使得Pearson 相关系数能够表征更丰富的关系，符号表示关系的正负，绝对值能够表示强度。
当然，Pearson相关性有效的前提是两个变量的变化关系是单调的。
2.4 基于学习模型的特征排序(Model based ranking)这种方法的思路是直接使用你要用的机器学习算法，针对每个单独的特征和响应变量建立预测模型。
其实Pearson相关系数等价于线性回归里的标准化回归系数。
假如某个特征和响应变量之间的关系是非线性的，可以用基于树的方法（决策树、随机森林）、或者扩展的线性模型等。
基于树的方法比较易于使用，因为他们对非线性关系的建模比较好，并且不需要太多的调试。
但要注意过拟合问题，因此树的深度最好不要太大，再就是运用交叉验证。
3 线性模型和正则化单变量特征选择方法独立的衡量每个特征与响应变量之间的关系，另一种主流的特征选择方法是基于机器学习模型的方法。
有些机器学习方法本身就具有对特征进行打分的机制，或者很容易将其运用到特征选择任务中，例如回归模型，SVM，决策树，随机森林等等。
说句题外话，这种方法好像在一些地方叫做wrapper类型，大概意思是说，特征排序模型和机器学习模型是耦盒在一起的，对应的非wrapper类型的特征选择方法叫做filter类型。
下面将介绍如何用回归模型的系数来选择特征。
越是重要的特征在模型中对应的系数就会越大，而跟输出变量越是无关的特征对应的系数就会越接近于0。
在噪音不多的数据上，或者是数据量远远大于特征数的数据上，如果特征之间相对来说是比较独立的，那么即便是运用最简单的线性回归模型也一样能取得非常好的效果。
在这个例子当中，尽管数据中存在一些噪音，但这种特征选择模型仍然能够很好的体现出数据的底层结构。
当然这也是因为例子中的这个问题非常适合用线性模型来解：特征和响应变量之间全都是线性关系，并且特征之间均是独立的。
3.1 正则化模型正则化就是把额外的约束或者惩罚项加到已有模型（损失函数）上，以防止过拟合并提高泛化能力。
损失函数由原来的E(X,Y)变为E(X,Y)+alpha||w||，w是模型系数组成的向量（有些地方也叫参数parameter，coefficients），||·||一般是L1或者L2数，alpha是一个可调的参数，控制着正则化的强度。
当用在线性模型上时，L1正则化和L2正则化也称为Lasso 和Ridge。
3.2 L1正则化/LassoL1正则化将系数w的l1数作为惩罚项加到损失函数上，由于正则项非零，这就迫使那些弱的特征所对应的系数变成0。
因此L1正则化往往会使学到的模型很稀疏（系数w经常为0），这个特性使得L1正则化成为一种很好的特征选择方法。
Scikit-learn为线性回归提供了Lasso，为分类提供了L1逻辑回归。
下面的例子在波士顿房价数据上运行了Lasso，其中参数alpha是通过grid search进行优化的。
可以看到，很多特征的系数都是0。
如果继续增加alpha的值，得到的模型就会越来越稀疏，即越来越多的特征系数会变成0。
然而，L1正则化像非正则化线性模型一样也是不稳定的，如果特征集合中具有相关联的特征，当数据发生细微变化时也有可能导致很大的模型差异。
3.3 L2正则化/Ridge regressionL2正则化将系数向量的L2数添加到了损失函数中。
由于L2惩罚项中系数是二次方的，这使得L2和L1有着诸多差异，最明显的一点就是，L2正则化会让系数的取值变得平均。
对于关联特征，这意味着他们能够获得更相近的对应系数。
还是以Y=X1+X2为例，假设X1和X2具有很强的关联，如果用L1正则化，不论学到的模型是Y=X1+X2还是Y=2X1，惩罚都是一样的，都是2alpha。
但是对于L2来说，第一个模型的惩罚项是2alpha，但第二个模型的是4*alpha。
可以看出，系数之和为常数时，各系数相等时惩罚是最小的，所以才有了L2会让各个系数趋于相同的特点。
可以看出，L2正则化对于特征选择来说一种稳定的模型，不像L1正则化那样，系数会因为细微的数据变化而波动。
所以L2正则化和L1正则化提供的价值是不同的，L2正则化对于特征理解来说更加有用：表示能力强的特征对应的系数是非零。
回过头来看看3个互相关联的特征的例子，分别以10个不同的种子随机初始化运行10次，来观察L1和L2正则化的稳定性。
4 随机森林随机森林具有准确率高、鲁棒性好、易于使用等优点，这使得它成为了目前最流行的机器学习算法之一。
随机森林提供了两种特征选择的方法：mean decrease impurity和mean decrease accuracy。
4.1 平均不纯度减少mean decrease impurity随机森林由多个决策树构成。
决策树中的每一个节点都是关于某个特征的条件，为的是将数据集按照不同的响应变量一分为二。
利用不纯度可可以计算出每个特征减少了多少树的不纯度。
对于一个决策树森林来说，可以算出每个特征平均减少了多少不纯度，并把它平均减少的不纯度作为特征选择的值。
4.2 平均精确率减少Mean decrease accuracy另一种常用的特征选择方法就是直接度量每个特征对模型精确率的影响。
主要思路是打乱每个特征的特征值顺序，并且度量顺序变动对模型的精确率的影响。
很明显，对于不重要的变量来说，打乱顺序对模型的精确率影响不会太大，但是对于重要的变量来说，打乱顺序就会降低模型的精确率。
5 两种顶层特征选择算法之所以叫做顶层，是因为他们都是建立在基于模型的特征选择方法基础之上的，例如回归和SVM，在不同的子集上建立模型，然后汇总最终确定特征得分。
5.1 稳定性选择Stability selection稳定性选择是一种基于二次抽样和选择算法相结合较新的方法，选择算法可以是回归、SVM或其他类似的方法。
它的主要思想是在不同的数据子集和特征子集上运行特征选择算法，不断的重复，最终汇总特征选择结果，比如可以统计某个特征被认为是重要特征的频率（被选为重要特征的次数除以它所在的子集被测试的次数）。
理想情况下，重要特征的得分会接近100%。
稍微弱一点的特征得分会是非0的数，而最无用的特征得分将会接近于0。
5.2 递归特征消除Recursive feature elimination (RFE)递归特征消除的主要思想是反复的构建模型（如SVM或者回归模型）然后选出最好的（或者最差的）的特征（可以根据系数来选），把选出来的特征放到一遍，然后在剩余的特征上重复这个过程，直到所有特征都遍历了。
这个过程中特征被消除的次序就是特征的排序。
因此，这是一种寻找最优特征子集的贪心算法。
