下载文档原格式
特征选择：⽅差选择法、卡⽅检验、互信息法、递归特征消除、L1范数、树模型转载：特征选择主要从两个⽅⾯⼊⼿：特征是否发散：特征发散说明特征的⽅差⼤，能够根据取值的差异化度量⽬标信息.特征与⽬标相关性：优先选取与⽬标⾼度相关性的.对于特征选择，有时候我们需要考虑分类变量和连续变量的不同.1.过滤法：按照发散性或者相关性对各个特征进⾏评分，设定阈值或者待选择阈值的个数选择特征⽅差选择法：建议作为数值特征的筛选⽅法计算各个特征的⽅差，然后根据阈值，选择⽅差⼤于阈值的特征from sklearn.feature_selection import VarianceThresholdfrom sklearn.datasets import load_irisimport pandas as pdX,y = load_iris(return_X_y=True)X_df = pd.DataFrame(X,columns=list("ABCD"))#建议作为数值特征的筛选⽅法，对于分类特征可以考虑每个类别的占⽐问题ts = 0.5vt = VarianceThreshold(threshold=ts)vt.fit(X_df)#查看各个特征的⽅差dict_variance = {}for i,j in zip(X_df.columns.values,vt.variances_):dict_variance[i] = j#获取保留了的特征的特征名ls = list()for i,j in dict_variance.items():if j >= ts:ls.append(i)X_new = pd.DataFrame(vt.fit_transform(X_df),columns=ls)卡⽅检验：建议作为分类问题的分类变量的筛选⽅法经典的卡⽅检验是检验定性⾃变量对定性因变量的相关性。
假设⾃变量有N种取值，因变量有M种取值，考虑⾃变量等于i且因变量等于j的样本频数的观察值与期望的差距，构建统计量：from sklearn.feature_selection import VarianceThreshold,SelectKBest,chi2from sklearn.datasets import load_irisimport pandas as pdX,y = load_iris(return_X_y=True)X_df = pd.DataFrame(X,columns=list("ABCD"))(chi2,pval) = chi2(X_df,y)dict_feature = {}for i,j in zip(X_df.columns.values,chi2):dict_feature[i]=j#对字典按照values排序ls = sorted(dict_feature.items(),key=lambda item:item[1],reverse=True)#特征选取数量k =2ls_new_feature=[]for i in range(k):ls_new_feature.append(ls[i][0])X_new = X_df[ls_new_feature]互信息法：建议作为分类问题的分类变量的筛选⽅法经典的互信息也是评价定性⾃变量对定性因变量的相关性的，为了处理定量数据，最⼤信息系数法被提出，互信息计算公式如下：from sklearn.feature_selection import VarianceThreshold,SelectKBest,chi2from sklearn.datasets import load_irisimport pandas as pdfrom sklearn.feature_selection import mutual_info_classif#⽤于度量特征和离散⽬标的互信息X,y = load_iris(return_X_y=True)X_df = pd.DataFrame(X,columns=list("ABCD"))feature_cat = ["A","D"]discrete_features = []feature = X_df.columns.values.tolist()for k in feature_cat:if k in feature:discrete_features.append(feature.index(k))mu = mutual_info_classif(X_df,y,discrete_features=discrete_features,n_neighbors=3, copy=True, random_state=None)dict_feature = {}for i,j in zip(X_df.columns.values,mu):dict_feature[i]=j#对字典按照values排序ls = sorted(dict_feature.items(),key=lambda item:item[1],reverse=True)#特征选取数量k =2ls_new_feature=[]for i in range(k):ls_new_feature.append(ls[i][0])X_new = X_df[ls_new_feature]from sklearn.feature_selection import VarianceThreshold,SelectKBest,chi2from sklearn.datasets import load_irisimport pandas as pdfrom sklearn.feature_selection import mutual_info_classif,mutual_info_regression#⽤于度量特征和连续⽬标的互信息X,y = load_iris(return_X_y=True)X_df = pd.DataFrame(X,columns=list("ABCD"))feature_cat = ["A","D"]discrete_features = []feature = X_df.columns.values.tolist()for k in feature_cat:if k in feature:discrete_features.append(feature.index(k))mu = mutual_info_regression(X_df,y,discrete_features=discrete_features,n_neighbors=3, copy=True, random_state=None)dict_feature = {}for i,j in zip(X_df.columns.values,mu):dict_feature[i]=j#对字典按照values排序ls = sorted(dict_feature.items(),key=lambda item:item[1],reverse=True)#特征选取数量k =2ls_new_feature=[]for i in range(k):ls_new_feature.append(ls[i][0])X_new = X_df[ls_new_feature]2.包装法递归特征消除法：⽤⼀个基模型来进⾏多轮训练，每轮训练后，消除若⼲权值系数的特征，再基于新的特征集进⾏下⼀轮训练from sklearn.datasets import load_irisimport pandas as pdfrom sklearn.feature_selection import RFE,RFECVfrom sklearn.ensemble import RandomForestClassifierX,y = load_iris(return_X_y=True)X_df = pd.DataFrame(X,columns=list("ABCD"))refCV = RFECV(estimator=RandomForestClassifier(),step=0.5,cv =5,scoring=None,n_jobs=-1)refCV.fit(X_df,y)#保留特征的数量refCV.n_features_#保留特征的False、True标记refCV.support_feature_new = X_df.columns.values[refCV.support_]#交叉验证分数refCV.grid_scores_3.嵌⼊的⽅法基于L1范数：使⽤带惩罚项的基模型，除了筛选出特征外，同时也进⾏了降维from sklearn.datasets import load_irisimport pandas as pdfrom sklearn.feature_selection import SelectFromModelfrom sklearn.linear_model import LogisticRegressionX,y = load_iris(return_X_y=True)X_df = pd.DataFrame(X,columns=list("ABCD"))sf = SelectFromModel(estimator=LogisticRegression(penalty="l1", C=0.1),threshold=None,prefit=False,norm_order=1)sf.fit(X_df,y)X_new = X_df[X_df.columns.values[sf.get_support()]]基于树模型的特征选择法：树模型中GBDT也可⽤来作为基模型进⾏特征选择，使⽤feature_selection库的SelectFromModel类结合GBDT模型from sklearn.datasets import load_irisimport pandas as pdfrom sklearn.feature_selection import SelectFromModelfrom sklearn.ensemble import GradientBoostingClassifierX,y = load_iris(return_X_y=True)X_df = pd.DataFrame(X,columns=list("ABCD"))sf = SelectFromModel(estimator=GradientBoostingClassifier(),threshold=None,prefit=False,norm_order=1)sf.fit(X_df,y)X_new = X_df[X_df.columns.values[sf.get_support()]]。
卡方检验和精确概率法-概述说明以及解释1.引言1.1 概述卡方检验和精确概率法是统计学中常用的两种假设检验方法。
它们都是用于检验数据之间的相关性或者关联度，以判断某种因素与某种结果之间是否存在显著的统计关系。
卡方检验是一种非参数的假设检验方法，主要用于分析分类数据的关联性。
它通过统计观察值与期望值之间的差异，来决定变量之间是否存在显著性关系。
卡方检验可以处理多个分类变量之间的相关性问题，并且不受数据分布的限制。
在实际应用中，卡方检验经常用于医学研究、社会科学调研等领域，帮助研究者发现变量之间的关联性，从而进一步分析和解读数据。
精确概率法，又称为精确检验法，是一种基于排列组合原理的计算方法。
它主要用于处理小样本或者数据限制条件较多的情况下的假设检验问题。
与卡方检验不同的是，精确概率法通过枚举出所有可能的组合情况，计算出达到当前观察值或更极端情况下的事件发生概率，从而得出假设检验的结果。
精确概率法的主要优势在于其统计推断的准确性和稳定性，适用于小样本和稀有事件的研究。
本文将会介绍卡方检验和精确概率法的原理和应用，并比较它们的优缺点。
在结论部分，将会对两种方法进行对比分析，进一步探讨它们适用的场景和应用前景。
通过本文的阐述，读者将对卡方检验和精确概率法有更加全面的了解，并能够根据具体问题的特点选择适合的检验方法。
1.2文章结构1.2 文章结构本文将分为三个主要部分，分别是引言、正文和结论。
在引言部分，将对卡方检验和精确概率法的背景和概述进行介绍。
首先会对这两种方法进行简要的概述，包括其原理和应用领域。
接下来会明确本文的结构和目的，为读者提供整体上的概括。
在正文部分，将详细探讨卡方检验和精确概率法。
首先，在2.1节将详细介绍卡方检验的原理和应用。
会对卡方检验的基本原理进行解释，包括假设检验的流程和计算统计量的方法。
同时，会介绍卡方检验的应用领域，包括医学、社会科学和市场调研等。
接着，会对卡方检验的优缺点进行分析和讨论，以便读者全面了解其适用范围和局限性。
卡方检验的结果解读1.引言1.1 概述卡方检验是一种常用的统计方法，用于判断两个分类变量之间是否存在相关性或者一致性。
它是基于统计推断的方法，通过比较实际观察值与理论期望值之间的差异来进行判断。
在实际应用中，卡方检验被广泛用于比较两个或多个分类变量的分布情况，包括但不限于医学研究、社会调查以及市场分析等领域。
它能够帮助我们判断两个或多个分类变量是否独立，从而揭示变量之间的关联关系。
本文旨在对卡方检验的结果进行解读和分析。
首先，我们将介绍卡方检验的基本原理，包括计算卡方值和自由度的方法。
其次，我们将探讨卡方检验在实际应用中的一些典型场景，比如用于比较不同人群中某一特征的分布情况，或者用于评估某一策略对用户行为变化的影响等。
在解读卡方检验结果时，我们需要关注卡方值和P值。
卡方值反映了观察值与理论期望值之间的差异程度，而P值则是用来判断这种差异是否具有统计学意义的指标。
通常来说，如果P值小于预先设定的显著性水平（通常为0.05），则可以拒绝原假设，即认为变量之间存在相关性或一致性。
然而，卡方检验也有其局限性。
例如，样本量过小可能导致研究结论不准确，而样本量过大则可能会使得小的差异也变得显著。
此外，卡方检验只能判断变量是否相关，而不能确定其具体的关系强度和方向性。
综上所述，卡方检验是一种重要的统计方法，可以帮助我们判断变量之间的关系。
对于卡方检验结果的解读，我们需要综合考虑卡方值和P值，并且意识到其存在的局限性。
在实际应用中，我们可以根据具体问题选择合适的卡方检验方法，并合理解读其结果，以便得出准确的结论。
1.2文章结构文章结构部分应该对整篇长文的大致结构进行介绍，并说明各个部分内容的关联性和重要性。
具体内容如下：1.2 文章结构本文主要围绕卡方检验的结果进行解读展开。
全文分为引言、正文和结论三个部分。
在引言部分，我们将对卡方检验进行概述，介绍其基本原理，并明确文章的目的。
同时，我们也会提及本文的结构，让读者对文章整体有个初步的认识。
统计学方法卡方检验
卡方检验是一种统计学方法，主要用于分类变量分析，包括两个率或两个构成比的比较、多个率或多个构成比的比较以及分类资料的相关分析等。
具体步骤如下：
首先，观察实际观测值和理论推断值的偏离程度，此处的理论值可以是预期的发生频率或概率。
实际观测值与理论推断值之间的偏离程度决定了卡方值的大小。
如果卡方值越大，说明实际观测值与理论值之间的差异越大；反之，则差异越小。
如果两个值完全相等，卡方值就是0，这表明理论值完全符合实际观测值。
此外，在没有其他限定条件或说明时，卡方检验通常指的是皮尔森卡方检验。
在进行卡方检验时，研究人员通常会将观察量的值划分成若干互斥的分类，并尝试用一套理论（或零假设）去解释观察量的值落入不同分类的概率分布模型。
卡方检验的目的就在于衡量这个假设对观察结果所反映的程度。
卡方检验模型验证方法模型参数的验证方法主要使用卡方拟合度检验( Chi-square Goodness-of-fit Test )结合最大似然
估计( Maximum Likelihood Estimation )，并且使用QQ图（Quantile-Quantile Plot）证明验证结果。
具体的说，就是先假定采集的样本数据符合某一分布，通过最大似然估计方法估计出该分布的参数，然后代入并用卡方检验计算相对于该分布的偏差。
实践中我们对于一组样本数据，计算所有常见分布的偏差值，选取偏差最小的分布做为该样本的拟合结果。
另外，从QQ图直观上看，该分布做为拟合结果描绘出的曲线
必须近似为接近参考线的直线（见3.3），否则我们就将数据拆分为多个部分进行分段的拟合（如对终端请求包大小的拟合）。
1.1 卡方拟合度检验卡方检验是一种大样本假设检验法，用于检验随机事件中提出的样本数据是否符合某一给定分布。
它需要较
大量的样本数据及已知的待检验概率分布函数。
1.1.1 卡方检验原理对于一个服从二项分布的随机变量Y服从Binomial( n, p) ,均值为,方差。
由中心极限定理，符合标准正态分布N (0, 1)，所以服从自由度为1的卡方分布。
设服从Binomial( n, p1 ), , , 则
有
所以
同理对于k个随机变量，均值分别为
，
在数据拟合时，先对数据分组，每组数据的实际个数即为随机变量
，，，则数据拟合即为判断
是否符合分布，
该卡方分布的自由度为k-1-nep（k为随机变量个数，nep为估计参数的个数）。
1.1.2 卡方检验步骤：假定样本服从某一给定分布。
根据样本数据用最大似然法估计分布的密度函数参数。
设定置信度，对n个样本数据排序。
把排序后的数据分成k组，确定每组的上下限,（上下限确定方法不同对验证能力有影响，
每组数据不少于5个），为了方便起见，本项目中采用平均划分分组间隔，即使为常数，
对于所有的成立。
计算每组数据实际个数，第i组实际个数为。
计算每组数据期望个数，第i组期望个数为：
连续：，其中F(x)为待验证的概率分布函数，
离散：。
计算。
理论上说如果，则数据符合分布函数为F(x)的分布，
其中，nep为估计的参数的个数。
但是由于实际采集的数据并非完全地符合某一分布，
总存在一定的偏差，计算出的值并不满足这个条件，
所以我们使用的拟合标准为采用卡方估计值最小的分布作为验证结果。
