一类基于信息熵的多标签特征选择算法
作者：张振海， 李士宁， 李志刚， 陈昊， Zhang Zhenhai， Li Shining， Li Zhigang， Chen Hao
作者单位：西北工业大学计算机学院 西安 710072
刊名：
计算机研究与发展
英文刊名：Journal of Computer Research and Development
年，卷(期)：2013,50(6)
被引用次数：13次
参考文献(21条)
1.李宇峰,黄圣君,周志华一种基于正则化的半监督多标记学习方法[期刊论文]-计算机研究与发展 2012(6)
2.Tsoumakas G;Katakis I;Vlahavas I Data Mining and Knowledge Discovery Handbook 2010
3.郑伟,王朝坤,刘璋,王建民一种基于随机游走模型的多标签分类算法[期刊论文]-计算机学报 2010(8)
4.孔祥南,黎铭,姜远,周志华一种针对弱标记的直推式多标记分类方法[期刊论文]-计算机研究与发展 2010(8)
5.Zhang Y;Zhou Z H Multi-label dimensionality reduction via dependence maximization 2008
6.Li G Z;You M;Ge L Feature selection for semi supervised multi-label learning with application to gene function analysis 2010
7.You M Y;Liu J M;Li G Z Embedded feature selection for multi-label classification of music emotions 2012(04)
8.Shao H;Li G;Liu G Symptom selection for multi label data of inquiry diagnosis in traditional Chinese medicine 2012(01)
9.Lee J;Lim H;Kim D W Approximating mutual information for multi label feature selection 2012(15)
10.Min-Ling Zhang;Jose M. Pena;Victor Robles Feature selection for multi-label naive Bayes classification[外文期刊] 2009(19)
11.Park C H;Lee M On applying linear discriminant analysis for multi-labeled problems 2008(07)
12.Yu K;Yu S;Tresp V Multi-label informed latent semantic indexing 2005
13.Ji S;Ye J Linear dimensionality reduction for multi-label classification 2009
14.Quinlan J R C4.5:Programs for Machine Learning 1993
15.徐燕,李锦涛,王斌,孙春明基于区分类别能力的高性能特征选择方法[期刊论文]-软件学报 2008(1)
16.Yu L;Liu H Feature selection for high-dimensional data:A fast correlation-based filter solution 2003
17.Tsoumakas G;Spyromitros-xioufis E;Vilcek J MULAN:A Java library for multi-label learning 2011
18.Bouckaert R R;Frank E;Hall M A WEKA experiences with a java open-source project 2010
19.Wang J Geometric Structure of High-Dimensional Data and Dimensionality Reduction 2011
20.Tsoumakas K T G;Kalliris G;Vlahavas I Multi-label classification of music into emotions 2008
21.Zhang ML;Zhou ZH ML-KNN: A lazy learning approach to multi-label leaming[外文期刊] 2007(7)
引证文献(5条)
1.李新,张振尧,白瑞林轴承圆柱滚子表面缺陷的视觉检测方法[期刊论文]-自动化仪表 2014(12)
2.潘果基于正则化互信息改进输入特征选择的分类算法[期刊论文]-计算机工程与应用 2014(15)
3.成卫青,唐旋一种基于改进互信息和信息熵的文本特征选择方法[期刊论文]-南京邮电大学学报（自然科学版） 2013(05)
4.段洁,胡清华,张灵均,钱宇华,李德玉基于邻域粗糙集的多标记分类特征选择算法[期刊论文]-计算机研究与发展 2015(01)
5.石慧,贾代平,苗培基于词频信息的改进信息增益文本特征选择算法[期刊论文]-计算机应用 2014(11)
引用本文格式：张振海.李士宁.李志刚.陈昊.Zhang Zhenhai.Li Shining.Li Zhigang.Chen Hao一类基于信息熵的多标签特征选择算法[期刊论文]-计算机研究与发展 2013(6)
特征选择方法在建模中的应用 ——以CHAID树模型为例 华东师范大学邝春伟
特征选择是指从高维特征集合中根据某种评估标准选择输出性能最优的特征子集,其目的是寻求保持数据集感兴趣特性的低维数据集合,通过低维数据的分析来获得相应的高维数据特性,从而达到简化分析、获取数据有效特征以及可视化数据的目标。 目前，许多机构的数据均已超载，因此简化和加快建模过程是特征选择的根本优势。通过将注意力迅速集中到最重要的字段（变量）上，可以降低所需的计算量，并且可以方便地找到因某种原因被忽略的小而重要的关系，最终获得更简单、精确和易于解释的模型。通过减少模型中的字段数量，可以减少评分时间以及未来迭代中所收集的数据量。 减少字段数量特别有利于Logistic 回归这样的模型。
SPSS Modeler是一个非常优秀的数据挖掘软件。它的前身是SPSS Clementine及PASW Modeler。该软件 的特征选择节点有助于识别用于预测特定结果的最重要的字段。特征选择节点可对成百乃至上千个预测变量进行筛选、排序，并选择出可能是最重要的预测变量。最后，会生成一个执行地更快且更加有效的模型—此模型使用较少的预测变量，执行地更快且更易于理解。 案例中使用的数据为“上海高中生家庭教育的调查”，包含有关该CY二中的304名学生参与环保活动的信息。 该数据包含几十个的字段（变量），其中有学生年龄、性别、家庭收入、身体状况情况等统计量。其中有一个“目标”字段，显示学生是否参加过环保活动。我们想利用这些数据来预测哪些学生最可能在将来参加环保活动。
案例关注的是学生参与环保活动的情况，并将其作为目标。案例使用CHAID树构建节点来开发模型，用以说明最有可能参与环保活动的学生。其中对以下两种方法作了对比： ?不使用特征选择。数据集中的所有预测变量字段 均可用作CHAID 树的输入。 ?使用特征选择。使用特征选择节点选择最佳的4 个预测变量。然后将其输入到CHAID 树中。 通过比较两个生成的树模型，可以看到特征选择如何产生有效的结果。
URL:https://www.doczj.com/doc/105475202.html,/14072.html 特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更强，减少过拟合 2.增强对特征和特征值之间的理解 拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。 在许多机器学习的书里，很难找到关于特征选择的容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。 1 去掉取值变化小的特征Removing features with low variance 这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。
2 单变量特征选择Univariate feature selection 单变量特征选择能够对每一个特征进行测试，衡量该特征和响应变量之间的关系，根据得分扔掉不好的特征。对于回归和分类问题可以采用卡方检验等方式对特征进行测试。 这种方法比较简单，易于运行，易于理解，通常对于理解数据有较好的效果（但对特征优化、提高泛化能力来说不一定有效）；这种方法有许多改进的版本、变种。 2.1 Pearson相关系数Pearson Correlation 皮尔森相关系数是一种最简单的，能帮助理解特征和响应变量之间关系的方法，该方法衡量的是变量之间的线性相关性，结果的取值区间为[-1，1]，-1表示完全的负相关(这个变量下降，那个就会上升)，+1表示完全的正相关，0表示没有线性相关。 Pearson Correlation速度快、易于计算，经常在拿到数据(经过清洗和特征提取之后的)之后第一时间就执行。 Pearson相关系数的一个明显缺陷是，作为特征排序机制，他只对线性关系敏感。如果关系是非线性的，即便两个变量具有一一对应的关系， Pearson相关性也可能会接近0。 2.2 互信息和最大信息系数Mutual information and maximal information coefficient (MIC)
特征选择方法综述 控制与决策2012.2 问题的提出 特征选择框架基于搜索策略划分特征选择方法基于评价准则划分特征选择方法结论 一、问题的提出特征选择是从一组特征中挑选出一些最有效的特征以降低特征空间维数的过程，是模式识别的关键问题之一。对于模式识别系统，一个好的学习样本是训练分类器的关键，样本中是否含有不相关或冗余信息直接影响着分类器的性能。因此研究有效的特征选择方法至关重要。 特征选择算法的目的在于选择全体特征的一个较少特征集合，用以对原始数据进行有效表达按照特征关系度量划分，可分为依赖基尼指数、欧氏距离、信息熵。 、特征选择框架 由于子集搜索是一个比较费时的步骤，一些学者基于相关和冗余分析，给出了下面一种特征选择框架，避免了子集搜索，可以高效快速地寻找最优子集。 从特征选择的基本框架看出，特征选择方法中有4 个基本步骤：候选特征子集的生成（搜索策略）、评价准则、停止准则和验证方法。目前对特征选择方法的研究主要集中于搜索策略和评价准则。因而，本文从搜索策略和评价准则两个角度对特征选择方法进行分类。 三、基于搜索策略划分特征选择方法 基本的搜索策略按照特征子集的形成过程，形成的特征选择方法如下：
图3 基于搜索策略划分特征选择方法 其中，全局搜索如分支定界法，存在问题： 1）很难确定优化特征子集的数目； 2）满足单调性的可分性判据难以设计； 3）处理高维多类问题时，算法的时间复杂度较高。 随机搜索法如模拟退火、遗传算法、禁忌搜索算法等，存在问题： 1）具有较高的不确定性，只有当总循环次数较大时，才可能找到较好的结果。 2）在随机搜索策略中，可能需对一些参数进行设置，参数选择的合适与否对最终结果的好坏起着很大的作用。 启发式搜索如SFS、SBS、SFFS、SFBS等，存在问题： 1）虽然效率高，但是它以牺牲全局最优为代价。 每种搜索策略都有各自的优缺点，在实际应用过程中，根据具体环境和准则函数来寻找一个最佳的平衡点。例如，特征数较少，可采用全局最优搜索策略；若不要求全局最优，但要求计算速度快，可采用启发式策略；若需要高性能的子集，而不介意计算时间，则可采用随机搜索策略。 四、基于评价准则划分特征选择方法
特征选择常用算法综述 一.什么是特征选择(Featureselection ) 特征选择也叫特征子集选择 ( FSS , Feature SubsetSelection ) 。是指从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化。 需要区分特征选择与特征提取。特征提取 ( Feature extraction )是指利用已有的特征计算出一个抽象程度更高的特征集，也指计算得到某个特征的算法。 特征提取与特征选择都能降低特征集的维度。 评价函数 ( Objective Function )，用于评价一个特征子集的好坏的指标。这里用符号J ( Y )来表示评价函数，其中Y是一个特征集，J( Y )越大表示特征集Y 越好。 评价函数根据其实现原理又分为2类，所谓的Filter和Wrapper 。 Filter（筛选器）：通过分析特征子集内部的信息来衡量特征子集的好坏，比如特征间相互依赖的程度等。Filter实质上属于一种无导师学习算法。 Wrapper（封装器）：这类评价函数是一个分类器，采用特定特征子集对样本集进行分类，根据分类的结果来衡量该特征子集的好坏。Wrapper实质上是一种有导师学习算法。 二.为什么要进行特征选择？ 获取某些特征所需的计算量可能很大，因此倾向于选择较小的特征集特征间的相关性，比如特征A完全依赖于特征B，如果我们已经将特征B选入特征集，那么特征A 是否还有必要选入特征集？我认为是不必的。特征集越大，分类器就越复杂，其后果就是推广能力（generalization capability）下降。选择较小的特征集会降低复杂度，可能会提高系统的推广能力。Less is More ! 三.特征选择算法分类 精确的解决特征子集选择问题是一个指数级的问题。常见特征选择算法可以归为下面3类： 第一类：指数算法 ( Exponential algorithms ) 这类算法对特征空间进行穷举搜索（当然也会采用剪枝等优化），搜索出来的特征集对于样本集是最优的。这类算法的时间复杂度是指数级的。
URL:https://www.doczj.com/doc/105475202.html,/14072.html 特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更强，减少过拟合 2.增强对特征和特征值之间的理解 拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。 在许多机器学习的书里，很难找到关于特征选择的内容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。 1 去掉取值变化小的特征 Removing features with low variance 这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。 2 单变量特征选择 Univariate feature selection
《模态分析与参数辨识》 我做的，不一定全对。 1. 模态分析的基本目的和定义是什么？P2,P2 2. 什么是粘性阻尼？什么是结构阻尼？如何影响频响函数？P3,P6,P4P6 3. 什么是模态？模态正交性是什么？P35,P37 4. 解释半功率带宽，其意义何在？P12 5. 解释模态截断和剩余模态，对频响函数有何影响？P43 6. 留数与振型有何关系？P41 7. 原点与跨点导纳有何异同？P27 8. 反共振点的物理意义是什么？对频响函数的幅值和相位有何影响？P28 9. 位移、速度、加速度频响函数有何关系，如何影响对振型的估计？P7 10. 说明传递函数和脉冲响应函数的物理意义以及两者之间的关系。P23 11. 模态参数辨识主要识别那些参数？P39 12. 画出模态测试系统的框图。P341 13. 说明窗函数的作用，传感器布置与联接对测试结果的影响。P?这个扯远了，见课件。 14. 脉冲激励与随机激励的特点是什么？P60 15. 为什么说频率响应函数的确定是一个估计问题？有那些估计模型？P128 16. 模态参数可辨识的条件是什么？P116 17. 对一个N 自由度线性定常系统，试推导其在P 点激励，L 点响应的频率响应函数。P40 18. 论述实模态及复模态的性质，特点以及两者之间的区别。P39,P52 19. 论述分量分析法识别模态参数基本过程。P82-86 20. 用框图描述用最小二乘复指数法进行模态参数识别的基本过程。P126 21. 用框图描述用多参考点频域法进行模态参数识别的基本过程。P168 22. 试用框图（不必写出公式）说明特征系统实现算法的主要过程，并说明在该方法中采 用什么办法减少干扰提高辨识精度？P176-181 23. 试推导无阻尼系统()0=+-i i K M φλ特征值灵敏度?λ?i j p 。P253 24. 试用框图（不必写出公式）说明频域法中对比例阻尼系统载荷识别的模态坐标转换法 的主要过程P38 25. 论述模态综合法的基本思想，并说明固定界面模态综合法和改进的自由界面模态综合 法各自的特点，两种方法最后总的自由度数。P314 26. 写出二种计算模态和实验模态之间的相关准则以及频率响应函数的相关准则。P243 27. 二自由度系统（自由-自由）所测得的频率响应如下图所示，求系统的质量和刚度的关 系。
2019年5月May 2019第45卷第5期 Vol. 45 No. 5 -多媒体技术及应用?计算机工程Computer Engineering 文章编号：1000-3428 (2019) 05-0261-06 文献标志码：A 中图分类号：TP391.4 基于信息增量特征选择的微表情识别方法 张延良，卢冰 (河南理工大学物理与电子信息学院，河南焦作454150) 摘要：基于LBP-TOP 、HOG-TOP 、HIGO-TOP 特征描述子的微表情识别方法通常提取到的特征向量维度较高，计 算复杂度较大，运行时间较长，识别准确率较低$为此,提出一种基于信息增量(IG)特征选择的识别方法$运用 IG 特征选择方法对高维度特征向量进行降维，提高识别效率$运用支持向量机分类器的线性核、卡方核、直方图交 叉核进行留一交叉验证，以完成分类任务$在SMIC 和CASME2数据集上进行实验，结果表明，经IG 选择后，特征 向量在2个数据集上的识别准确率分别达到76.22%和73.68%，分类所需时间分别缩短为原方法的3.67%和 3.64%，验证了该方法的有效性$ 关键词：微表情识别；信息增量；特征描述子；SVM 分类器；核函数中文引用格式：张延良，卢冰.基于信息增量特征选择的微表情识别方法［J ］.计算机工程，2019，45 (5) ：261-266. 英文弓丨用格式:ZHANG Yanliang ，LU Bing. Micro-axpression recognition method based on information gain feature selection ［ J ］. Computer Engineering ，2019，45 (5) ：261 -266. Micro-Expression Recognition Mettod Based on Information Gait Featurr Selection ZHANG Yanliang ，LU Bing (School of Physics and Electronic Information Engineering & Henan Polytechnic University & Jiaozuo & Henan 454150，China)+ Abstract] Micro-axpression recognition method based on feature descriptor of LBP-TOP ，HOG-TOP and HIGO-TOP usually extract feature vectors with high dimensions ，and have high computation complexity ，long running time and low recognition accuracy . Therefore ，a recognition method based on Information Gain ( IG ) feature selection is proposed. The IG feature selection method it applied to reducc the dimensions of feature vectors and improve the recognition efficiency. The Leave-One-Cubject-Out Cross Validation it performed for the micro-axpression classification with linear kernel ，chi- square kernel and histogram intersection kernel of Support Vector Machine ( SVM ) classifier. On the SMIC and CASME2 datasets ，the recognition accuracy of feature vectors selected by IG achieves 76. 22% and 73.68% respectively. And the time required for classification is only 3.67% and 3.64% of the original method. These resultt prove the effectiveness of the proposed method. + Key words ] micro-axpression recognition ； Information Gain ( IG ) ； feature descriptors ； SVM classifier ； kernel functions DOn ：10. 19678/j. issn. 1000-3428.0052002 0概述 表情是一种非言语行为，能够展现人的情感$ 心理学家认为，“情感表达”由55%的表情、38%的 声音和7%的语言组成［1］，这足以证明表情信息的巨 大作用$在过去的几十年里，人脸表情识别得到广 泛的研究［$l ］，其中大多以普通表情为研究对象$除 了人脸普通表情外，在心理抑制状态下，面部肌肉不 受控制而产生的微表情［4］，同样具有巨大的研究 价值$微表情的持续时间较短，一般为1 /25 s ~1 /3 -， 且动作幅度非常小［5-］$因此，正确观测并识别微表 情的难度较大［7］，用裸眼准确捕捉和识别微表情的 成功率很低$文献［8 ］开发了微表情识别训练工具 METT ，以提高对微表情的识别准确率$然而，经过 专业训练后，其识别准确率仅达到47 % ［ 9］$近年来， 基金项目：国家自然科学基金(61571339)；网络与交换技术国家重点实验室开放课题(SKLNST-2016-1 -02 )；河南理工大学博士基金 (B2012-100) o 作者简介：张延良(1979―)，男，副教授、博士，主研方向为微表情识别、人工智能、信号处理、机器学习；卢 冰，硕士研究生$收稿日期：2018-07-03 修回日期：2018-08-08 E-mail ：ylzhang@ hpu. edu. cn
特征选择和集成学习是当前机器学习中的两大研究热点,其研究成果己被广泛地应用于提高单个学习器的泛化能力。 特征选择是指从原始特征集中选择使某种评估标准最优的特征子集。其目的是根据一些准则选出最小的特征子集,使得任务如分类、回归等达到和特征选择前近似甚至更好的效果。通过特征选择,一些和任务无关或者冗余的特征被删除,简化的数据集常常会得到更精确的模型,也更容易理解。 滤波式(filter)方法的特征评估标准直接由数据集求得，而无需学习算法进行反馈，其优点是运行效率高，因此非常适用于集成学习.假设用于集成的特征选择算法有k种,,抽取产生m 个子训练集，在每个训练集上利用其中一种特征选择算法选出满足条件的属性作为个体svm训练的输入空间，并训练得到m个svm个体，然后对其他的特征选择算法重复执行上述过程，最后将得到的k*m 个子svm的预测结果集成. 特征选择是从一组数量为D 的原始特征中选出数量为d(D>d)的一组最优特征采用遗传退火算法进行特征选择.随机生成长度为 D 的二进制串个体其中1 的个数为d 。连续产生这样的个体M 个M 为种群规模其大小影响着遗传算法的最终结果及其执行效率M。 特征选择的目的是找出分类能力最强的特征组合需要一个定量准则来度量特征组合的分类能力。度量特征选择算法优劣的判据很多各样本之所以能分开是因为它们位于特征空间的不同区域如果类间
距离越大类内各样本间的距离越小则分类效果越好。 各种新搜索算法和评估标准都应用到特征选择算法中。如粗糙集算法,神经网络剪枝法,支持向量机的评估标准,特征集的模糊嫡评价,马尔可夫算法等
入侵检测系统的数据含有大量的冗余与噪音特征,使得系统耗用的计算资源很大,导致系统训练时间长,实时性差,检测效果不好,引入特征选择算法能够去除高维数据中无用和冗余的信息,保留对分类效果起关键作用的信息,在不影响分类效果的同时减少数据量,降低了数据存储复杂度,减轻系统负荷,提高入侵检测系统的检测速度,增强入侵检测系统的健壮性。 入侵检测问题从机器学习的角度看实际上是一个分类问题,分类器的性能不仅与分类器设计算法有关,而且与选择的特征子集有关。一个高度相关的特征子集可有效改进分类器的性能,因而特征选择(属性约简)具有重要的理论意义和应用价值。 集成学习(Ensemble Learning)是通过将一组学习器以某种方式组合在一起可以显著提高学习系统的泛化能力（有监督的分类器集成和半监督的分类器集成）。 神经网络集成可以显著地提高神经网络系统的泛化能力,被视为
基于互信息的特征选择 1. 模型 定义D1 病集S 由有关心脏病病种i X ( i =1, 2, …, n) 组成, 令患者的疾病信息熵1-2为: )(1log )()(1i n i i X P X P X H ∑=-= (1) 显然疾病信息熵具有Shannon 信息熵的性质, 反映了临床中具体病人的客观信息及实际医疗干预过程中所表现的信息在总体特征上的平均不确定性. 定义D2: 一个诊断病例库能够表示为关于病例特征的矩阵形式 n m ij x Casebase ?=][ (2) 其中, ij x —病例库中第j 个病例的第i 个属性值; m —病例特征数量; n —病例库规模; 定义D3: 一个信息系统( IS) 能够表示为 ,,,r r f R I U R V f ∈=<> (3) 其中, U 是对象的非空有限集合, R 是属性的非空有限集合, r r R V V ∈= 是属性值 的集合, V r 表示了属性任意r R ∈时的属性值范围, :r f U R V ?→ 是一个信息函数, 它指定U 中每一个对象 x 的属性值. 1 马笑潇, 黄席樾, 等. 基于信息熵的诊断过程认知信息流分析[J]. 重庆大学学报: 自然科学版, ,25(5):25-28. 2 王园, 吉国力, 魏磊. 信息熵在临床定量诊断分析中的研究及应用[J]. 厦门大学学报: 自然科学版, ,43(B08):353-356.
当R 中的属性集可进一步分解为条件属性集合C 和决策属性集合D, 且满足 ,R C D C D =? ?=?时, 信息系统(IS)称为决策系统(DS)3. a i 为某一条件属性, 则决策属性D 对某一条件属性a i 的依赖程度能够利用下式计算4-5: ( 4) 式中, R C 、 R D 分别表示条件属性集合C 和策属性集合D 在论域上的等价关 系.()D C R H R 表示R D 相对于R C 的条件熵.(,)i I a D 的值越大, 则条件属性a i 对决策属性D 的重要性越大.如果(,)0i I a D =, 则说明a i 对于D 不起作用, 能够删除.在基于属性信息增益的约简方法中, 计算案例库属性集的每个属性的信息增益, 并约定属性的信息增益大于某个阈值时就将该属性归入最优属性子集, 否则弃用属性. 1.3 基于互信息的特征选择6: 三种经典的基于互信息的特征选择算法, 分别为信息增益、 互信息和交叉熵, 以及于互信息最大化的特征选择算法7。 3 张文宇. 数据挖掘与粗糙集方法[M]. 西安电子科技大学出版社, : 49. 4 屈利, 苑津莎, 李丽. 基于事例推理的电力系统短期负荷预测[J]. 电力科学与工程, ,24(2):59-63. 5 程其云, 孙才新, 周湶, 等. 粗糙集信息熵与自适应神经网络模糊系统相结合的电力短期负荷预测模型及方法[J]. 电网技术, ,28 (17): 72-75. 6 Li Y F, Xie M, Goh T N. A study of mutual information based feature selection for case based reasoning in software cost estimation [J]. Expert Systems with Applications, , 36(3, Part 2): 5921-5931. 7唐亮,段建国,许洪波,梁玲.基于互信息最大化的特征选择算法及应用[J]. 计算机工程与应用, ,44(13):130-133
特征选择方法综述 控制与决策 2012.2 ●问题的提出 ●特征选择框架 ●基于搜索策略划分特征选择方法 ●基于评价准则划分特征选择方法 ●结论 一、问题的提出 特征选择是从一组特征中挑选出一些最有效的特征以降低特征空间维数的过程，是模式识别的关键问题之一。对于模式识别系统，一个好的学习样本是训练分类器的关键，样本中是否含有不相关或冗余信息直接影响着分类器的性能。因此研究有效的特征选择方法至关重要。 特征选择算法的目的在于选择全体特征的一个较少特征集合，用以对原始数据进行有效表达按照特征关系度量划分，可分为依赖基尼指数、欧氏距离、信息熵。 二、特征选择框架 由于子集搜索是一个比较费时的步骤，一些学者基于相关和冗余分析，给出了下面一种特征选择框架，避免了子集搜索，可以高效快速地寻找最优子集。 从特征选择的基本框架看出，特征选择方法中有4个基本步骤：候选特征子集的生成（搜索策略）、评价准则、停止准则和验证方法。目前对特征选择方法的研究主要集中于搜索策略和评价准则。因而，本文从搜索策略和评价准则两个角度对特征选择方法进行分类。
三、基于搜索策略划分特征选择方法 基本的搜索策略按照特征子集的形成过程，形成的特征选择方法如下： 图3基于搜索策略划分特征选择方法 其中，全局搜索如分支定界法，存在问题： 1）很难确定优化特征子集的数目； 2）满足单调性的可分性判据难以设计； 3）处理高维多类问题时，算法的时间复杂度较高。 随机搜索法如模拟退火、遗传算法、禁忌搜索算法等，存在问题： 1）具有较高的不确定性，只有当总循环次数较大时，才可能找到较好的结果。 2）在随机搜索策略中，可能需对一些参数进行设置，参数选择的合适与否对最终结果的好坏起着很大的作用。 启发式搜索如SFS、SBS、SFFS、SFBS等，存在问题： 1）虽然效率高，但是它以牺牲全局最优为代价。 每种搜索策略都有各自的优缺点，在实际应用过程中，根据具体环境和准则函数来寻找一个最佳的平衡点。例如，特征数较少，可采用全局最优搜索策略；若不要求全局最优，但要求计算速度快，可采用启发式策略；若需要高性能的子集，而不介意计算时间，则可采用随机搜索策略。 四、基于评价准则划分特征选择方法
关于信息熵应用的讨论 1 引言 信息的多少该如何度量？信息论之父香农在1948年发表的论文提出了“信息熵”的概念，用其来描述信息的不确定度。一般情况下，如果一段信息，它的出现概率很高的时候，就表示它传播的范围很广，也可以认为是被引用的程度更高，所以我们可以这样认为，从信息的传播角度来看，信息熵表征了信息的价值，这样就方便我们对信息的价值高低进行有效的衡量。其计算公式可表示如下： (X)()lb ()X H P x P x =-∑ 其中，x 表示随机变量，随机变量的集合用X 表示，()P x 表示输出概率函数。 2 信息熵在社会领域的应用 信息熵理论的应用非常广泛，涉及到我们生活的方方面面。 前段时间的琅琊榜以及正播出的芈月传这种精品剧受到了大众的追捧，同样在收视率上表现抢眼。而收视率统计数据作为电视台评价自己的节目，确定各频道和时段广告价格及广告客户选择媒体、频道、时段和节目的重要依据。如果只是对节目播出后进行调查分析显然已经无法满足电视台和广告商的期望。对于电视台方面来说，节目的播出前收视预测能帮助实现节目的精细化制作并获取期望的效果；对于广告商收视预测则明显能减小投资风险。我们知道信息熵是对不确定性的度量，显然其很可能在此处发挥作用。我们可以对一个节目分为多个属性，如艺术水平、题材流行程度、编导人气、受众文化程度、受众经济情况、受众性别、受众年龄等等，再然后加上一个已获得的收视率属性，对属性进行等级或者分数记录。选取样本数据并分别统计，然后计算给定样本集的收视率熵，从而得到样本的平均信息量，再分别计算每个属性的熵，计算信息增益值，从结果中就很容易知道哪个属性在其中具有最高信息增益，即信息熵最小的属性。这个属性作为最先决策的考虑，然后在此基础上再计算其他的信息熵最小属性，作为第二决策考虑，依次类推，生成决策树。基于信息熵的预测收视率模型已有研究成果，
数据挖掘中的特征选择算法综述及基于WEKA的性能比较 良龙 （大学信息科学与工程学院） 摘要：自进入21世纪以来，随着信息技术的飞速发展，产生了海量的具有潜在应用价值的数据，将这些数据转换成有用的信息和知识的需求也越来越迫切，因此数据挖掘引起了信息产业界和整个社会的极大关注。特征选择作为一种常见的降维方法，在数据挖掘中起到不可忽视的作用。本文首先介绍了数据挖掘处理对象的趋势，然后概述了特征选择算法，最后通过数据挖掘软件WEKA比较了分别基于Filter和Wrapper方法的特征选择算法的性能。 关键词：数据挖掘；特征选择；WEKA；Filter；Wrapper；性能比较 A survey of feature selection algorithm in Data Mining and the performance comparison based on WEKA Abstract: As the mass of data which have potential application and value have been created by the rapid development of information technology since the 21st century, the needs to transferring these data into useful information and knowledge are being more and more urgent, so the Data Mining caused the whole society and the information industry of great concern. Feature selection is critical to Data Mining for that it is a common method to reduce dimensions. The tendency of Data Mining’s
模态分析 - 简介 专业模态分析，包含多种经典和最新理论方法，支持各种模态试验方法。目前已经在国防军工、教学科研、土木建筑、机械、铁路交通等各行业得到了非常广泛的应用，成功完成了大量的模态试验任务，包括航天器、军械、卫星、汽车、桥梁、井架、楼房等等，受到广大用户的高度评价. 主要特点 * 模态类型 可完成位移模态和应变模态的试验分析,可直接输出含有模态质量、刚度、阻尼、留数、振型、相关矩阵校验系数的模态分析报告。 * 多种方法 支持各种试验方法，SIMO(单输入多输出)、MISO(多输入单输出)、MIMO(多输入多输出)、ODS(运行状态变形)、OMA(环境激励模态)等 * 变时基 专利技术，可进行大型低频结构的脉冲激励模态试验。 * 自动化模态分析（一键求模态）领先技术 利用创新的模态指示函数，一键即可得到专家级的模态分析结果 * 可视化结构生成和彩色三维振型动画（点击进入详细介绍） 结构输入：可视化的CAD输入系统，点击鼠标即可完成 振型动画：三维彩色动画，多模态多视图旋转显示，输出AVI文件 * 仿真分析 可以进行板、梁的仿真模态分析，适合于模态分析理论的教学和学习。 1.基本模态软件 基本部分可完成位移模态分析，支持SIMO、MISO、OMA方法，具有变时基专利技术，可视化的结构生成和彩色振型动画显示，以及仿真分析功能。 模态拟合方法提供六种频域方法和ERA特征值实现算法，ERA方法既可以完成激励可测的经典模态分析，又可以进行激励不可测的环境激励模态分析。 2. 时域法模态分析（适合于环境激励模态）(选件) 三种时域拟合方法(随机子空间法SSI,特征系统实现算法ERA,复指数法Prony)，更适合大桥楼房等环境激励模态 3.EFDD模态分析（适合于环境激励模态）(选件) 增强的频域分解法，国际最新发展的方法，分析过程简明，操作简单，不易产生虚假模态。
收稿日期:2017-11-04 修回日期:2018-03-13 网络出版时间:2018-05-16 基金项目:2015年教育部-中国移动科研基金项目(5-10);江苏省自然科学基金面上项目(BK 20171447);江苏省高校自然科学研究面上项目(17JKB 520024)作者简介:张春焰(1992-),男,硕士,研究方向为数据挖掘;李 涛,通讯作者,博士,美国佛罗里达国际大学正教授,研究方向为数据挖掘二机 器学习和信息检索及生物信息学等三 网络出版地址:http ://https://www.doczj.com/doc/105475202.html, /kcms /detail /61.1450.TP.20180515.1645.016.html 基于路径选择的层次多标签分类 张春焰,李 涛,刘 峥 (南京邮电大学计算机学院,江苏南京210046) 摘 要:多标签分类为每一个实例分配多个标签,当这些标签存在一种预定义的层次化结构时,该机器学习任务称为层次多标签分类(HMC )三传统的分类问题(二分类和多标签分类)往往会忽略各标签之间的结构关系,而层次多标签分类充分考虑标签集之间的层次结构关系,并以此来提高分类的效果三层次多标签分类是输出结构化预测结果的分类任务,其中类标签被组织成某种预定义(树形或者有向无环图)的结构,并且一个实例可以属于多个类三在HMC 中有基于全局标签集的分类方法和基于单个标签的局部分类方法三全局方法将整个问题作为一个整体来处理,但往往会随着数据集的增长而出现性能瓶颈,而局部方法将问题分解为基于单个标签的二分类方法,但未充分考虑层次结构信息,并且无法处理预测节点终止于层次标签树内节点的分类问题三在分类阶段,修剪掉概率较低的分支,达到预测标签不一定到达叶子节点的目的三基于路径选择的层次多标签分类充分考虑修剪后的层次标签树从根节点出发的所有可能路径,结合各节点的预测概率值和节点所在的层次来选出得分最高的标签路径三该方法和现有的层次多标签分类方法在三种不同的数据集上进行实验对比,结果表明该方法在处理层次较深且叶子节点稠密的层次结构时获得了较好的结果三 关键词:层次多标签分类;多标签学习;路径选择;层次分类;文本分类;层次标签树;剪枝 中图分类号:TP 181 文献标识码:A 文章编号:1673-629X (2018)10-0037-07 doi :10.3969/j.issn.1673-629X.2018.10.008 Hierarchy Multi -label Classification Based on Path Selection ZHANG Chun -yan ,LI Tao ,LIU Zheng (School of Computer Science ,Nanjing University of Posts and Telecommunications ,Nanjing 210046,China ) Abstract :Multi -label classification assigns more than one label for each instance when the labels are ordered in a predefined structure.The task is called hierarchical multi -label classification (HMC ).Traditional classification problems (binary classification and multi -la?bel classification )tend to ignore the structural relationship between the labels ,and hierarchical multi -label classification takes full account of the hierarchical relationship between the label sets ,thus improving the classification effect.HMC is a task of structured output predic?tion where the classes are organized into a hierarchy and an instance may belong to multiple classes.The hierarchy structure that organi?zes the set of classes can assume the form of a tree or of a directed acyclic graph (DAG ).In HMC there are global and local approaches.Global approaches treat the problem as whole but tend to explode with large datasets.Local approaches divide the problem into local sub?problems ,but usually do not exploit the information of the hierarchy.The hierarchical multi -label classification based on path selection studies the problem that the classification label does not reach the leaf node of the label tree.In the classification phase ,the branches with low probability to occur are pruned ,performing non -mandatory leaf node prediction.This method evaluates each possible path from the root of the hierarchy ,taking into account the prediction value and the level of the nodes ,selecting one or more label paths whose score is above a threshold.It has been tested in three datasets with tree hierarchy structured hierarchies against a number of state -of -the -art methods.The experiment shows that this method can obtain superior results when dealing with deep and populated hierarchies. Key words :hierarchical multi -label classification ;multi -label learning ;path selection ;hierarchical classification ;text classification ;hier?archical label tree ;pruning 第28卷 第10期2018年10月 计算机技术与发展COMPUTER TECHNOLOGY AND DEVELOPMENT Vol.28 No.10Oct. 2018
龙源期刊网 https://www.doczj.com/doc/105475202.html, 新颖的判别性特征选择方法 作者：吴锦华等 来源：《计算机应用》2015年第10期 摘要：作为数据预处理的一种常用的手段，特征选择不仅能够提高分类器的分类性能，而且能增加对分类结果的解释性。针对基于稀疏学习的特征选择方法有时会忽略一些有用的判别信息而影响分类性能的问题，提出了一种新的判别性特征选择方法——DLASSO，用于选择出更具有判别力的特征。首先DLASSO模型包含一个L1范式正则化项，用于产生一个稀疏解；其次，为了诱导出更具有判别力的特征，模型中增加了一个新的判别性正则化项，用于保留同类样本以及不同类样本之间几何分布信息，用于诱导出更具有判别力的特征。在一系列Benchmark数据集上的实验结果表明，与已有方法相比较，DLASSO不仅能进一步提高分类器的分类精度，而且对参数也较为鲁棒。 关键词：特征选择；稀疏解； L1范式；判别正则化项；分类 中图分类号： TP181 文献标志码：A Abstract： As a kind of common method for data preprocessing， feature selection can not only improve the classification performance， but also increase the interpretability of the classification results. In sparselearningbased feature selection methods， some useful discriminative information is ignored， and it may affect the final classification performance. To address this problem， a new discriminative feature selection method called Discriminative Least Absolute Shrinkage and Selection Operator （DLASSO） was proposed to choose the most discriminative features. In detail， firstly，the proposed DLASSO method contained a L1norm regularization item， which was used to produce sparse solution. Secondly， in order to induce the most discriminative features， a new discriminative regularization term was introduced to embed the geometric distribution information of samples with the same class label and samples with different class labels. Finally， the comparison experimental results obtained from a series of Benchmark datasets show that， the proposed DLASSO method can not only improve the classification accuracy， but also be robust against parameters. Key words： feature selection； sparse solution； L1norm； discriminative regularization item； classification 0引言 在机器学习和模式识别领域，传统学习算法经常遇到“维数灾难””问题[1]。在此情形下，降低数据维度的方法不仅能够提高计算效率和改善分类的性能，而且能够增加对分类结果的解