支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输
特征选择方法在建模中的应用 ——以CHAID树模型为例 华东师范大学邝春伟
特征选择是指从高维特征集合中根据某种评估标准选择输出性能最优的特征子集,其目的是寻求保持数据集感兴趣特性的低维数据集合,通过低维数据的分析来获得相应的高维数据特性,从而达到简化分析、获取数据有效特征以及可视化数据的目标。 目前，许多机构的数据均已超载，因此简化和加快建模过程是特征选择的根本优势。通过将注意力迅速集中到最重要的字段（变量）上，可以降低所需的计算量，并且可以方便地找到因某种原因被忽略的小而重要的关系，最终获得更简单、精确和易于解释的模型。通过减少模型中的字段数量，可以减少评分时间以及未来迭代中所收集的数据量。 减少字段数量特别有利于Logistic 回归这样的模型。
SPSS Modeler是一个非常优秀的数据挖掘软件。它的前身是SPSS Clementine及PASW Modeler。该软件 的特征选择节点有助于识别用于预测特定结果的最重要的字段。特征选择节点可对成百乃至上千个预测变量进行筛选、排序，并选择出可能是最重要的预测变量。最后，会生成一个执行地更快且更加有效的模型—此模型使用较少的预测变量，执行地更快且更易于理解。 案例中使用的数据为“上海高中生家庭教育的调查”，包含有关该CY二中的304名学生参与环保活动的信息。 该数据包含几十个的字段（变量），其中有学生年龄、性别、家庭收入、身体状况情况等统计量。其中有一个“目标”字段，显示学生是否参加过环保活动。我们想利用这些数据来预测哪些学生最可能在将来参加环保活动。
案例关注的是学生参与环保活动的情况，并将其作为目标。案例使用CHAID树构建节点来开发模型，用以说明最有可能参与环保活动的学生。其中对以下两种方法作了对比： ?不使用特征选择。数据集中的所有预测变量字段 均可用作CHAID 树的输入。 ?使用特征选择。使用特征选择节点选择最佳的4 个预测变量。然后将其输入到CHAID 树中。 通过比较两个生成的树模型，可以看到特征选择如何产生有效的结果。
支持向量机算法 [摘要] 本文介绍统计学习理论中最年轻的分支——支持向量机的算法，主要有：以SVM－light为代表的块算法、分解算法和在线训练法，比较了各自的优缺点，并介绍了其它几种算法及多类分类算法。 [关键词] 块算法分解算法在线训练法 Colin Campbell对SVM的训练算法作了一个综述，主要介绍了以SVM为代表的分解算法、Platt的SMO和Kerrthi的近邻算法，但没有详细介绍各算法的特点，并且没有包括算法的最新进展。以下对各种算法的特点进行详细介绍，并介绍几种新的SVM算法，如张学工的CSVM，Scholkopf的v-SVM分类器，J. A. K. Suykens 提出的最小二乘法支持向量机LSSVM，Mint-H suan Yang提出的训练支持向量机的几何方法，SOR以及多类时的SVM算法。 块算法最早是由Boser等人提出来的，它的出发点是：删除矩阵中对应于Lagrange乘数为零的行和列不会对最终结果产生影响。对于给定的训练样本集，如果其中的支持向量是已知的，寻优算法就可以排除非支持向量，只需对支持向量计算权值（即Lagrange乘数）即可。但是，在训练过程结束以前支持向量是未知的，因此，块算法的目标就是通过某种迭代逐步排除非支持向时。具体的做法是，在算法的每一步中块算法解决一个包含下列样本的二次规划子问题：即上一步中剩下的具有非零Lagrange乘数的样本，以及M个不满足Kohn-Tucker条件的最差的样本；如果在某一步中，不满足Kohn-Tucker条件的样本数不足M 个，则这些样本全部加入到新的二次规划问题中。每个二次规划子问题都采用上一个二次规划子问题的结果作为初始值。在最后一步时，所有非零Lagrange乘数都被找到，因此，最后一步解决了初始的大型二次规划问题。块算法将矩阵的规模从训练样本数的平方减少到具有非零Lagrange乘数的样本数的平方，大减少了训练过程对存储的要求，对于一般的问题这种算法可以满足对训练速度的要求。对于训练样本数很大或支持向量数很大的问题，块算法仍然无法将矩阵放入内存中。 Osuna针对SVM训练速度慢及时间空间复杂度大的问题，提出了分解算法，并将之应用于人脸检测中，主要思想是将训练样本分为工作集B的非工作集N，B中的样本数为q个，q远小于总样本个数，每次只针对工作集B中的q个样本训练，而固定N中的训练样本，算法的要点有三：1）应用有约束条件下二次规划极值点存大的最优条件KTT条件，推出本问题的约束条件，这也是终止条件。2）工作集中训练样本的选择算法，应能保证分解算法能快速收敛，且计算费用最少。3）分解算法收敛的理论证明，Osuna等证明了一个定理：如果存在不满足Kohn-Tucker条件的样本，那么在把它加入到上一个子问题的集合中后，重新优化这个子问题，则可行点（Feasible Point）依然满足约束条件，且性能严格地改进。因此，如果每一步至少加入一个不满足Kohn-Tucker条件的样本，一系列铁二次子问题可保证最后单调收敛。Chang，C.-C.证明Osuna的证明不严密，并详尽地分析了分解算法的收敛过程及速度，该算法的关键在于选择一种最优的工
URL:https://www.doczj.com/doc/7a3187953.html,/14072.html 特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更强，减少过拟合 2.增强对特征和特征值之间的理解 拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。 在许多机器学习的书里，很难找到关于特征选择的容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。 1 去掉取值变化小的特征Removing features with low variance 这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。
2 单变量特征选择Univariate feature selection 单变量特征选择能够对每一个特征进行测试，衡量该特征和响应变量之间的关系，根据得分扔掉不好的特征。对于回归和分类问题可以采用卡方检验等方式对特征进行测试。 这种方法比较简单，易于运行，易于理解，通常对于理解数据有较好的效果（但对特征优化、提高泛化能力来说不一定有效）；这种方法有许多改进的版本、变种。 2.1 Pearson相关系数Pearson Correlation 皮尔森相关系数是一种最简单的，能帮助理解特征和响应变量之间关系的方法，该方法衡量的是变量之间的线性相关性，结果的取值区间为[-1，1]，-1表示完全的负相关(这个变量下降，那个就会上升)，+1表示完全的正相关，0表示没有线性相关。 Pearson Correlation速度快、易于计算，经常在拿到数据(经过清洗和特征提取之后的)之后第一时间就执行。 Pearson相关系数的一个明显缺陷是，作为特征排序机制，他只对线性关系敏感。如果关系是非线性的，即便两个变量具有一一对应的关系， Pearson相关性也可能会接近0。 2.2 互信息和最大信息系数Mutual information and maximal information coefficient (MIC)
题目：支持向量机的算法学习 姓名： 学号： 专业： 指导教师：、 日期：2012年6 月20日
支持向量机的算法学习 1. 理论背景 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据 (样本) 出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止，关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为三种： 第一种是经典的(参数)统计估计方法。包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。参数方法正是基于传统统计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限性，首先，它需要已知样本分布形式，这需要花费很大代价，还有，传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。 第二种方法是经验非线性方法，如人工神经网络(ANN。这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏一种统一的数学理论。 与传统统计学相比，统计学习理论( Statistical Learning Theory 或SLT) 是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。V. Vapnik 等人从六、七十年代开始致力于此方面研究[1] ，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。 统计学习理论的一个核心概念就是VC维(VC Dimension)概念，它是描述函数集或学习机器的复杂性或者说是学习能力(Capacity of the machine) 的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性(Consistency) 、收敛速度、推广性能(GeneralizationPerformance) 等的重要结论。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy) 和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以
特征选择方法综述 控制与决策2012.2 问题的提出 特征选择框架基于搜索策略划分特征选择方法基于评价准则划分特征选择方法结论 一、问题的提出特征选择是从一组特征中挑选出一些最有效的特征以降低特征空间维数的过程，是模式识别的关键问题之一。对于模式识别系统，一个好的学习样本是训练分类器的关键，样本中是否含有不相关或冗余信息直接影响着分类器的性能。因此研究有效的特征选择方法至关重要。 特征选择算法的目的在于选择全体特征的一个较少特征集合，用以对原始数据进行有效表达按照特征关系度量划分，可分为依赖基尼指数、欧氏距离、信息熵。 、特征选择框架 由于子集搜索是一个比较费时的步骤，一些学者基于相关和冗余分析，给出了下面一种特征选择框架，避免了子集搜索，可以高效快速地寻找最优子集。 从特征选择的基本框架看出，特征选择方法中有4 个基本步骤：候选特征子集的生成（搜索策略）、评价准则、停止准则和验证方法。目前对特征选择方法的研究主要集中于搜索策略和评价准则。因而，本文从搜索策略和评价准则两个角度对特征选择方法进行分类。 三、基于搜索策略划分特征选择方法 基本的搜索策略按照特征子集的形成过程，形成的特征选择方法如下：
图3 基于搜索策略划分特征选择方法 其中，全局搜索如分支定界法，存在问题： 1）很难确定优化特征子集的数目； 2）满足单调性的可分性判据难以设计； 3）处理高维多类问题时，算法的时间复杂度较高。 随机搜索法如模拟退火、遗传算法、禁忌搜索算法等，存在问题： 1）具有较高的不确定性，只有当总循环次数较大时，才可能找到较好的结果。 2）在随机搜索策略中，可能需对一些参数进行设置，参数选择的合适与否对最终结果的好坏起着很大的作用。 启发式搜索如SFS、SBS、SFFS、SFBS等，存在问题： 1）虽然效率高，但是它以牺牲全局最优为代价。 每种搜索策略都有各自的优缺点，在实际应用过程中，根据具体环境和准则函数来寻找一个最佳的平衡点。例如，特征数较少，可采用全局最优搜索策略；若不要求全局最优，但要求计算速度快，可采用启发式策略；若需要高性能的子集，而不介意计算时间，则可采用随机搜索策略。 四、基于评价准则划分特征选择方法
支持向量机简介 摘要：支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以求获得最好的推广能力 。我们通常希望分类的过程是一个机器学习的过程。这些数据点是n 维实空间中的点。我们希望能够把这些点通过一个n-1维的超平面分开。通常这个被称为线性分类器。有很多分类器都符合这个要求。但是我们还希望找到分类最佳的平面，即使得属于两个不同类的数据点间隔最大的那个面，该面亦称为最大间隔超平面。如果我们能够找到这个面，那么这个分类器就称为最大间隔分类器。 关键字：VC 理论 结构风险最小原则 学习能力 1、SVM 的产生与发展 自1995年Vapnik 在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解
收稿日期:2003-06-13 作者简介:姬水旺(1977)),男,陕西府谷人,硕士,研究方向为机器学习、模式识别、数据挖掘。 支持向量机训练算法综述 姬水旺,姬旺田 (陕西移动通信有限责任公司,陕西西安710082) 摘 要:训练SVM 的本质是解决二次规划问题,在实际应用中,如果用于训练的样本数很大,标准的二次型优化技术就很难应用。针对这个问题,研究人员提出了各种解决方案,这些方案的核心思想是先将整个优化问题分解为多个同样性质的子问题,通过循环解决子问题来求得初始问题的解。由于这些方法都需要不断地循环迭代来解决每个子问题,所以需要的训练时间很长,这也是阻碍SVM 广泛应用的一个重要原因。文章系统回顾了SVM 训练的三种主流算法:块算法、分解算法和顺序最小优化算法,并且指出了未来发展方向。关键词:统计学习理论;支持向量机;训练算法 中图分类号:T P30116 文献标识码:A 文章编号:1005-3751(2004)01-0018-03 A Tutorial Survey of Support Vector Machine Training Algorithms JI Shu-i wang,JI Wang -tian (Shaanx i M obile Communicatio n Co.,Ltd,Xi .an 710082,China) Abstract:Trai n i ng SVM can be formulated into a quadratic programm i ng problem.For large learning tasks w ith many training exam ples,off-the-shelf opti m i zation techniques quickly become i ntractable i n their m emory and time requirem ents.T hus,many efficient tech -niques have been developed.These techniques divide the origi nal problem into several s maller sub-problems.By solving these s ub-prob -lems iteratively,the ori ginal larger problem is solved.All proposed methods suffer from the bottlen eck of long training ti me.This severely limited the w idespread application of SVM.T his paper systematically surveyed three mains tream SVM training algorithms:chunking,de -composition ,and sequenti al minimal optimization algorithms.It concludes with an illustrati on of future directions.Key words:statistical learning theory;support vector machine;trai ning algorithms 0 引 言 支持向量机(Support Vector M achine)是贝尔实验室研究人员V.Vapnik [1~3]等人在对统计学习理论三十多年的研究基础之上发展起来的一种全新的机器学习算法,也使统计学习理论第一次对实际应用产生重大影响。SVM 是基于统计学习理论的结构风险最小化原则的,它将最大分界面分类器思想和基于核的方法结合在一起,表现出了很好的泛化能力。由于SVM 方法有统计学习理论作为其坚实的数学基础,并且可以很好地克服维数灾难和过拟合等传统算法所不可规避的问题,所以受到了越来越多的研究人员的关注。近年来,关于SVM 方法的研究,包括算法本身的改进和算法的实际应用,都陆续提了出来。尽管SVM 算法的性能在许多实际问题的应用中得到了验证,但是该算法在计算上存在着一些问题,包括训练算法速度慢、算法复杂而难以实现以及检测阶段运算量大等等。 训练SVM 的本质是解决一个二次规划问题[4]: 在约束条件 0F A i F C,i =1,, ,l (1)E l i =1 A i y i =0 (2) 下,求 W(A )= E l i =1A i -1 2 E i,J A i A j y i y j {7(x i )#7(x j )} = E l i =1A i -1 2E i,J A i A j y i y j K (x i ,x j )(3)的最大值,其中K (x i ,x j )=7(x i )#7(x j )是满足Merce r 定理[4]条件的核函数。 如果令+=(A 1,A 2,,,A l )T ,D ij =y i y j K (x i ,x j )以上问题就可以写为:在约束条件 +T y =0(4)0F +F C (5) 下,求 W(+)=+T l -12 +T D +(6) 的最大值。 由于矩阵D 是非负定的,这个二次规划问题是一个凸函数的优化问题,因此Kohn -Tucker 条件[5]是最优点 第14卷 第1期2004年1月 微 机 发 展M icr ocomputer Dev elopment V ol.14 N o.1Jan.2004
支持向量机算法推导及其分类的算法实现 摘要：本文从线性分类问题开始逐步的叙述支持向量机思想的形成，并提供相应的推导过程。简述核函数的概念，以及kernel在SVM算法中的核心地位。介绍松弛变量引入的SVM算法原因，提出软间隔线性分类法。概括SVM分别在一对一和一对多分类问题中应用。基于SVM在一对多问题中的不足，提出SVM 的改进版本DAG SVM。 Abstract：This article begins with a linear classification problem, Gradually discuss formation of SVM, and their derivation. Description the concept of kernel function, and the core position in SVM algorithm. Describes the reasons for the introduction of slack variables, and propose soft-margin linear classification. Summary the application of SVM in one-to-one and one-to-many linear classification. Based on SVM shortage in one-to-many problems, an improved version which called DAG SVM was put forward. 关键字：SVM、线性分类、核函数、松弛变量、DAG SVM 1. SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 对于SVM的基本特点，小样本，并不是样本的绝对数量少，而是与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。非线性，是指SVM擅长处理样本数据线性不可分的情况，主要通过松弛变量和核函数实现，是SVM 的精髓。高维模式识别是指样本维数很高，通过SVM建立的分类器却很简洁，只包含落在边界上的支持向量。
URL:https://www.doczj.com/doc/7a3187953.html,/14072.html 特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更强，减少过拟合 2.增强对特征和特征值之间的理解 拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。 在许多机器学习的书里，很难找到关于特征选择的内容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。 1 去掉取值变化小的特征 Removing features with low variance 这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。 2 单变量特征选择 Univariate feature selection
特征选择方法综述 控制与决策 2012.2 ●问题的提出 ●特征选择框架 ●基于搜索策略划分特征选择方法 ●基于评价准则划分特征选择方法 ●结论 一、问题的提出 特征选择是从一组特征中挑选出一些最有效的特征以降低特征空间维数的过程，是模式识别的关键问题之一。对于模式识别系统，一个好的学习样本是训练分类器的关键，样本中是否含有不相关或冗余信息直接影响着分类器的性能。因此研究有效的特征选择方法至关重要。 特征选择算法的目的在于选择全体特征的一个较少特征集合，用以对原始数据进行有效表达按照特征关系度量划分，可分为依赖基尼指数、欧氏距离、信息熵。 二、特征选择框架 由于子集搜索是一个比较费时的步骤，一些学者基于相关和冗余分析，给出了下面一种特征选择框架，避免了子集搜索，可以高效快速地寻找最优子集。 从特征选择的基本框架看出，特征选择方法中有4个基本步骤：候选特征子集的生成（搜索策略）、评价准则、停止准则和验证方法。目前对特征选择方法的研究主要集中于搜索策略和评价准则。因而，本文从搜索策略和评价准则两个角度对特征选择方法进行分类。
三、基于搜索策略划分特征选择方法 基本的搜索策略按照特征子集的形成过程，形成的特征选择方法如下： 图3基于搜索策略划分特征选择方法 其中，全局搜索如分支定界法，存在问题： 1）很难确定优化特征子集的数目； 2）满足单调性的可分性判据难以设计； 3）处理高维多类问题时，算法的时间复杂度较高。 随机搜索法如模拟退火、遗传算法、禁忌搜索算法等，存在问题： 1）具有较高的不确定性，只有当总循环次数较大时，才可能找到较好的结果。 2）在随机搜索策略中，可能需对一些参数进行设置，参数选择的合适与否对最终结果的好坏起着很大的作用。 启发式搜索如SFS、SBS、SFFS、SFBS等，存在问题： 1）虽然效率高，但是它以牺牲全局最优为代价。 每种搜索策略都有各自的优缺点，在实际应用过程中，根据具体环境和准则函数来寻找一个最佳的平衡点。例如，特征数较少，可采用全局最优搜索策略；若不要求全局最优，但要求计算速度快，可采用启发式策略；若需要高性能的子集，而不介意计算时间，则可采用随机搜索策略。 四、基于评价准则划分特征选择方法
特征选择和集成学习是当前机器学习中的两大研究热点,其研究成果己被广泛地应用于提高单个学习器的泛化能力。 特征选择是指从原始特征集中选择使某种评估标准最优的特征子集。其目的是根据一些准则选出最小的特征子集,使得任务如分类、回归等达到和特征选择前近似甚至更好的效果。通过特征选择,一些和任务无关或者冗余的特征被删除,简化的数据集常常会得到更精确的模型,也更容易理解。 滤波式(filter)方法的特征评估标准直接由数据集求得，而无需学习算法进行反馈，其优点是运行效率高，因此非常适用于集成学习.假设用于集成的特征选择算法有k种,,抽取产生m 个子训练集，在每个训练集上利用其中一种特征选择算法选出满足条件的属性作为个体svm训练的输入空间，并训练得到m个svm个体，然后对其他的特征选择算法重复执行上述过程，最后将得到的k*m 个子svm的预测结果集成. 特征选择是从一组数量为D 的原始特征中选出数量为d(D>d)的一组最优特征采用遗传退火算法进行特征选择.随机生成长度为 D 的二进制串个体其中1 的个数为d 。连续产生这样的个体M 个M 为种群规模其大小影响着遗传算法的最终结果及其执行效率M。 特征选择的目的是找出分类能力最强的特征组合需要一个定量准则来度量特征组合的分类能力。度量特征选择算法优劣的判据很多各样本之所以能分开是因为它们位于特征空间的不同区域如果类间
距离越大类内各样本间的距离越小则分类效果越好。 各种新搜索算法和评估标准都应用到特征选择算法中。如粗糙集算法,神经网络剪枝法,支持向量机的评估标准,特征集的模糊嫡评价,马尔可夫算法等
入侵检测系统的数据含有大量的冗余与噪音特征,使得系统耗用的计算资源很大,导致系统训练时间长,实时性差,检测效果不好,引入特征选择算法能够去除高维数据中无用和冗余的信息,保留对分类效果起关键作用的信息,在不影响分类效果的同时减少数据量,降低了数据存储复杂度,减轻系统负荷,提高入侵检测系统的检测速度,增强入侵检测系统的健壮性。 入侵检测问题从机器学习的角度看实际上是一个分类问题,分类器的性能不仅与分类器设计算法有关,而且与选择的特征子集有关。一个高度相关的特征子集可有效改进分类器的性能,因而特征选择(属性约简)具有重要的理论意义和应用价值。 集成学习(Ensemble Learning)是通过将一组学习器以某种方式组合在一起可以显著提高学习系统的泛化能力（有监督的分类器集成和半监督的分类器集成）。 神经网络集成可以显著地提高神经网络系统的泛化能力,被视为
支持向量机训练算法的实验比较 姬水旺,姬旺田 (陕西移动通信有限责任公司,陕西西安710082) 摘 要:S VM是基于统计学习理论的结构风险最小化原则的,它将最大分界面分类器思想和基于核的方法结合在一起,表现出了很好的泛化能力。并对目前的三种主流算法S VM light,Bsvm与SvmFu在人脸检测、M NIST和USPS手写数字识别等应用中进行了系统比较。 关键词:统计学习理论;支持向量机;训练算法 中图法分类号:TP30116 文献标识码:A 文章编号:100123695(2004)1120018203 Experimental C omparison of Support Vector Machine Training Alg orithms J I Shui2wang,J I Wang2tian (Shanxi Mobile Communication Co.,LTD,Xi’an Shanxi710082,China) Abstract:Support vector learning alg orithm is based on structural risk minimization principle.It combines tw o remarkable ideas:maxi2 mum margin classifiers and im plicit feature spaces defined by kernel function.Presents a com prehensive com paris on of three mainstream learning alg orithms:S VM light,Bsvm,and SvmFu using face detection,M NIST,and USPS hand2written digit recognition applications. K ey w ords:S tatistical Learning T heory;Support Vector Machine;T raining Alg orithms 1 引言 支持向量机(Support Vector Machine)是贝尔实验室研究人员V.Vapnik等人[30]在对统计学习理论三十多年的研究基础之上发展起来的一种全新的机器学习算法,也是统计学习理论第一次对实际应用产生重大影响。S VM是基于统计学习理论的结构风险最小化原则的,它将最大分界面分类器思想和基于核的方法结合在一起,表现出了很好的泛化能力。由于S VM 方法有统计学习理论作为其坚实的数学基础,并且可以很好地克服维数灾难和过拟合等传统算法所不可规避的问题,所以受到了越来越多的研究人员的关注。近年来,关于S VM方法的研究,包括算法本身的改进和算法的实际应用,都陆续提了出来。但是,到目前为止,还没有看到有关支持向量算法总体评价和系统比较的工作,大多数研究人员只是用特定的训练和测试数据对自己的算法进行评价。由于支持向量机的参数与特定的问题以及特定的训练数据有很大的关系,要对它们进行统一的理论分析还非常困难,本文试从实验的角度对目前具有代表性的算法和训练数据进行比较,希望这些比较所得出的经验结论能对今后的研究和应用工作有指导意义。本文所用的比较算法主要有S VM light[14],Bsvm[12]和SvmFu[25],它们分别由美国C ornell University的Thorsten Joachims教授,National T aiwan U2 niversity的Chih2Jen Lin教授和美国麻省理工学院Ryan Rifkin博士编写的,在实验的过程中,笔者对算法进行了修改。由于这些算法有很大的相似之处,而且训练支持向量机是一个凸函数的优化过程,存在全局唯一的最优解,训练得到的模型不依赖于具体的算法实现,因此,本文在实验过程中不对具体的算法做不必要的区别。实验所采用的训练和测试数据也是目前非常有代表性的,它们大部分由国内外研究人员提供。 2 比较所用数据简介 本文所用的人脸检测数据是从美国麻省理工学院生物和计算学习中心[31](Center for Biological and C omputational Lear2 ning)得到的,这些数据是C BC L研究人员在波士顿和剑桥等地收集的,每个训练样本是一个由19×19=361个像素组成的图像,我们用一个361维的向量来代表每一个图像,每一个分量代表对应的像素值。用于训练的样本共有6977个,其中有2429个是人脸,其余4548个是非人脸;在测试样本集中共有24045个样本,包含472个人脸和23573个非人脸。这是一个两类分类问题。图1是训练样本中部分人脸的图像。 图1 人脸检测数据中部分人脸的图像 M NIST手写数字识别数据是由美国AT&T的Y ann LeCun 博士收集的[32],每个样本是0～9中的一个数字,用28×28= 784维的向量表示。在训练集中有60000个样本,测试集中有10000个样本。图2是训练样本中前100个样本的图像。 USPS手写识别数据是由美国麻省理工学院和贝尔实验室的研究人员共同从U.S.P ostal Service收集的[33],每个样本是0～9中的一个数字,用16×16=256维的向量中的各个分量表示所对应像素的灰度值。训练集中共有7291个样本,测试集中有2007个样本。图3是训练集中部分样本的图像。 ? 8 1 ?计算机应用研究2004年 收稿日期:2003206220;修返日期:2003211212
1决策树（Decision Trees）的优缺点 决策树的优点： 一、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 二、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 三、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 四、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。 五、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 六、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 七、可以对有许多属性的数据集构造决策树。 八、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。 决策树的缺点： 一、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。 二、决策树处理缺失数据时的困难。 三、过度拟合问题的出现。 四、忽略数据集中属性之间的相关性。 2 人工神经网络的优缺点 人工神经网络的优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。人工神经网络的缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。 3 遗传算法的优缺点 遗传算法的优点： 一、与问题领域无关切快速随机的搜索能力。 二、搜索从群体出发，具有潜在的并行性，可以进行多个个体的同时比较，鲁棒性好。 三、搜索使用评价函数启发，过程简单。 四、使用概率机制进行迭代，具有随机性。 五、具有可扩展性，容易与其他算法结合。 遗传算法的缺点： 一、遗传算法的编程实现比较复杂,首先需要对问题进行编码,找到最优解之后还需要对问题进行解码, 二、另外三个算子的实现也有许多参数,如交叉率和变异率,并且这些参数的选择严重影响解的品质,而目前这些参数的选择大部分是依靠经验.没有能够及时利用网络的反馈信息,故算法的搜索速度比较慢，要得要较精确的解需要较多的训练时间。 三、算法对初始种群的选择有一定的依赖性，能够结合一些启发算法进行改进。 4 KNN算法(K-Nearest Neighbour) 的优缺点
支持向量机算法介绍 众所周知，统计模式识别、线性或非线性回归以及人工神经网络等方法是数据挖掘的有效工具，已随着计算机硬件和软件技术的发展得到了广泛的应用。 但多年来我们也受制于一个难题：传统的模式识别或人工神经网络方法都要求有较多的训练样本，而许多实际课题中已知样本较少。对于小样本集，训练结果最好的模型不一定是预报能力最好的模型。因此，如何从小样本集出发，得到预报（推广）能力较好的模型，遂成为模式识别研究领域内的一个难点，即所谓“小样本难题”。支持向量机（support vector machine ，简称SVM ）算法已得到国际数据挖掘学术界的重视，并在语音识别、文字识别、药物设计、组合化学、时间序列预测等研究领域得到成功应用。 1、线性可分情形 SVM 算法是从线性可分情况下的最优分类面（Optimal Hyperplane ）提出的。所谓最优分类面就是要求分类面不但能将两类样本点无错误地分开，而且要使两类的分类空隙最大。 设线性可分样本集为),(i i y x ，d R x n i ∈=,,,1 ，}1,1{-+∈y ，d 维空间中线性判别函数的一般形式为 ()b x w x g T +=， 分类面方程是 0=+b x w T ， 我们将判别函数进行归一化，使两类所有样本都满足()1≥x g ，此时离分类面最近的 样本的 ()1=x g ，而要求分类面对所有样本都能正确分类，就是要求它满足 n i b x w y i T i ,,2,1,01)( =≥-+。 （4）
式（4）中使等号成立的那些样本叫做支持向量（Support Vectors ）。两类样本的分类空隙（Margin ）的间隔大小： Margin =w /2(5) 因此，最优分类面问题可以表示成如下的约束优化问题，即在条件（4）的约束下，求函数 ())(2 1221w w w w T == φ(6) 的最小值。为此，可以定义如下的Lagrange 函数： ]1)([21),,(1 -+-=∑=b x w y a w w a b w L i T i n i i T (7) 其中，0≥i a 为Lagrange 系数，我们的问题是对w 和b 求Lagrange 函数的最小值。把式（7）分别对w 、b 、i a 求偏微分并令它们等于0，得： i i n i i x y a w w L ∑==?=??10 001 =?=??∑=i n i i y a b L 0]1)([0=-+?=??b x w y a a L i T i i i 以上三式加上原约束条件可以把原问题转化为如下凸二次规划的对偶问题： () ???? ? ???? ==≥∑∑∑∑====-0,,1,0.m a x 1111 21i n i i i j T i j i j n i n j i n i i y a n i a t s x x y y a a a (8) 这是一个不等式约束下二次函数机制问题，存在唯一最优解。若*i a 为最优解，则 ∑== n i i i i x y a w 1* * (9) *i a 不为零的样本即为支持向量，因此，最优分类面的权系数向量是支持向量的线性组合。