下载文档原格式
支持向量机(Support Vector Machine，SVM)概述支持向量机(Support Vector Machine，SVM)是基于统计学习理论发展起来的新一代机器学习算法，由Vapnik于1992年介绍进入机器学习领域，之后受到广泛关注。
支持向量机理论处理的是两类分类问题，对于多类分类问题，通过多个二分类模型组合构成。
SVM的基本原理是将样本映射到高维空间，然后在高维空间中构建线性分类器，寻找使分类间隔最大的最优超平面，这个特点在保证分类器在具有较好的泛化能力的同时解决了维数灾难问题。
SVM的目标是在有限样本信息下寻求学习精度和学习能力的最优解，该问题最终转化成为一个二次型寻优问题，从理论上来看，将得到全局最优解，解决了神经网络中无法避免的局部极值问题。
由于SVM具有以上多个优点，使得该算法在众多领域获得较好应用，包括图像分类，生物信息学，病虫害识别等。
下面将具体介绍SVM的原理和求解过程。
（1）线性可分的情况给定一些样本数据，分别属于两个不同的类，标记为：{x i,y i},x i∈R dy i∈{1,−1},i=1,2,…,n。
由于这些样本数据是线性可分的，因此，存在一个超平面H：w T∙x+b=0，可以把这两类数据正确分开。
同时存在两个平行于H的超平面H1：w T∙x+b=1和H2：w T∙x+b=−1，使得距离超平面H最近的样本分别位于H1和H2之上，这些样本称为支持向量。
而剩余其他样本都将位于H1和H2之外，即满足式（1）或式（2）的约束条件。
w T∙x i+b≥1 y i=1(1)w T∙x i+b≤−1 y i=−1(2)在两类分类问题中，由于表示分类标记的y i只有1和-1两个值，因此可将式（1）和式（2）合并得到式（3）y i(w T∙x i+b)−1≥0(3)由两个平行平面之间的距离公式可得超平面H1和H2之间的间隔为f(w)=2(4)‖w‖SVM的目标就是寻找在满足式（3）约束的同时能够把样本准确分开，并且使H1和H2的距离最大的超平面H 。
支持向量机概述（一）支持向量机简介支持向量机（Support V ec tor Mac hine ）是Cortes 和V apn ik 于1995年首先提出的，它在解决小样本、非线性及高维模式识别中有许多特有的优势，并能推广应用到函数拟合等其他机器学习问题中[1]。
支持向量机方法是建立在统计学习理论的VC 维和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力[2]。
1.1 VC 维定义1.1(N(F,m Z ))：设F 是一个假设集，即由在n R X 上取值为-1或1的若干函数组成的集合。
记m Z = },...,,{21m x x x 为X 中的ｍ个点组成的集合。
考虑当f 取遍F 中的所有可能的假设时产生的m 维向量(f (1x ),f (2x ),…f (m x ))。
定义N(F,m Z ))为上述m 维向量中不同的向量个数。
定义1.2（m Z 被F 打散）：设F 是一个假设集，m Z = },...,,{21m x x x 为X 中的m 个点组成的集合。
称m Z 被F 打散，或F 打散m Z 。
定义 1.3（VC 维）：设假设集F 是一个由X 上取值为-1或1的函数组成的集合。
定义F 的VC 维为m ax{m|N(F,m Z ) = m2}.VC 维反映了函数集的学习能力。
一般而言，VC 维越大，学习机器越复杂。
但目前没有通用的关于任意VC 维计算的理论，只对一些特殊函数集的VC 维可以计算。
如何利用理论和实验的方法计算VC 维是当前统计学习理论中一个待研究的问题[3]。
1.2 结构风险最小化机器学习本质上是一种对问题真实模型的逼近，由于真实世界的模型往往无法精确给出，我们给出的模型与真实模型就存在一个误差，这个与真实模型之间的误差积累就叫做风险。
统计学习理论系统地研究了对于各种类型的函数集，经验风险和实际风险之间的关系，即泛化误差界。
支持向量机简介与基本原理支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，被广泛应用于模式识别、数据分类以及回归分析等领域。
其独特的优势在于可以有效地处理高维数据和非线性问题。
本文将介绍支持向量机的基本原理和应用。
一、支持向量机的基本原理支持向量机的基本思想是通过寻找一个最优超平面，将不同类别的数据点分隔开来。
这个超平面可以是线性的，也可以是非线性的。
在寻找最优超平面的过程中，支持向量机依赖于一些特殊的数据点，称为支持向量。
支持向量是离超平面最近的数据点，它们对于确定超平面的位置和方向起着决定性的作用。
支持向量机的目标是找到一个超平面，使得离它最近的支持向量到该超平面的距离最大化。
这个距离被称为间隔（margin），最大化间隔可以使得分类器更具鲁棒性，对新的未知数据具有更好的泛化能力。
支持向量机的求解过程可以转化为一个凸优化问题，通过求解对偶问题可以得到最优解。
二、支持向量机的核函数在实际应用中，很多问题并不是线性可分的，此时需要使用非线性的超平面进行分类。
为了解决这个问题，支持向量机引入了核函数的概念。
核函数可以将低维的非线性问题映射到高维空间中，使得原本线性不可分的问题变得线性可分。
常用的核函数有线性核函数、多项式核函数、高斯核函数等。
线性核函数适用于线性可分问题，多项式核函数可以处理一些简单的非线性问题，而高斯核函数则适用于复杂的非线性问题。
选择合适的核函数可以提高支持向量机的分类性能。
三、支持向量机的应用支持向量机在实际应用中有着广泛的应用。
在图像识别领域，支持向量机可以用于人脸识别、物体检测等任务。
在生物信息学领域，支持向量机可以用于蛋白质分类、基因识别等任务。
在金融领域，支持向量机可以用于股票市场预测、信用评估等任务。
此外，支持向量机还可以用于文本分类、情感分析、异常检测等领域。
由于其强大的分类性能和泛化能力，支持向量机成为了机器学习领域中的重要算法之一。
3．支持向量机（回归）3.1.1 支持向量机支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。
它将输入样本集合变换到高维空间使得其分离性状况得到改善。
它的结构酷似三层感知器，是构造分类规则的通用方法。
SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。
作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。
所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代替在特征空间中内积(),())x y φφ（的计算。
因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。
由于内积运算量相当大，核技巧就是为了降低计算量而生的。
特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间nR上的二元函数，设H 中的规范正交基为12(),(),...,(),...n x x x φφφ。
如果221(,)((),()),{}k k k k k K x y a x y a lφφ∞==∈∑，那么取1()()k k k x a x φφ∞==∑即为所求的非线性嵌入映射。
由于核函数(,)K x y 的定义域是原来的输入空间，而不是高维的特征空间。
因此，巧妙地避开了计算高维内积(),())x y φφ（所需付出的计算代价。
实际计算中，我们只要选定一个(,)K x y ，并不去重构嵌入映射1()()k k k x a x φφ∞==∑。
所以寻找核函数(,)K x y （对称且非负）就是主要任务了。
满足以上条件的核函数很多，例如● 可以取为d-阶多项式：(,)(1)dK x y x y =+ ，其中y 为固定元素。
支持向量机资料支持向量机1基本情况Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。
其原理也从线性可分说起，然后扩展到线性不可分的情况。
甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机（Support Vector Machine，简称SVM）。
支持向量机的提出有很深的理论背景支持向量机方法是在近年来提出的一种新方法。
SVM的主要思想可以概括为两点：⑴它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；⑵它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。
例子如图：将1维的“线性不可分”上升到2维后就成为线性可分了。
在学习这种方法时，首先要弄清楚这种方法考虑问题的特点，这就要从线性可分的最简单情况讨论起，在没有弄懂其原理之前，不要急于学习线性不可分等较复杂的情况，支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论。
2一般特征⑴SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。
而其他分类方法（如基于规则的分类器和人工神经网络）都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。
⑵SVM通过最大化决策边界的边缘来控制模型的能力。
尽管如此，用户必须提供其他参数，如使用核函数类型和引入松弛变量等。
⑶通过对数据中每个分类属性引入一个哑变量，SVM可以应用于分类数据。
⑷SVM一般只能用在二类问题，对于多类问题效果不好。
3原理简介SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题．简单地说，就是升维和线性化．升维，就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性，甚至会引起“维数灾难”，因而人们很少问津．但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）．一般的升维都会带来计算的复杂化，SVM 方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾难”．这一切要归功于核函数的展开和计算理论．选择不同的核函数，可以生成不同的SVM，常用的核函数有以下4种：⑴线性核函数K(x,y)=x·y；⑵多项式核函数K(x,y)=[(x·y)+1]^d；⑶径向基函数K(x,y)=exp(-|x-y|^2/d^2）⑷二层神经网络核函数K(x,y)=tanh(a(x·y)+b）．最优分类面：最优超平面SVM是从线性可分情况下的最优分类面发展而来的，基本思想可用图2的两维情况说明。
