SVM分类器设计
1.引言
支撑矢量机（SVM）是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。SVM分类器在推广性和经验误差两方面能达到平衡，是目前比较盛行的分类器。
1.1 什么是SVM分类器
所谓支持向量机，顾名思义，分为两个部分了解，一什么是支持向量，简单来说，就是支持或者是支撑平面上把两类类别划分开来的超平面的向量点；二这里的“机”是什么意思。“机（machine,机器）”便是一个算法。在机器学习领域，常把一些算法看做是一个机器，如分类机(当然，也叫做分类器)，而支持向量机本身便是一种监督式学习的方法它广泛的应用于统计分类以及回归分析中。
SVM的主要思想可以概括为两点：⑴它是针对线性可分情况进行分析；(2)对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。
1.2 SVM分类器的优点和缺点
优点：
(1)由于核函数隐含一个复杂映射，经验误差小，因此针对小样本数据利用支持向量能够完成线性或非线性规划问题；推广性和经验误差平衡。
(2)SVM 的最终决策函数只由靠近边界的少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。
(3)少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在:①增、删非支持向量样本对模型没有影响;②支持向量样本集具有一定的鲁棒性; ③有些成功的应用中,SVM 方法对核的选取不敏感
缺点：
(1)在训练分类器时 ,SVM的着眼点在于两类的交界部分 ,那些混杂在另一类中的点往往无助于提高分类器的性能 ,反而会大大增加训练器的计算负担 ,同时它们的存在还可能造成过学习 ,使泛化能力减弱 .为了改善支持向量机的泛化能力。
(2)SVM算法对大规模训练样本难以实施。由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。
(3)用SVM解决多分类问题存在困难。经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。如：与粗集理论结合，形成一种优势互补的多类问题的组合分类器1.3 SVM分类器当前研究热点
(1)针对大样本数据训练难度问题，对SVM算法的改进。例如J.Platt的SMO算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR算法。
(2)如何降低边界混杂点(即所谓统计误差导致的“不干净”点)导致的不必要的训练计算负担，增强泛化能力。这种思路聚焦于样本数据预处理的探索，例如NN-SVM。
(3)分类器设计思想之间的融合以及取长补短。例如[2]采样支撑矢量机和最近邻分类相
结合的方法，在提高支撑矢量机的精度的同时，也较好的解决了核参数的问题。
1.4 本文所解决的问题
本文对所给的二类样本，随机生成等容量的训练样本和测试样本，利用训练样本使用三种核函数生成最优决策超平面，对测试样本进行判决，将测试结果与训练目标进行比较。使用“特异性”和“敏感度”两个指标评估不同核函数的下支撑矢量机的性能。
2.SVM 方法论述
支持向量机中对于非线性可分的情况，可使用一个非线性函数)(x ϕ把数据映射到一个高维特征空间，在高维特征空间建立优化超平面，判决函数变为：
⎥⎦
⎤
⎢⎣⎡+><=∑=n i i i i b x x y Sgn x f 1)(),()(ϕϕα
一般无法知道)(x ϕ的具体表达，也难以知晓样本映射到高维空间后的维数、分布等情况，不能再高维空间求解超平面。由于SVM 理论只考虑高维特征空间的点积运算
>
<)(),(j i x x ϕϕ，而点积运算可由其对应的核函数直接给出，即
=),(j i x x K ><)(),(j i x x ϕϕ，用内积
)
,(j i x x K 代替最优分类面中的点积，就相当于把原
特征空间变换到了某一新的特征空间，得到新的优化函数：
Max: ),(21)(1,1
j l
j i i i j i l
i i x x K y W ∑∑==-=αααα
Subject to C i ≤≤α0，0=∑i i
i y α l i i ,,2,1,0 =≥α
求解上述问题后得到的最优分类函数是：
⎥⎦
⎤
⎢⎣⎡+=∑=n i i i i b x x K y Sgn x f 1),()(α
b 是分类阀值，可以用任一个支持向量求得，或通过两类中任意一对支持向量取中值求得。其中核函数
)
,(x x K i 可以有多种形式，常用的有：
（1）线性核,Linear ：>⋅=d
i i x x x x K )1,(),(+><=，d 是自然数；
（3）径向基核,Radial Basis Fuction(RBF)核
0),gp ex p(),(2
2
>--
=gp x x x x K j i i
（4）sigmoid 核：
d
T i y k x x K )x tanh(),(j δ-=，其中k, δ均是常数
