基于支持向量机的网络流量建模及预测
摘要:流量建模与预测对于大规模网络的规划设计和网络资源管理等方面都具有积极的意义，是网络流量工程重要组成部分。本文结合网络流量的时间序列特性,提出一种基于支持向量机的网络流
量预测算法, 并针对由于支持向量机采用先验知识选择参数会导致不同数据对先验知识适应程度不同，给出了一个动态调整优化参数策略。实验仿真结果表明,该算法具有很好的预测精度和适用性。
关键词: 支持向量机; 网络流量; 回归预测Abstract: network traffic model and prediction is significant for design of network and resource management, and it is an important part of traffic engineering. In this paper, a method of traffic prediction based on support vector machine is presented with characteristic of time series of network traffic, and strategy of dynamic optimizing parameter is given because of the defect of parameter selection based on prior knowledge. The experiment simulation result s show that this method is of high precision and applicability.
Key words:SVR; network flowing; prediction
0 引言
由于互联网业务量急剧增长, 网络性能和网络安全方面的问题非常突出。通过对网络流量的测量与预测,可以了解网络之间的流量情况及趋势,从而更有效地进行网络优化,更好地进行路由设计和负
载均衡的设计，并且可以发现潜在的攻击和入侵行为,实现网络入侵检测。针对网络流量的预测的研究, 最初主要有基于AR、ARIMA 的线性预测模型[1], 算法较简单, 但其自适应性较差。随着智能算法的不断发展,其良好的非线性映射能力、灵活有效的学习方式在预测领域的应用中表现出较大的优势和
潜力，如BP神经网络、径向基函数神经网络等,已应用于网络流量、金融、水文等多种预测领域[2]。但是，神经网络是一种依赖经验的启发式技术,其学习过程采用经验风险最小化原则( ERM) ,在小样本情况下,容易出现过学习现象从而导致泛化能力低下;另外,神经网络算法的复杂性受网络结构复杂性和样本复杂性的影响较大。这些不足,使得神经网络在预测中的应用效果不如期望的那样好。
支持向量机( support vector machines ,SVM) [3]是一种新型的机器学习方法,它具有完备的理论基础和出色的学习性能,其突出特点是根据结构风险最小化原则(SRM) 进行学习,可以从本质上提高学习机的泛化能力,不存在局部最小问题,并且运用核函数巧妙地解决了维数问题。为此，本文提出了一种基于支持向量机的网络流量预测模型, 由于支持向量机采用先验知识选择参数,会导致不同数据对先验知识适应程度不同[4]，本文给出了一个动态调整优化参数策略。基于改进支持向量机的网络流量模型, 计算速度快, 实时性好, 相对于传统的线性流量模型具有更高的逼近能力和良好的自适应性。
1 支持向量机预测算法原理
预测问题实质上属于回归问题,即通过函数估计方法建立输入变量与输出变量的关系模型,并根据模型进行未来输出值的预测。利用支持向量机进行函数估计算法思想在于，首先选择一非线性映射把样本向量从原空间映射到高维特征空间,在此高维特征空间构造最优决策函数;利用结构最小化原则,同时引入了损失函数,并巧妙的利用原空间的核函数取代了高维特征空间的点积运算,避免了复杂计算。算法原理如下:
假定训练数据集记为{}l i i i y
x
1
)
,
(
=
，
i
x为第i
个输入，
i
y为对应的期望输出，且)
(
i
i
x
f
y=，l
i≤
≤
1，)
(x
f为待估计的未知函数。首先用非
线性映射T
N
x
x
x
x))
(
,
),
(
),
(
(
)
(
2
1
φ
φ
φ
φ
=把输入数据从原空间映射到N 维特征空间,在高维空间实现线性回归,即被估计函数)
(x
f有如下形式：
b
x
w
x
f
N
m
m
m
+
=∑
=1
)
(
)
(φ（1）
其中)
,
,
(
1N
w
w
w
=是线性权值向量；b为偏置。这样,在高维空间的线性回归对应着低维空间的非线性回归,定义损失函数:
?
?
?
-
-
<
-
=
otherwise
y
x
f
y
x
f
for
f
y
x
L
|
)
(
|
|
)
(
|
)
,
,
(
ε
εε
（2） 需要求解的非线性回归问题就是最小化目标函数:
∑=+l
i i i f y x L C w 1
2
),,(||||21ε （3）
式中：ε和C 分别为两个由用户决定的自由参数，
C 是函数回归模型的复杂度和样本拟合精度之间
的折衷, 值越大, 拟合程度越高，ε是回归允许的最大误差,控制支持向量的个数和泛化能力,其值越大,支持向量越少。
引入非负的松弛变量i ξ，得到等价的原问题：
2
1
1min ||||2..()10,1,l
i
i i i i J w C s t y f x i l ξξξ=?=+???
-≥-??≥=???
∑ （4） 相应的对偶问题为：
????
??????
?
=≤≤-=-
-=∑∑∑∑∑=====
,,1, 0 s.t.),(21
||)(max 1111
1l i C C x x K y Q i l i i l i j i l
j j i l
i i l i i i αααααεαα （5） 其中i α为Lagrange 乘子。K 为满足Mercer 条件的核函数。常用的核函数有:多项式核函数、Sigmoid 核函数、高斯径向基函数核函数。通过(5)式求得以i α和偏置b ，则测试样本x 对应的输出按下式进行预测：
1
()(,)l
i i i f x K x x b α==+∑ （6）
2 基于改进支持向量机的网络流预测
根据支持向量机的建模思想,传统的支持向量机预测算法在数据预处理部分对嵌入维数、核函数和SVM 参数的选择由先验知识确定,由于不同的
数据集对先验知识的适应性不同,针对以往算法流程的不足之处,提出基于改进支持向量机的网络流量预测方法。
首先，对原始时间序列数据预处理,生成数据集并分组。假定现在相同时间间隔下的时间序列数据为
{}1N
i i X X ==先对其进行归一化数据预处理
min()
max()min()
i i X X Y X X -=
-，设
11(,,,)i i i i m x Y Y Y ++-= ，i i m y Y +=构成的
{}1(,)l i i i x y =就是由{}1N
i i Y Y ==生成的数据集，
也可以叫做样本点集合，其中m 称为嵌入维数，l=N-m ,，采用G-P 算法[5]确定最小嵌入维数m 。
得到数据集之后,选择径向基函数(RBF)作为核函数,包含宽度参数δ、C,由于基于先验知识选择参数,会导致不同数据对先验知识适应程度不同。为此,本文采用动态调整优化参数,即用先验知识固定第1 个参数,用列举法确定第2个参数,然后再固定已优化了的参数来确定第1个参数,最后将优化后的第2 个参数在各自邻域内验证其最优性。
在选定核函数和SVM 参数后,输入样本集求得Lagrange 乘子i α ( i = 1 ,2，…, l) 和偏置b ,从而
确定预测函数
1
()(,)l
i i i f x K x x b α==+∑, K 为
径向基函数; x 是待预测的向量数据。为求得i α和b ，在此，我们修改式(4 ) , 以误差平方和( sum squared error, SSE ) 作为第二项损失函数[6] ,则原始问题变为:
22
11min ||||2..()0,1,l
i i i i i J w C s t y f x i l ξξξ=?=+???
=+??≥=???
∑ （7）
由此得Lagrange 函数为
2
21
1
1||||2 (())
l i i l
i i i i i L w C w x b y ξαφξ===+-
++-∑∑
（8）
由0L
w ?=?，得1
()l i i i i w y x αφ==∑ （9） 由0L
b ?=?，得1
0l
i i α==∑ （10） 由
0i
L
ξ?=?，得i i C αξ= （11）
由
0i
L
α?=?，得()0i i i w x b y φξ++-= （12）
消去式(9) ～ (12)中的w 和i ξ,得到关于b 和i α的线性方程组,可以求出b 和i α的解。
根据生成的预测函数
()f x 进行预测,并进行
预测误差评价分析。为了对预测效果进行评价，引入了以下衡量指标，其中X k 为序列实际观测值，
k X 为X
k
的预测值，显然这两项指标越小，表明
预测效果越准确。
均方根误差（RMSE ）：
RMSE =
相对均方根误差（RRMSE ）：
RMSE =如果误差较大则重新调整参数,再次进行预测。 3 网络流量预测实例仿真
网络流量的统计一般采用两种方法:在线数据包过滤统计方法和基于SNMP MIB 采集的方法。在路由器、交换机等一般网络设备的MIB 库中,包含设备的网络端口信息，文中采用SNMP 采集网络设备MIB 采集的流量数据。流量样本数据采自Brandeis 大学校园网的中心路由器于2008年3月14日24小时内的监测的流量数据(流量数据可以从https://www.doczj.com/doc/1c4656223.html,/html/contrib/LBL-TCP-3.htm l 上获得)，按5分钟的时间尺度对该流量序列做聚集操作，获得了用于建模的流量序列，记为TSb ，长度为250。
核函数选择径向基函数，动态调整法选取参数后,流量预测结果如图1所示,预测RMSE 为2.5136，
RRMSE 为0.021。各项误差指标对比如表1所列,在参数优化后, RMSE 和RRMSE 都减少了,表明参数优化后的效果优于优化前。
5
10
15
20
25
30
35
40
45
50
图1 网络流量预测结果
表1 参数优化RMSE 和RRMSE 比较4 结论
网络流量工程对于大规模网络的规划设计、网络资源管理以及实现网络入侵检测等方面都具有积极的意义，而流量建模与预测是网络流量工程的重要组成部分。传统的流量时间序列模型只适合于分析平稳过程及特殊的非平稳过程,难以刻画大规模网络的复杂流量行为。文中采用支持向量机回归方法进行网络流量预测，首先对观测序列进行归一化预处理,根据训练样本动态调整参数后,再进行预测。从实际预测结果来看,该方法具有较好的预测效
果。
参考文献
[1] Kantz H. 非线性时间序列分析[ M] . 北京: 清华大学出版社,2000.
[2] Chen Bor - Sen ,Peng Sen - Chueh ,Wang Ku - Chen. Traffic Modeling , Prediction , and Congestion Control for High -Speed Networks :A Fuzzy AR Approach[J] . IEEE Transaction on Fuzzy Systems ,2000 ,8(5)
[3] Vapnik V N. Statistical Learning Theory [M] . New York Wiley ,1998.
[4] 刘胜,李妍妍. 自适应GA-SVM 参数选择算法研究[J] . 哈尔滨工程大学学报. 2007 ,28(4)
[5] 魏海坤. 神经网络结构设计的理论与方法[M] . 国防工业出版社,2005
[6] Wang H F, Hu D J. Comparison of SVM and
LS2SVM for Regression [C]. Neural Networks and Brain, ICNN&B'05 International Conference, 2005, 1.
支持向量机分类器 1 支持向量机的提出与发展 支持向量机( SVM, support vector machine )是数据挖掘中的一项新技术，是借助于最优化方法来解决机器学习问题的新工具，最初由V.Vapnik 等人在1995年首先提出，近几年来在其理论研究和算法实现等方面都取得了很大的进展，开始成为克服“维数灾难”和过学习等困难的强有力的手段，它的理论基础和实现途径的基本框架都已形成。 根据Vapnik & Chervonenkis的统计学习理论 ,如果数据服从某个(固定但未知的)分布,要使机器的实际输出与理想输出之间的偏差尽可能小,则机器应当遵循结构风险最小化 ( SRM,structural risk minimization)原则,而不是经验风险最小化原则,通俗地说就是应当使错误概率的上界最小化。SVM正是这一理论的具体实现。与传统的人工神经网络相比, 它不仅结构简单,而且泛化( generalization)能力明显提高。 2 问题描述 2.1问题引入 假设有分布在Rd空间中的数据，我们希望能够在该空间上找出一个超平面(Hyper-pan),将这一数据分成两类。属于这一类的数据均在超平面的同侧，而属于另一类的数据均在超平面的另一侧。如下图。 比较上图，我们可以发现左图所找出的超平面（虚线），其两平行且与两类数据相切的超平面（实线）之间的距离较近，而右图则具有较大的间隔。而由于我们希望可以找出将两类数据分得较开的超平面，因此右图所找出的是比较好的超平面。 可以将问题简述如下： 设训练的样本输入为xi，i=1，…，l，对应的期望输出为yi∈{+1，-1}，其中+1和-1分别代表两类的类别标识，假定分类面方程为ω﹒x+b=0。为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足以下约束条件： 它追求的不仅仅是得到一个能将两类样本分开的分类面，而是要得到一个最优的分类面。 2.2 问题的数学抽象 将上述问题抽象为： 根据给定的训练集
实验2分类预测模型——支持向量机SVM 一、 实验目的 1. 了解和掌握支持向量机的基本原理。 2. 熟悉一些基本的建模仿真软件（比如SPSS 、Matlab 等）的操作和使用。 3. 通过仿真实验，进一步理解和掌握支持向量机的运行机制，以及其运用的场景，特别是 在分类和预测中的应用。 二、 实验环境 PC 机一台，SPSS 、Matlab 等软件平台。 三、 理论分析 1. SVM 的基本思想 支持向量机（Support Vector Machine, SVM ），是Vapnik 等人根据统计学习理论中结构风险最小化原则提出的。SVM 能够尽量提高学习机的推广能力，即使由有限数据集得到的判别函数，其对独立的测试集仍能够得到较小的误差。此外，支持向量机是一个凸二次优化问题，能够保证找到的极值解就是全局最优解。这希尔特点使支持向量机成为一种优秀的基于机器学习的算法。 SVM 是从线性可分情况下的最优分类面发展而来的，其基本思想可用图1所示的二维情况说明。 图1最优分类面示意图 图1中，空心点和实心点代表两类数据样本，H 为分类线，H1、H2分别为过各类中离分类线最近的数据样本且平行于分类线的直线，他们之间的距离叫做分类间隔（margin ）。所谓最优分类线，就是要求分类线不但能将两类正确分开，使训练错误率为0，而且还要使分类间隔最大。前者保证分类风险最小；后者（即：分类间隔最大）使推广性的界中的置信范围最小，从而时真实风险最小。推广到高维空间，最优分类线就成为了最优分类面。 2. 核函数 ω
支持向量机的成功源于两项关键技术：利用SVM 原则设计具有最大间隔的最优分类面；在高维特征空间中设计前述的最有分类面，利用核函数的技巧得到输入空间中的非线性学习算法。其中，第二项技术就是核函数方法，就是当前一个非常活跃的研究领域。核函数方法就是用非线性变换 Φ 将n 维矢量空间中的随机矢量x 映射到高维特征空间，在高维特征空间中设计线性学习算法，若其中各坐标分量间相互作用仅限于内积，则不需要非线性变换 Φ 的具体形式，只要用满足Mercer 条件的核函数替换线性算法中的内积，就能得到原输入空间中对应的非线性算法。 常用的满足Mercer 条件的核函数有多项式函数、径向基函数和Sigmoid 函数等，选用不同的核函数可构造不同的支持向量机。在实践中，核的选择并未导致结果准确率的很大差别。 3. SVM 的两个重要应用：分类与回归 分类和回归是实际应用中比较重要的两类方法。SVM 分类的思想来源于统计学习理论，其基本思想是构造一个超平面作为分类判别平面，使两类数据样本之间的间隔最大。SVM 分类问题可细分为线性可分、近似线性可分及非线性可分三种情况。SVM 训练和分类过程如图2所示。 图2 SVM 训练和分类过程 SVM 回归问题与分类问题有些相似，给定的数据样本集合为 x i ,y i ,…, x n ,y n 。其中， x i x i ∈R,i =1,2,3…n 。与分类问题不同，这里的 y i 可取任意实数。回归问题就是给定一个新的输入样本x ，根据给定的数据样本推断他所对应的输出y 是多少。如图3-1所示，“×”表示给定数据集中的样本点，回归所要寻找的函数 f x 所对应的曲线。同分类器算法的思路一样，回归算法需要定义一个损失函数，该函数可以忽略真实值某个上下范围内的误差，这种类型的函数也就是 ε 不敏感损失函数。变量ξ度量了训练点上误差的代价，在 ε 不敏感区内误差为0。损失函数的解以函数最小化为特征，使用 ε 不敏感损失函数就有这个优势，以确保全局最小解的存在和可靠泛化界的优化。图3-2显示了具有ε 不敏感带的回归函数。 o x y 图3-1 回归问题几何示意图 o x y 图3-2 回归函数的不敏感地
支持向量机数据分类预测 一、题目——意大利葡萄酒种类识别 Wine数据来源为UCI数据库，记录同一区域三种品种葡萄酒的化学成分，数据有178个样本，每个样本含有13个特征分量。50%做为训练集，50%做为测试集。 二、模型建立 模型的建立首先需要从原始数据里把训练集和测试集提取出来，然后进行一定的预处理，必要时进行特征提取，之后用训练集对SVM进行训练，再用得到的模型来预测试集的分类。 三、Matlab实现 3.1 选定训练集和测试集 在178个样本集中，将每个类分成两组，重新组合数据，一部分作为训练集，一部分作为测试集。 % 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量 load chapter12_wine.mat; % 选定训练集和测试集 % 将第一类的1-30,第二类的60-95,第三类的131-153做为训练集 train_wine = [wine(1:30,:);wine(60:95,:);wine(131:153,:)]; % 相应的训练集的标签也要分离出来 train_wine_labels = [wine_labels(1:30);wine_labels(60:95);wine_labels(131:153)]; % 将第一类的31-59,第二类的96-130,第三类的154-178做为测试集 test_wine = [wine(31:59,:);wine(96:130,:);wine(154:178,:)]; % 相应的测试集的标签也要分离出来 test_wine_labels = [wine_labels(31:59);wine_labels(96:130);wine_labels(154:178)]; 3.2数据预处理 对数据进行归一化： %% 数据预处理 % 数据预处理,将训练集和测试集归一化到[0,1]区间 [mtrain,ntrain] = size(train_wine); [mtest,ntest] = size(test_wine); dataset = [train_wine;test_wine]; % mapminmax为MATLAB自带的归一化函数 [dataset_scale,ps] = mapminmax(dataset',0,1); dataset_scale = dataset_scale';
支持向量机 支持向量机模型选择研究 摘要:统计学习理论为系统地研究有限样本情况下的机器学习问题提供了一套 比较完整的理论体系。支持向量机 (suPportvectorMachine,SVM)是在该理论体系下产生的一种新的机器学习方法,它能较好地解决小样本、非线性、维数灾难和局部极小等问题,具有很强的泛化能力。支持向量机目前已经广泛地应用于模式识别、回归估计、概率密度估计等各个领域。不仅如此,支持向量机的出现推动了基于核的学习方法(Kernel-based Learning Methods) 的迅速发展,该方法使得研究人员能够高效地分析非线性关系,而这种高效率原先只有线性算法才能得到。目前,以支持向量机为主要代表的核方法是机器学习领域研究的焦点课题之一。 众所周知,支持向量机的性能主要取决于两个因素:(1)核函数的选择;(2)惩罚 系数(正则化参数)C的选择。对于具体的问题,如何确定SVM中的核函数与惩罚系 数就是所谓的模型选择问题。模型选择,尤其是核函数的选择是支持向量机研究的中心内容之一。本文针对模型选择问题,特别是核函数的选择问题进行了较为深入的研究。其中主要的内容如下: 1.系统地归纳总结了统计学习理论、核函数特征空间和支持向量机的有关理论与算法。 2.研究了SVM参数的基本语义,指出数据集中的不同特征和不同样本对分类结 果的影响可以分别由核参数和惩罚系数来刻画,从而样木重要性和特征重要性的考察可以归结到SVM的模型选择问题来研究。在
对样本加权SVM模型(例如模糊SVM)分析的基础上,运用了特征加权SVM模型,即FWSVM,本质上就是SVM与特征加权的结合。 3,在系统归纳总结SVM模型选择。尤其是核函数参数选择的常用方法(例如交叉验证技术、最小化LOO误差及其上界、优化核评估标准)。关键词:机器学习;模式分类;支持向量机;模型选择;核函数;核函数评估 支持向量机基础 引言 机器学习的科学基础之一是统计学。传统统计学所研究的是渐近理论,即当样本数目趋于无穷大时的极限特性。基于传统统计学的机器学习,也称为统计模式识别,由Duda等人提出。Duda的贡献主要是以经典统计理论为工具刻画了模式识别与机器学习的各类任务,同时暗示了对所建模型的评价方法。然而,在实际应用中,学习样本的数目往往是有限的,特别当问题处于高维空问时尤其如此。统计学习理论研究的是有限样本情况下的机器学习问题,它基于PAC(Probably Approximately Correct)框架给出关于学习算法泛化性能的界,从而可以得出误差精度和样木数目之间的关系。这样,样木集合成为泛化指标的随机变量,由此建立了结构风险理论。 Minsky和PaPert在20世纪60年代明确指出线性学习机计算能力有限。总体上,现实世界复杂的应用需要比线性函数更富有表达能力的假设空间"多层感知器可以作为这个问题的一个解,由此导向了 多层神经网络的反向传播算法。核函数表示方式提供了另一条解决途径,即将数据映射到高维空间来增强线性学习机的计算能力。核函数的引入最终使得在适当的特征空间中使用人们熟知的线性算法高效地检测非线性关系成为一可能。SVM是建立在统计学习理论(包括核函数的表示理论)基础上的第一个学习算法,目前主要应用于求解监督学习问题,即分类和回归问题。SVM以泛化能力为目标,其目的不是
百度文库- 让每个人平等地提升自我 支持向量机实验模型的研究与设计 用户手册 1．简介 本模型是基于SVM（即支持向量机）的机器学习模型，能够将线性可分的和非线性可分的两种情况下的两类数据集进行分类，并对分类结果进行分析。用户可以选择装载已有的数据进行分类，也可以手动创建两类数据集进行分类。用户根据要分类的数据集，从两个训练算法中选择适当的训练算法，并且从三个核函数中选择适当的核函数对数据集进行分类。 2．系统要求 操作系统方面：Windows 98，Windows NT，Windows ME，Windows 2000， Windows XP及Windows 2003系统； 应用软件方面：必须安装MATLAB 或以上版本 3．使用说明 （1）首先运行或者文件，进入模型主界面，如下图： 用户在进入实验前必须先按“设置路径”按钮设置路径，然后就可以通过“进入支持向量机模型”按钮进入模型。
百度文库- 让每个人平等地提升自我（2）进入支持向量机机器学习模型后，界面如下图：用户可以通过各个按钮对模型进行操作 （3）装载或创建数据 a．通过“装载数据”按钮装载数据，用户选择数据所在的文件 b．通过“创建数据”按钮创建数据
百度文库- 让每个人平等地提升自我 可以创建线性可分数据集如下： 可以创建非线性可分数据集如下： C．装载数据或创建数据后的界面上显示数据点，如下图：
百度文库- 让每个人平等地提升自我 （4）通过“训练SVM”按钮对数据集进行分类 在此仅介绍了对线性可分数据集分类的情况，对其他的数据集，操作也跟如下类似。在数据集线性可分情况下，使用不同算法的分类结果： 选择SMO训练算法和Linear核函数的分类结果： （5）通过“重新设置”按钮，重新选择SMO训练算法和Polynomial核函数的分类结果
第三十一章 支持向量机 支持向量机是数据挖掘中的一项新技术，是借助于最优化方法来解决机器学习问 题的新工具，最初由 V.Vapnik 等人提出，近几年来在其理论研究和算法实现等方面都 取得了很大的进展，开始成为克服“维数灾难”和过学习等困难的强有力的手段，它的 理论基础和实现途径的基本框架都已形成。 §1 支持向量分类机的基本原理 根据给定的训练集 l T = {(x 1,y 1 ), (x 2 ,y 2 ),L ,(x l ,y l )}∈ ( X ? Y ) ， 其中 x ∈ X = R n ， X 称为输入空间，输入空间中的每一个点 x 由 n 个属性特征组成， i i n y i ∈Y = {-1,1},i = 1,L ,l 。寻找 R 上的一个实值函数 g (x ) ，以便用分类函数 f (x ) = sgn( g (x )), 推断任意一个模式 x 相对应的 y 值的问题为分类问题。 1.1 线性可分支持向量分类机 考虑训练集 T ，若 ?ω ∈ R n ， b ∈ R 和正数 ε ，使得对所有使 y = 1 的下标 i 有 i (ω ? x i ) + b ≥ ε（这里 (ω ? x i ) 表示向量 ω 和 x i 的内积），而对所有使 y i = -1 的下标 i 有 (ω ? x i ) + b ≤ -ε ，则称训练集 T 线性可分，称相应的分类问题是线性可分的。 记两 类样本集分别为 M = {x i | y i = 1, x i ∈T }， M = {x i | y i = -1, x i ∈T }。定义 M + 的凸包 conv(M + ) 为 + - ? N + N + ? conv(M + ) = ?x = ∑λ x | ∑ λ λ ≥ 0, j = 1,L , N + ; x ∈ M + ←, = 1, j j j j j ? ↑ j =1 j =1 M - 的凸包 conv(M - ) 为 ? N - N - ? conv(M - ) = ?x = ∑λ x | ∑λ λ ≥ 0, j = 1,L , N - ; x ∈ M - ←. = 1, j j j j j ? ↑ j =1 j =1 其中 N + 表示 + 1 类样本集中样本点的个数， N - 表示 - 1类样本集中样本点的个数，定 理 1 给出了训练集 T 线性可分与两类样本集凸包之间的关系。 定理 1 训练集 T 线性可分的充要条件是， T 的两类样本集 M + 和 M - 的凸包相 离。如下图所示 图 1 训练集 T 线性可分时两类样本点集的凸包 证明：①必要性 -762-
第卷第期农业水土工程研究进展课程论文V ol. Supp. . 2015年11月Paper of agricultural water and soil engineering progress subject Nov.2015 1 支持向量机（SVM）在作物需水预测中的应用研究综述 （1.中国农业大学水利与土木工程学院，北京，100083） 摘要：水资源的合理配置对于社会经济的发展具有重要意义。而在农业水资源的优化配置中常常需要提供精确的作物需水信息才能接下来进行水量的优化配置。支持向量机是基于统计学习理论的新型机器学习方法，因为其出色的学习性能，已经成为当前机器学习界的研究热点。但是目前对支持向量机的研究与应用大多集中在分类这一功能上，而在农业水资源配置中的应用又大多集中于预测径流量，本文系统介绍了支持向量机的理论与一些应用，并对支持向量机在作物需水预测的应用进行了展望。 关键词：作物需水预测；统计学习理论；支持向量机； 中图分类号：S16 文献标志码：A 文章编号： 0引言 作物的需水预测是农业水资源优化配置的前提和基础之一。但目前在解决数学模型中需要输入有预期的预测精度的数据时还是会遇到困难。例如，当大量的用水者的用水需求作为优化模型的输入时，预测精度太低时优化结果可能会出现偏差。此外，不确定性也存在于水的需求中，水需求受到一些影响因子和系统组成的影响（即人类活动，社会发展，可持续性要求以及政策法规），这不仅在不确定性因子间相互作用过程中使得问题更为复杂，也使得决策者在进行水资源分配过程中的风险增加。所以，准确的预测对水资源的需求对制定有效的水资源系统相关规划很重要。而提高需水量预测精度一直是国内外学术界研究难点和热点。 支持向量机(Support V ector Machine，SVM)是根据统计学理论提出的一种新的通用学习方法，该方法采用结构风险最小化准则(Structural Risk Minimization Principle)，求解二次型寻优问题，从理论上寻求全局最优解，较好地兼顾了神经网络和灰色模型的优点[1][2]，克服了人工神经网络结构依赖设计者经验的缺点，具有对未来样本的较好的泛化性能，较好解决了高维数、局部极小等问题[3]。目前，SVM已成功的应用于分类、函数逼近和时间序列预测等方面，并在水科学领域中取得了一些成果，Liong[4]已将SVM应用于水文预报，周秀平等[5]已将SVM应用于径流预测，王景雷等[6]亦已将SVM应用于地下水位预报。而需水预测问题本身也可以看作是一种对需水量及其影响因子间的复杂的非线性函数关系的逼近问题，但将SVM应用于作物需水预测的研究尚处于起步阶段。本文简要介绍支持向量机并对其研究进展进行综述，最后对未来使用支持向量机预测作物需水量进行展望。 收稿日期：修订日期：1支持向量机 1.1支持向量机国内外研究现状 自 1970 年以来，V apnik[1，2]等人发展了一种新的学习机——支持向量机。与现有的学习机包括神经网络，模糊学习机，遗传算法，人工智能等相比，它具有许多的优点：坚实的理论基础和较好的推广能力、强大的非线性处理能力和高维处理能力。因此这种学习方法有着出色的学习性能，并在许多领域已得到成功应用，如人脸检测、手写体数字识别、文本自动分类、非线性回归建模与预测、优化控制数据压缩及时间序列预测等。 1998年，Alex J. Smola[7]系统地介绍了支持向量机回归问题的基本概念和求解算法。Drucher[8]将支持向量机回归模型同基于特征空间的回归树和岭回归的集成回归技术bagging做了比较；Alessandro verri[9]将支持向量机回归模型同支持向量机分类模型和禁忌搜索（basic pursuit denoising）作了比较，并且给出了贝叶斯解释。通过分析得出了如下结论：支持向量机回归模型由于不依赖于输入空间的维数，所以在高维中显示出了其优越性。为了简化支持向量机，降低其复杂性，已有了一些研究成果。比如，Burges[10]提出根据给定的支持向量机生成缩减的样本集，从而在给定的精度下简化支持向量机，但生成缩减样本集的过程也是一个优化过程，计算比较复杂；1998年Scholkopf[11]等人在目标函数中增加了参数v以控制支持向量的数目，称为v-SVR，证明了参数v与支持向量数目及误差之间的关系，但支持向量数目的减少是以增大误差为代价的。Suykens等人[12]1999年提出的最小二乘支持向量机(LS-SVM)算法具有很高的学习效率，对大规模数据可采用共轭梯度法求解；田盛丰[13]等人提出了LS-SVM与序贯最优化算法（SMO）的混合算法。 1.2支持向量机在水资源领域研究现状
3．支持向量机（回归） 3.1.1 支持向量机 支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。它将输入样本集合变换到高维空间使得其分离性状况得到改善。它的结构酷似三层感知器，是构造分类规则的通用方法。SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。 所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代 替在特征空间中内积(),())x y φφ（的计算。因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。由于内积运算量相当大，核技巧就是为了降低计算量而生的。 特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间 n R 上的二元函数，设H 中的规范正交基为12(),(),...,(), ...n x x x φφφ。如果 2 2 1 (,)((),()), {}k k k k k K x y a x y a l φφ∞ == ∈∑ ， 那么取1 ()() k k k x a x φφ∞ ==∑ 即为所求的非线性嵌入映射。由于核函数(,)K x y 的定义 域是原来的输入空间，而不是高维的特征空间。因此，巧妙地避开了计算高维内 积 (),())x y φφ（所需付出的计算代价。实际计算中，我们只要选定一个(,)K x y ，
文章编号:100228743(2004)0320075204 用于分类的支持向量机 黄发良,钟 智Ξ (1.广西师范大学计算机系,广西桂林541000; 2.广西师范学院数学与计算机科学系,广西南宁530001) 摘 要:支持向量机是20世纪90年代中期发展起来的机器学习技术,建立在结构风险最小化原理之上的支持向量机以其独有的优点吸引着广大研究者,该文着重于用于分类的支持向量机,对其基本原理与主要的训练算法进行介绍,并对其用途作了一定的探索. 关键词:支持向量机;机器学习;分类 中图分类号:TP181 文献标识码:A 支持向量机S VM (Support Vector Machine )是AT&T Bell 实验室的V.Vapnik 提出的针对分类和回归问题的统计学习理论.由于S VM 方法具有许多引人注目的优点和有前途的实验性能,越来越受重视,该技术已成为机器学习研究领域中的热点,并取得很理想的效果,如人脸识别、手写体数字识别和网页分类等. S VM 的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界. 1 基本原理 支持向量机理论最初来源于数据分类问题的处理,S VM 就是要寻找一个满足要求的分割平面,使训练集中的点距离该平面尽可能地远,即寻求一个分割平面使其两侧的margin 尽可能最大. 设输入模式集合{x i }∈R n 由两类点组成,如果x i 属于第1类,则y i =1,如果x i 属于第2类,则y i =-1,那么有训练样本集合{x i ,y i },i =1,2,3,…,n ,支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来,通常分为两类情况来讨论,(1)线性可分,(2)线性不可分. 1.1 线性可分情况 在线性可分的情况下,就会存在一个超平面使得训练样本完全分开,该超平面可描述为: w ?x +b =0(1) 其中,“?”是点积,w 是n 维向量,b 为偏移量. 最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面.最优超平面可以通过解下面的二次优化问题来获得: min <(w )= 12‖w ‖2(2) Ξ收稿日期:2004202206作者简介:黄发良(1975-),男,湖南永州人,硕士研究生;研究方向:数据挖掘、web 信息检索. 2004年9月 广西师范学院学报(自然科学版)Sep.2004 第21卷第3期 Journal of G u angxi T eachers Education U niversity(N atural Science Edition) V ol.21N o.3
２００７，４３（５）ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 １问题的提出 航空公司在客舱服务部逐步实行“费用包干”政策，即：综合各方面的因素，总公司每年给客舱服务部一定额度的经费，由客舱服务部提供客舱服务，而客舱服务产生的所有费用，由客舱服务部在“费用包干额度”中自行支配。新的政策既给客舱服务部的管理带来了机遇，同时也带来了很大的挑战。通过“费用包干”政策的实施，公司希望能够充分调用客舱服务部的积极性和主动性，进一步改进管理手段，促进新的现代化管理机制的形成。 为了进行合理的分配，必须首先搞清楚部门的各项成本、成本构成、成本之间的相互关系。本文首先对成本组成进行分析，然后用回归模型和支持向量机预测模型对未来的成本进行预测［１－３］，并对预测结果的评价和选取情况进行了分析。 ２问题的分析 由于客舱服务部的特殊性，“费用包干”政策的一项重要内容就集中在小时费的重新分配问题上，因为作为客舱乘务员的主要组成部分—— —“老合同”员工的基本工资、年龄工资以及一些补贴都有相应的政策对应，属于相对固定的部分，至少目前还不是调整的最好时机。乘务员的小时费收入则是根据各自的飞行小时来确定的变动收入，是当前可以灵活调整的部分。实际上，对于绝大多数员工来说，小时费是其主要的收入部分，因此，用于反映乘务人员劳动强度的小时费就必然地成为改革的重要部分。 现在知道飞行小时和客万公里可能和未来的成本支出有关系，在当前的数据库中有以往的飞行小时（月）数据以及客万公里数据，并且同时知道各月的支出成本，现在希望预测在知道未来计划飞行小时和市场部门希望达到的客万公里的情况下的成本支出。 根据我们对问题的了解，可以先建立这个部门的成本层次模型，搞清楚部门的各项成本、成本构成、成本之间的相互关系。这样，可以对部门成本支出建立一个层次模型：人力资源成本、单独预算成本、管理成本，这三个部分又可以分别继续分层 次细分，如图１所示。 基于支持向量机回归模型的海量数据预测 郭水霞１，王一夫１，陈安２ ＧＵＯＳｈｕｉ－ｘｉａ１，ＷＡＮＧＹｉ－ｆｕ１，ＣＨＥＮＡｎ２ １．湖南师范大学数学与计算机科学学院，长沙４１００８１ ２．中国科学院科技政策与管理科学研究所，北京１０００８０ １．ＣｏｌｌｅｇｅｏｆＭａｔｈ．ａｎｄＣｏｍｐｕｔｅｒ，ＨｕｎａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ４１００８１，Ｃｈｉｎａ ２．ＩｎｓｔｉｔｕｔｅｏｆＰｏｌｉｃｙａｎｄＭａｎａｇｅｍｅｎｔ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００８０，Ｃｈｉｎａ Ｅ－ｍａｉｌ：ｇｕｏｓｈｕｉｘｉａ＠ｓｉｎａ．ｃｏｍ ＧＵＯＳｈｕｉ－ｘｉａ，ＷＡＮＧＹｉ－ｆｕ，ＣＨＥＮＡｎ．Ｐｒｅｄｉｃｔｉｏｎｏｎｈｕｇｅｄａｔａｂａｓｅｏｎｔｈｅｒｅｇｒｅｓｓｉｏｎｍｏｄｅｌｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３（５）：１２－１４． Ａｂｓｔｒａｃｔ：Ａｓａｎｉｍｐｏｒｔａｎｔｍｅｔｈｏｄａｎｄｔｅｃｈｎｉｑｕｅ，ｐｒｅｄｉｃｔｉｏｎｈａｓｂｅｅｎｗｉｄｅｌｙａｐｐｌｉｅｄｉｎｍａｎｙａｒｅａｓ．Ｗｉｔｈｔｈｅｉｎｃｒｅａｓｉｎｇａｍｏｕｎｔｏｆｄａｔａ，ｐｒｅｄｉｃｔｉｏｎｆｒｏｍｈｕｇｅｄａｔａｂａｓｅｂｅｃｏｍｅｓｍｏｒｅａｎｄｍｏｒｅｉｍｐｏｒｔａｎｔ．Ｂａｓｅｄｏｎｔｈｅｂａｓｉｃｐｒｉｎｃｉｐｌｅｏｆｖｅｃｔｏｒｍａｃｈｉｎｅａｎｄｉｍ－ｐｌｅｍｅｎｔａｒｉｔｈｍｅｔｉｃ，ａｐｒｅｄｉｃｔｉｏｎｓｙｓｔｅｍｉｎｆｒａｓｔｒｕｃｔｕｒｅｏｎａｎａｉｒｃｏｍｐａｎｙｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｌａｓｔｌｙ，ｔｈｅｒｕｌｅｓｏｆｅｖａｌｕａｔｉｏｎａｎｄｓｅｌｅｃｔｉｏｎｏｆｔｈｅｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｓａｒｅｄｉｓｃｕｓｓｅｄ． Ｋｅｙｗｏｒｄｓ：ｐｒｅｄｉｃｔｉｏｎ；ｄａｔａｍｉｎｉｎｇ；ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ；ｒｅｇｒｅｓｓｉｏｎｍｏｄｅｌ 摘要：预测是很多行业都需要的一项方法和技术，随着数据积累的越来越多，基于海量数据的预测越来越重要，在介绍支持向量机基本原理和实现算法的基础上，给出了航空服务成本预测模型，最后对预测结果的评价和选取情况进行了分析。 关键词：预测；数据挖掘；支持向量机；回归模型 文章编号：１００２－８３３１（２００７）０５－００１２－０３文献标识码：Ａ中图分类号：ＴＰ１８ 基金项目：国家自然科学基金（ｔｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａｕｎｄｅｒＧｒａｎｔＮｏ．１０５７１０５１）；湖南省教育厅资助科研课题（ｔｈｅＲｅｓｅａｒｃｈＰｒｏｊｅｃｔｏｆＤｅｐａｒｔｍｅｎｔｏｆＥｄｕｃａｔｉｏｎｏｆＨｕｎａｎＰｒｏｖｉｎｃｅ，ＣｈｉｎａｕｎｄｅｒＧｒａｎｔＮｏ．０６Ｃ５２３）。 作者简介：郭水霞（１９７５－），女，博士生，讲师，主要研究领域为统计分析；王一夫（１９７１－），男，博士生，副教授，主要研究领域为计算机应用技术，软件工程技术；陈安（１９７０－），男，副研究员，主要研究领域为数据挖掘与决策分析。 １２
基于支持向量机的分类方法 摘要：本文首先概述了支持向量机的相关理论，引出了支持向量机的基本模型。当训练集的两类样本点集重合区域很大时，线性支持向量分类机就不适用了，由此介绍了核函数相关概念。然后进行了核函数的实验仿真，并将支持向量机应用于实例肿瘤诊断，建立了相应的支持向量机模型，从而对测试集进行分类。最后提出了一种支持向量机的改进算法，即根据类向心度对复杂的训练样本进行预删减。 1、支持向量机 给定训练样本集1122{[,],[,], ,[,]}()l l l T a y a y a y Y =∈Ω?L ，其中n i a R ∈Ω=，Ω是输入空间，每一个点i a 由n 个属性特征组成，{1,1},1,,i y Y i l ∈=-=L 。分类 就是在基于训练集在样本空间中找到一个划分超平面，将不同的类别分开，划分超平面可通过线性方程来描述： 0T a b ω+= 其中12(;;;)d ωωωω=K 是法向量，决定了超平面的方向，b 是位移项，决定 了超平面与原点之间的距离。样本空间中任意点到超平面的距离为|| |||| T a b r ωω+=。 支持向量、间隔： 假设超平面能将训练样本正确分类，即对于[,]i i a y T ∈，若1i y =+，则有 0T i a b ω+>，若1i y =-，则有0T i a b ω+<。则有距离超平面最近的几个训练样本点使得 11 11 T i i T i i a b y a b y ωω?+≥+=+?+≤-=-? 中的等号成立，这几个训练样本点被称为支持向量；两个异类支持向量到超平面 的距离之和2 |||| r ω=被称为间隔。 支持向量机基本模型： 找到具有最大间隔的划分超平面，即 ,2max ||||..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这等价于 2 ,||||min 2..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这就是支持向量机（SVM ）的基本模型。 支持向量机问题的特点是目标函数2 ||||2 ω是ω的凸函数，并且约束条件都是 线性的。
Modeler 支持向量机模型评估银行客户信用 本文要介绍的预测分析模型是“支持向量机模型”，我们将为大家简要介绍支持向量机模型的理论，然后结合IBM SPSS Modeler 产品详细讲述如何利用支持向量机模型来解决客户的具体商业问题—银行如何评估客户信用 银行典型案例 商业银行个人信用评估就是根据个人信息和借贷记录等历史数据，判断个人信用，它是保证信贷安全的重要一环。但是商业银行用于信用评估的数据往往具有特性不稳定，历史样本容量较小，指标较多，呈明显的非正态分布。这些特点导致很难利用一般的统计技术进行有效的评估。支持向量机模型( 简称SVM) 能够很好的处理此类数据，进行有效的信用评估。本文介绍了SVM 的基本概念以及Modeler 中使用SVM 进行信用评估的基本步骤和方法，并对结果进行分析和应用 支持向量机模型简介 支持向量机(Support Vector Machine, 简称SVM) 是一项功能强大的分类和回归技术，可最大化模型的预测准确度。与其他常用模型不同，SVM 一个优势就是能很好的处理小样本，高维数，非正态的数据。 SVM 的工作原理是将原始数据通过变换映射到高维特征空间，这样即使数据不是线性可分，也可以对该数据点进行分类。之后，使用变换后的新数据的进行预测分类。例如，图 1 中的数据点落到了两个不同的类别中，可以用一条曲线分隔这两个类别。对数据使用某种数学函数变换后，可以用超平面定义这两个类别之间的边界。 图 1. 数据变换后线性可分示意图
用于变换的数学函数称为核函数。IBM SPSS Modeler 中的SVM 支持下列核函数类型： ?线性 ?多项式 ?径向基函数(RBF) ?Sigmoid 如果数据的线性分隔比较简单，则建议使用线性核函数。在其他情况下，应当使用其他核函数。在所有情况下，最好尝试使用不同的核函数，才能从中找出最佳模型，因为每一个函数均使用不同的算法和参数。 回页首 使用IBM SPSS Modeler 支持向量机模型评估客户信用 IBM SPSS Modeler 中的SVM 提供了可视化的操作方法，具有界面友好，操作方便的特点。此节，介绍如何使用IBM SPSS Modeler SVM 评估客户信用。操作步骤分为： ?创建基本流（Modeler Stream），建立模型；
随机森林与支持向量机分类性能比较 黄衍，查伟雄 （华东交通大学交通运输与经济研究所，南昌 330013） 摘要：随机森林是一种性能优越的分类器。为了使国内学者更深入地了解其性能，通过将其与已在国内得到广泛应用的支持向量机进行数据实验比较，客观地展示其分类性能。实验选取了20个UCI数据集，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行，得到的结论可为研究者选择和使用分类器提供有价值的参考。 关键词：随机森林；支持向量机；分类 中图分类号：O235 文献标识码： A Comparison on Classification Performance between Random Forests and Support Vector Machine HUANG Yan, ZHA Weixiong (Institute of Transportation and Economics, East China Jiaotong University, Nanchang 330013, China)【Abstract】Random Forests is an excellent classifier. In order to make Chinese scholars fully understand its performance, this paper compared it with Support Vector Machine widely used in China by means of data experiments to objectively show its classification performance. The experiments, using 20 UCI data sets, were carried out from three main aspects: generalization, noise robustness and imbalanced data classification. Experimental results can provide references for classifiers’ choice and use. 【Key words】Random Forests; Support Vector Machine; classification 0 引言 分类是数据挖掘领域研究的主要问题之一，分类器作为解决问题的工具一直是研究的热点。常用的分类器有决策树、逻辑回归、贝叶斯、神经网络等，这些分类器都有各自的性能特点。本文研究的随机森林[1]（Random Forests，RF）是由Breiman提出的一种基于CART 决策树的组合分类器。其优越的性能使其在国外的生物、医学、经济、管理等众多领域到了广泛的应用，而国内对其的研究和应用还比较少[2]。为了使国内学者对该方法有一个更深入的了解，本文将其与分类性能优越的支持向量机[3]（Support Vector Machine，SVM）进行数据实验比较，客观地展示其分类性能。本文选取了UCI机器学习数据库[4]的20个数据集作为实验数据，通过大量的数据实验，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行比较，为研究者选择和使用分类器提供有价值的参考。 1 分类器介绍 1.1 随机森林 随机森林作为一种组合分类器，其算法由以下三步实现： 1. 采用bootstrap抽样技术从原始数据集中抽取n tree个训练集，每个训练集的大小约为原始数据集的三分之二。 2. 为每一个bootstrap训练集分别建立分类回归树（Classification and Regression Tree，CART），共产生n tree棵决策树构成一片“森林”，这些决策树均不进行剪枝（unpruned）。在作者简介：黄衍（1986-），男，硕士研究生，主要研究方向：数据挖掘与统计分析。 通信联系人：查伟雄，男，博士，教授，主要研究方向：交通运输与经济统计分析。 E-mail: huangyan189@https://www.doczj.com/doc/1c4656223.html,.
支持向量机SVM分类算法 SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。 机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即所谓的推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂的分类函数（它的VC维很高），能够精确的记住每一个样本，但对样本之外的数据一律分类错误。回头看看经验风险最小化原则我们就会发现，此原则适用的大前提是经验风险要确实能够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于现实世界要分类的文本数来说简直九牛
实验四-支持向量机
实验四：支持向量机 班级姓名学号指导老师 一．实验目的 1.了解基有关支持向量机的基本原理 2.能够使用支持向量机的代码解决分类与回归问题 3.了解图像分类的基本原理 二、实验的硬件、软件平台 硬件：计算机 软件：操作系统win10 应用软件：Java 三、实验原理 四、1. LIBSVM 使用方法简介 五、LibSVM是以源代码和可执行文件两种方式给出的。如果是Windows系列操作系统，可以直接使用软件包提供的程序，也可以进行修改编译；如果是Unix类系统，必须自己编译。 六、LIBSVM 在给出源代码的同时还提供了Windows操作系统下的可执行文件，包括：进行支持向量机训练的svmtrain.exe；根据已获得的支持向量机模型对数据集进行预测的svmpredict.exe；以及对训练数据与测试数据进行简单缩放操作的svmscale.exe。它们都可以直接在DOS 环境中使用。如果下载的包中只有C++的源代码，则也可以自己在VC等软件上编译生成可执行文件。七、 八、2. LIBSVM 使用的一般步骤是： 九、1）按照LIBSVM软件包所要求的格式准备数据集； 十、2）对数据进行简单的缩放操作； 十一、3）考虑选用RBF 核函数； 十二、4）采用交叉验证选择最佳参数C与g ； 十三、5）采用最佳参数C与g 对整个训练集进行训练获取支持向量机模型； 十四、6）利用获取的模型进行测试与预测。 十五、 十六、3. LIBSVM使用的数据格式 十七、1）训练数据和检验数据文件格式如下： 十八、