支持向量回归算法

3．支持向量机（回归）

3.1.1 支持向量机

支持向量机（SVM）是美国Vapnik教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。它将输入样本集合变换到高维空间使得其分离性状况得到改善。它的结构酷似三层感知器，是构造分类规则的通用方法。SVM方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。作为副产品，SVM从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。

所谓核技巧，就是找一个核函数(,)Kxy使其满足(,)((),())Kxyxy，代替在特征空间中内积(),())xy（的计算。因为对于非线性分类，一般是先找一个非线性映射将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。由于内积运算量相当大，核技巧就是为了降低计算量而生的。

特别， 对特征空间H为Hilbert空间的情形，设(,)Kxy是定义在输入空间nR上的二元函数，设H中的规范正交基为12(),(),...,(),...nxxx。如果

221(,)((),()),{}kkkkkKxyaxyal，

那么取1()()kkkxax即为所求的非线性嵌入映射。由于核函数(,)Kxy的定义域是原来的输入空间，而不是高维的特征空间。因此，巧妙地避开了计算高维内积(),())xy（所需付出的计算代价。实际计算中，我们只要选定一个(,)Kxy，并不去重构嵌入映射1()()kkkxax。所以寻找核函数(,)Kxy（对称且非负）就是主要任务了。满足以上条件的核函数很多，例如

 可以取为d-阶多项式：(,)(1)dKxyxy，其中y为固定元素。

 可以取为径向函数：22(,)exp||||/Kxyxy，其中y为固定元素。

支持向量机算法的原理

支持向量机（Support Vector Machine，SVM）是一种广泛应用于分类和回归问题的机器学习算法。它的原理基于统计学习理论中的结构风险最小化原则，通过寻找一个最优的超平面来实现数据的分类。

在SVM中，数据被看作是高维空间中的点，每个点都有一个与之对应的特征向量。这些特征向量的维度取决于特征的数量。SVM的目标是找到一个超平面，使得其能够尽可能地将不同类别的数据点分隔开。

超平面是一个d维空间中的d-1维子空间，其中d为特征向量的维度。在二维空间中，超平面即为一条直线，可以完全将两类数据点分开。在更高维的空间中，超平面可以是一个曲面或者是一个超平面的组合。

为了找到最优的超平面，SVM引入了支持向量的概念。支持向量是离超平面最近的数据点，它们决定了超平面的位置和方向。通过最大化支持向量到超平面的距离，SVM能够找到一个最优的超平面，使得分类误差最小化。

SVM的核心思想是将低维空间中的数据映射到高维空间中，使得原本线性不可分的数据变得线性可分。这一映射是通过核函数实现的。核函数能够计算两个数据点在高维空间中的内积，从而避免了显式地进行高维空间的计算。常用的核函数有线性核、多项式核和高斯核等。

SVM的训练过程可以简化为一个凸优化问题。通过最小化结构风险函数，SVM能够找到一个最优的超平面，使得分类误差最小化。结构风险函数由经验风险项和正则化项组成。经验风险项衡量了分类器在训练集上的错误率，正则化项则防止过拟合。

SVM的优点是具有较好的泛化性能和较强的鲁棒性。由于最大化支持向量到超平面的距离，SVM对异常值不敏感，能够有效地处理噪声数据。此外，SVM还可以通过引入松弛变量来处理非线性可分的问题。

然而，SVM也存在一些限制。首先，SVM对于大规模数据集的训练时间较长，且对内存消耗较大。其次，选择合适的核函数和参数是一个挑战性的问题，不同的核函数和参数可能会导致不同的分类结果。此外，SVM在处理多分类问题时需要进行多个二分类器的组合。

第２５卷第２期　

２００８年２月　计算机应用与软件　

Ｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ　ａｎｄ　Ｓｏｆｔｗａｒｅ　Ｖ０１．２５　Ｎｏ．２　

Ｆｅｂ．２ｏ０８　

支持向量机分类与回归算法的关系研究　

孙德山　

（辽宁师范大学数学学院辽宁大连１　１６０２９）　

摘要　基于统计学习理论的支持向量机算法以其优秀的学习性能已广泛用于解决分类与回归问题。分类算法通过求两类样本　之间的最大间隔来获得最优分离超平面，其几何意义相当直观，而回归算法的几何意义就不那么直观了。另外，有些适用于分类问　题的快速优化算法　不能用于回归算法中。研究了分类与回归算法之间的关系，为快速分类算法应用于回归模型提供了　一定的理　

论依据。　，　

关键词　支持向量机分类　回归　核函数　

ＲＥＳＥＡＲＣＨ　ｏＮ　ＴＨＥ　ＲＥＬＡＴＩｏＮＳＨＩＰ　ＢＥＴＷＥＥＮ　ＳＵＰＰｏＲＴ　

ＶＥＣＴｏＲ　ＭＡＣＨ踟ＣＬＡＳＳＩＦＩＣＡＴＩｏＮ　ＡＮＤ　ＲＥＧＲＥＳＳＩＯＮ　ＡＬＧＯＲＩＴＨＭＳ　

Ｓｕｎ　Ｄｅｓｈａｎ　

（１ｎｓｔｉｔｕｔｅ　ｏｆＭａｔｈｅｍａｔｉｃｓ，Ｌｉａｏｎｉ￣Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓ￣ｙ，Ｄａｌｉａｎ　１１６０２９，ＬｉａＤｎｉｎｇ，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ　Ｓｕｐｐｏ￣ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ　ａｌｇｏｒｉｔｈｍｓ　ｂａｓｅｄ　ｏｎ　ｓｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ　ｈａｖｅ　ｂｅｅｎ　ｗｉｄｅｌｙ　ａｐｐｌｉｅｄ　ｔｏ　ｓｏｌｖｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｎｄ　ｒｅ－　ｇｒｅｓｓｉｏｎ　ｐｒｏｂｌｅｍｓ．Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｌｇｏｒｉｔｈｍｓ　ｇｅｔ　ｔｈｅ　ｏｐｔｉｍａｌ　ｓｅｐａｒａｔｉｎｇ　ｈｙｐｅｒｐｌａｎｅ　ｂｙ　ｔｈｅ　ｍａｘｉｍｕｍ　ｄｉｓｔａｎｃｅ　ｂｅｔｗｅｅｎ　ｔｗｏ　ｓａｍｐｌｅｓ．Ｔｈｅ　ｇｅｏｍｅｔ—　ｒｉｃ　ｍｅａｎｉｎｇ　ｏｆ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｌｇｏｒｉｔｈｍｓ　ｉｓ　ｖｅｒｙ　ｉｎｔｕｉｔｉｖｅ，ｂｕｔ　ｔｈｅ　ｇｅｏｍｅｔｒｉｃ　ｍｅａｎｉｎｇ　ｏｆ　ｒｅｇｒｅｓｓｉｏｎ　ａｌｇｏｒｉｔｈｍｓ　ｉｓ　ｎｏｔ　ｖｅｒｙ　ｉｎｔｕｉｔｉｖｅ：Ａｄｄｉｔｉｏｎａｌｌｙ，　ａ　ｆｅｗ　ｆａｓｔ　ｏｐｔｉｍｉｚａｔｉｏｎ　ａｌｓｏｒｉｔｈｍｓ　ｓｕｉｔａｂｌｅ　ｆｏｒ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｌｇｏｒｉｔｈｍｓ　ｃｏｕｌｄ　ｎｏｔ　ｂｅ　ａｐｐｌｉｅｄ　ｔｏ　ｒｅｇｒｅｓｓｉｏｎ　ｍｏｄｅｌｓ．Ｔｈｅ　ｒｅｌａｔｉｏｎｓｈｉｐ　ｂｅｔｗｅｅｎ　ｃｌａｓ－　ｓｉｆｉｃａｔｉｏｎ　ａｎｄ　ｒｅｇｒｅｓｓｉｏｎ　ａｌｇｏｒｉｔｈｍｓ　ｉｓ　ｓｔｕｄｉｅｄ，ｗｈｉｃｈ　Ｃａｎ　ｐｒｏｖｉｄｅ　ｄｅｆｉｎｉｔｅ　ｔｈｅｏｒｙ　ｆｏｕｎｄａｔｉｏｎ　ｆｏｒ　ｔｈｅ　ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ｆａｓｔ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｌｇｏｒｉｔｈｍｓ　

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用　

一种改进的支持向量回归集成算法　

王芳，杨慧中　

ＷＡＮＧ　Ｆａｎｇ，ＹＡＮＧ　Ｈｕｉ－ｚｈｏｎｇ　

江南大学通信与控制工程学院，江苏无锡２１４１２２　

Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ＆Ｃｏｎｔｒｏｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｏｕｔｈｅｒｎ　Ｙａｎｇｔｚｅ　Ｕｎｉｖｅｒｓｉｔｙ，Ｗｕｘｉ，Ｊｉａｎｇｓｕ　２１４１２２，Ｃｈｉｎａ　Ｅ－ｍａｉｌ：ｗａｎｇｆａｎｇ．１２０２＠１６３．ｃｏｒｎ　

ＷＡＮＧ　Ｆａｎｇ．ＹＡＮＧ　Ｈｍ－ｚｈｏｎｇ．Ｅ—ｉｎｓｅｎｓｉｔｉｖｅ　ｓｕｐｐｏ￣ｖｅｃｔｏｒ　ｒｅｇｒｅｓｓｉｏｎ　ｅｎｓｅｍｂｌｅ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ｉｍｐｒｏｖｅｄ　Ａｄａｂｏｏｓｔ．　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ．２００８．４４（３）：４２—４４．　

Ａｂｓｔｒａｃｔ：Ｉｔ　ｐｒｏｐｏｓｅｄ　ａｎ　８一ｉｎｓｅｎｓｉｔｉｖｅ　ｓｕｐｐｏｆｌ　ｖｅｃｔｏｒ　ｒｅｇｒｅｓｓｉｏｎ　ｅｎｓｅｍｂｌｅ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｉｍｐｒｏｖｅｄ　Ａｄａｂｏｏｓｔ　ｉｎ　ｔｈｉｓ　ｐａ－　

ｐｅｒ．Ｌｅａｒｎｉｎｇ　ｂｙ　ａ　ｓｅｒｉｅｓ　ｏｆ　ｓｕｐｐｏ￣ｖｅｃｔｏｒ　ｒｅｇｒｅｓｓｉｏｎｓ　ａｎｄ　ｃｏｍｂｉｎｉｎｇ　ａｌｌ　ｔｈｅ　ｒｅｓｕｌｔｓ　ｉｎ　ａｃｃｏｒｄａｎｃｅ　ｗｉｔｈ　ｓｏｍｅ　ｒｕｌｅ，ｔｈｅ　ａｌｇｏｒｉｔｈｍ　

ｉｍｐｒｏｖｅｓ　ｉｔｓ　ｒｅｇｒｅｓｓｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ　ｗｅｌ１．Ｍｏｒｅｏｖｅｒ，ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｕｓｅｄ　ｉｎ　ａ　ｓｏｆｔ－ｓｅｎｓｏｒ　ｍｏｄｅｌ　ｆｏｒ　ｔｈｅ　Ｂｉｓｐｈｅｎｏｌ—Ａ　

ｐｒｏｄｕｃｔｉｖｅ　ｐｒｏｃｅｓｓ，ａｎｄ　ｔｈｅ　ｓｉｍｕｌａｔｉｏｎ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈｅ　ｆｅａｓｉｂｉｌｉｔｙ　ａｎｄ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ｏｆ　ｔｈｅ　ａｌｇｏｒｉｔｈｍ．　Ｋｅｙ　ｗｏｒｄｓ：Ｓｕｐｐｏａ　Ｖｅｃｔｏｒ　Ｒｅｇｒｅｓｓｉｏｎ（ＳＶＲ）；Ａｄａｂｏｏｓｔ　ａｌｇｏｒｉｔｈｍ；ｅｎｓｅｍｂｌｅ　ａｌｇｏｒｉｔｈｍ