支持向量机及其在预测中的应用

第２１卷　２００９正　第１期　２月　黑龙江八一农垦大学学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｈｅｉｌｏｎｇｊｉａｎｇ　Ａｕｇｕｓｔ　Ｆｉｒｓｔ　Ｌａｎｄ　Ｒｅｃｌａｍａｔｉｏｎ　Ｕｎｉｖｅｒｓｉｔｙ　２１（１）：９８—９９　Ｆｅｂ．２ｏｏ９　文章编号：１００２—２０９０（２００９）０１—００９８—０２　支持向量机模型在区域经济预测中的应用及评价　袁玉萍。于晓秋，侯丽英　（黑龙江八一农垦大学文理学院，大庆１６３３１９）　摘要：针对支持向量机方法所具有的拟合精度高、推广能力强、全局最优、针对小样本等特点，将支持向量机应用于对区域经　济发展水平的预测中，建立了基于支持向量机的区域经济非线性预测模型。针对黑龙江省进行的经济发展模型预测及检验表　明，该算法具有较高的精度和实用性。　关键词：区域经济；支持向量回归；预测；核方法　中图分类号：Ｆ２２４．０　文献标识码：Ａ　Ｆｏｒｅｃａｓｔｉｎｇ　Ｍｏｄｅｌ　ｏｆ　ＲｅｇＪｉｏｎａｌ　Ｅｃｏｎｏｍｙ　Ｂａｓｅｄ　ｏｎ　ａ　Ｎｅｗ　Ｍｅｔｈｏｄ　ｏｆ　ＳＶＭ　Ｙｕａｎ　Ｙｕｐｉｎｇ，Ｙｕ　Ｘｉａｏｑｉｕ，Ｈｏｕ　Ｌｉｙｉｎｇ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｓｃｉｅｎｃｅ，Ｈｅｉｌｏｎｇｊｉａｎｇ　Ａｕｇｕｓｔ　Ｆｉｍｔ　Ｌａｎｄ　Ｒｅｃｌａｍａｔｉｏｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｄａｑｉｎｇ　１６３３１９）　Ａｂｓｔｒａｃｔ：Ｂａｓｅｄ　Ｏｉｌ　ｐｒｅｖｉｏｕｓ　ｓｔｕｄｉｅｓ，ｔｈｉｓ　ｄｉｓｓｅｒｔａｔｉｏｎ　ａｐｐｌｉｅｄ　ＳＶＭ　ｔｏ　ｒｅｇｉｏｎａｌ　ｅｃｏｎｏｍｉｃ　ｆｏｒｅｃａｓｔｉｎｇ，ｄｕｅ　ｔｏ　ＳＶＭ’Ｓ　ｈｉｇｈ　ｆｉｔｔｉｎｇ　ｐｒｅｃｉｓｉｏｎ，ｐｅｒｆｅｃｔ　ｇｅｎｅｒａｌｉｚａｔｉｏｎ　ａｂｉｌｉｔｙ，ｇｌｏｂａｌ　ｏｐｔｉｍｉｚａｔｉｏｎ　ａｎｄ　ｇｏｏｄ　ｃｏｍｐａｔｉｂｉｌｉｔｙ　ｗｉｔｈ　ｓｍａｌｌ　ｓａｍｐｌｅｓ．Ｅｘｐｅｒｉｍｅｎｔ　ｒｅｓｕｌｔｓ　ｏｎ　ｔｈｅ　ｄａｔａ　ｏｆ　Ｈｅｉｌｏｎｇｊｉａｎｇ　ｐｒｏｖｉｎｃｅ　ｄｅｍｏｎｓｔｒａｔｅ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍ　ｈａｓ　ｇｏｏｄ　ｐｅｒｆｏｒｍａｎｃｅ　ｂｏｔｈ　ｏｎ　ｔｈｅ　ｆｅａｓｉｂｉｌｉｔｙ　ａｎｄ　ｐｒａｃｔｉｃａｂｉｌｉｔｙ．　Ｋｅｙ　ｗｏｒｄｓ：Ｒｅｇｉｏｎａｌ　Ｅｃｏｎｏｍｙ；Ｓｕｐｐｏａ　Ｖｅｃｔｏｒ　Ｒｅｇｒｅｓｓｉｏｎ（ＳＶＲ）；Ｆｏｒｅｃａｓｔｉｎｇ；Ｋｅｒｎｅｌ　Ｍｅｔｈｏｄ　作为一个开放的、动态的复杂系统，区域经济的　发展涉及到经济、政治、社会、自然资源、环境以及科　技等多方面的影响因素，这些因素之间的关系错综　复杂，最终导致反映区域经济发展的各种数据呈现　高度的非线性，加之我国经济数据统计资料有限，使　得传统的预测分析技术难以获得比较满意的结果。　探索区域经济协调与管理的有效途径和科学方法，　实现区域经济的可持续发展，已成为经济领域的一　项重要课题。　支持向量机（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ，ＳＶＭ）是在　２０世纪９０年代由Ｖａｐｉｎｋ等人提出的一种基于统计　学习理论ｆｌＩ的机器学习方法。由于其特有的准确性和　全局解而成为求解分类问题和回归问题的一个非常　有效的工具，被成功地应用到很多方面，例如模式识　别和时问序列预测等。由支持向量机发展而来的核　方法（Ｋｅｒｎｅｌ　Ｍｅｔｈｏｄ，ＫＭ）１２１，实现了数据空间与特征　空间之间的非线性映射，可以有效地将数据空间中　的各种非线性操作演变为特征空问中相应的线性操　作，进而大大地提高了非线性处理能力。作为核方法　的一种，支持向量回归机（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｒｅｇｒｅｓｓｉｏｎ，　ＳＶＲ）在非线性回归中具备非常优秀的性能ｆ　３ｌ。　本文将机器学习的热点之一——支持向量机方　法引人进来，利用它在解决小样本、非线性、高维度　问题的优势，进行区域经济发展预测的建模。首先介　绍了ＳＶＲ的基本理论，并进一步结合ＳＶＲ的特性建　立区域经济发展的短期预测模型，该模型在黑龙江　省的应用中充分说明了将ＳＶＲ应用到区域经济发展　短期预测中理论上可行，预测精度完全可接受。　１支持向量机模型　●　在支持向量回归机中，需要利用核方法，核方法　能够实现数据空问到特征空问的非线性变换，也就　是选择不同的核函数可以满足不同的非线性变换的　要求。设％和　为数据空间的两个样本点，核方法的　收稿日期：２００８—１０—２３　基金来源：黑龙江省教育厅科学技术项目（１１５１１２５９），黑龙江省农垦总局基金项目（ＨＮＫＸＩＶＩＤ一０２３　ｏ　作者简介：袁玉萍（１９７０一），女，讲师，中国农业大学研究生毕业，现主要从事运筹与优化的教学与科研工作。

第２５卷第１期　２００８年１月　科技进　步与对策　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ　Ｐｒｏｇｒｅｓｓ　ａｎｄ　Ｐｏｌｉｃｙ　ＶＯｌ－２５　Ｎｏ．１　Ｊａｎ．２００８　

基于微分进化算法的支持向量机预测模型　

及其在制造业发展预测中的应用　

郭雪松，孙林岩，刘　哲　

（西安交通大学管理学院，陕西西安７１００４９）　

摘　要：根据支持向量机的自适应问题，通过对比传统进化算法的不足，提出基于微分进化算法的支持向　

量机模型，并以日本制造业时间序列数据为例，进行了较为准确的多步预测。　

关键词：支持向量机；微分进化算法；制造业　

中图分类号：Ｆ４０　文献标识码：Ａ　文章编号：１００１—７３４８（２００８）０１—００６３—０４　

１概述　

假定一时间序列　｝，那么时间序列预测就是构造映　

射关系，：尺　—　，Ｘｔ　（　…　，…，　－￣ｒ－－ｍ＋　），其中Ｐ≥ｌ，　

ｍ≥１，Ｔ＞０。为叙述方便，将上述映射关系表示成系统输入　

与系统输出Ｙ　之间的关系，即Ｙｉ＿厂（　），Ｙ　∈Ｒ，托∈Ｒ　。　

Ｔａｋｅｎｓ　Ｆ　定理保证在一定条件下，对于任意时间延迟　与　

某些ｍ≤２Ｄ＋ｌ（系统轨迹落在分形为Ｄ的流型上），存在　

光滑映射厂：尺　尺．而基于机器学习的时间序列预测就是　

通过ｎ个独立同分布的观测样本（　…Ｙ），　１，…，ｎ，在函数　

集Ｓ＝ｉ　，Ｗ），Ｗ∈ｎ｝中寻求一个最优函数ｆ（ｘ，Ｗ。），使得预　

期风险或者实际风险最小化。人工神经网络为逼近这一非　

线性映射关系提供了很好的选择，因为从理论上讲，如果　

给定足够多的神经元，就可以对任意连续函数进行任意精　

度的逼近Ｚ２，３】，但神经网络也存在严重的局限性，比如隐层　

节点数的确定、局部最优，尤其是网络训练以训练误差最　

小化为原则，限制了其泛化能力。　

统计学习理论　以结构风险最小化为原则．在经验风　

险与置信范围两者间进行权衡，最终降低真实风险，等价　

于推广误差最小。因此，支持向量机较传统方法具有小样　

机器学习中的支持向量机原理及应用

机器学习是一门以数据为基础，以预测或决策为目标的学科。支持向量机是机器学习中的一种常见算法，它强调的是模型的泛化能力，独立于任何给定的输入样本集，且泛化误差尽可能小。

1. 支持向量机原理

支持向量机是一种监督学习算法。以二分类问题为例，其原理可以简单用“最大间隔超平面”来描述。对于一个n维的特征空间，我们的目标就是要找到一个超平面，使得这个超平面将两个类别间的样本完全分开，并且对未知数据的分类能力最强。

如何定义“最大间隔”呢？我们首先在超平面两侧分别找到最靠近超平面的两个点，称之为支持向量点；这些支持向量点到超平面的距离和就是所谓的“间隔”。

在寻找最大间隔超平面时，我们的目标就是最大化这个间隔值。同时，由于数据存在噪声、不可分等问题，我们需要一个优化目标，使其能够让分类错误率低。这个目标在支持向量机算法中被形式化为一种“软”约束条件，用惩罚系数调整误差的大小。

2. 支持向量机应用

支持向量机算法在实际应用中具有广泛的应用范围：分类，回归，异常检测等任务都可以使用它来完成。

2.1 分类

在分类任务中，支持向量机常用于二分类问题，在高维数据分析中有很好的表现。举个例子，我们可以使用支持向量机算法来判别肿瘤组织是恶性还是良性。在这种情况下，我们使用一些之前的数据来生成一个分类器，然后根据这个分类器来对新病人进行分类。

2.2 回归

在回归任务中，支持向量机可用于非线性回归和多变量回归等问题。举个例子，我们可以使用支持向量机算法来预测一辆车的油耗量。在这种情况下，我们使用一些之前的数据来生成一个回归器，然后根据这个回归器来对新的车辆进行预测。

2.3 异常检测

异常检测是指在数据中找到异常值或离群点。支持向量机也可以用于这种任务。学习算法在训练数据中学习正常的模式，然后将这些模式应用于测试数据，从而发现异常点。举个例子，我们可以使用支持向量机算法来检测网站服务器的攻击行为。

支持向量机在投资决策中的应用

本文研究了支持向量机在经济上的应用。通过试验取得了很好的结果。说明支持向量机在经济方面的应用有很大的实际意义。

标签： 支持向量机投资决策统计学习理论

企业进行项目投资可选用内部收益率来作决策，决策规则：设置基准贴现率Ic,当内部收益率IRR>=Ic时则方案可行，否则不行。用这种方法来进行决策比较合理，但计算过程很复杂一般需要一次或多次测算。

支持向量机是Vapnik等人根据统计学习理论提出的一种机器学习方法.由于支持向量机(SVM)出色的学习性能,已成为国际上机器学习领域的研究热点.目前在手写体数字识别、文本分类、人脸检测等模式识别问题以及函数逼近、信息融合等领域中获得了应用.但目前在经济领域的应用还只是尝试，本文做了基于支持向量机的银行客户信用评估系统研究，可见SVM在经济上的应用还是很有前途的。我们知道，应用SVM作入侵检测最好的效果是检测正确率达到88%左右，但是如果在投资经济领域的能大到这样的效果就非常好了，因为这本身就是一个不可确定的结果，即便是经验丰富的人做出的决策结果也存在不确定性，能有88%的正确率，说明可能性已经很大了。因此用SVM做投资决策时是具有经济意义的。

一、支持向量机

1.广义最优分类面假设有一线性可分的样本集(xi,yi),i=1,…,n,x∈Rd,y∈{+1,-1},为了将yi=1和yi=-1两类点尽可能正确地区分开,可构造分离超平面x·w+b=0,使得

归一化得yi[(w·xi+b)]-1≥0,i=1,…,ｎ (1c)

{(xi,yi)}到分类超平面的距离可定义为1/‖ｗ‖,若样本集到该超平面的最小距离最大,则为最优分类面。所以要使x·w+b=0为最优,当且仅当(w,b)是下面优化问题的解:

这个二次规划问题有惟一的极小点,可以用Lagrang乘子法把(2)化成其对偶形式:

i=1可以证明解中只有小部分ai不为0,称对应的xi为支持向量。于是最优超平面方程为: (4a)