一种基于DGMF与PSO的多核SVM

ＩＳＳＮ　１００９－３０４４　Ｃｏｍｐｕｔｅｒ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ电脑知识与技术　Ｖｏ１．８，Ｎｏ．１　３，Ｍａｙ　２０１２．　

一种基于ＤＧＭＦ与ＰＳＯ的多核ＳＶＭ　田冬阳　（中国人民银行乌鲁木齐中心支行，新疆乌鲁木齐８３０００２）　

Ｅ—ｍａｉｌ：ｅｄｕｆ＠ＣＣＣＣ．ｎｅｔ．ｃｎ　ｈｔｔｐ：／／ｗｗｗ．ｄｎｚｓ．ｎｅｔ．ｃｎ　Ｔｅｈ＋８６—５５　１—５６９０９６３　５６９０９６４　

摘要：目前常用的支持向量机采用传统的单一高斯核函数，或者传统高斯核函数与多项式核函数的组合，但是存在着分类器泛化推　广能力不强，容易出现数据偏斜等问题。鉴于此，提出了基于ＤＧＭＦ的多核支持向量机、并采用粒子群算法优化其参数。最后构造　了文本倾向性分类实验，实验结果表明改进算法在正确率、准确率、召回率、Ｆ１值上具有更好的性能。　关键词：双高斯合成函数；多核支持向量机；组合核函数；粒子群算法；文本倾向性分类　中图分类号：ＴＰ１８１　文献标识码：Ａ　文章编号：１００９—３０４４（２０１２）１３—３１７１—０８　Ａ　ｋｉｎｄ　ｏｆ　Ｍｕｌｔｉｐｌｅ　Ｋｅｒｎｅｌ　ＳｕｐｐｏＭ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ　Ｂａｓｅｄ　ｏｎ　Ｄｏｕｂｌｅ　Ｇａｕｓｓｉａｎ　Ｋｅｒｎｅｌ　Ｍｉｘｅｄ－ｆｕｎｃｔｉｏｎ　ａｎｄ　Ｐａｒｔｉｃｌｅ　Ｓｗａｒｍ　Ｏｐｔｉ・　ｍｉｚａｔｉｏｎ　．　ＴＩＡＮ　Ｄｏｎｇ—　ｙａｎｇ　（Ｗｕｌｕｍｕｑｉ　Ｃｅｎｔｒａｌ　Ｓｕｂ—ｂｒａｎｃｈ　ｏｆｔｈｅ　Ｐｅｏｐｌｅ　Ｓ　Ｂａｎｋ　ｏｆＣｈｉｎａ，Ｗｕｌｕｍｕｑｉ　８３０００２，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａｔ　ｐｒｅｓｅｎｔ，ｔｈｅ　ｍａｊｏｒｉｔｙ　ｏｆ　ｔｅｘｔ　ｓｅｎｔｉｍｅｎｔ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｌｇｏｒｉｔｈｍｓ　ｂａｓｅｄ　ｏｎ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｕｓｉｎｇ　ａ　ｓｉｎｇｌｅ　ｔｒａｄｉｔｉｏｎａｌ　Ｇａｕｓｓｉａｎ　ｋｅｒｎｅｌ　ｆｕｎｃｔｉｏｎ，ｏｒ　ａ　ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　Ｇａｕｓｓｉａｎ　ｋｅｒｎｅｌ　ｆｕｎｃｔｉｏｎ　ａｎｄ　ｐｏｌｙｎｏｍｉａｌ　ｋｅｒｎｅｌ　ｆｕｎｃｔｉｏｎ．Ｂｕｔ　ｔｈｅｒｅ　ａｒｅ　ｓｏｍｅ　ｐｒｏｂｌｅｍｓ：ｇｅｎ—　ｅｒａｌｉｚａｔｉｏｎ　ａｂｉｌｉｔｉｅｓ　ｏｆ　ｔｈｅｓｅ　ｃｌａｓｓｉｆｉｅｒｓ　ａｒｅ　ｎｏｔ　ｓｔｒｏｎｇ，ｔｈｅ　ｅｆｆｅｃｔｓ　ｏｆ　ｆｉｎｅ－ｔｕｎｅ　ａｒｅ　ｎｏｔ　ｏｂｖｉｏｕｓ．Ｉｎ　ｖｉｅｗ　ｏｆ　ｔｈｉｓ，ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｈａｓ　ｂｅｔｔｅｒ　ｐｅｒｆｏｒｍａｎｃｅｓ　ｂａｓｅｄ　ｏｎ　ｍｕｌｔｉｐｌｅ　ｋｅｒｎｅｌ　ｓｕｐｐｏ￣ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｏｆ　ｄｏｕｂｌｅ　Ｇａｕｓｓｉａｎ　ｋｅｒｎｅｌ　ｍｉｘｅｄ—ｆｕｎｃｔｉｏｎ　ａｎｄ　ｐａｒ—　ｔｉｃｌｅ　ｓｗａｒｎｌ　ｏｐｔｉｍｉｚａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ．　Ｋｅｙ　ｗｏｒｄｓ：ｄｏｕｂｌｅ　ｇａｕｓｓｉａｎ　ｋｅｒｎｅｌ　ｍｉｘｅｄ—ｆｕｎｃｔｉｏｎ；ｍｕｌｔｉｐｌｅ　ｋｅｒｎｅｌ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ；ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　ｎｕｃｌｅａｒ　ｆｕｎｃｔｉｏｎ；ｐａｒｔｉｃｌｅ　ｓｗａｒｎｌ　ｏｐｔｉｍｉｚａｔｉｏｎ；ｔｅｘｔ　ｓｅｎｔｉｍｅｎｔ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　

支持向量机（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａ　ｅｈｉｎｅｓ，ＳＶＭ）是Ｖａｐｎｉｋ等人根据结构风险最小化原则提出来的。在有限样本前提下，能尽量　提高学习机的泛化能力。另外，它还是凸二次优化问题，能够保证找到的极值就是全局最优解。　核函数是ＳＶＭ的核心，目前分类算法大多是以传统高斯核函数为基础，存在文本倾向性数据集在高维空间不平坦的问题　ｆＮｏ—Ｆｌａｔ　Ｐｒｏｂｌｅｍ，ＮＦＰ），即测试点在低维特征空间比较密集，映射到高维空间后却相当稀疏【】】。目前，常将传统高斯核函数与多项式　核函数组合使用，但该方法较为依赖数据集自身的特征，容易出现数据偏斜现象　。　分类器参数是影响分类效果的重要因素。目前常用的优化算法有交叉验证法、网格搜索算法，遗传算法等，但它们分别存在最　优划分问题，经验选取问题，计算复杂、速度较慢、容易陷入局部最优化等问题。　为克服上述问题，改进分类性能，研究提出基于ＤＧＭＦ的多核ＳＶＭ，并采用ＰＳＯ求解参数。该文探讨了该算法的原理，通过实　验与传统算法进行了比较。　１支持向量机　对于训练集：　…Ｙ），ｉ∈Ｎ，　∈　，　∈｛＋１，－１｝，判别函数为－厂∽＝　。　＋６，分类面为∞・　＋ｂ＝０。归一化后使离分类面最近　的样本ｌ厂㈤＝１，其它样本满足：Ｊ厂∽ｌ　１，ｙ　。　＋６）一１　０，ｉ　Ｎ。这样分类间隔为　。要使得分类间隔最大，就要使Ｉｌ　¨２　最小：　ｆ　‘　＋　一１　０　…　１ｍｉｎ　ＩＩ。　【１）　

求对偶：　ｍａｘ喜　一　１刍ｎ　ｎ　ｙ　乃　‘　）　

使得　０，ｉ＝１…２　ｎ　（２）　０／　Ｙ　＝０　

收稿日期：２０１２－０３…０５　作者简介：田冬阳（１９８３一），男（苗族），湖南凤凰县人，硕士，研究方向为软件工程，机器学习。　

本栏目责『壬编辑：唐一东　人工■健噩识别技术一３１７１　Ｃｏｍｐｕｔｅｒ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ电脑知识与技术　第８卷第１３期（２０１２年５月）　这是个二次寻优问题，存在唯一解　，而　＝∑　ｙ　，ｂ　可由　＋６）一１］＝０求出。根据泛函理论，将满足Ｍｅｒｃｅｒ条件　ｉ＝１　的对称核函数ｒ（ｘ　，ｘｊ）代替气。　可求出最优分类面：　

＿旦Ｉ　，（　＝ｓｇｎ｛（　’　＋ｂ｝＝ｓｇｎ｛￣　，　＋ｂ　｝　（３）　

ｉ＝ｌ　２双高斯合成函数　

在支持向量机中，核函数的作用就是把低维空间中非线性的数据映射到高维空间，然后构造最优分类超平面进行线性分类。　它的优点就在于代替了高维空间中的内积运算，不需要映射后的样本在高维空间进行运算，可以避免维数灾难。在支持向量机中，　核函数有两种类型：全局核函数和局部核函数　。全局核函数的特点是能够提取样本的全局特征，能够对数据集中相距较远的数据　之间产生影响，善于提取样本的全局特征。局部核函数的特点刚好相反，善于提取样本的局部特征。在满足了Ｍｅｒｃｅｒ条件下，我们　可以使用多种不同类型的核函数，并且选用不同的核函数可以构造不同的支持向量机。　ＩＩ　Ｉ１２　局部核函数的典型代表是高斯核函数Ｋ　，ｙ）：。　ｐｆ　：　）。当ｏｒ越大，核函数的幅度越宽；相反当　越小，核函数的幅度越　

。　‘　２ｏｒ‘　窄。下图是高斯核函数的图形，测试点ｙＩＲ５，ｏｒ分别取０．５，１，２，３，４的曲线图。从图中可以看出来，局部核函数只是对测试点Ｃ＝　

０．５的小范围内的数据有较大影响，同时随着不同的　有不同的影响范围。　对于高斯核函数　ｙ１：　一［Ｉ＇－Ｙｌｌ协“，如果　较小，虽然可以使得样本在高维空间中线性可分，但是幅度窄、造成了过拟合的现　象，导致泛化推广能力不强，并且在测试点０．５附近衰减地很快。因此高斯核函数插值能力较强，善于提取样本的局部特征－ｚ卅。　

图１　ｏｒ取不同值时高斯核函数曲线图　核函数的拟合能力和泛化推广能力是通过点积Ｋ（ｘ，　＝　・Ｙ或者距离方程　，　＝ｆＩｘ－ｙｌｌ构造的。基于＾　，　＝　一ｙｌ｛的核函　数，存在数据集在高维空间不平坦的问题（Ｎｏ—ｎａｔＰｒｏｂｌｅｍ，ＮＦＰ１，测试点在低维特征空间比较密集，但是映射到高维空间后却相当　稀疏。为了解决这个问题，我们必须要让核函数在测试点附近的距离有较快的衰减，同时还要让核函数在远处有一定的衰减口－　。　为此，我们提出了双高斯合成函数（Ｄｏｕｂｌｅ　Ｇａｕｓｓｉａｎ　ｋｅｒｎｅｌ　Ｍｉｘｅｄ—ｆｕｎｃｔｉｏｎ，ＤＧＭＦ）：　

ｆ，Ａ　）：ｅｘｐ（一（　）　）一ｅＸｐ（一（Ｌ　）：）　（４）　

其中　是输入向量，Ｃｉ和。，是分属于类ｃｆ和类　的训练向量，　＝　一Ｃｊ　１，　是用户自定义的常量，它决定了双高斯合成函数　的形状　

在实际应用中　＝０．５是一个不错的选择。　３１７２…人工■憾及识别技术　

图２双高斯合成函数　

本栏目责任编辑：唐一东　第８卷第１３期（２０１２年５月）　ＣｏｍｐｕｔｅｒＫｎｏｗｌｅｄｇｅ　ａｎｄ　ｃ，”１０　电脑知识与技术　取测试点０．５，将公式（４）与传统高斯核函数的图像在同一个测试点画出。　

图３不同高斯核函数测试点处对比　图４不同高斯核函数远离测试点处对比　如图３、图４所示，改进后的高斯核函数在测试点附近具有较快的衰减，而传统的高斯核函数在测试点附近衰减较慢；在远离测　试点的区域，传统核函数衰减几乎停滞了，而改进的高斯核函数还可以缓慢衰减。根据统计学习理论，这就可解决数据集映射到高　维空间后稀疏的缺点，提高了ＳＶＭ的泛化能力　。　

３基于ＤＧＭＦ的多核函数　ＳＶＭ性能是由核函数决定的：局部核函数学习能力强、泛化能力弱；全局核函数刚好相反　。因此，可将这两类核函数组合，这　样既有较好的学习能力又有较强的泛化能力。目前常将高斯径向基函数与多项式函数组合构造ＳＶＭ，但该方法较依赖数据集自身　的特性，容易出现数据偏斜现象　一。　按照这种思路，以上组合核函数的泛化推广能力是否可以提高呢？就着这个疑问，该文尝试将ＤＧＭＦ、ｓｉｇｍｏｉｄ、多项式核函数　进行了加权组合构造了新的核函数　Ｉ　Ｉ　Ｉ　Ｊ　

合核荫数（　）＝Ａ　［ｅｘｐ（一（　）　）…ｐ（＿（　）　）　［（　）＋ＣＯｅｆ］ｄ＋Ａ　３ｔａｎｈ（ｋ　ｙ…们　（５）　

３　其中∑Ａ　＝１，Ａ　＞０　

ｉ＝ｌ　通过图３，我们可以看出，该核函数在同一个测试点附近的不同区域中，有着多个波峰和波谷，这表明了新核函数对数据集的适　

应性强；同时波峰和波谷的幅度狭窄，具有良好的局部性特征，学习能力强；在远离测试点区域有着较为缓慢的衰减，该新核函数推　广泛化能力强。这就提高了核函数对数据集的适应性，同时学习能力、泛化推广能力也获得了提高ｎ　。　

本栏目责任编辑：唐一东　图５基于ＤＧＭＦ的多核函数曲线图　人工■能及识别技术　３１７３