基于特征指数加权的最小二乘支持向量机算法

基于特征指数加权的最小二乘支持向量机算法潘岚;王仲君【摘要】According to the basic principle of support vector regression algorithm, for the difference of features' correlative degree to the regression, the affect of parameters to the performance of forecast and taking into account the significance of weighted feature after normalization, least squares support vector regression machine (LS-SVR) based on weighted feature is proposed in this paper, in which, least squares support vector regression algorithm is used to reduce the number of parameters and exponentially weighted feature is used to improve prediction accuracy, the weighting coefficients are determined by the grey correlation degree approach. In the meantime, the effectiveness of the algorithm is demonstrated in forecasting the actual stock price. The experimental results show that it is superior to classical support vector machine and can significantly improve the predictive ability.%根据支持向量回归机原理,针对样本特征对回归预测重要性的差异,采用最小二乘支持向量回归机(LS-SVR)算法,减少参数数量,针对参数对预测效果的影响,并考虑到特征加权的意义,采用特征指数进行加权,其权重系数由灰色关联度确定,提出了基于特征指数加权的最小二乘支持向量回归机算法.为验证该算法的有效性,对实际股票价格进行预测,结果表明该算法较传统最小二乘支持向量回归机算法,其回归估计函数的预测能力明显提高,具有一定的实用价值.【期刊名称】《计算机系统应用》【年(卷),期】2012(021)005【总页数】4页(P205-208)【关键词】支持向量回归机;特征加权;灰色关联度;评价指标;核函数【作者】潘岚;王仲君【作者单位】武汉理工大学理学院,武汉430070;武汉理工大学理学院,武汉430070【正文语种】中文1 引言支持向量机是由Vapnik等人提出并在统计学习理论（SLT）的基础之上快速发展起来的最开始用于分类的一种新的学习方法。

DEM构建的加权最小二乘支持向量机算法李明飞;陈传法;戴洪磊;李翼龙;李宇航【摘要】为了减少采样点中的粗差对DEM构建精度的影响,将最小二乘支持向量机(LSSVM)运用到DEM中,发展了一种DEM构建的新算法,即加权最小二乘支持向量机(LSSVM-W).LSSVM-W以LSSVM为基础,依据LSSVM计算的拉格朗日系数阵α求出各误差变量的权重系数,再求出更好的拉格朗日系数阵α,这样迭代多次,最终获得满足拟合精度的系数阵α.文中以数值模拟曲面为研究对象,分析并比较了当采样误差为不同污染率的正态分布时LSSVM与LSSVM-W模拟结果的精度.模拟结果表明,LSSVM-W的抗差性优于LSSVM,是一种较好的DEM构建方法.【期刊名称】《地理空间信息》【年(卷),期】2015(013)006【总页数】2页(P82-83)【关键词】LSSVM;粗差;抗差;DEM;LSSVM-W【作者】李明飞;陈传法;戴洪磊;李翼龙;李宇航【作者单位】山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590【正文语种】中文【中图分类】P207在采集数据时，由于各种条件限制造成采样数据中含有粗差，进而导致DEM[1]失真，甚至完全不能使用。

为了用含粗差的数据构建出与实际地形相符合的DEM，相关科研人员提出了一系列的方法，如自适应抗差最小二乘估计方法[2]和基于最小绝对偏差的多面函数抗差方法[3]等。

SVM是以结构风险最小化原则代替经验风险最小化原则的一种机器学习方法，具有泛化能力强、精度高等优良性能。

Suykens等用等式约束代替SVM的不等式约束，提出了LSSVM[4.5]，它在保持优良的泛化能力和精度的同时，拥有了更高的计算效率，可以用于海量数据的处理。

最小二乘支持向量机算法在数据分类中的应用数据分类是机器学习领域的一个重要研究方向，它涉及到很多的算法技术。

早期的机器学习算法包括朴素贝叶斯、决策树以及神经网络等。

这些算法都各有优缺点，在不同的场合下都有各自适用的情况。

本文将重点介绍一种数据分类算法：最小二乘支持向量机算法。

一、最小二乘支持向量机算法概述最小二乘支持向量机算法（Least Squares Support Vector Machines，LS-SVM）是由比利时科学家Suykens等人于1999年提出的分类算法。

与传统的支持向量机算法SVN相比，LS-SVM 将在线性不可分的情况下，将数据映射到高维的空间中，通过引入核函数来实现。

这种算法的特点是在保持支持向量机分类精度的基础上，大大降低了训练时空复杂度，是一种较为理想的数据分类算法。

二、最小二乘支持向量机算法原理1. 建立模型假设给定的训练集为{(x1，y1)，(x2，y2)，…，(xn，yn)}，其中xi∈Rn为输入向量，yi∈R为对应的输出标记。

目标是将训练集分成两类（如果是多类别问题，可以通过人为定义将其转化为二类问题）。

在支持向量机算法中，我们的目标是找到一个最优的超平面，将两类数据分开。

但在LS-SVM中，我们并不直接寻找超平面，而是建立一个目标函数：最小化误差平方和：min(1/2 w^Tw +Cξ^Tξ)s.t. y_i(w^Tφ(x_i)+b)-1+ξ_i≥0,i=1,2,...,n其中w为权重向量，b为常量，C为惩罚因子，ξ为标准化后的误差。

2. 求解问题由于上述问题中，自变量的个数远大于因变量的个数，因此对于w和b的求解需要采用最小二乘法来进行。

对于任意一个输入向量xi和输出标记yi，我们都可以得到如下的判别函数：f(x)=sign(w^Tφ(x)+b)可以发现，这个函数的取值只有两种可能：+1或-1。

因此，最小二乘支持向量机算法就可以通过这个判别函数来对新样本进行分类。

基于熵值法的加权最小二乘支持向量机刘畅;范彬【期刊名称】《计算机科学》【年(卷),期】2017(044)0z2【摘要】支持向量机是一种以统计学习理论为基础的机器学习算法,着重解决小样本的建模问题,并且对非线性高维数据具有较好的处理能力.通常对于多维特征的数据,会对每一维数据做归一化处理以消除量纲的影响,但缺点在于忽视了各维特征的权重差异.提出了一种加权最小二乘支持向量机的建模方法,通过熵值法确定每一维特征的权重,根据特征权重对数据进行加权处理,最后由最小二乘支持向量机建立该系统模型.实验表明,对于多维特征的数据,所提方法具有更好的建模效果.%Support vector machine is a kind of machine learning algorithm based on statistical learning theory,which has a desirable modeling performance for nonlinear and high-dimensional data,even in the case of small samples.Typically,the data with multiple features would be normalized due to different dimensions.However,it ignores the dissimilarity of different features.A weighted least squares support vector machine was proposed.According to the entropy evaluation method,the feature weights may be determined so that the data could be normalized and weighted.Then the system model would be established through the least squares support vector machine.The experimental results demonstrate the effectiveness and superiority of the proposed method for the system with multiple features.【总页数】4页(P428-431)【作者】刘畅;范彬【作者单位】中南大学机电工程学院长沙410012;中南大学机电工程学院长沙410012【正文语种】中文【中图分类】TP181【相关文献】1.基于加权最小二乘支持向量机的欠定盲源分离 [J], 赵立权;刘珊珊2.基于遗传算法的加权最小二乘支持向量机GPS高程拟合法 [J], 李明飞;郇敏;秦川3.基于自适应加权最小二乘支持向量机的青霉素发酵过程软测量建模 [J], 赵超;李俊;戴坤成;王贵评4.基于机理模型和模糊加权最小二乘支持向量机(LSSVM)算法的农杆菌发酵过程混合建模与优化 [J], 邵玉倩; 宗原; 刘以安; 刘登峰5.基于改进加权最小二乘支持向量机的UWSN定位 [J], 蒋华;蔡晨;王慧娇;王鑫因版权原因，仅展示原文概要，查看原文内容请购买。

最小二乘支持向量机：用于分类和回归问题的机器学习算法随着计算机技术的不断发展，机器学习（Machine Learning）已经成为当前人工智能领域的重要应用之一。

（Least Squares Support Vector Machines，LSSVM）是一种用于分类和回归问题的机器学习算法。

它利用最小二乘法，将样本数据分为不同的类别或预测目标。

LSSVM有着广泛的应用领域，例如语音识别、图像处理、生物医学工程等，具有较好的效果。

SVM的发展背景SVM（Support Vector Machine）是由Vapnik等人在1980年代发明的。

它是一种二分类模型，通过构建一个最优的超平面来分离数据。

SVM在许多问题中取得了出色的解决方案。

然而，它们只设计了处理训练样本是线性可分的情况。

在实际问题中，许多数据集是线性不可分的。

因此，LSSVM是SVM的发展方向之一，它可以用于处理过度拟合或线性不可分的数据集。

支持向量机的数学模型支持向量机（SVM）是一种基于概率的监督学习算法，在分类和回归问题中广泛应用。

在二分类问题中，SVM的目标是找到一个最优的超平面，将样本数据分为两个类别。

其中，这个超平面的特点是离两个类别最近的样本点最远。

这两个样本点被称为“支持向量”。

SVM的数学模型可以表示为：$ \min \limits_{\alpha, b} \frac{1}{2} \alpha^T H \alpha - \alpha^T e $其中， $H$是Gram矩阵， $e$是所有样本的标签向量，$ \alpha $是拉格朗日乘子。

LSSVM是一种推广了SVM算法的机器学习算法。

它通过最小化重建误差，把训练样本映射到高维空间，从而实现非线性分类和回归。

LSSVM和SVM都是在特征空间中构造一个超平面，但LSSVM选择使用最小二乘法来解决优化问题。

LSSVM的数学模型为：$ \min \limits_{w, b, e} \frac{1}{2} w^T w +\frac{C}{2}\sum_{i=1}^{n} e_i^2 $$ y_i = w^T\phi(x_i) + b = \sum_{j=1}^n \alpha_j \phi(x_j) \phi(x_i) +b $其中w是一个权重向量， $b$是常数项， $e$是松弛变量。