基于MATLAB的一对一M_SVM算法实现

标题：MATLAB中SVM多分类算法的研究与应用摘要：支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，在分类问题中表现出色。

然而，在面对多分类问题时，SVM的应用和优化仍然具有挑战性。

本文将对MATLAB中SVM 多分类算法的研究和应用进行深入探讨，分析其原理、优化方法以及实际应用。

通过本文的阅读，读者将能够全面了解MATLAB中SVM多分类算法的特点和应用技巧。

关键词：支持向量机；多分类算法；MATLAB；优化方法；应用技巧一、介绍支持向量机（SVM）是一种通过寻找最优超平面来进行分类的监督学习算法。

在二分类问题中，SVM表现出色，然而在面对多分类问题时，SVM的应用和性能仍然具有挑战性。

MATLAB作为一种强大的科学计算软件，具有丰富的机器学习工具包，其中包括了用于多分类问题的SVM算法。

本文将围绕MATLAB中SVM多分类算法的原理、优化方法以及实际应用展开讨论。

二、MATLAB中SVM多分类算法的原理1. SVM的基本原理SVM的基本原理是通过寻找一个最优的超平面来将不同类别的样本分开，使得两个类别的间隔最大化。

对于多分类问题，可以借助一对一（One-Versus-One）或一对其余（One-Versus-All）等方法来实现多个类别之间的分类。

MATLAB中的SVM多分类算法就是基于这样的原理进行实现的。

2. MATLAB中SVM多分类算法的实现MATLAB中提供了SVM多分类的函数，如fitcecoc和fitcsvm等，分别对应一对一和一对其余的多分类方法。

这些函数可以方便地对SVM进行训练和预测，同时还支持参数调优和模型评价等功能。

读者可以通过调用这些函数，快速实现SVM多分类算法的应用。

三、MATLAB中SVM多分类算法的优化方法1. 参数调优在使用SVM进行多分类时，参数的设置对算法的性能具有重要影响。

MATLAB中的SVM多分类算法支持对参数进行调优，如调整核函数类型、惩罚参数等，以提高算法的分类准确率和泛化能力。

Matlab_svmtranin_example1.Linear classification%Two Dimension Linear-SVM Problem,Two Class and Separable Situation%Method from Christopher J.C.Burges:%"A Tutorial on Support Vector Machines for Pattern Recognition",page9 %Optimizing||W||directly:%Objective:min"f(A)=||W||",p8/line26%Subject to:yi*(xi*W+b)-1>=0,function(12);clear all;close allclc;sp=[3,7;6,6;4,6;5,6.5]%positive sample pointsnsp=size(sp);sn=[1,2;3,5;7,3;3,4;6,2.7]%negative sample pointsnsn=size(sn)sd=[sp;sn]lsd=[true true true true false false false false false]Y=nominal(lsd)figure(1);subplot(1,2,1)plot(sp(1:nsp,1),sp(1:nsp,2),'m+');hold onplot(sn(1:nsn,1),sn(1:nsn,2),'c*');subplot(1,2,2)svmStruct=svmtrain(sd,Y,'showplot',true);2.NonLinear classification%Two Dimension quadratic-SVM Problem,Two Class and Separable Situation %Method from Christopher J.C.Burges:%"A Tutorial on Support Vector Machines for Pattern Recognition",page9 %Optimizing||W||directly:%Objective:min"f(A)=||W||",p8/line26%Subject to:yi*(xi*W+b)-1>=0,function(12);clear all;close allclc;sp=[3,7;6,6;4,6;5,6.5]%positive sample pointsnsp=size(sp);sn=[1,2;3,5;7,3;3,4;6,2.7;4,3;2,7]%negative sample pointsnsn=size(sn)sd=[sp;sn]lsd=[true true true true false false false false false false false]Y=nominal(lsd)figure(1);subplot(1,2,1)plot(sp(1:nsp,1),sp(1:nsp,2),'m+');hold onplot(sn(1:nsn,1),sn(1:nsn,2),'c*');subplot(1,2,2)%svmStruct=svmtrain(sd,Y,'Kernel_Function','linear','showplot',true);svmStruct=svmtrain(sd,Y,'Kernel_Function','quadratic','showplot',true);%use the trained svm(svmStruct)to classify the dataRD=svmclassify(svmStruct,sd,'showplot',true)%RD is the classification result vector3.Svmtrainsvmtrain Train a support vector machine classifierSVMSTRUCT=svmtrain(TRAINING,Y)trains a support vector machine(SVM) classifier on data taken from two groups.TRAINING is a numeric matrix of predictor data.Rows of TRAINING correspond to observations;columns correspond to features.Y is a column vector that contains the knownclass labels for TRAINING.Y is a grouping variable,i.e.,it can be a categorical,numeric,or logical vector;a cell vector of strings;or a character matrix with each row representing a class label(see help forgroupingvariable).Each element of Y specifies the group thecorresponding row of TRAINING belongs to.TRAINING and Y must have the same number of rows.SVMSTRUCT contains information about the trained classifier,including the support vectors,that is used by SVMCLASSIFY for classification.svmtrain treats NaNs,empty strings or'undefined' values as missing values and ignores the corresponding rows inTRAINING and Y.SVMSTRUCT=svmtrain(TRAINING,Y,'PARAM1',val1,'PARAM2',val2,...) specifies one or more of the following name/value pairs:Name Value'kernel_function'A string or a function handle specifying thekernel function used to represent the dotproduct in a new space.The value can be one ofthe following:'linear'-Linear kernel or dot product(default).In this case,svmtrainfinds the optimal separating planein the original space.'quadratic'-Quadratic kernel'polynomial'-Polynomial kernel with defaultorder3.To specify another order,use the'polyorder'argument.'rbf'-Gaussian Radial Basis Functionwith default scaling factor1.Tospecify another scaling factor,use the'rbf_sigma'argument.'mlp'-Multilayer Perceptron kernel(MLP)with default weight1and defaultbias-1.To specify another weightor bias,use the'mlp_params'argument.function-A kernel function specified using@(for example@KFUN),or ananonymous function.A kernelfunction must be of the formfunction K=KFUN(U,V)The returned value,K,is a matrixof size M-by-N,where M and N arethe number of rows in U and Vrespectively.'rbf_sigma'A positive number specifying the scaling factorin the Gaussian radial basis function kernel.Default is1.'polyorder'A positive integer specifying the order of thepolynomial kernel.Default is3.'mlp_params'A vector[P1P2]specifying the parameters of MLPkernel.The MLP kernel takes the form:K=tanh(P1*U*V'+P2),where P1>0and P2<0.Default is[1,-1].'method'A string specifying the method used to find theseparating hyperplane.Choices are:'SMO'-Sequential Minimal Optimization(SMO)method(default).It implements the L1soft-margin SVM classifier.'QP'-Quadratic programming(requires anOptimization Toolbox license).Itimplements the L2soft-margin SVMclassifier.Method'QP'doesn't scalewell for TRAINING with large number ofobservations.'LS'-Least-squares method.It implements theL2soft-margin SVM classifier.'options'Options structure created using either STATSET orOPTIMSET.*When you set'method'to'SMO'(default),create the options structure using STATSET.Applicable options:'Display'Level of display output.Choicesare'off'(the default),'iter',and'final'.Value'iter'reports every500iterations.'MaxIter'A positive integer specifying themaximum number of iterations allowed.Default is15000for method'SMO'.*When you set method to'QP',create theoptions structure using OPTIMSET.For detailsof applicable options choices,see QUADPROGoptions.SVM uses a convex quadratic program,so you can choose the'interior-point-convex'algorithm in QUADPROG.'tolkkt'A positive scalar that specifies the tolerancewith which the Karush-Kuhn-Tucker(KKT)conditionsare checked for method'SMO'.Default is1.0000e-003.'kktviolationlevel'A scalar specifying the fraction of observationsthat are allowed to violate the KKT conditions formethod'SMO'.Setting this value to be positivehelps the algorithm to converge faster if it isfluctuating near a good solution.Default is0.'kernelcachelimit'A positive scalar S specifying the size of thekernel matrix cache for method'SMO'.Thealgorithm keeps a matrix with up to S*Sdouble-precision numbers in memory.Default is5000.When the number of points in TRAININGexceeds S,the SMO method slows down.It'srecommended to set S as large as your systempermits.'boxconstraint'The box constraint C for the soft margin.C can bea positive numeric scalar or a vector of positivenumbers with the number of elements equal to thenumber of rows in TRAINING.Default is1.*If C is a scalar,it is automatically rescaledby N/(2*N1)for the observations of group one,and by N/(2*N2)for the observations of grouptwo,where N1is the number of observations ingroup one,N2is the number of observations ingroup two.The rescaling is done to take intoaccount unbalanced groups,i.e.,when N1and N2are different.*If C is a vector,then each element of Cspecifies the box constraint for thecorresponding observation.'autoscale'A logical value specifying whether or not toshift and scale the data points before training.When the value is true,the columns of TRAININGare shifted and scaled to have zero mean unitvariance.Default is true.'showplot'A logical value specifying whether or not to showa plot.When the value is true,svmtrain creates aplot of the grouped data and the separating linefor the classifier,when using data with2features(columns).Default is false. SVMSTRUCT is a structure having the following properties:SupportVectors Matrix of data points with each row correspondingto a support vector.Note:when'autoscale'is false,this fieldcontains original support vectors in TRAINING.When'autoscale'is true,this field containsshifted and scaled vectors from TRAINING.Alpha Vector of Lagrange multipliers for the supportvectors.The sign is positive for support vectorsbelonging to the first group and negative forsupport vectors belonging to the second group. Bias Intercept of the hyperplane that separatesthe two groups.Note:when'autoscale'is false,this fieldcorresponds to the original data points inTRAINING.When'autoscale'is true,this fieldcorresponds to shifted and scaled data points. KernelFunction The function handle of kernel function used. KernelFunctionArgs Cell array containing the additional argumentsfor the kernel function.GroupNames A column vector that contains the knownclass labels for TRAINING.Y is a groupingvariable(see help for groupingvariable). SupportVectorIndices A column vector indicating the indices of supportvectors.ScaleData This field contains information about auto-scale.When'autoscale'is false,it is empty.When'autoscale'is set to true,it is a structurecontaining two fields:shift-A row vector containing the negativeof the mean across all observationsin TRAINING.scaleFactor-A row vector whose value is1./STD(TRAINING).FigureHandles A vector of figure handles created by svmtrainwhen'showplot'argument is TRUE.Example:%Load the data and select features for classificationload fisheririsX=[meas(:,1),meas(:,2)];%Extract the Setosa classY=nominal(ismember(species,'setosa'));%Randomly partitions observations into a training set and a test %set using stratified holdoutP=cvpartition(Y,'Holdout',0.20);%Use a linear support vector machine classifiersvmStruct=svmtrain(X(P.training,:),Y(P.training),'showplot',true);C=svmclassify(svmStruct,X(P.test,:),'showplot',true);errRate=sum(Y(P.test)~=C)/P.TestSize%mis-classification rate conMat=confusionmat(Y(P.test),C)%the confusion matrix。

⽀持向量机（SVM）算法的matlab的实现⽀持向量机（SVM）的matlab的实现⽀持向量机是⼀种分类算法之中的⼀个，matlab中也有对应的函数来对其进⾏求解；以下贴⼀个⼩例⼦。

这个例⼦来源于我们实际的项⽬。

clc;clear;N=10;%以下的数据是我们实际项⽬中的训练例⼦（例⼦中有8个属性）correctData=[0,0.2,0.8,0,0,0,2,2];errorData_ReversePharse=[1,0.8,0.2,1,0,0,2,2];errorData_CountLoss=[0.2,0.4,0.6,0.2,0,0,1,1];errorData_X=[0.5,0.5,0.5,1,1,0,0,0];errorData_Lower=[0.2,0,1,0.2,0,0,0,0];errorData_Local_X=[0.2,0.2,0.8,0.4,0.4,0,0,0];errorData_Z=[0.53,0.55,0.45,1,0,1,0,0];errorData_High=[0.8,1,0,0.8,0,0,0,0];errorData_CountBefore=[0.4,0.2,0.8,0.4,0,0,2,2];errorData_Local_X1=[0.3,0.3,0.7,0.4,0.2,0,1,0];sampleData=[correctData;errorData_ReversePharse;errorData_CountLoss;errorData_X;errorData_Lower;errorData_Local_X;errorData_Z;errorData_High;errorData_CountBefore;errorData_Local_X1];%训练例⼦type1=1;%正确的波形的类别，即我们的第⼀组波形是正确的波形，类别号⽤ 1 表⽰type2=-ones(1,N-2);%不对的波形的类别，即第2~10组波形都是有故障的波形。

信息通信INFORMATION & COMMUNICATIONS2020年第1期(总第205期)2020(Sum. No 205)基于MATLAB 的SVM 支持向量机手写识别算法唐蔗(佳木斯大学信息电子技术学院,黑龙江佳木斯154007)摘要：近年来伴随着大数据的积累以及计算能力的不断提升，SVM 支持向量机作为机器学习领域的典型代表逐渐被应用于手写数字识别。

不同于传统手写识别算法，SVM 支持向量机可以利用深层次结构学习更加丰富的特征表达，能有效解决手写数字识别问题。

基于此,本课题将对SVM 支持向量机手写识别算法展开研究，并借助MATLAB 完成了 SVM 支持向量机手写识别模型训练，验证了算法的合理性及性能优化。

关键词：SVM ；MATLAB ；手写识别；PCA 中图分类号:TP391文献标识码:A文章编号：1673-1131(2020)01-0154-021概述随着图像手写识别技术不断发展，手写识别逐渐被社会认可，在公共安全、国防安全、入口控制、身份验证、智能视频监控、视频会议、智能解锁等在生产生活各个领域应用越来越深入和 广泛，并且拥有巨大的应用前景。

机器学习技术是图像识别领域应用非常广泛的技术之一，关于机器学习的研究成果已经很 多，同时机器学习各个领域的应用也越来越多,而基于SVM 的 手写识别技术就是其中一个非常重要的主流识别技术,其在算 法研究和实际应用中等很多方面己经取得了不错的成就。

但随着人们对手写识别系统要求的不断提高,研究设计快速准确的手写识别仍然具有较强的应用价值和现实意义。

2基于SVM 支持向量机的手写识别算法支持向量机是建立在统计学理论基础上的，它是机器学 习方法的一种，也可以认为其是分类算法模型之一。

支持向量机主要的目的就是为了将分类的超平面明确下来。

因为只 有部分很少的样本信息决定了分类超平面的使用，因此，上述这部分样本就被叫作是支持向量。

2.1支持向量机的基本原理在一定的训练样本集里面，通过利用特征空间来明确分离超平面，在这个超平面的帮助下,将训练样本集分为各种类。

包已经解压到文件夹F:\R2009b\toolbox\svmmatlab中SVM工具箱的使用方法1,下载SVM工具箱:/faculty/chzheng/bishe/indexfiles/indexl.htm 2,安装到matlab文件夹中1)将下载的SVM工具箱的文件夹放在\matlab71\toolbox\下2)打开matlab->File->Set Path中添加SVM工具箱的文件夹现在,就成功的添加成功了.可以测试一下:在matlab中输入which svcoutput 回车,如果可以正确显示路径,就证明添加成功了,例如:C:\Program Files\MATLAB71\toolbox\svm\svcoutput.m3,用SVM做分类的使用方法1)在matlab中输入必要的参数:X,Y,ker,C,p1,p2我做的测试中取的数据为:N = 50;n=2*N;randn('state',6);x1 = randn(2,N)y1 = ones(1,N);x2 = 5+randn(2,N);y2 = -ones(1,N);figure;plot(x1(1,:),x1(2,:),'bx',x2(1,:),x2(2,:),'k.');axis([-3 8 -3 8]);title('C-SVC')hold on;X1 = [x1,x2];Y1 = [y1,y2];X=X1';Y=Y1';其中,X是100*2的矩阵,Y是100*1的矩阵C=Inf;ker='linear';global p1 p2p1=3;p2=1;然后,在matlab中输入:[nsv alpha bias] = svc(X,Y,ker,C),回车之后,会显示:Support Vector Classification_____________________________Constructing ...Optimising ...Execution time: 1.9 secondsStatus : OPTIMAL_SOLUTION|w0|^2 : 0.418414Margin : 3.091912Sum alpha : 0.418414Support Vectors : 3 (3.0%)nsv =3alpha =0.00000.00000.00000.00000.00002)输入预测函数,可以得到与预想的分类结果进行比较.输入:predictedY = svcoutput(X,Y,X,ker,alpha,bias),回车后得到:predictedY =1111111113)画图输入:svcplot(X,Y,ker,alpha,bias),回车补充:X和Y为数据,m*n:m为样本数,n为特征向量数比如:取20组训练数据X,10组有故障,10组无故障的,每个训练数据有13个特征参数,则m=20,n=13Y为20*1的矩阵,其中,10组为1,10组为-1.对于测试数据中,如果取6组测试数据,3组有故障,3组无故障的,则m=6,n=13Y中,m=6,n=1/SV M_soft.htmlSVM - Support Vector MachinesSoftwareTrain support vector machine classifier/access/helpdesk/help/toolbox/bioinfo/ref/svmtrain.html一些问题？？？？？？？1.今天我在使用SVM通用工具箱对眼电的信号数据进行分类时出现如下错误：Support Vector Classification_____________________________Constructing ...Optimising ...??? Dimension error (arg 3 and later).Error in ==> svc at 60[alpha lambda how] = qp(H, c, A, b, vlb, vub, x0, neqcstr);不知道是什么原因？答：今天上午终于找到出现这一错误的原因：它并不是SVM程序的问题，是我在整理样本时，把参数需要的样本行列颠倒所致。

SVM多分类问题libsvm在matlab中的应⽤转载⾃对于⽀持向量机，其是⼀个⼆类分类器，但是对于多分类，SVM也可以实现。

主要⽅法就是训练多个⼆类分类器。

⼀、多分类⽅式1、⼀对所有（One-Versus-All OVA）给定m个类，需要训练m个⼆类分类器。

其中的分类器 i 是将 i 类数据设置为类1（正类），其它所有m-1个i类以外的类共同设置为类2（负类），这样，针对每⼀个类都需要训练⼀个⼆类分类器，最后，我们⼀共有 m 个分类器。

对于⼀个需要分类的数据 x，将使⽤投票的⽅式来确定x的类别。

⽐如分类器 i 对数据 x 进⾏预测，如果获得的是正类结果，就说明⽤分类器 i 对 x 进⾏分类的结果是: x 属于 i 类，那么，类i获得⼀票。

如果获得的是负类结果，那说明 x 属于 i 类以外的其他类，那么，除 i 以外的每个类都获得⼀票。

最后统计得票最多的类，将是x的类属性。

2、所有对所有（All-Versus-All AVA）给定m个类，对m个类中的每两个类都训练⼀个分类器，总共的⼆类分类器个数为 m(m-1)/2 .⽐如有三个类，1，2，3，那么需要有三个分类器，分别是针对：1和2类，1和3类，2和3类。

对于⼀个需要分类的数据x,它需要经过所有分类器的预测，也同样使⽤投票的⽅式来决定x最终的类属性。

但是，此⽅法与”⼀对所有”⽅法相⽐，需要的分类器较多，并且因为在分类预测时，可能存在多个类票数相同的情况，从⽽使得数据x属于多个类别，影响分类精度。

对于多分类在matlab中的实现来说，matlab⾃带的svm分类函数只能使⽤函数实现⼆分类，多分类问题不能直接解决，需要根据上⾯提到的多分类的⽅法，⾃⼰实现。

虽然matlab⾃带的函数不能直接解决多酚类问题，但是我们可以应⽤libsvm⼯具包。

libsvm⼯具包采⽤第⼆种“多对多”的⽅法来直接实现多分类，可以解决的分类问题（包括C- SVC、n - SVC ）、回归问题（包括e - SVR、n - SVR ）以及分布估计（one-class-SVM ）等，并提供了线性、多项式、径向基和S形函数四种常⽤的核函数供选择。

MATLAB技术SVM算法实现引言：支持向量机（Support Vector Machine, SVM）是机器学习领域中一种常用的监督学习方法，广泛应用于分类和回归问题。

本文将介绍如何使用MATLAB技术实现SVM算法，包括数据预处理、特征选择、模型训练和性能评估等方面的内容。

一、数据预处理在使用SVM算法之前，我们需要先进行数据的预处理。

数据预处理是为了将原始数据转化为能够被SVM算法处理的形式，一般包括数据清洗、特征缩放和特征编码等步骤。

1. 数据清洗数据清洗是指对数据中的缺失值、异常值和噪声进行处理的过程。

在MATLAB中，可以使用诸如ismissing和fillmissing等函数来处理缺失值。

对于异常值和噪声的处理，可以使用统计学方法或者基于模型的方法。

2. 特征缩放特征缩放是指对特征值进行标准化处理的过程，使得各个特征值具有相同的量纲。

常用的特征缩放方法有均值归一化和方差归一化等。

在MATLAB中，可以使用zscore函数来进行特征缩放。

3. 特征编码特征编码是指将非数值型特征转化为数值型的过程，以便SVM算法能够对其进行处理。

常用的特征编码方法有独热编码和标签编码等。

在MATLAB中，可以使用诸如dummyvar和encode等函数来进行特征编码。

二、特征选择特征选择是指从原始特征中选择出最具有代表性的特征，以减少维度和提高模型性能。

在SVM算法中，选择合适的特征对分类效果非常关键。

1. 相关性分析通过分析特征与目标变量之间的相关性，可以选择与目标变量相关性较高的特征。

在MATLAB中，可以使用corrcoef函数计算特征之间的相关系数。

2. 特征重要性评估特征重要性评估可以通过各种特征选择方法来实现，如基于统计学方法的方差分析、基于模型的递归特征消除和基于树模型的特征重要性排序等。

在MATLAB 中，可以使用诸如anova1、rfimportance等函数进行特征重要性评估。

三、模型训练与评估在进行完数据预处理和特征选择之后，我们可以开始进行SVM模型的训练和评估了。

matlab svm多分类算法-回复什么是SVM多分类算法？支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，用于分类和回归分析。

它的主要思想是在特征空间中找到一个最优的超平面，将不同类别的样本点分开。

SVM被广泛应用于二分类问题，但在现实世界中，多分类问题更为常见。

SVM多分类算法是基于SVM算法的扩展，用于解决多类别分类问题。

SVM多分类算法的原理是什么？基本的SVM算法是建立在二分类的基础上的，它通过寻找一个最大化间隔的超平面来进行分类。

然而，在多分类问题中，我们需要一种方法来将多个类别进行有效地分类。

常用的方法有一对一（One-vs-One）和一对其余（One-vs-Rest）。

一对一方法将每两个类别之间都构造一个二分类器。

例如，对于k个类别，需要构建k*(k-1)/2个分类器，每个分类器负责将两个类别中的一个划分出来。

当需要对一个未知类别的样本进行分类时，每个分类器都会给出一个类别的判断结果，最后根据这些结果进行投票或决策，选择得票最多的类别作为最终的分类结果。

一对其余方法则是将一个类别与其他所有类别作为一个整体进行分类。

同样以k个类别为例，需要构建k个二分类器，每个分类器负责将一个类别与其他k-1个类别作区分。

对于未知类别的样本进行分类时，分别计算它与每个类别的距离得分，选择距离最大的类别作为最终的分类结果。

SVM多分类算法的具体实现步骤是什么？以下是一种常见的SVM多分类算法实现步骤的概述：1. 读取数据集：首先，我们需要从数据集中读取样本数据和对应的类别标签。

确保数据集的类别标签是数字或字符串形式。

2. 数据预处理：对于SVM算法，特征归一化是一个重要的预处理步骤。

通过对特征进行归一化或标准化，可以避免样本特征之间的比例差异对分类结果的影响。

3. 划分训练集和测试集：将数据集划分为训练集和测试集，用于构建和评估模型的性能。

4. 对每对分类器进行训练：根据选择的一对一或一对其余方法，依次对每个二分类器进行训练。

在当前数据挖掘和机器学习领域，最为热门的话题莫过于SVM和Boosting方法了。

只要是涉及到这两个主题，那么论文就会容易被杂志和会议接受了。

看来不管做什么，都讲究眼球效应啊。

搞研究其实也有点类似超级女声，呵呵。

以前我的论文中用的SVM Code都来自于台湾的林智仁教授的LibSVM。

真的是佩服有些大家，自己做出了重要的发现和成果，想到的不是把自己的成果保密起来（像C4.5一样），让自己独享自己的成果；而是让自己的成果最大程度的被人所利用，给后来的研究人员打下一个坚实的基础。

说实话，他的代码很好，用起来很方便，而且不同的语言版本实现都有，即使是对于初学者都很容易掌握。

不过用的久了，我就想自己也实现SVM，现在的数学计算工具太多了，而且功能齐全，用起来方便。

今天鼓捣了一会，终于用Matlab实现了第一个SVM。

虽然比较简单，但是包含了大多数SVM的必要步骤。

这个实现是线性可分支持向量分类机，不考虑非线性分类引入核函数的情况，也不考虑推广条件下引入Penalty Loss的情况。

问题描述：平面上有如下点A = [1 1.5;2 1.5;3 1.5;4 1.5;1 0.5;2 0.5;3 0.5;4 0.5]及其对应的标号flag = [1 1 1 1 -1 -1 -1 -1];用SVM方法构造一个决策函数实现正确分类。

如果我们在二维坐标上描点，就会发现这是个很简单的线性可分问题。

实现方法，用SVM 的对偶问题，转换为Matlab的有约束非线性规划问题。

构建m文件：function f = ffsvm(x)A = [1 1.5;2 1.5;3 1.5;4 1.5;1 0.5;2 0.5;3 0.5;4 0.5];flag = [1 1 1 1 -1 -1 -1 -1];for i=1:1:length(A)for j=1:1:length(A)normA(i,j) = A(i,:)*A(j,:)';normFlag(i,j) = flag(1,i)*flag(1,j);endendf = 0;for i=1:1:length(A)for j=1:1:length(A)f = f + 1/2*(normA(i,j)*x(i)*x(j)*normFlag(i,j));endf = f - x(i);end在命令窗口输入：Aeq = [1 1 1 1 -1 -1 -1 -1];beq = 0;lb = [ 0 0 0 0 0 0 0 0];调用MatLab内置优化函数fmincon；[x,favl,exitflag] = fmincon(@ffsvm,x0,[],[],Aeq,beq,lb,[])得到如下结果：Optimization terminated successfully:Magnitude of directional derivative in search directionless than 2*options.TolFun and maximum constraint violationis less than options.TolConActive Constraints:1x =0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000favl =-2.0000exitflag =1x的分量都不为0，说明这些点都是支持向量；计算w；w = [0 0];for i = 1:1:length(A)w = w + flag(i)*x(i)*A(i,:);end结果：w =[0,2];计算b；b = 0;for i=1:1:8b = b-flag(i)*x(i)*normA(i,1);endb = flag(1) + b；结果：b = -2;最终的决策函数为：f = sign([0, 2]*xT-2)可以验证，这个学习到的决策函数能够对这些平面上的点实现很好的分类；基本思路是这样的，如果要考虑引入核函数和Penalty Loss的情况，只需要修改优化函数和约束就可以实现。

基于SVM的Leap Motion手势识别马淑慧;夏斌;杨文璐;谢宏【摘要】随着互联网行业的迅速发展,人们对人机交互的需求也日益剧增.手势作为人机交互的重要组成,其识别技术的研究在人机交互领域有关重要的理论和实用价值.采用Leap Motion体感器作为手势提取工具,获取12种手势在三维空间中的位置信息,进而提取相应的特征值.采用机器学习的方法,对获取手势数据进行识别,分析不同机器学习方法对手势识别率的影响.采用SVM的算法进行识别率分析,分别采用两种方法实现SVM手势识别,一对一模型训练法和一对多模型训练法.实验结果表明,采用这两种方法都可以获得较高的识别准确率.【期刊名称】《现代计算机（专业版）》【年(卷),期】2017(000)023【总页数】4页(P55-58)【关键词】LeapMotion;手势识别;机器学习;SVM【作者】马淑慧;夏斌;杨文璐;谢宏【作者单位】上海海事大学信息工程学院,上海 201306;上海海事大学信息工程学院,上海 201306;上海海事大学信息工程学院,上海 201306;上海海事大学信息工程学院,上海 201306【正文语种】中文随着互联网行业的迅速发展，人们对人机交互的需求也日益剧增。

手势作为人机交互的重要组成，其识别技术的研究在人机交互领域有关重要的理论和实用价值。

采用Leap Motion体感器作为手势提取工具，获取12种手势在三维空间中的位置信息，进而提取相应的特征值。

采用机器学习的方法，对获取手势数据进行识别，分析不同机器学习方法对手势识别率的影响。

采用SVM的算法进行识别率分析，分别采用两种方法实现SVM手势识别，一对一模型训练法和一对多模型训练法。

实验结果表明，采用这两种方法都可以获得较高的识别准确率。

上海市科学技术委员会项目（No.12441903500）在人机交互领域中，传统的人机交互方式，如鼠标、键盘、遥控等，具有非常大的局限性，使得人机交互受到很大的限制。