四种支持向量机用于函数拟合与模式识别的Matlab示例程序
点这里下载: 四种支持向量机用于函数拟合与模式识别的Matlab示例程序
使用要点:
应研学论坛<<人工智能与模式识别>>版主magic_217之约，写一个关于针对初学者的<<
四种支持向量机工具箱>>的详细使用说明。同时也不断有网友向我反映看不懂我的源代码，以及询问如何将该工具箱应用到实际数据分析等问题，其中有相当一部分网友并不了解模式识别的基本概念，就急于使用这个工具箱。本文从模式识别的基本概念谈起，过渡到神经网络模式识别，逐步引入到这四种支持向量机工具箱的使用。
本文适合没有模式识别基础，而又急于上手的初学者。作者水平有限，欢迎同行批评指正！
[1]模式识别基本概念
模式识别的方法有很多，常用有：贝叶斯决策、神经网络、支持向量机等等。特别说明的是，本文所谈及的模式识别是指“有老师分类”，即事先知道训练样本所属的类别，然后设计分类器，再用该分类器对测试样本进行识别，比较测试样本的实际所属类别与分类器输出的类别，进而统计正确识别率。正确识别率是反映分类器性能的主要指标。
分类器的设计虽然是模式识别重要一环，但是样本的特征提取才是模式识别最关键的环节。试想如果特征矢量不能有效地描述原样本，那么即使分类设计得再好也无法实现正确分类。工程中我们所遇到的样本一般是一维矢量，如：语音信号，或者是二维矩阵，如：图片等。特征提取就是将一维矢量或二维矩阵转化成一个维数比较低的特征矢量，该特征矢量用于分类器的输入。关于特征提取，在各专业领域中也是一个重要的研究方向，如语音信号的谐振峰特征提取，图片的PCA特征提取等等。
[2]神经网络模式识别
神经网络模式识别的基本原理是，神经网络可以任意逼近一个多维输入输出函数。以三类分类：I、II、III为例，神经网络输入是样本的特征矢量，三类样本的神经网络输出可以是[1;0;0]、[0;1;0]、[0;0;1]，也可以是[1;-1;-1]、[-1;1;-1]、[-1;-1;1]。将所有样本中一部分用来训练网络，另外一部分用于测试输出。通常情况下，正确分类的第I类样本的测试输出并不是[1;0;0]或是[1;-1;-1]，而是如[0.1;0;-0.2]的输出。也是就说，认为输出矢量中最大的一个分量是1，其它分量是0或是-1就可以了。
[3]支持向量机的多类分类
支持向量机的基本理论是从二类分类问题提出的。我想绝大部分网友仅着重于理解二类分类问题上了，我当初也是这样，认识事物都有一个过程。二类分类的基本原理固然重要，我在这里也不再赘述，很多文章和书籍都有提及。我觉得对于工具箱的使用而言，理解如何实现从二类分类到多类分类的过渡才是最核心的内容。下面我仅以1-a-r算法为例，解释如何由二类分类器构造多类分类器。
二类支持向量机分类器的输出为[1,-1]，当面对多类情况时，就需要把多类分类器分解成多个二类分类器。在第一种工具箱LS_SVMlab中，文件Classification_LS_SVMlab.m中实现了三类分类。训练与测试样本分别为n1、n2，它们是3 x 15的矩阵，即特征矢量是三维，训练与测试样本数目均是15；由于是三类分类，所以训练与测试目标x1、x2的每一分量可以是1、2或是3，分别对应三类，如下所示：
n1 = [rand(3,5),rand(3,5)+1,rand(3,5)+2];
x1 = [1*ones(1,5),2*ones(1,5),3*ones(1,5)];
n2 = [rand(3,5),rand(3,5)+1,rand(3,5)+2];
x2 = [1*ones(1,5),2*ones(1,5),3*ones(1,5)];
1-a-r算法定义：对于N类问题，构造N个两类分类器，第i个分类器用第i类训练样本作为正的训练样本，将其它类的训练样本作为负的训练样本，此时分类器的判决函数不取符号函数sign，最后的输出是N个两类分类器输出中最大的那一类。
在文件Classification_LS_SVMlab.m的第42行：codefct = 'code_MOC'，就是设置由二类到多类编码参数。当第42行改写成codefct ='code_OneVsAll'，再去掉第53行最后的引号，按F5运行该文件，命令窗口输出有：
codebook =
1 -1 -1
-1 1 -1
-1 -1 1
old_codebook =
1 2 3
比较上面的old_codebook与codebook输出，注意到对于第i类，将每i类训练样本做为正的训练样本，其它的训练样本作为负的训练样本，这就是1-a-r算法定义。这样通过设置codefct ='code_OneVsAll'就实现了支持向量机的1-a-r多类算法。其它多类算法也与之雷同，这里不再赘述。值得注意的是：对于同一组样本，不同的编码方案得到的训练效果不尽相同，实际中应结合实际数据，选择训练效果最好的编码方案。
[4]核函数及参数选择
常用的核函数有：多项式、径向基、Sigmoid型。对于同一组数据选择不同的核函数，基本上都可以得到相近的训练效果。所以核函数的选择应该具有任意性。对训练效果影响最大是相关参数的选择，如：控制对错分样本惩罚的程度的可调参数，以及核函数中的待定参数，这些参数在不同工具箱中的变量名称是不一样的。这里仍以Classification_LS_SVMlab.m 为例，在第38、39行分别设定了gam、sig2的值，这两个参数是第63行trainlssvm函数的输入参数。在工具箱文件夹的trainlssvm.m文件的第96、97行有这两个参数的定义：
% gam : Regularization parameter
% sig2 : Kernel parameter (bandwidth in the case of the 'RBF_kernel')
这里gam是控制对错分样本惩罚的程度的可调参数，sig2是径向基核函数的参数。所以在充分理解基本概念的基础上，将这些概念与工具箱中的函数说明相结合，就可以自如地运用这个工具箱了，因此所以最好的教科书是函数自带的函数说明。
最佳参数选择目前没有十分好的方法，在Regression_LS_SVMlab.m的第46至49行的代码是演示了交叉验证优化参数方法，可这种方法相当费时。实践中可以采用网格搜索的方法：如gam=0:0.2:1，sig2=0:0.2:1，那么gam与sig2的组合就有6x6=36种，对这36种组合训练支持向量机，然后选择正确识别率最大的一组参数作为最优的gam与sig2，如果结果均不理想，就需要重新考虑gam 与sig2的范围与采样间隔了。
[5]由分类由回归的过渡
LS_SVMlab、SVM_SteveGunn这两个工具箱实现了支持向量机的函数拟合功能。从工具箱的使用角度来看，分类与回归的最大区别是训练目标不同。回归的训练目标是实际需要拟合的函数值；而分类的训练目标是1,2,…N(分成N类)，再通过适当的编码方案将N类分类转换成多个二类分类。比较文件Regression_LS_SVMlab.m与
Classification_LS_SVMlab.m的前几行就可以注意到这一点。另外，分类算法以正确分类
率来作为性能指标，在回归算法中通常采用拟合的均方误差(mean square error, MSE)来作为性能指标。
MATLAB中如何直接曲线拟合，而不使用cftool的GUI 界面 我们知道在MATLAB中有个很方便的曲线拟合工具：cftool 最基本的使用方法如下，假设我们需要拟合的点集存放在两个向量X和Y中，分别储存着各离散点的横坐标和纵坐标，则在MATLAB中直接键入命令 cftool(X,Y) 就会弹出Curve Fitting Tool的GUI界面，点击界面上的fitting即可开始曲线拟合。 MATLAB提供了各种曲线拟合方法，例如：Exponential, Fourier, Gaussing, Interpolant, Polynomial, Power, Rational, Smoothing Spline, Sum of Functions, Weibull等，当然，也可以使用 Custom Equations. cftool不仅可以绘制拟合后的曲线、给出拟合参数，还能给出拟合好坏的评价 参数(Goodness of fit)如SSE, R-square, RMSE等数据，非常好用。但是如果我们已经确定了拟合的方法，只需要对数据进行计算，那么这种GUI的操作方式就不太适合了，比如在m文件中就不方便直接调用cftool。 MATLAB已经给出了解决办法，可以在cftool中根据情况生成特定的m文件，让我们直接进行特定的曲线拟合并给出参数。具体方法在帮助文件的如下文档中" \ Curve Fitting Toolbox \ Generating M-files From Curve Fitting Tool " ，以下简单举例说明： 以双色球从第125期到第145期蓝球为Y值： Y=[12 15 4 1 7 11 5 7 1 6 16 1 1 14 2 12 9 13 10 12 11]; X=1:1:21; cftool(X,Y); 点击Fitting选择最常用的多项式拟合(Polynomial)，选择3次多项式拟合(cubic)，然后就会出现如下拟合图形： 然后在Curve Fitting Tool窗口中点击 " \ File \ Generate M-file " 即可生成能直接曲线拟合的m函数文件，其中使用的拟合方法就是刚才使用的三次多项式拟合，文件中这条语句证明了这一点： ft_ = fittype('poly3'); 保存该m文件（默认叫做createFit.m），调用方法和通常的m文件一样，使用不同的X和Y值就能拟合出不同的曲线。但是，这种调用方法只能看到一个拟合出的图形窗口，拟合参数以及Goodness of fit参数都看不到了，因此需要在刚才的m文件中稍作修改。 找到这句话： cf_ = fit(X(ok_),Y(ok_),ft_); 修改为： [cf_,gof] = fit(X(ok_),Y(ok_),ft_); 然后将函数声明 function createFit(X,Y) 修改为 function [cf_,gof] = createFit(X,Y) ，这样我们再调用试试看： Y=[12 15 4 1 7 11 5 7 1 6 16 1 1 14 2 12 9 13 10 12 11]; X=1:1:21;
matlab指数函数拟合 2011-04-2617:04碎碎j|分类：文档/报告共享|浏览17560次 刚学matlab，完全不知道如何写程序，特来求助！ x=[1012.51517.52022.52527.53032.53537.54042.54547.55 0]; y=[62.177.392.5104112.9121.9125129.4134138.2142.3143.214 4.6147.2147.8149.1150.9]; y=A(1)*exp(x/A(2))+A(3) 请高手编程拟合指数函数！ 分享到： 2011-05-0119:32提问者采纳 clear all; close all; x=[1012.51517.52022.52527.53032.53537.54042.54547.550]; y=[62.177.392.5104112.9121.9125129.4134138.2142.3143.2144.6147.2147.81 49.1150.9]; myfunc=inline('beta(1)+beta(2)*exp(beta(4)*x)+beta(3)*exp(-beta(4)*x)','beta','x'); beta=nlinfit(x,y,myfunc,[0.50.50.50.5]); a=beta(1),k1=beta(2),k2=beta(3),m=beta(4) xx=min(x):max(x); yy=a+k1*exp(m*xx)+k2*exp(-m*xx); plot(x,y,'o',xx,yy,'r')
提问者评价 知道了，谢谢
支持向量机的matlab代码 Matlab中关于evalin帮助： EVALIN(WS,'expression') evaluates 'expression' in the context of the workspace WS. WS can be 'caller' or 'base'. It is similar to EVAL except that you can control which workspace the expression is evaluated in. [X,Y,Z,...] = EVALIN(WS,'expression') returns output arguments from the expression. EVALIN(WS,'try','catch') tries to evaluate the 'try' expression and if that fails it evaluates the 'catch' expression (in the current workspace). 可知evalin('base', 'algo')是对工作空间base中的algo求值（返回其值）。 如果是7.0以上版本 >>edit svmtrain >>edit svmclassify >>edit svmpredict function [svm_struct, svIndex] = svmtrain(training, groupnames, varargin) %SVMTRAIN trains a support vector machine classifier % % SVMStruct = SVMTRAIN(TRAINING,GROUP) trains a support vector machine % classifier using data TRAINING taken from two groups given by GROUP. % SVMStruct contains information about the trained classifier that is % used by SVMCLASSIFY for classification. GROUP is a column vector of % values of the same length as TRAINING that defines two groups. Each % element of GROUP specifies the group the corresponding row of TRAINING % belongs to. GROUP can be a numeric vector, a string array, or a cell % array of strings. SVMTRAIN treats NaNs or empty strings in GROUP as % missing values and ignores the corresponding rows of TRAINING. % % SVMTRAIN(...,'KERNEL_FUNCTION',KFUN) allows you to specify the kernel % function KFUN used to map the training data into kernel space. The % default kernel function is the dot product. KFUN can be one of the % following strings or a function handle: % % 'linear' Linear kernel or dot product % 'quadratic' Quadratic kernel % 'polynomial' Polynomial kernel (default order 3) % 'rbf' Gaussian Radial Basis Function kernel % 'mlp' Multilayer Perceptron kernel (default scale 1) % function A kernel function specified using @,
%构造训练样本 n = 50; randn('state',6); x1 = randn(2,n); %2行N列矩阵 y1 = ones(1,n); %1*N个1 x2 = 5+randn(2,n); %2*N矩阵 y2 = -ones(1,n); %1*N个-1 figure; plot(x1(1,:),x1(2,:),'bx',x2(1,:),x2(2,:),'k.'); %x1(1,:)为x1的第一行，x1(2,:)为x1的第二行 axis([-3 8 -3 8]); title('C-SVC') hold on; X = [x1,x2]; %训练样本d*n矩阵，n为样本个数，d为特征向量个数 Y = [y1,y2]; %训练目标1*n矩阵，n为样本个数，值为+1或-1 %训练支持向量机 function svm = svmTrain(svmType,X,Y,ker,p1,p2) options = optimset; % Options是用来控制算法的选项参数的向量 https://www.doczj.com/doc/a757413.html,rgeScale = 'off'; options.Display = 'off'; switch svmType case'svc_c', C = p1; n = length(Y); H = (Y'*Y).*kernel(ker,X,X); f = -ones(n,1); %f为1*n个-1,f相当于Quadprog函数中的c A = []; b = []; Aeq = Y; %相当于Quadprog函数中的A1,b1 beq = 0; lb = zeros(n,1); %相当于Quadprog函数中的LB，UB ub = C*ones(n,1); a0 = zeros(n,1); % a0是解的初始近似值 [a,fval,eXitflag,output,lambda] = quadprog(H,f,A,b,Aeq,beq,lb,ub,a0,options); %a是输出变量，它是问题的解 % Fval是目标函数在解a 处的值 % Exitflag>0,则程序收敛于解x Exitflag=0,则函数的计算达到了最大次数 Exitflag<0,则问题无可行解，或程序运行失败 % Output 输出程序运行的某些信息
在Matlab 6.5以上的环境下，在左下方有一个"Start"按钮，如同Windows的开始菜单，点开它，在目录"Toolboxes"下有一个"Curve Fitting"，点开"Curve Fitting Tool"，出现数据拟合工具界面，基本上所有的数据拟合和回归分析都可以在这里进行。 下面给你简单介绍一下它的使用方法。 首先在Matlab的命令行输入两个向量，一个向量是你要的x坐标的各个数据，另外一个是你要的y坐标的各个数据。输入以后假定叫x向量与y向量，可以在workspace里面看见这两个向量，要确保这两个向量的元素数一致，如果不一致的话是不能在工具箱里面进行拟合的。 例如在命令行里输入下列数据: x=(0:0.02:0.98)';二胡与施工的计划的风光好舒服很多国家法规和积分高科技 y=sin(4*pi*x+rand(size(x))); 此时x-y之间的函数近似的为正弦关系，频率为2，但是存在一个误差项。 可以通过作图看出它们的大体分布: plot(x,y,'*','markersize',2); 打开曲线拟合共工具界面，点击最左边的"Data..."按钮，出现一个Data对话框，在Data Sets 页面里，在X Data选项中选取x向量，Y Data选项中选取y向量，如果两个向量的元素数相同，那么Create data set按钮就激活了，此时点击它，生成一个数据组，显示在下方Data Sets列表框中。关闭Data对话框。此时Curve Fitting Tool窗口中显示出这一数据组的散点分布图。 点击Fitting...按钮，出现Fitting对话框，Fitting对话框分为两部分，上面为Fit Editor，下面为Table of Fits,有时候窗口界面比较小，Fit Editor部分会被收起来，只要把Table of Fits 上方的横条往下拉就可以看见Fit Editor。在Fit Editor里面点击New Fit按钮，此时其下方的各个选框被激活，在Data Set选框中选中刚才建立的x-y数据组，然后在Type of fit 选框中选取拟合或回归类型，各个类型的拟合或回归相应的分别是： Custom Equations 用户自定义函数 Expotential e指数函数 Fourier 傅立叶函数，含有三角函数 Gaussian 正态分布函数，高斯函数 Interpolant 插值函数，含有线性函数，移动平均等类型的拟合 Polynomial 多项式函数 Power 幂函数 Rational 有理函数（不太清楚，没有怎么用过） Smooth Spline ？？（光滑插值或者光滑拟合，不太清楚） Sum of sin functions正弦函数类 Weibull 威布尔函数（没用过） 不好意思，没有学过数理统计，所以很多东西都是用了才知道，翻译也就不太准确。不过在Type of fit选框下方有一个列表框，基本上各个函数类里的函数都写成解析式列在下方以供选择，所以找合适的函数还是比较容易的。
支持向量机非线性回归通用MA TLAB源码 支持向量机和BP神经网络都可以用来做非线性回归拟合，但它们的原理是不相同的，支持向量机基于结构风险最小化理论，普遍认为其泛化能力要比神经网络的强。大量仿真证实，支持向量机的泛化能力强于BP网络，而且能避免神经网络的固有缺陷——训练结果不稳定。本源码可以用于线性回归、非线性回归、非线性函数拟合、数据建模、预测、分类等多种应用场合，GreenSim团队推荐您使用。 function [Alpha1,Alpha2,Alpha,Flag,B]=SVMNR(X,Y,Epsilon,C,TKF,Para1,Para2) %% % SVMNR.m % Support Vector Machine for Nonlinear Regression % All rights reserved %% % 支持向量机非线性回归通用程序 % GreenSim团队原创作品，转载请注明 % GreenSim团队长期从事算法设计、代写程序等业务 % 欢迎访问GreenSim——算法仿真团队→https://www.doczj.com/doc/a757413.html,/greensim % 程序功能： % 使用支持向量机进行非线性回归，得到非线性函数y=f(x1,x2,…,xn)的支持向量解析式，% 求解二次规划时调用了优化工具箱的quadprog函数。本函数在程序入口处对数据进行了% [-1,1]的归一化处理，所以计算得到的回归解析式的系数是针对归一化数据的，仿真测 % 试需使用与本函数配套的Regression函数。 % 主要参考文献: % 朱国强,刘士荣等.支持向量机及其在函数逼近中的应用.华东理工大学学报 % 输入参数列表 % X 输入样本原始数据，n×l的矩阵，n为变量个数，l为样本个数 % Y 输出样本原始数据，1×l的矩阵，l为样本个数 % Epsilon ε不敏感损失函数的参数，Epsilon越大，支持向量越少 % C 惩罚系数，C过大或过小，泛化能力变差 % TKF Type of Kernel Function 核函数类型 % TKF=1 线性核函数，注意：使用线性核函数，将进行支持向量机的线性回归 % TKF=2 多项式核函数 % TKF=3 径向基核函数 % TKF=4 指数核函数 % TKF=5 Sigmoid核函数 % TKF=任意其它值，自定义核函数 % Para1 核函数中的第一个参数 % Para2 核函数中的第二个参数 % 注：关于核函数参数的定义请见Regression.m和SVMNR.m内部的定义 % 输出参数列表 % Alpha1 α系数 % Alpha2 α*系数 % Alpha 支持向量的加权系数（α－α*）向量
曲线拟合 求二次拟合多项式 解：（一）最小二乘法MA TLAB编程： function p=least_squar(x,y,n,w) if nargin<4 w=1 end if nargin<3 n=1 end m=length(y); X=ones(1,m) if m<=n error end for i=1:n X=[(x.^i);X] end A=X*diag(w)*X';b=X*(w.*y)';p=(A\b)' 输入： x=[1 3 5 6 7 8 9 10]; y=[10 5 2 1 1 2 3 4] p=least_squar(x,y,2) 运行得： p = 0.2763 -3.6800 13.4320 故所求多项式为：s(x)=13.432-3.68x+0.27632x （二）正交多项式拟合MATLAB编程： function p=least_squar2(x,y,n,w) if nargin<4 w=1; end if nargin<3 n=1; end m=length(x); X=ones(1,m); if m<=n error end for i=1:n X=[x.^i;X]; end A=zeros(1,n+1);
A(1,n+1)=1; a=zeros(1,n+1); z=zeros(1,n+1); for i=1:n phi=A(i,:)*X;t=sum(w.*phi.*phi); b=-sum(w.*phi.*x.*phi)/t a(i)=sum(w.*y.*phi)/t; if i==1 c=0;else c=-t/t1; end t1=t for j=1:n z(j)=A(i,j+1); end z(n+1)=0 if i==1 z=z+b*A(i,:); else z=z+b*A(i,:)+c*A(i-1,:); end A=[A;z]; end phi=A(n+1,:)*X;t=sum(w.*phi.*phi); a(n+1)=sum(w.*y.*phi)/t; p=a*A; 输入： x=[1 3 5 6 7 8 9 10]; y=[10 5 2 1 1 2 3 4]; p=least_squar2(x,y,2) 运行得： b = -6.1250 t1 = 8 z = 0 1 0 b = -4.9328 t1 = 64.8750 z = 1.0000 -6.1250 0 p = 0.2763 -3.6800 13.4320 故所求多项式为：s(x)=13.432-3.68x+0.27632x
四种支持向量机用于函数拟合与模式识别的Matlab示四种支持向量机用于函数拟合与模式识 别的Matlab示 四种支持向量机用于函数拟合与模式识别的Matlab示例程序(转)2010-08-08 10:02使用要点: 应研学论坛人工智能与模式识别版主magic_217之约，写一个关于针对初学者的四种支持向量机工具箱的详细使用说明。同时也不断有网友向我反映看不懂我的源代码，以及询问如何将该工具箱应用到实际数据分析等问题，其中有相当一部分网友并不了解模式识别的基本概念，就急于使用这个工具箱。本文从模式识别的基本概念谈起，过渡到神经网络模式识别，逐步引入到这四种支持向量机工具箱的使用。 本文适合没有模式识别基础，而又急于上手的初学者。作者水平有限，欢迎同行批评指正～ 模式识别基本概念 [1] 模式识别的方法有很多，常用有:贝叶斯决策、神经网络、支持向量机等等。特别说明的是，本文所谈及的模式识别是指"有老师分类"，即事先知道训练样本所属的类别，然后设计分类器，再用该分类器对测试样本进行识别，比较测试样本的实际所属类别与分类器输出的类别，进而统计正确识别率。正确识别率是反映分类器性能的主要指标。 分类器的设计虽然是模式识别重要一环，但是样本的特征提取才是模式识别最关键的环节。试想如果特征矢量不能有效地描述原样本，那么即使分类设计得再好也无法实现正确分类。工程中我们所遇到的样本一般是一维矢量，如:语音信号，或者是二维矩阵，如:图片等。特征提取就是将一维矢量或二维矩阵转化成一个维
数比较低的特征矢量，该特征矢量用于分类器的输入。关于特征提取，在各专业领域中也是一个重要的研究方向，如语音信号的谐振峰特征提取，图片的PCA特征提取等等。 [2]神经网络模式识别 神经网络模式识别的基本原理是，神经网络可以任意逼近一个多维输入输出函数。以三类分类:I、II、III为例，神经网络输入是样本的特征矢量，三类样本的神经网络输出可以是[1;0;0]、[0;1;0]、[0;0;1]，也可以是[1;-1;-1]、[-1;1;-1]、[-1;-1;1]。将所有样本中一部分用来训练网络，另外一部分用于测试输出。通常情况下，正确分类的第I类样本的测试输出并不是[1;0;0]或是[1;-1;-1]，而是如[0.1;0;-0.2]的输出。也是就说，认为输出矢量中最大的一个分量是1，其它分量是0或是-1就可以了。 [3]支持向量机的多类分类 支持向量机的基本理论是从二类分类问题提出的。我想绝大部分网友仅着重于理解二类分类问题上了，我当初也是这样，认识事物都有一个过程。二类分类的基本原理固然重要，我在这里也不再赘述，很多文章和书籍都有提及。我觉得对于工具箱的使用而言，理解如何实现从二类分类到多类分类的过渡才是最核心的内容。下面我仅以1-a-r算法为例，解释如何由二类分类器构造多类分类器。 二类支持向量机分类器的输出为[1,-1]，当面对多类情况时，就需要把多类分类器分解成多个二类分类器。在第一种工具箱LS_SVMlab中，文件 Classification_LS_SVMlab.m中实现了三类分类。训练与测试样本分别为n1、 n2，它们是3 x15的矩阵，即特征矢量是三维，训练与测试样本数目均是15;由于是三类分类，所以训练与测试目标x1、x2的每一分量可以是1、2或是3，分别对应三类，如下所示: n1=[rand(3,5),rand(3,5)+1,rand(3,5)+2];
课程设计名称：设计二：数据拟合指导教师：张莉 课程设计时数： 6 课程设计设备：安装了Matlab、C++软件的计算机 课程设计日期：实验地点：第五教学楼北902 课程设计目的： 1. 了解最小二乘拟合的原理，掌握用MA TLAB作最小二乘拟合的方法； 2. 学会利用曲线拟合的方法建立数学模型。 课程设计准备： 1.在开始本实验之前，请回顾相关内容； 2.需要一台准备安装Windows XP Professional操作系统和装有数学软件的计算机。 课程设计内容及要求 要求：设计过程必须包括问题的简要叙述、问题分析、实验程序及注释、实验数据及结果分析和实验结论几个主要部分。 1. 用切削机床进行金属品加工时，为了适当地调整机床，需要测定刀具的磨损速度，在一定的时间测量刀具的厚度，得数据如表所示，请选用合适的函数来描述切削时间与刀具厚度的关系。 首先对数据进行分析，画出离散的点，观察点近似的曲线： t=0:1:15; y=[30.0 29.1 29.8 28.1 28.0 27.7 27.5 27.2 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.8]; plot(t,y,'r*')
判断出曲线是近似直线函数，所以对数据进行测试可以做三次函数拟合： t=0:1:15; y=[30.0 29.1 29.8 28.1 28.0 27.7 27.5 27.2 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.8]; %plot(t,y,'r*') A=polyfit(t,y,3) z=polyval(A,t); plot(t,y,'r*',t,z,'b') 051015 拟合结果： A = -0.3099 29.5676 拟合函数为：y=-0.3099t+29.5676
MATLAB 智能算法30个案例分析（终极版） 1 基于遗传算法的TSP算法（王辉） 2 基于遗传算法和非线性规划的函数寻优算法（史峰） 3 基于遗传算法的BP神经网络优化算法（王辉） 4 设菲尔德大学的MATLAB遗传算法工具箱（王辉） 5 基于遗传算法的LQR控制优化算法（胡斐） 6 遗传算法工具箱详解及应用（胡斐） 7 多种群遗传算法的函数优化算法（王辉） 8 基于量子遗传算法的函数寻优算法（王辉） 9 多目标Pareto最优解搜索算法（胡斐） 10 基于多目标Pareto的二维背包搜索算法（史峰） 11 基于免疫算法的柔性车间调度算法（史峰） 12 基于免疫算法的运输中心规划算法（史峰） 13 基于粒子群算法的函数寻优算法（史峰） 14 基于粒子群算法的PID控制优化算法（史峰） 15 基于混合粒子群算法的TSP寻优算法（史峰） 16 基于动态粒子群算法的动态环境寻优算法（史峰） 17 粒子群算法工具箱（史峰） 18 基于鱼群算法的函数寻优算法（王辉） 19 基于模拟退火算法的TSP算法（王辉） 20 基于遗传模拟退火算法的聚类算法（王辉） 21 基于模拟退火算法的HEV能量管理策略参数优化（胡斐）
22 蚁群算法的优化计算——旅行商问题（TSP）优化（郁磊） 23 基于蚁群算法的二维路径规划算法（史峰） 24 基于蚁群算法的三维路径规划算法（史峰） 25 有导师学习神经网络的回归拟合——基于近红外光谱的汽油辛烷值预测（郁磊） 26 有导师学习神经网络的分类——鸢尾花种类识别（郁磊） 27 无导师学习神经网络的分类——矿井突水水源判别（郁磊） 28 支持向量机的分类——基于乳腺组织电阻抗特性的乳腺癌诊断（郁磊） 29 支持向量机的回归拟合——混凝土抗压强度预测（郁磊） 30 极限学习机的回归拟合及分类——对比实验研究（郁磊） 智能算法是我们在学习中经常遇到的算法，主要包括遗传算法，免疫算法，粒子群算法，神经网络等，智能算法对于很多人来说，既爱又恨，爱是因为熟练的掌握几种智能算法，能够很方便的解决我们的论坛问题，恨是因为智能算法感觉比较“玄乎”，很难理解，更难用它来解决问题。 因此，我们组织了王辉，史峰，郁磊，胡斐四名高手共同写作MATLAB智能算法，该书包含了遗传算法，免疫算法，粒子群算法，鱼群算法，多目标pareto算法，模拟退火算法，蚁群算法，神经网络，SVM等，本书最大的特点在于以案例为导向，每个案例针对一
SVM整理 1各种svm程序包 1.1 matlab高级版本中自带的svm函数 我现在使用的matlab版本为matlab 7.6.0(R2008a)这个版本中已经自带svm算法，分别为生物信息工具箱（bioinformatics toolbox）中svmclassify函数和svmtrain函数，为上下级关系。 SVMStruct=svmtrain(Training,Group)%svmtrain的输入为样本点training和样本的分类情况group，输出为一个分类器svmstruct. 核函数，核参数，和计算方法等都是可选的，如SVMStruct = svmtrain(…, ‘Kernel_Function’, Kernel_FunctionValue, …) 但是切记切记一定要成对出现。 然后，将分类器和testing sample带入svmclassify中，可以得到分类结果和准确度。 举个例子 svmStruct=svmtrain(data(train,:),groups(train),’Kernel_Function’,'rbf’,'Kernel_FunctionValue’,’5′,’showplot’,true); %用了核宽为5的径向基核，且要求作图 %这里我觉得原作者的写法有误，应该是svmStruct = svmtrain(data(train,:),groups(train),... 'Kernel_Function','rbf','RBF_Sigma',5,'showplot',true); classes = svmclassify(svmStruct,data(test,:),’showplot’,true); %要求输出检测样本点的分类结果，且画图表示。 tip 1: 有归一化scale功能，可以通过调参数实现 tip 2: 计算方法可选qp,smo,ls tip 3: 有个关于soft margin的盒子条件，我不太明白是干嘛的，谁懂得话，就给我讲讲哈 tip 4: 画出来的图很难看 to sum up: 挺好的 1.2较早使用的工具箱SVM and Kernel Methods Matlab Toolbox 2005年法国人写的，最近的更新为20/02/2008 下载的地址为http://asi.insa-rouen.fr/enseignants/~arakotom/toolbox/index.html 这是我最早开始用的一个工具箱，我很喜欢，到现在还是，对于svm的初学者是个很好的toolbox. 有详细的说明和很多的demo和例子， 包含现今几乎所有的有关svm的成熟算法和数据预处理方法（pca及小波等）。 最最重要的是有回归！！！ 且函数简单，容易改动延伸。
13. 数据插值与拟合 实际中，通常需要处理实验或测量得到的离散数据（点）。插值与拟合方法就是要通过离散数据去确定一个近似函数（曲线或曲面），使其与已知数据有较高的拟合精度。 1.如果要求近似函数经过所已知的所有数据点，此时称为插值问 题（不需要函数表达式）。 2.如果不要求近似函数经过所有数据点，而是要求它能较好地反 映数据变化规律，称为数据拟合（必须有函数表达式）。 插值与拟合都是根据实际中一组已知数据来构造一个能够反映数据变化规律的近似函数。区别是：【插值】不一定得到近似函数的表达形式，仅通过插值方法找到未知点对应的值。【拟合】要求得到一个具体的近似函数的表达式。 因此，当数据量不够，但已知已有数据可信，需要补充数据，此时用【插值】。当数据基本够用，需要寻找因果变量之间的数量关系（推断出表达式），进而对未知的情形作预测，此时用【拟合】。
一、数据插值 根据选用不同类型的插值函数，逼近的效果就不同，一般有：（1）拉格朗日插值（lagrange插值） （2）分段线性插值 （3）Hermite （4）三次样条插值 Matlab 插值函数实现： （1）interp1( ) 一维插值 （2）intep2( ) 二维插值 （3）interp3( ) 三维插值 （4）intern( ) n维插值 1.一维插值（自变量是1维数据） 语法：yi = interp1(x0, y0, xi, ‘method’) 其中，x0, y0为原离散数据（x0为自变量，y0为因变量）；xi为需要插值的节点，method为插值方法。 注：（1）要求x0是单调的，xi不超过x0的范围； （2）插值方法有‘nearest’——最邻近插值；‘linear’——线性插值；‘spline’——三次样条插值；‘cubic’——三次插值；
支持向量机m a t l a b 实现源代码
edit svmtrain >>edit svmclassify >>edit svmpredict function [svm_struct, svIndex] = svmtrain(training, groupnames, varargin) %SVMTRAIN trains a support vector machine classifier % % SVMStruct = SVMTRAIN(TRAINING,GROUP) trains a support vector machine % classifier using data TRAINING taken from two groups given by GROUP. % SVMStruct contains information about the trained classifier that is % used by SVMCLASSIFY for classification. GROUP is a column vector of % values of the same length as TRAINING that defines two groups. Each % element of GROUP specifies the group the corresponding row of TRAINING % belongs to. GROUP can be a numeric vector, a string array, or a cell % array of strings. SVMTRAIN treats NaNs or empty strings in GROUP as % missing values and ignores the corresponding rows of TRAINING. % % SVMTRAIN(...,'KERNEL_FUNCTION',KFUN) allows you to specify the kernel % function KFUN used to map the training data into kernel space. The % default kernel function is the dot product. KFUN can be one of the % following strings or a function handle: % % 'linear' Linear kernel or dot product % 'quadratic' Quadratic kernel % 'polynomial' Polynomial kernel (default order 3) % 'rbf' Gaussian Radial Basis Function kernel % 'mlp' Multilayer Perceptron kernel (default scale 1) % function A kernel function specified using @, % for example @KFUN, or an anonymous function % % A kernel function must be of the form % % function K = KFUN(U, V) % % The returned value, K, is a matrix of size M-by-N, where U and V have M % and N rows respectively. If KFUN is parameterized, you can use % anonymous functions to capture the problem-dependent parameters. For % example, suppose that your kernel function is % % function k = kfun(u,v,p1,p2) % k = tanh(p1*(u*v')+p2); % % You can set values for p1 and p2 and then use an anonymous function: % @(u,v) kfun(u,v,p1,p2).
MATLAB中简单的数据拟合方法与应用实例 仅供努力学习matlab的同学们参考参考,查阅了M多资料,总结了以下方法 按步骤做能够基本学会matlab曲线拟合的 1.1数据拟合方法 1.1.1多项式拟合 1.多项式拟合命令 polyfit(X,Y,N):多项式拟合，返回降幂排列的多项式系数。 Polyval(P,xi):计算多项式的值。 其中,X,Y是数据点的值；N是拟合的最高次幂；P是返回的多项式系数；xi是要求的横坐标 拟合命令如下： x=[1 2 3 4 5 6 7 8 9]; y=[9 7 6 3 -1 2 5 7 20]; P=polyfit(x,y,3); xi=0:.2:10; yi=polyval(P,xi); plot(xi,yi,x,y,'r*'); 拟合曲线与原始数据如图1-1 图1-1 2图形窗口的多项式拟合 1）先画出数据点如图1-2 x=[1 2 3 4 5 6 7 8 9]; y=[9 7 6 3 -1 2 5 7 20]; plot(x,y,'r*');
图1-2 2）在图形窗口单击Tools—Basic Fitting,如图1-3勾选. 图1-3 图1-3右方分别是线性、二阶、三阶对数据进行多项式拟合。下面的柱状图显示残差，可以看出,三阶多项式的拟合效果是最好的。 1.1.2指定函数拟合 已知M组数据点和对应的函数形式f t （t）=acos(kt)e X Y 编写M文件：
syms t x=[0;0.4;1.2;2;2.8;3.6;4.4;5.2;6;7.2;8;9.2;10.4;11.6;12.4;13.6;14.4;15]; y=[1;0.85;0.29;-0.27;-0.53;-0.4;-0.12;0.17;0.28;0.15;-0.03;-0.15;-0.071;0.059;0.08;0.032;-0.015;-0.02]; f=fittype('a*cos(k*t)*exp(w*t)','independent','t','coefficients',{'a','k','w'}); cfun=fit(x,y,f) xi=0:.1:20; yi=cfun(xi); plot(x,y,'r*',xi,yi,'b-'); 图1-4 运行程序,在命令窗口可达到以下运行结果，图像如图1-4 Warning: Start point not provided, choosing random start point. > In fit>handlewarn at 715 In fit at 315 In Untitled2 at 5 cfun = General model: cfun(t) = a*cos(k*t)*exp(w*t) Coefficients (with 95% confidence bounds): a = 0.9987 ( 0.9835, 1.014) k = 1.001 (0.9958, 1.006) w = -0.2066 (-0.2131, -0.2002) 从结果可以看出,拟合的曲线为： (0.2066) ()0.9987cos(1.001)*t f t t e- =。拟 合曲线给出了数据大致趋势，并给出了各参数的置信区间。
matlab拟合工具箱使用 2011-06-17 12:53 1.打开CFTOOL工具箱。在Matlab 6.5以上的环境下，在左下方有一个"Start"按钮，如同Windows的开始菜单，点开它，在目录"Toolboxes"下有一个"Curve Fitting"，点开"Curve Fitting Tool"，出现数据拟合工具界面，基本上所有的数据拟合和回归分析都可以在这里进行。也可以在命令窗口中直接输入”cftool”，打开工具箱。 2.输入两组向量x，y。 首先在Matlab的命令行输入两个向量，一个向量是你要的x坐标的各个数据，另外一个是你要的y坐标的各个数据。输入以后假定叫x向量与y向量，可以在workspace里面看见这两个向量，要确保这两个向量的元素数一致，如果不一致的话是不能在工具箱里面进行拟合的。 例如在命令行里输入下列数据: x = [196,186, 137, 136, 122, 122, 71, 71, 70, 33]; y = [0.012605; 0.013115; 0.016866; 0.014741; 0.022353; 0.019278; 0.041803; 0.038026; 0.038128; 0.088196]; 3.数据的选取。打开曲线拟合共工具界面，点击最左边的"Data..."按钮，出现一个Data对话框，在Data Sets页面里，在X Data选项中选取x向量，Y Data 选项中选取y向量，如果两个向量的元素数相同，那么Create data set按钮就激活了，此时点击它，生成一个数据组，显示在下方Data Sets列表框中。关闭Data对话框。此时Curve Fitting Tool窗口中显示出这一数据组的散点分布图。
matlab四种支持向量机工具箱 [b]使用要点:[/b] 应研学论坛<<人工智能与模式识别>>版主magic_217之约，写一个关于针对初学者的<<四种支持向量机工具箱>>的详细使用说明。同时也不断有网友向我反映看不懂我的源代码，以及询问如何将该工具箱应用到实际数据分析等问题，其中有相当一部分网友并不了解模式识别的基本概念，就急于使用这个工具箱。本文从模式识别的基本概念谈起，过渡到神经网络模式识别，逐步引入到这四种支持向量机工具箱的使用。 本文适合没有模式识别基础，而又急于上手的初学者。作者水平有限，欢迎同行批评指正！ [1]模式识别基本概念 模式识别的方法有很多，常用有：贝叶斯决策、神经网络、支持向量机等等。特别说明的是，本文所谈及的模式识别是指“有老师分类”，即事先知道训练样本所属的类别，然后设计分类器，再用该分类器对测试样本进行识别，比较测试样本的实际所属类别与分类器输出的类别，进而统计正确识别率。正确识别率是反映分类器性能的主要指标。 分类器的设计虽然是模式识别重要一环，但是样本的特征提取才是模式识别最关键的环节。试想如果特征矢量不能有效地描述原样本，那么即使分类设计得再好也无法实现正确分类。工程中我们所遇到的样本一般是一维矢量，如：语音信号，或者是二维矩阵，如：图片等。特征提取就是将一维矢量或二维矩阵转化成一个维数比较低的特征矢量，该特征矢量用于分类器的输入。关于特征提取，在各专业领域中也是一个重要的研究方向，如语音信号的谐振峰特征提取，图片的PCA特征提取等等。 [2]神经网络模式识别 神经网络模式识别的基本原理是，神经网络可以任意逼近一个多维输入输出函数。以三类分类：I、II、III为例，神经网络输入是样本的特征矢量，三类样本的神经网络输出可以是[1;0;0]、[0;1;0]、[0;0;1]，也可以是[1;-1;-1]、[-1;1;-1]、[-1;-1;1]。将所有样本中一部分用来训练网络，另外一部分用于测试输出。通常情况下，正确分类的第I类样本的测试输出并不是[1;0;0]或是[1;-1;-1]，而是如 [0.1;0;-0.2]的输出。也是就说，认为输出矢量中最大的一个分量是1，其它分量是0或是-1就可以了。 [3]支持向量机的多类分类 支持向量机的基本理论是从二类分类问题提出的。我想绝大部分网友仅着重于理解二类分类问题上了，我当初也是这样，认识事物都有一个过程。二类分类的基本原理固然重要，我在这里也不再赘述，很多文章和书籍都有提及。我觉得对于工具箱的使用而言，理解如何实现从二类分类到多类分类的过渡才是最核心的内容。下面我仅以1-a-r算法为例，解释如何由二类分类器构造多类分类器。二类支持向量机分类器的输出为[1,-1]，当面对多类情况时，就需要把多类分类器分解成多个二类分类器。在第一种工具箱LS_SVMlab中，文件Classification_LS_SVMlab.m中实现了三类分类。训练与测试样本分别为n1、n2，它们是3 x 15的矩阵，即特征矢量是三维，训练与测试样本数目均是15；由于是三类分类，所以训练与测试目标x1、x2的每一分量可以是1、2或是3，