支持向量机非线性回归通用MA TLAB源码
支持向量机和BP神经网络都可以用来做非线性回归拟合，但它们的原理是不相同的，支持向量机基于结构风险最小化理论，普遍认为其泛化能力要比神经网络的强。大量仿真证实，支持向量机的泛化能力强于BP网络，而且能避免神经网络的固有缺陷——训练结果不稳定。本源码可以用于线性回归、非线性回归、非线性函数拟合、数据建模、预测、分类等多种应用场合，GreenSim团队推荐您使用。
function [Alpha1,Alpha2,Alpha,Flag,B]=SVMNR(X,Y,Epsilon,C,TKF,Para1,Para2)
%%
% SVMNR.m
% Support Vector Machine for Nonlinear Regression
% All rights reserved
%%
% 支持向量机非线性回归通用程序
% GreenSim团队原创作品，转载请注明
% GreenSim团队长期从事算法设计、代写程序等业务
% 欢迎访问GreenSim——算法仿真团队→
% 程序功能：
% 使用支持向量机进行非线性回归，得到非线性函数y=f(x1,x2,…,xn)的支持向量解析式，% 求解二次规划时调用了优化工具箱的quadprog函数。本函数在程序入口处对数据进行了% [-1,1]的归一化处理，所以计算得到的回归解析式的系数是针对归一化数据的，仿真测
% 试需使用与本函数配套的Regression函数。
% 主要参考文献:
% 朱国强,刘士荣等.支持向量机及其在函数逼近中的应用.华东理工大学学报
% 输入参数列表
% X 输入样本原始数据，n×l的矩阵，n为变量个数，l为样本个数
% Y 输出样本原始数据，1×l的矩阵，l为样本个数
% Epsilon ε不敏感损失函数的参数，Epsilon越大，支持向量越少
% C 惩罚系数，C过大或过小，泛化能力变差
% TKF Type of Kernel Function 核函数类型
% TKF=1 线性核函数，注意：使用线性核函数，将进行支持向量机的线性回归
% TKF=2 多项式核函数
% TKF=3 径向基核函数
% TKF=4 指数核函数
% TKF=5 Sigmoid核函数
% TKF=任意其它值，自定义核函数
% Para1 核函数中的第一个参数
% Para2 核函数中的第二个参数
% 注：关于核函数参数的定义请见Regression.m和SVMNR.m内部的定义
% 输出参数列表
% Alpha1 α系数
% Alpha2 α*系数
% Alpha 支持向量的加权系数（α－α*）向量
% Flag 1×l标记，0对应非支持向量，1对应边界支持向量，2对应标准支持向量% B 回归方程中的常数项
%--------------------------------------------------------------------------
%%
%-----------------------数据归一化处理--------------------------------------
nntwarn off
X=premnmx(X);
Y=premnmx(Y);
%%
%%
%-----------------------核函数参数初始化------------------------------------
switch TKF
case 1
%线性核函数K=sum(x.*y)
%没有需要定义的参数
case 2
%多项式核函数K=(sum(x.*y)+c)^p
c=Para1;%c=0.1;
p=Para2;%p=2;
case 3
%径向基核函数K=exp(-(norm(x-y))^2/(2*sigma^2))
sigma=Para1;%sigma=6;
case 4
%指数核函数K=exp(-norm(x-y)/(2*sigma^2))
sigma=Para1;%sigma=3;
case 5
%Sigmoid核函数K=1/(1+exp(-v*sum(x.*y)+c))
v=Para1;%v=0.5;
c=Para2;%c=0;
otherwise
%自定义核函数，需由用户自行在函数内部修改，注意要同时修改好几处！
%暂时定义为K=exp(-(sum((x-y).^2)/(2*sigma^2)))
sigma=Para1;%sigma=8;
end
%%
%%
%-----------------------构造K矩阵-------------------------------------------
l=size(X,2);
K=zeros(l,l);%K矩阵初始化
for i=1:l
for j=1:l
x=X(:,i);
y=X(:,j);
switch TKF%根据核函数的类型，使用相应的核函数构造K矩阵
case 1
K(i,j)=sum(x.*y);
case 2
K(i,j)=(sum(x.*y)+c)^p;
case 3
K(i,j)=exp(-(norm(x-y))^2/(2*sigma^2));
case 4
K(i,j)=exp(-norm(x-y)/(2*sigma^2));
case 5
K(i,j)=1/(1+exp(-v*sum(x.*y)+c));
otherwise
K(i,j)=exp(-(sum((x-y).^2)/(2*sigma^2)));
end
end
end
%%
%%
%------------构造二次规划模型的参数H,Ft,Aeq,Beq,lb,ub------------------------
%支持向量机非线性回归，回归函数的系数，要通过求解一个二次规划模型得以确定Ft=[Epsilon*ones(1,l)-Y,Epsilon*ones(1,l)+Y];
Aeq=[ones(1,l),-ones(1,l)];
Beq=0;
ub=C*ones(2*l,1);
%%
%%
%--------------调用优化工具箱quadprog函数求解二次规划------------------------
OPT=optimset;
https://www.doczj.com/doc/c36185769.html,rgeScale='off';
OPT.Display='off';
%%
%%
%------------------------整理输出回归方程的系数------------------------------
Alpha1=(Gamma(1:l,1))';
Alpha2=(Gamma((l+1):end,1))';
Alpha=Alpha1-Alpha2;
Flag=2*ones(1,l);
%%
%%
%---------------------------支持向量的分类----------------------------------
Err=0.1;
for i=1:l
AA=Alpha1(i);
BB=Alpha2(i);
if (abs(AA-0)<=Err)&&(abs(BB-0)<=Err)
Flag(i)=0;%非支持向量
end
if (AA>Err)&&(AA Flag(i)=2;%标准支持向量
end
if (abs(AA-0)<=Err)&&(BB>Err)&&(BB Flag(i)=2;%标准支持向量
end
if (abs(AA-C)<=Err)&&(abs(BB-0)<=Err)
Flag(i)=1;%边界支持向量
end
if (abs(AA-0)<=Err)&&(abs(BB-C)<=Err)
Flag(i)=1;%边界支持向量
end
end
%%
%%
%--------------------计算回归方程中的常数项B--------------------------------- B=0;
counter=0;
for i=1:l
AA=Alpha1(i);
BB=Alpha2(i);
if (AA>Err)&&(AA %计算支持向量加权值
SUM=0;
for j=1:l
if Flag(j)>0
switch TKF
case 1
SUM=SUM+Alpha(j)*sum(X(:,j).*X(:,i));
case 2
SUM=SUM+Alpha(j)*(sum(X(:,j).*X(:,i))+c)^p;
case 3
SUM=SUM+Alpha(j)*exp(-(norm(X(:,j)-X(:,i)))^2/(2*sigma^2));
case 4
SUM=SUM+Alpha(j)*exp(-norm(X(:,j)-X(:,i))/(2*sigma^2));
case 5
SUM=SUM+Alpha(j)*1/(1+exp(-v*sum(X(:,j).*X(:,i))+c));
otherwise
SUM=SUM+Alpha(j)*exp(-(sum((X(:,j)-X(:,i)).^2)/(2*sigma^2)));
end
end
end
b=Y(i)-SUM-Epsilon;
B=B+b;
counter=counter+1;
end
if (abs(AA-0)<=Err)&&(BB>Err)&&(BB SUM=0;
for j=1:l
if Flag(j)>0
switch TKF
case 1
SUM=SUM+Alpha(j)*sum(X(:,j).*X(:,i));
case 2
SUM=SUM+Alpha(j)*(sum(X(:,j).*X(:,i))+c)^p;
case 3
SUM=SUM+Alpha(j)*exp(-(norm(X(:,j)-X(:,i)))^2/(2*sigma^2));
case 4
SUM=SUM+Alpha(j)*exp(-norm(X(:,j)-X(:,i))/(2*sigma^2));
case 5
SUM=SUM+Alpha(j)*1/(1+exp(-v*sum(X(:,j).*X(:,i))+c));
otherwise
SUM=SUM+Alpha(j)*exp(-(sum((X(:,j)-X(:,i)).^2)/(2*sigma^2)));
end
end
end
b=Y(i)-SUM+Epsilon;
B=B+b;
counter=counter+1;
end
end
if counter==0
B=0;
else
B=B/counter;
end
欢迎访问GreenSim团队主页：
欢迎访问GreenSim——算法仿真团队→
function y=Regression(Alpha,Flag,B,X,Y,TKF,Para1,Para2,x)
%--------------------------------------------------------------------------
% Regression.m
% 与SVMNR.m函数配套使用的仿真测试函数
% 函数功能：
% 本函数相当于支持向量得到的回归方程的解析方程，输入一个待测试的列向量x，得到一
% 个对应的输出值y
% GreenSim团队原创作品，转载请注明
% GreenSim团队长期从事算法设计、代写程序等业务
% 欢迎访问GreenSim——算法仿真团队→
%--------------------------------------------------------------------------
% 输入参数列表
% Alpha 支持向量的加权系数（α－α*）向量
% Flag 1×l标记，0对应非支持向量，1对应边界支持向量，2对应标准支持向量
% B 回归方程中的常数项
% X 输入样本原始数据，n×l的矩阵，n为变量个数，l为样本个数
% Y 输出样本原始数据，1×l的矩阵，l为样本个数
% Para1 核函数中的第一个参数
% Para2 核函数中的第二个参数
% 注：关于核函数参数的定义请见Regression.m和SVMNR.m内部的定义
% x 待测试的原始数据，n×1的列向量
% 输出参数列表
% y 仿真测试的输出值
%%
%-----------------------核函数参数初始化------------------------------------
switch TKF
case 1
%线性核函数K=sum(x.*y)
%没有需要定义的参数
case 2
%多项式核函数K=(sum(x.*y)+c)^p
c=Para1;%c=0.1;
p=Para2;%p=2;
case 3
%径向基核函数K=exp(-(norm(x-y))^2/(2*sigma^2))
sigma=Para1;%sigma=6;
case 4
%指数核函数K=exp(-norm(x-y)/(2*sigma^2))
sigma=Para1;%sigma=3;
case 5
%Sigmoid核函数K=1/(1+exp(-v*sum(x.*y)+c))
v=Para1;%v=0.5;
c=Para2;%c=0;
otherwise
%自定义核函数，需由用户自行在函数内部修改，注意要同时修改好几处！
%暂时定义为K=exp(-(sum((x-y).^2)/(2*sigma^2)))
sigma=Para1;%sigma=8;
end
%%
%%
%----------------------数据归一化处理--------------------------------------- [X,minX,maxX]=premnmx(X);
x=2*((x-minX)./(maxX-minX))-1;
[Y,minY,maxY]=premnmx(Y);
%%
%%
%---------------------计算仿真测试的输出值---------------------------------- l=length(Alpha);
SUM=0;
for i=1:l
if Flag(i)>0
switch TKF
case 1
SUM=SUM+Alpha(i)*sum(x.*X(:,i));
case 2
SUM=SUM+Alpha(i)*(sum(x.*X(:,i))+c)^p;
case 3
SUM=SUM+Alpha(i)*exp(-(norm(x-X(:,i)))^2/(2*sigma^2));
case 4
SUM=SUM+Alpha(i)*exp(-norm(x-X(:,i))/(2*sigma^2));
case 5
SUM=SUM+Alpha(i)*1/(1+exp(-v*sum(x.*X(:,i))+c));
otherwise
SUM=SUM+Alpha(i)*exp(-(sum((x-X(:,i)).^2)/(2*sigma^2)));
end
end
end
y=SUM+B;
%%
%%
%--------------------反归一化处理-------------------------------------------
y=postmnmx(y,minY,maxY);
支持向量机的matlab代码 Matlab中关于evalin帮助： EVALIN(WS,'expression') evaluates 'expression' in the context of the workspace WS. WS can be 'caller' or 'base'. It is similar to EVAL except that you can control which workspace the expression is evaluated in. [X,Y,Z,...] = EVALIN(WS,'expression') returns output arguments from the expression. EVALIN(WS,'try','catch') tries to evaluate the 'try' expression and if that fails it evaluates the 'catch' expression (in the current workspace). 可知evalin('base', 'algo')是对工作空间base中的algo求值（返回其值）。 如果是7.0以上版本 >>edit svmtrain >>edit svmclassify >>edit svmpredict function [svm_struct, svIndex] = svmtrain(training, groupnames, varargin) %SVMTRAIN trains a support vector machine classifier % % SVMStruct = SVMTRAIN(TRAINING,GROUP) trains a support vector machine % classifier using data TRAINING taken from two groups given by GROUP. % SVMStruct contains information about the trained classifier that is % used by SVMCLASSIFY for classification. GROUP is a column vector of % values of the same length as TRAINING that defines two groups. Each % element of GROUP specifies the group the corresponding row of TRAINING % belongs to. GROUP can be a numeric vector, a string array, or a cell % array of strings. SVMTRAIN treats NaNs or empty strings in GROUP as % missing values and ignores the corresponding rows of TRAINING. % % SVMTRAIN(...,'KERNEL_FUNCTION',KFUN) allows you to specify the kernel % function KFUN used to map the training data into kernel space. The % default kernel function is the dot product. KFUN can be one of the % following strings or a function handle: % % 'linear' Linear kernel or dot product % 'quadratic' Quadratic kernel % 'polynomial' Polynomial kernel (default order 3) % 'rbf' Gaussian Radial Basis Function kernel % 'mlp' Multilayer Perceptron kernel (default scale 1) % function A kernel function specified using @,
利用Matlab进行线性回归分析 欧阳歌谷（2021.02.01） 回归分析是处理两个及两个以上变量间线性依存关系的统计方法。可以通过软件Matlab实现。 1.利用Matlab软件实现 在Matlab中，可以直接调用命令实现回归分析， （1）[b,bint,r,rint,stats]=regress(y,x)，其中b是回归方程中的参数估计值，bint是b的置信区间，r和rint分别表示残差及残差对应的置信区间。stats包含三个数字，分别是相关系数，F统计量及对应的概率p值。 （2）recplot(r,rint)作残差分析图。 （3）rstool(x,y)一种交互式方式的句柄命令。 以下通过具体的例子来说明。 例现有多个样本的因变量和自变量的数据，下面我们利用Matlab，通过回归分析建立两者之间的回归方程。 % 一元回归分析 x=[1097 1284 1502 1394 1303 1555 1917 2051 2111 2286 2311
2003 2435 2625 2948 3, 55 3372];%自变量序列数据 y=[698 872 988 807 738 1025 1316 1539 1561 1765 1762 1960 1902 2013 2446 2736 2825];%因变量序列数据 X=[ones(size(x')),x'],pause [b,bint,r,rint,stats]=regress(y',X,0.05),pause%调用一元回归分析函数rcoplot(r,rint)%画出在置信度区间下误差分布。 % 多元回归分析 % 输入各种自变量数据 x1=[5.5 2.5 8 3 3 2.9 8 9 4 6.5 5.5 5 6 5 3.5 8 6 4 7.5 7]'; x2=[31 55 67 50 38 71 30 56 42 73 60 44 50 39 55 7040 50 62 59]'; x3=[10 8 12 7 8 12 12 5 8 5 11 12 6 10 10 6 11 11 9 9]'; x4=[8 6 9 16 15 17 8 10 4 16 7 12 6 4 4 14 6 8 13 11]'; %输入因变量数据 y=[79.3 200.1 163.1 200.1 146.0 177.7 30.9 291.9 160 339.4 159.6 86.3 237.5 107.2 155 201.4 100.2 135.8 223.3 195]'; X=[ones(size(x1)),x1,x2,x3,x4]; [b,bint,r,rint,stats]=regress(y,X)%回归分析 Q=r'*r sigma=Q/18 rcoplot(r,rint); %逐步回归 X1=[x1,x2,x3,x4];
%构造训练样本 n = 50; randn('state',6); x1 = randn(2,n); %2行N列矩阵 y1 = ones(1,n); %1*N个1 x2 = 5+randn(2,n); %2*N矩阵 y2 = -ones(1,n); %1*N个-1 figure; plot(x1(1,:),x1(2,:),'bx',x2(1,:),x2(2,:),'k.'); %x1(1,:)为x1的第一行，x1(2,:)为x1的第二行 axis([-3 8 -3 8]); title('C-SVC') hold on; X = [x1,x2]; %训练样本d*n矩阵，n为样本个数，d为特征向量个数 Y = [y1,y2]; %训练目标1*n矩阵，n为样本个数，值为+1或-1 %训练支持向量机 function svm = svmTrain(svmType,X,Y,ker,p1,p2) options = optimset; % Options是用来控制算法的选项参数的向量 https://www.doczj.com/doc/c36185769.html,rgeScale = 'off'; options.Display = 'off'; switch svmType case'svc_c', C = p1; n = length(Y); H = (Y'*Y).*kernel(ker,X,X); f = -ones(n,1); %f为1*n个-1,f相当于Quadprog函数中的c A = []; b = []; Aeq = Y; %相当于Quadprog函数中的A1,b1 beq = 0; lb = zeros(n,1); %相当于Quadprog函数中的LB，UB ub = C*ones(n,1); a0 = zeros(n,1); % a0是解的初始近似值 [a,fval,eXitflag,output,lambda] = quadprog(H,f,A,b,Aeq,beq,lb,ub,a0,options); %a是输出变量，它是问题的解 % Fval是目标函数在解a 处的值 % Exitflag>0,则程序收敛于解x Exitflag=0,则函数的计算达到了最大次数 Exitflag<0,则问题无可行解，或程序运行失败 % Output 输出程序运行的某些信息
支持向量机非线性回归通用MA TLAB源码 支持向量机和BP神经网络都可以用来做非线性回归拟合，但它们的原理是不相同的，支持向量机基于结构风险最小化理论，普遍认为其泛化能力要比神经网络的强。大量仿真证实，支持向量机的泛化能力强于BP网络，而且能避免神经网络的固有缺陷——训练结果不稳定。本源码可以用于线性回归、非线性回归、非线性函数拟合、数据建模、预测、分类等多种应用场合，GreenSim团队推荐您使用。 function [Alpha1,Alpha2,Alpha,Flag,B]=SVMNR(X,Y,Epsilon,C,TKF,Para1,Para2) %% % SVMNR.m % Support Vector Machine for Nonlinear Regression % All rights reserved %% % 支持向量机非线性回归通用程序 % GreenSim团队原创作品，转载请注明 % GreenSim团队长期从事算法设计、代写程序等业务 % 欢迎访问GreenSim——算法仿真团队→https://www.doczj.com/doc/c36185769.html,/greensim % 程序功能： % 使用支持向量机进行非线性回归，得到非线性函数y=f(x1,x2,…,xn)的支持向量解析式，% 求解二次规划时调用了优化工具箱的quadprog函数。本函数在程序入口处对数据进行了% [-1,1]的归一化处理，所以计算得到的回归解析式的系数是针对归一化数据的，仿真测 % 试需使用与本函数配套的Regression函数。 % 主要参考文献: % 朱国强,刘士荣等.支持向量机及其在函数逼近中的应用.华东理工大学学报 % 输入参数列表 % X 输入样本原始数据，n×l的矩阵，n为变量个数，l为样本个数 % Y 输出样本原始数据，1×l的矩阵，l为样本个数 % Epsilon ε不敏感损失函数的参数，Epsilon越大，支持向量越少 % C 惩罚系数，C过大或过小，泛化能力变差 % TKF Type of Kernel Function 核函数类型 % TKF=1 线性核函数，注意：使用线性核函数，将进行支持向量机的线性回归 % TKF=2 多项式核函数 % TKF=3 径向基核函数 % TKF=4 指数核函数 % TKF=5 Sigmoid核函数 % TKF=任意其它值，自定义核函数 % Para1 核函数中的第一个参数 % Para2 核函数中的第二个参数 % 注：关于核函数参数的定义请见Regression.m和SVMNR.m内部的定义 % 输出参数列表 % Alpha1 α系数 % Alpha2 α*系数 % Alpha 支持向量的加权系数（α－α*）向量
四种支持向量机用于函数拟合与模式识别的Matlab示四种支持向量机用于函数拟合与模式识 别的Matlab示 四种支持向量机用于函数拟合与模式识别的Matlab示例程序(转)2010-08-08 10:02使用要点: 应研学论坛人工智能与模式识别版主magic_217之约，写一个关于针对初学者的四种支持向量机工具箱的详细使用说明。同时也不断有网友向我反映看不懂我的源代码，以及询问如何将该工具箱应用到实际数据分析等问题，其中有相当一部分网友并不了解模式识别的基本概念，就急于使用这个工具箱。本文从模式识别的基本概念谈起，过渡到神经网络模式识别，逐步引入到这四种支持向量机工具箱的使用。 本文适合没有模式识别基础，而又急于上手的初学者。作者水平有限，欢迎同行批评指正～ 模式识别基本概念 [1] 模式识别的方法有很多，常用有:贝叶斯决策、神经网络、支持向量机等等。特别说明的是，本文所谈及的模式识别是指"有老师分类"，即事先知道训练样本所属的类别，然后设计分类器，再用该分类器对测试样本进行识别，比较测试样本的实际所属类别与分类器输出的类别，进而统计正确识别率。正确识别率是反映分类器性能的主要指标。 分类器的设计虽然是模式识别重要一环，但是样本的特征提取才是模式识别最关键的环节。试想如果特征矢量不能有效地描述原样本，那么即使分类设计得再好也无法实现正确分类。工程中我们所遇到的样本一般是一维矢量，如:语音信号，或者是二维矩阵，如:图片等。特征提取就是将一维矢量或二维矩阵转化成一个维
数比较低的特征矢量，该特征矢量用于分类器的输入。关于特征提取，在各专业领域中也是一个重要的研究方向，如语音信号的谐振峰特征提取，图片的PCA特征提取等等。 [2]神经网络模式识别 神经网络模式识别的基本原理是，神经网络可以任意逼近一个多维输入输出函数。以三类分类:I、II、III为例，神经网络输入是样本的特征矢量，三类样本的神经网络输出可以是[1;0;0]、[0;1;0]、[0;0;1]，也可以是[1;-1;-1]、[-1;1;-1]、[-1;-1;1]。将所有样本中一部分用来训练网络，另外一部分用于测试输出。通常情况下，正确分类的第I类样本的测试输出并不是[1;0;0]或是[1;-1;-1]，而是如[0.1;0;-0.2]的输出。也是就说，认为输出矢量中最大的一个分量是1，其它分量是0或是-1就可以了。 [3]支持向量机的多类分类 支持向量机的基本理论是从二类分类问题提出的。我想绝大部分网友仅着重于理解二类分类问题上了，我当初也是这样，认识事物都有一个过程。二类分类的基本原理固然重要，我在这里也不再赘述，很多文章和书籍都有提及。我觉得对于工具箱的使用而言，理解如何实现从二类分类到多类分类的过渡才是最核心的内容。下面我仅以1-a-r算法为例，解释如何由二类分类器构造多类分类器。 二类支持向量机分类器的输出为[1,-1]，当面对多类情况时，就需要把多类分类器分解成多个二类分类器。在第一种工具箱LS_SVMlab中，文件 Classification_LS_SVMlab.m中实现了三类分类。训练与测试样本分别为n1、 n2，它们是3 x15的矩阵，即特征矢量是三维，训练与测试样本数目均是15;由于是三类分类，所以训练与测试目标x1、x2的每一分量可以是1、2或是3，分别对应三类，如下所示: n1=[rand(3,5),rand(3,5)+1,rand(3,5)+2];
回归分析MATLAB 工具箱 一、多元线性回归 多元线性回归：p p x x y βββ+++=...110 1、确定回归系数的点估计值： 命令为：b=regress(Y , X ) ①b 表示???? ?? ????????=p b βββ?...??10 ②Y 表示????????????=n Y Y Y Y (2) 1 ③X 表示??? ??? ????? ???=np n n p p x x x x x x x x x X ...1......... .........1 (12) 1 22221 11211 2、求回归系数的点估计和区间估计、并检验回归模型： 命令为：[b, bint,r,rint,stats]=regress(Y ,X,alpha) ①bint 表示回归系数的区间估计. ②r 表示残差. ③rint 表示置信区间. ④stats 表示用于检验回归模型的统计量,有三个数值：相关系数r 2、F 值、与F 对应的概率p. 说明：相关系数2 r 越接近1,说明回归方程越显著；)1,(1-->-k n k F F α时拒绝0H ,F 越大,说明回归方程越显著；与F 对应的概率p α<时拒绝H 0,回归模型成立. ⑤alpha 表示显著性水平(缺省时为0.05) 3、画出残差及其置信区间. 命令为：rcoplot(r,rint) 例1.如下程序. 解：(1)输入数据. x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; (2)回归分析及检验. [b,bint,r,rint,stats]=regress(Y ,X) b,bint,stats 得结果：b = bint =
MATLAB 智能算法30个案例分析（终极版） 1 基于遗传算法的TSP算法（王辉） 2 基于遗传算法和非线性规划的函数寻优算法（史峰） 3 基于遗传算法的BP神经网络优化算法（王辉） 4 设菲尔德大学的MATLAB遗传算法工具箱（王辉） 5 基于遗传算法的LQR控制优化算法（胡斐） 6 遗传算法工具箱详解及应用（胡斐） 7 多种群遗传算法的函数优化算法（王辉） 8 基于量子遗传算法的函数寻优算法（王辉） 9 多目标Pareto最优解搜索算法（胡斐） 10 基于多目标Pareto的二维背包搜索算法（史峰） 11 基于免疫算法的柔性车间调度算法（史峰） 12 基于免疫算法的运输中心规划算法（史峰） 13 基于粒子群算法的函数寻优算法（史峰） 14 基于粒子群算法的PID控制优化算法（史峰） 15 基于混合粒子群算法的TSP寻优算法（史峰） 16 基于动态粒子群算法的动态环境寻优算法（史峰） 17 粒子群算法工具箱（史峰） 18 基于鱼群算法的函数寻优算法（王辉） 19 基于模拟退火算法的TSP算法（王辉） 20 基于遗传模拟退火算法的聚类算法（王辉） 21 基于模拟退火算法的HEV能量管理策略参数优化（胡斐）
22 蚁群算法的优化计算——旅行商问题（TSP）优化（郁磊） 23 基于蚁群算法的二维路径规划算法（史峰） 24 基于蚁群算法的三维路径规划算法（史峰） 25 有导师学习神经网络的回归拟合——基于近红外光谱的汽油辛烷值预测（郁磊） 26 有导师学习神经网络的分类——鸢尾花种类识别（郁磊） 27 无导师学习神经网络的分类——矿井突水水源判别（郁磊） 28 支持向量机的分类——基于乳腺组织电阻抗特性的乳腺癌诊断（郁磊） 29 支持向量机的回归拟合——混凝土抗压强度预测（郁磊） 30 极限学习机的回归拟合及分类——对比实验研究（郁磊） 智能算法是我们在学习中经常遇到的算法，主要包括遗传算法，免疫算法，粒子群算法，神经网络等，智能算法对于很多人来说，既爱又恨，爱是因为熟练的掌握几种智能算法，能够很方便的解决我们的论坛问题，恨是因为智能算法感觉比较“玄乎”，很难理解，更难用它来解决问题。 因此，我们组织了王辉，史峰，郁磊，胡斐四名高手共同写作MATLAB智能算法，该书包含了遗传算法，免疫算法，粒子群算法，鱼群算法，多目标pareto算法，模拟退火算法，蚁群算法，神经网络，SVM等，本书最大的特点在于以案例为导向，每个案例针对一
SVM整理 1各种svm程序包 1.1 matlab高级版本中自带的svm函数 我现在使用的matlab版本为matlab 7.6.0(R2008a)这个版本中已经自带svm算法，分别为生物信息工具箱（bioinformatics toolbox）中svmclassify函数和svmtrain函数，为上下级关系。 SVMStruct=svmtrain(Training,Group)%svmtrain的输入为样本点training和样本的分类情况group，输出为一个分类器svmstruct. 核函数，核参数，和计算方法等都是可选的，如SVMStruct = svmtrain(…, ‘Kernel_Function’, Kernel_FunctionValue, …) 但是切记切记一定要成对出现。 然后，将分类器和testing sample带入svmclassify中，可以得到分类结果和准确度。 举个例子 svmStruct=svmtrain(data(train,:),groups(train),’Kernel_Function’,'rbf’,'Kernel_FunctionValue’,’5′,’showplot’,true); %用了核宽为5的径向基核，且要求作图 %这里我觉得原作者的写法有误，应该是svmStruct = svmtrain(data(train,:),groups(train),... 'Kernel_Function','rbf','RBF_Sigma',5,'showplot',true); classes = svmclassify(svmStruct,data(test,:),’showplot’,true); %要求输出检测样本点的分类结果，且画图表示。 tip 1: 有归一化scale功能，可以通过调参数实现 tip 2: 计算方法可选qp,smo,ls tip 3: 有个关于soft margin的盒子条件，我不太明白是干嘛的，谁懂得话，就给我讲讲哈 tip 4: 画出来的图很难看 to sum up: 挺好的 1.2较早使用的工具箱SVM and Kernel Methods Matlab Toolbox 2005年法国人写的，最近的更新为20/02/2008 下载的地址为http://asi.insa-rouen.fr/enseignants/~arakotom/toolbox/index.html 这是我最早开始用的一个工具箱，我很喜欢，到现在还是，对于svm的初学者是个很好的toolbox. 有详细的说明和很多的demo和例子， 包含现今几乎所有的有关svm的成熟算法和数据预处理方法（pca及小波等）。 最最重要的是有回归！！！ 且函数简单，容易改动延伸。
支持向量机m a t l a b 实现源代码
edit svmtrain >>edit svmclassify >>edit svmpredict function [svm_struct, svIndex] = svmtrain(training, groupnames, varargin) %SVMTRAIN trains a support vector machine classifier % % SVMStruct = SVMTRAIN(TRAINING,GROUP) trains a support vector machine % classifier using data TRAINING taken from two groups given by GROUP. % SVMStruct contains information about the trained classifier that is % used by SVMCLASSIFY for classification. GROUP is a column vector of % values of the same length as TRAINING that defines two groups. Each % element of GROUP specifies the group the corresponding row of TRAINING % belongs to. GROUP can be a numeric vector, a string array, or a cell % array of strings. SVMTRAIN treats NaNs or empty strings in GROUP as % missing values and ignores the corresponding rows of TRAINING. % % SVMTRAIN(...,'KERNEL_FUNCTION',KFUN) allows you to specify the kernel % function KFUN used to map the training data into kernel space. The % default kernel function is the dot product. KFUN can be one of the % following strings or a function handle: % % 'linear' Linear kernel or dot product % 'quadratic' Quadratic kernel % 'polynomial' Polynomial kernel (default order 3) % 'rbf' Gaussian Radial Basis Function kernel % 'mlp' Multilayer Perceptron kernel (default scale 1) % function A kernel function specified using @, % for example @KFUN, or an anonymous function % % A kernel function must be of the form % % function K = KFUN(U, V) % % The returned value, K, is a matrix of size M-by-N, where U and V have M % and N rows respectively. If KFUN is parameterized, you can use % anonymous functions to capture the problem-dependent parameters. For % example, suppose that your kernel function is % % function k = kfun(u,v,p1,p2) % k = tanh(p1*(u*v')+p2); % % You can set values for p1 and p2 and then use an anonymous function: % @(u,v) kfun(u,v,p1,p2).
matlab四种支持向量机工具箱 [b]使用要点:[/b] 应研学论坛<<人工智能与模式识别>>版主magic_217之约，写一个关于针对初学者的<<四种支持向量机工具箱>>的详细使用说明。同时也不断有网友向我反映看不懂我的源代码，以及询问如何将该工具箱应用到实际数据分析等问题，其中有相当一部分网友并不了解模式识别的基本概念，就急于使用这个工具箱。本文从模式识别的基本概念谈起，过渡到神经网络模式识别，逐步引入到这四种支持向量机工具箱的使用。 本文适合没有模式识别基础，而又急于上手的初学者。作者水平有限，欢迎同行批评指正！ [1]模式识别基本概念 模式识别的方法有很多，常用有：贝叶斯决策、神经网络、支持向量机等等。特别说明的是，本文所谈及的模式识别是指“有老师分类”，即事先知道训练样本所属的类别，然后设计分类器，再用该分类器对测试样本进行识别，比较测试样本的实际所属类别与分类器输出的类别，进而统计正确识别率。正确识别率是反映分类器性能的主要指标。 分类器的设计虽然是模式识别重要一环，但是样本的特征提取才是模式识别最关键的环节。试想如果特征矢量不能有效地描述原样本，那么即使分类设计得再好也无法实现正确分类。工程中我们所遇到的样本一般是一维矢量，如：语音信号，或者是二维矩阵，如：图片等。特征提取就是将一维矢量或二维矩阵转化成一个维数比较低的特征矢量，该特征矢量用于分类器的输入。关于特征提取，在各专业领域中也是一个重要的研究方向，如语音信号的谐振峰特征提取，图片的PCA特征提取等等。 [2]神经网络模式识别 神经网络模式识别的基本原理是，神经网络可以任意逼近一个多维输入输出函数。以三类分类：I、II、III为例，神经网络输入是样本的特征矢量，三类样本的神经网络输出可以是[1;0;0]、[0;1;0]、[0;0;1]，也可以是[1;-1;-1]、[-1;1;-1]、[-1;-1;1]。将所有样本中一部分用来训练网络，另外一部分用于测试输出。通常情况下，正确分类的第I类样本的测试输出并不是[1;0;0]或是[1;-1;-1]，而是如 [0.1;0;-0.2]的输出。也是就说，认为输出矢量中最大的一个分量是1，其它分量是0或是-1就可以了。 [3]支持向量机的多类分类 支持向量机的基本理论是从二类分类问题提出的。我想绝大部分网友仅着重于理解二类分类问题上了，我当初也是这样，认识事物都有一个过程。二类分类的基本原理固然重要，我在这里也不再赘述，很多文章和书籍都有提及。我觉得对于工具箱的使用而言，理解如何实现从二类分类到多类分类的过渡才是最核心的内容。下面我仅以1-a-r算法为例，解释如何由二类分类器构造多类分类器。二类支持向量机分类器的输出为[1,-1]，当面对多类情况时，就需要把多类分类器分解成多个二类分类器。在第一种工具箱LS_SVMlab中，文件Classification_LS_SVMlab.m中实现了三类分类。训练与测试样本分别为n1、n2，它们是3 x 15的矩阵，即特征矢量是三维，训练与测试样本数目均是15；由于是三类分类，所以训练与测试目标x1、x2的每一分量可以是1、2或是3，
~ function stepregress(x,y,F) x=zscore(x,1); %数列标准化 y=zscore(y,1); %数列标准化 r=corrcoef([x,y]); l=0; %消去的次数 L=0; %引入变量的个数 [n,m]=size(x); %m为变量的个数，n为观测的次数 k=ones(m); ? q=1; %判断逐步回归是否继续 while(q==1) q=0; for i=1:m v(i)=r(i,m+1)^2/r(i,i); %计算各因子的方差贡献 end max=1; min=1; > for i=1:m if((max==1)&&(k(i)==1)&&(k(1)==0))||((v(i)>v(max))&&(k(i)==1)) max=i; end if((min==1)&&(k(i)==0)&&(k(1)==1))||((v(i) 利用MATLAB进行回归分析 一、实验目的： 1．了解回归分析的基本原理，掌握MATLAB实现的方法； 2. 练习用回归分析解决实际问题。 二、实验内容： 题目1 社会学家认为犯罪与收入低、失业及人口规模有关，对20个城市的犯罪率y（每10万人中犯罪的人数）与年收入低于5000美元家庭的百分比1x、失业率2x和人口总数3x（千人）进行了调查，结果如下表。 （1）若1x~3x中至多只许选择2个变量，最好的模型是什么？ （2）包含3个自变量的模型比上面的模型好吗？确定最终模型。 （3）对最终模型观察残差，有无异常点，若有，剔除后如何。 理论分析与程序设计： 为了能够有一个较直观的认识，我们可以先分别作出犯罪率y与年收入低于5000美元家庭的百分比1x、失业率2x和人口总数 x（千人）之间关系的散点图，根据大致分布粗略估计各因素造 3 成的影响大小，再通过逐步回归法确定应该选择哪几个自变量作为模型。 编写程序如下： clc; clear all; y=[11.2 13.4 40.7 5.3 24.8 12.7 20.9 35.7 8.7 9.6 14.5 26.9 15.7 36.2 18.1 28.9 14.9 25.8 21.7 25.7]; %犯罪率（人/十万人） x1=[16.5 20.5 26.3 16.5 19.2 16.5 20.2 21.3 17.2 14.3 18.1 23.1 19.1 24.7 18.6 24.9 17.9 22.4 20.2 16.9]; %低收入家庭百分比 x2=[6.2 6.4 9.3 5.3 7.3 5.9 6.4 7.6 4.9 6.4 6.0 7.4 5.8 8.6 6.5 8.3 6.7 8.6 8.4 6.7]; %失业率 x3=[587 643 635 692 1248 643 1964 1531 713 749 7895 762 2793 741 625 854 716 921 595 3353]; %总人口数（千人） figure(1),plot(x1,y,'*'); figure(2),plot(x2,y,'*'); figure(3),plot(x3,y,'*'); X1=[x1',x2',x3']; stepwise(X1,y) 运行结果与结论： 1、囧 function happynewyear axis off; set(gcf,'menubar','none','toolbar','none'); for k=1:20 h=text(rand,rand,... ['\fontsize{',num2str(unifrnd(20,50)),'}\fontname {隶书} 新年快乐'],... 'color',rand(1,3),'Rotation',360 * rand); pause(0.5) End 2、小猫进洞 function t=cat_in_holl(n) t=zeros(1,n); for k=1:n c=unifdnd(3,1); while c~=1 if c==2 t(k)=t(k)+4; else t(k)=t(k)+6; end c=unifdnd(3,1); end t(k)=t(k)+2; End 3、 Slow function example2_3_6s tic;A=unidrnd(100,10,7); B=zeros(10,3); for m=1:10 a=A(m,:); b=[4,6,8]; for ii=1:3 dd=a(a==b(ii)); if isempty(dd)==0 b(ii)=0; end end B(m,:)=b; toc end A,B Fast function example2_3_6fast2 clear A = unidrnd(100,1000000,7); B = repmat([4,6,8],1000000,1); tic;C = [any(AA == 4,2) any(AA == 6,2) any(AA == 8,2)]; B(C) = 0; Toc 4、随机行走法 function [mx,minf]=randwalk(f,x,lamda,epsilon,N) %随机行走法求函数的极小值。输入f为所求函数的句柄， %x为初始值。lamda为步长。epsilon为控制lamda的减小的阈值，即lamda 减小到epsilon时 %迭代停止。 支持向量机matlab分类实例及理论 线性支持向量机可对线性可分的样本群进行分类，此时不需要借助于核函数就可较为理想地解决问题。非线性支持向量机将低维的非线性分类问题转化为高维的线性分类问题，然后采用线性支持向量机的求解方法求解。此时需要借助于核函数，避免线性分类问题转化为非线性分类问题时出现的维数爆炸难题，从而避免由于维数太多而无法进行求解。 第O层：Matlab的SVM函数求解分类问题实例 0.1 Linear classification %Two Dimension Linear-SVM Problem, Two Class and Separable Situation %Method from Christopher J. C. Burges: %"A Tutorial on Support Vector Machines for Pattern Recognition", page 9 %Optimizing ||W|| directly: % Objective: min "f(A)=||W||" , p8/line26 % Subject to: yi*(xi*W+b)-1>=0, function (12); clear all; close all clc; sp=[3,7; 6,6; 4,6;5,6.5] % positive sample points nsp=size(sp); sn=[1,2; 3,5;7,3;3,4;6,2.7] % negative sample points nsn=size(sn) sd=[sp;sn] lsd=[true true true true false false false false false] Y = nominal(lsd) figure(1); subplot(1,2,1) plot(sp(1:nsp,1),sp(1:nsp,2),'m+'); hold on plot(sn(1:nsn,1),sn(1:nsn,2),'c*'); subplot(1,2,2) svmStruct = svmtrain(sd,Y,'showplot',true); 1.研究科研人员的年工资与他的论文质量、工作年限、获得资助指标之间的关系.24位科研人员的调查数据(ex81.txt): 设误差ε~（0，σ 2 ）, 建立回归方程; 假定某位人员的观测值 , 预测年工资及置信度为 95%的置信区间. 程序为：A=load('ex81.txt') Y=A(:,1) X=A(1:24,2:4) xx=[ones(24,1) X] b = regress(Y,X) Y1=xx(:,1:4)*b x=[1 5.1 20 7.2] s=sum(x*b) 调出Y 和X 后，运行可得： b = 17.8469 1.1031 0.3215 1.2889 010203(,,)(5.1,20,7.2)x x x = x = 1.0000 5.1000 20.0000 7.2000 s = 39.1837 所以，回归方程为：Y= 17.8469+1.1031X1+0.3215X2+1.2889X3+ε 当 时，Y=39.1837 2、 54位肝病人术前数据与术后生存时间(ex82.txt,指标依次为凝血值，预后指数，酵素化验值，肝功能化验值，生存时间）. (1) 若用线性回归模型拟合, 考察其各假设合理性; (2) 对生存是时间做对数变换，用线性回归模型拟合, 考察其各假设合理性; (3) 做变换 用线性回归模型拟合, 考察其各假设合理性; (4) 用变量的选择准则，选择最优回归方程 010203 (,,)(5.1,20,7.2)x x x =0.0710.07 Y Z -= (5)用逐步回归法构建回归方程 程序为：A=load('ex82.txt') Y=A(:,5) X=A(1:54,1:4) xx=[ones(54,1) X] [b,bint,r,rint,stats]=regress(Y,xx) 运行结果为： b = -621.5976 33.1638 4.2719 4.1257 14.0916 bint = -751.8189 -491.3762 19.0621 47.2656 3.1397 5.4040 3.0985 5.1530 -11.0790 39.2622 2008-10-31 19:32 支持向量机Matlab示例程序 四种支持向量机用于函数拟合与模式识别的Matlab示例程序 [1]模式识别基本概念 模式识别的方法有很多，常用有：贝叶斯决策、神经网络、支持向量机等等。特别说明的是，本文所谈及的模式识别是指“有老师分类”，即事先知道训练样本所属的类别，然后设计分类器，再用该分类器对测试样本进行识别，比较测试样本的实际所属类别与分类器输出的类别，进而统计正确识别率。正确识别率是反映分类器性能的主要指标。 分类器的设计虽然是模式识别重要一环，但是样本的特征提取才是模式识别最关键的环节。试想如果特征矢量不能有效地描述原样本，那么即使分类设计得再好也无法实现正确分类。工程中我们所遇到的样本一般是一维矢量，如：语音信号，或者是二维矩阵，如：图片等。特征提取就是将一维矢量或二维矩阵转化成一个维数比较低的特征矢量，该特征矢量用于分类器的输入。关于特征提取，在各专业领域中也是一个重要的研究方向，如语音信号的谐振峰特征提取，图片的PCA特征提取等等。 [2]神经网络模式识别 神经网络模式识别的基本原理是，神经网络可以任意逼近一个多维输入输出函数。以三类分类：I、II、III为例，神经网络输入是样本的特征矢量，三类样本的神经网络输出可以是[1;0;0]、[0;1;0]、[0;0;1]，也可以是[1;-1;-1]、[-1;1;-1]、[-1;-1;1]。将所有样本中一部分用来训练网络，另外一部分用于测试输出。通常情况下，正确分类的第I类样本的测试输出并不是[1;0;0]或是[1;-1;-1]，而是如[;0;]的输出。也是就说，认为输出矢量中最大的一个分量是1，其它分量是0或是-1就可以了。 [3]支持向量机的多类分类 支持向量机的基本理论是从二类分类问题提出的。我想绝大部分网友仅着重于理解二类分类问题上了，我当初也是这样，认识事物都有一个过程。二类分类的基本原理固然重要，我在这里也不再赘述，很多文章和书籍都有提及。我觉得对于工具箱的使用而言，理解如何实现从二类分类到多类分类的过渡才是最核心的内容。下面我仅以1-a-r算法为例，解释如何由二类分类器构造多类分类器。 二类支持向量机分类器的输出为[1,-1]，当面对多类情况时，就需要把多类分类器分解成多个二类分类器。在第一种工具箱LS_SVMlab中，文件中实现了三类分类。训练与测试样本分别为n1、n2，它们是3 x 15的矩阵，即特征矢量是三维，训练与测试样本数目均是15；由于是三类分类，所以训练与测试目标x1、x2的每一分量可以是1、2或是3，分别对应三类，如下所示： n1 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]; x1 = [1*ones(1,5),2*ones(1,5),3*ones(1,5)];???? n2 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]; x2 = [1*ones(1,5),2*ones(1,5),3*ones(1,5)];???? 1-a-r算法定义：对于N类问题，构造N个两类分类器，第i个分类器用第i类训练样本作为正的训练样本，将其它类的训练样本作为负的训练样本，此时分类器的判决函数不取符号函数sign，最后的输出是N个两类分类器输出中最大的那一类。利用MATLAB进行回归分析
Matlab8个例子
支持向量机matlab实例及理论_20131201
matlab中回归分析实例分析
支持向量机Matlab示例程序
相关主题
文本预览