clc
clear
close all
%---------------------------------------------------
% 产生训练样本与测试样本，每一列为一个样本
k=125;
m=10;
n1=ones(5,125);
n2=ones(5,10);
n3=[120,150,218,247.7,56,181,0,57,4.32,23.51,24.16,93.5,96,93,910,20,24,26.7,220,33.9,46.9,70 .2,72,128,139,144,159.8,230,679,15.21,20.37,22.1,16,35,73,86,336,82,87,94,121,170,172.9,180, 26.6,70.4,164,25.1,274,3,14,45,60,72,304,22.3,35.1,56,63,68,68,207,236,37,80,82,293,42,220,76 6,10,36.2,105,117,240,851,4072,4.6875,0.962,2,20.443,18.614,4.0787,17.187,17.314,11.299,11. 31,3.7648,2587.2,1565,87.266,85.865,84.333,61.394,57.983,59,57,673.6,32.2,255,707,50.11,56, 121,130.4,300.44,685,174,111,410,574,127,200,1678,162,334,48.155,49.77,45.703,39.216,56.98 2,32.597,26.859,43.737,20.385;
120,60,120.7,148.7,78,262,434,77,193,61.33,261.05,36.7,41,58,1592,41.9,27.8,90.6,230,36.5,16 1.6,70.2,442,419,714,754,438.7,572.4,4992,61.25,59.79,64.1,237,30,520,110,419,81,87,195,69,3 20,334,97,22.7,69.5,244,411.91,376,198,221,168,139,160.3,443.5,7.8,50.6,99.9,149.6,99.2,99.2, 416,410.2,130,243,161,134,98,340,990,4,12.6,169.4,257,676,2802,15850,10.826,15.787,16.667, 17.036,17.972,20.83,21.432,21.731,21.834,21.835,26.818,7.882,98,6.5004,7.0013,8.0593,10.822 ,18.866,28,13,423.5,5.5,48,115,15.97,13,14,2.39,42.14,102,24,58,120,256,107,48,652.9,35,39.9, 1.4272,8.4485,9.1405,9.4118,10.479,15.47,16.887,17.018,17.175;
33,40,126.6,78.7,18,41,226,19,118,45.21,196.13,11.2,12.8,43,801,20.2,24.4,49.2,57,31.5,94.1,17 1.5,221,269.4,351,250,312.4,343,1823,45.94,45.24,44.3,92,10,140,18,105,33,26,14,32,53,172,34 ,22.5,28.9,103,320.9,55,191,199,82,21,63.1,110.9,12.4,16.1,51.4,57.5,35.9,35.9,347,159,91,274. 2,79,52,156,42,115,3,4.4,59.1,92,200,772,9057,17.522,12.299,3.8667,5.6786,6.6865,6.992,5.370 8,5.8304,11.299,11.244,7.2202,4.704,35,5.1647,4.4914,7.2211,4.1623,4.6218,9,0.1,77.6,1.4,8.3, 11,4.66,2.4,3,7.22,3.25,9,9.3,0,18,22,11,14,80.7,5.6,47.8,4.0354,2.1505,2.4557,2.7451,1.2837,4. 9724,3.0902,2.1034,1.7657;
84,70,142.1,192.7,21,28,387,21,125,98.03,201.4,69.5,82.5,37,932,44.2,30,95,110,39.3,193.3,371 .6,461,614.1,634,502,644.6,768.9,3671,81.83,80.49,81.4,470,93,1200,92,1074,224,218,153,268, 520,812.5,271,109,241.2,497,1832.8,1002,701,804,330,430,303.7,946,95.7,93,24.8,276,202.9,20 2.9,1345,817.3,430,1347.7,406,239,610,480,660,33,15.5,347.6,468,818,3521,22621,66.964,70.2 46,76.533,52.811,55.363,67.589,54.936,52.297,53.089,53.146,61.888,1.4,48,1.0686,2.642,0.386 85,10.406,8.6555,70,11,988.9,12.6,33,55,45.37,22,29,1.8,43.18,170,29.3,105,71,503,154,117,10 05.9,30,5.35,22.539,19.355,19.509,22.941,13.571,38.674,39.431,26.219,24.719;
0.55,1,0.9,0.9,0,0,0,0,0,1.01,0.87,1.1,0.6,0,0,0.38,0,0.5,7,0,0.56,0,0.7,0.35,0,1,0.38,0.51,0,0,0,0,0 ,7.1,6,7.4,21,5.4,7.5,15,8,3.2,37.7,8,0,10.4,8.3,18.4,17,0,0,3.1,4.6,0.1,56.1,1.4,1.1,2.3,0,0,0,20,3. 5,2.9,8.4,8.9,2.9,0,14,0,6,0,1.8,4,4,10,535,0,0.7052,0.93333,4.0318,1.3644,0.50983,1.0742,2.826 9,2.4692,2.4646,0.30944,0,0,0,0,0,13.215,9.8739,15,12,344.5,13.2,29.8,81,12.3,22.13,74,4.38,64 .71,367,64.4,201,250,382,224,131,419.1,44,247.6,23.843,20.276,23.192,25.686,17.684,8.2873,1 3.733,10.924,35.955];
for t=1:k
n1(:,t)=(n3(:,t)-min(n3(:,t)))/(max(n3(:,t))-min(n3(:,t)));
end
x1 = [1*ones(1,6),2*ones(1,26),3*ones(1,56),4*ones(1,1),5*ones(1,6),6*ones(1,30)];
n4 = [160,97,27,56,78,92,980,83.714,23,42;
130,229,90,27,161,62,73,8.067,12,62;
33,136,42,20,86,35,58,5.175,12,5;
96,227,63,108,353,280,12,3.0441,10,63;
0,1,0.2,6,10,11,0,0,61,73];
for n=1:m
n2(:,n)=(n4(:,n)-min(n4(:,n)))/(max(n4(:,n))-min(n4(:,n)));
end
x2 = [1*ones(1,1),2*ones(1,2),3*ones(1,3),4*ones(1,1),5*ones(1,1),6*ones(1,2)];
xn_train = n1; % 训练样本
dn_train = x1; % 训练目标
xn_test = n2; % 测试样本
dn_test = x2; % 测试样本
%---------------------------------------------------
% 参数设置
X = xn_train';% 训练样本
Y = dn_train';
Xt = xn_test';
Yt = dn_test';
type = 'c'; %'type has to be ''function (estimation)'', ''classification'', ''timeserie'' or ''NARX'''] kernel_type = 'RBF_kernel';
L_fold = 7;
preprocess = 'preprocess'; %是否归一化'preprocess'是'original'否
codefct = 'code_OneVsOne';
% 将“多类”转换成“两类”的编码方案
% 1. Minimum Output Coding (code_MOC)
% 2. Error Correcting Output Code (code_ECOC)
% 3. One versus All Coding (code_OneVsAll)
% 4. One Versus One Coding (code_OneVsOne)
%---------------------------------------------------
% 编码
[Yc,codebook,old_codebook]=code(Y,codefct);
%---------------------------------------------------
% 交叉验证优化参数
[gam,sig2] = tunelssvm({X,Y,type,[],[],kernel_type,preprocess},...
'gridsearch','crossvalidatelssvm',{L_fold,'misclass'},codefct);
%---------------------------------------------------
% 训练与测试
model = initlssvm(X,Y,type,[],[],kernel_type,preprocess);
model = changelssvm(model,'codetype',codefct);
model = tunelssvm(model,'gridsearch','crossvalidatelssvm',{L_fold,'misclass'});
model = trainlssvm(model);
plotlssvm(model,[],125);
Yd = simlssvm(model, Xt);
Result =1-abs(Yd-Yt) % 正确分类显示为1 Percent = sum(Result)/length(Result) % 正确分类率
clc clear close all %--------------------------------------------------- % 产生训练样本与测试样本，每一列为一个样本 k=125; m=10; n1=ones(5,125); n2=ones(5,10); n3=[120,150,218,247.7,56,181,0,57,4.32,23.51,24.16,93.5,96,93,910,20,24,26.7,220,33.9,46.9,70 .2,72,128,139,144,159.8,230,679,15.21,20.37,22.1,16,35,73,86,336,82,87,94,121,170,172.9,180, 26.6,70.4,164,25.1,274,3,14,45,60,72,304,22.3,35.1,56,63,68,68,207,236,37,80,82,293,42,220,76 6,10,36.2,105,117,240,851,4072,4.6875,0.962,2,20.443,18.614,4.0787,17.187,17.314,11.299,11. 31,3.7648,2587.2,1565,87.266,85.865,84.333,61.394,57.983,59,57,673.6,32.2,255,707,50.11,56, 121,130.4,300.44,685,174,111,410,574,127,200,1678,162,334,48.155,49.77,45.703,39.216,56.98 2,32.597,26.859,43.737,20.385; 120,60,120.7,148.7,78,262,434,77,193,61.33,261.05,36.7,41,58,1592,41.9,27.8,90.6,230,36.5,16 1.6,70.2,442,419,714,754,438.7,572.4,4992,61.25,59.79,64.1,237,30,520,110,419,81,87,195,69,3 20,334,97,22.7,69.5,244,411.91,376,198,221,168,139,160.3,443.5,7.8,50.6,99.9,149.6,99.2,99.2, 416,410.2,130,243,161,134,98,340,990,4,12.6,169.4,257,676,2802,15850,10.826,15.787,16.667, 17.036,17.972,20.83,21.432,21.731,21.834,21.835,26.818,7.882,98,6.5004,7.0013,8.0593,10.822 ,18.866,28,13,423.5,5.5,48,115,15.97,13,14,2.39,42.14,102,24,58,120,256,107,48,652.9,35,39.9, 1.4272,8.4485,9.1405,9.4118,10.479,15.47,16.887,17.018,17.175; 33,40,126.6,78.7,18,41,226,19,118,45.21,196.13,11.2,12.8,43,801,20.2,24.4,49.2,57,31.5,94.1,17 1.5,221,269.4,351,250,312.4,343,1823,45.94,45.24,44.3,92,10,140,18,105,33,26,14,32,53,172,34 ,22.5,28.9,103,320.9,55,191,199,82,21,63.1,110.9,12.4,16.1,51.4,57.5,35.9,35.9,347,159,91,274. 2,79,52,156,42,115,3,4.4,59.1,92,200,772,9057,17.522,12.299,3.8667,5.6786,6.6865,6.992,5.370 8,5.8304,11.299,11.244,7.2202,4.704,35,5.1647,4.4914,7.2211,4.1623,4.6218,9,0.1,77.6,1.4,8.3, 11,4.66,2.4,3,7.22,3.25,9,9.3,0,18,22,11,14,80.7,5.6,47.8,4.0354,2.1505,2.4557,2.7451,1.2837,4. 9724,3.0902,2.1034,1.7657; 84,70,142.1,192.7,21,28,387,21,125,98.03,201.4,69.5,82.5,37,932,44.2,30,95,110,39.3,193.3,371 .6,461,614.1,634,502,644.6,768.9,3671,81.83,80.49,81.4,470,93,1200,92,1074,224,218,153,268, 520,812.5,271,109,241.2,497,1832.8,1002,701,804,330,430,303.7,946,95.7,93,24.8,276,202.9,20 2.9,1345,817.3,430,1347.7,406,239,610,480,660,33,15.5,347.6,468,818,3521,22621,66.964,70.2 46,76.533,52.811,55.363,67.589,54.936,52.297,53.089,53.146,61.888,1.4,48,1.0686,2.642,0.386 85,10.406,8.6555,70,11,988.9,12.6,33,55,45.37,22,29,1.8,43.18,170,29.3,105,71,503,154,117,10 05.9,30,5.35,22.539,19.355,19.509,22.941,13.571,38.674,39.431,26.219,24.719; 0.55,1,0.9,0.9,0,0,0,0,0,1.01,0.87,1.1,0.6,0,0,0.38,0,0.5,7,0,0.56,0,0.7,0.35,0,1,0.38,0.51,0,0,0,0,0 ,7.1,6,7.4,21,5.4,7.5,15,8,3.2,37.7,8,0,10.4,8.3,18.4,17,0,0,3.1,4.6,0.1,56.1,1.4,1.1,2.3,0,0,0,20,3. 5,2.9,8.4,8.9,2.9,0,14,0,6,0,1.8,4,4,10,535,0,0.7052,0.93333,4.0318,1.3644,0.50983,1.0742,2.826 9,2.4692,2.4646,0.30944,0,0,0,0,0,13.215,9.8739,15,12,344.5,13.2,29.8,81,12.3,22.13,74,4.38,64 .71,367,64.4,201,250,382,224,131,419.1,44,247.6,23.843,20.276,23.192,25.686,17.684,8.2873,1 3.733,10.924,35.955]; for t=1:k
支持向量回归简介 人类通过学习，从已知的事实中分析、总结出规律，并且根据规律对未来 的现象或无法观测的现象做出正确的预测和判断，即获得认知的推广能力。在对智能机器的研究当中，人们也希望能够利用机器（计算机）来模拟人的良好学习能力，这就是机器学习问题。基于数据的机器学习是现代智能技术中的重要方面，机器学习的目的是通过对已知数据的学习，找到数据内在的相互依赖关系，从而获得对未知数据的预测和判断能力，在过去的十几年里，人工神经网络以其强大的并行处理机制、任意函数的逼近能力，学习能力以及自组织和自适应能力等在模式识别、预测和决策等领域得到了广泛的应用。但是神经网络受到网络结构复杂性和样本复杂性的影响较大，容易出现“过学习”或低泛化能力。特别是神经网络学习算法缺乏定量的分析与完备的理论基础支持，没有在本质上推进学习过程本质的认识。 现有机器学习方法共同的重要理论基础之一是统计学。传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。 与传统统计学相比, 统计学习理论(Statistical Learning Theory 或SLT ) 是一种专门研究小样本情况下机器学习规律的理论Vladimir N. Vapnik 等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟[17] ，也由于神经网络等学习方法在理论上缺乏实 质性进展, 统计学习理论开始受到越来越广泛的重视。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题）等；同时, 在这一理论基础上发展了一种新的通用学习方法—支持向量机(Support Vector Machine 或SVM ) ，它已初步表现出很多优于已有方法的性能。一些学者认为，SVM 正在成为继神经网络研究之后新的研究热点，并将有力地推动机 器学习理论和技术的发展。 支持向量机（SVM ）是一种比较好的实现了结构风险最小化思想的方法。它的机器学习策略是结构风险最小化原则为了最小化期望风险，应同时最小化经验风险和置信范围） 支持向量机方法的基本思想： （1 ）它是专门针对有限样本情况的学习机器，实现的是结构风险最小化：在对给定的数据逼近的精度与逼近函数的复杂性之间寻求折衷，以期获得最好的推广能力； （2 ）它最终解决的是一个凸二次规划问题，从理论上说，得到的将是全局最优解，解决了在神经网络方法中无法避免的局部极值问题； （3 ）它将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造线性决策函数来实现原空间中的非线性决策函数，巧妙地解决了维数问题，并保证了有较好的推广能力，而且算法复杂度与样本维数无关。 目前，SVM 算法在模式识别、回归估计、概率密度函数估计等方面都有应用，且算法在效率与精度上已经超过传统的学习算法或与之不相上下。
支持向量机分类器 1 支持向量机的提出与发展 支持向量机( SVM, support vector machine )是数据挖掘中的一项新技术，是借助于最优化方法来解决机器学习问题的新工具，最初由V.Vapnik 等人在1995年首先提出，近几年来在其理论研究和算法实现等方面都取得了很大的进展，开始成为克服“维数灾难”和过学习等困难的强有力的手段，它的理论基础和实现途径的基本框架都已形成。 根据Vapnik & Chervonenkis的统计学习理论 ,如果数据服从某个(固定但未知的)分布,要使机器的实际输出与理想输出之间的偏差尽可能小,则机器应当遵循结构风险最小化 ( SRM,structural risk minimization)原则,而不是经验风险最小化原则,通俗地说就是应当使错误概率的上界最小化。SVM正是这一理论的具体实现。与传统的人工神经网络相比, 它不仅结构简单,而且泛化( generalization)能力明显提高。 2 问题描述 2.1问题引入 假设有分布在Rd空间中的数据，我们希望能够在该空间上找出一个超平面(Hyper-pan),将这一数据分成两类。属于这一类的数据均在超平面的同侧，而属于另一类的数据均在超平面的另一侧。如下图。 比较上图，我们可以发现左图所找出的超平面（虚线），其两平行且与两类数据相切的超平面（实线）之间的距离较近，而右图则具有较大的间隔。而由于我们希望可以找出将两类数据分得较开的超平面，因此右图所找出的是比较好的超平面。 可以将问题简述如下： 设训练的样本输入为xi，i=1，…，l，对应的期望输出为yi∈{+1，-1}，其中+1和-1分别代表两类的类别标识，假定分类面方程为ω﹒x+b=0。为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足以下约束条件： 它追求的不仅仅是得到一个能将两类样本分开的分类面，而是要得到一个最优的分类面。 2.2 问题的数学抽象 将上述问题抽象为： 根据给定的训练集
最小二乘支持向量机的自编代码 clear all; clc; N=35; %样本个数 NN1=4; %预测样本数 %********************随机选择初始训练样本及确定预测样本 ******************************* x=[]; y=[]; index=randperm(N); %随机排序N个序列 index=sort(index); gama=23.411; %正则化参数 deita=0.0698; %核参数值 %thita=; %核参数值 %*********构造感知机核函数************************************* %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=tanh(deita*(x1'*x2)+thita); % end %end %*********构造径向基核函数************************************** for i=1:N x1=x(:,index(i)); for j=1:N x2=x(:,index(j)); x12=x1-x2; K(i,j)=exp(-(x12'*x12)/2/(deita*deita)); end end %*********构造多项式核函数**************************************** %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=(1+x1'*x2)^(deita); % end %end %*********构造核矩阵************************************ for i=1:N-NN1 for j=1:N-NN1 omeiga1(i,j)=K(i,j); end
第二讲大数据分析处理概述 1、Hadoop是一个（C） A.进行大数据分析处理的操作系统 B.专门存储大数据的数据库 C.大数据计算框架 D.收费的商业数据分析服务提供商 2、Hadoop集群可以运行的3个模式是（ABC）多选 A.本地模式 B.伪分布模式 C.全分布模式 D.离线模式 3、在Hadoop中，计算任务被称为Job，JobTracker是一个后台服务进程，启动之后，会一直监听并接收来自各个TaskTracker发送的心跳信息，包括资源使用情况和任务运行情况等信息，它使用的端口号是（B） A.70 B.30 C.80 D.60 4、在Hadoop中，一个作业（Job）包含多个任务（Task），从JobTracker接收并执行各种命令：运行任务、提交任务、杀死任务等；另一方面，将本地节点上各个任务的状态通过心跳周期性汇报给JobTracker，它使用的端口号是（D） A.70 B.30 C.80 D.60 5、Hadoop是由（B）语言编写的 A.C B.Java C.Python D.Scala 6、Hadoop中，集群的结构是（A） A.Master/Slave 结构 B.P2P结构 C.串行结构 D.以上都是 7、Hadoop平台中使用哪种技术可以运行Python语言编写的MapReduce代码（A）
A.Hadoop Streaming B.Hadoop C++编程接口 C.Hive D.Hbase 8、在Hadoop中，下列哪项主要提供基础程序包以及和操作系统进行交互（A） A.Hadoop Common package B.Hadoop Distributed File System C.Hadoop YARN D.MapReduce Engine 9、Hadoop的局限和不足(ABCD) A.抽象层次低，需要手工编写代码来完成，使用上难以上手 B.对于迭代式数据处理性能比较差 C.中间结果也放在HDFS文件系统中 D.时延高，只适用Batch数据处理，对于交互式数据处理，实时数据处理的支持不够 10、以下哪项不是Hadoop Streaming框架的优点（C） A.可以使用其他语言（包括脚本语言）编写的程序移植到Hadoop平台上 B.可以使用性能更好的语言（C/C++）来编写程序 C.可以不用设置Map与Reduce过程 D.Streaming框架汇总通过limit等方式可以灵活的先知应用程序使用的内存等资源 11、下列哪些选项是Hadoop Streaming框架的缺点（A） A.Hadoop Streaming默认只能处理文本数据，无法直接对二进制数据进行处理 B.Hadoop Streaming 不方便程序向Hadoop平台移植 C.Streaming中的mapper和reducer默认只能向标准输出写数据，不能方便地处理多路输出 D.只要程序能从标准输入读取数据、向标准输出写数据，就能使用Hadoop Streaming 12、在Hadoop中，下列哪项主要功能是计算资源的调度（C） A.Hadoop common package B.Hadoop Distributed File System C.Hadoop YARN D.MapReduce Engine 13、在Hadoop中，下列哪项负责文件的分布式存储与访问（B） A.Hadoop common package B.Hadoop Distributed File System C.Hadoop YARN D.MapReduce Engine 14、在Hadoop中，下列哪项负责计算任务的并行化（D） A.Hadoop common package B.Hadoop Distributed File System
龙源期刊网 https://www.doczj.com/doc/0e8356551.html, 基于支持向量回归的行程时间预测算法 作者：邱淳风王珊王超群 来源：《计算机时代》2014年第04期 摘要：作为交通规划、运营和通行能力评估的重要指标，行程时间的预测对出行者的路线和时间点的选择，以及交通规划部门的信号控制策略有着重要的实际意义。对于高级交通诱导系统而言，行程时间预测是一项关键的研究内容。现有行程时间预测方法较少，且预测误差较大。为此，运用浮动车和微波雷达测速数据，提出了基于支持向量机解决行程时间预测的方法，并且与历史平均法进行了比较。在杭州市高架路线上的实验结果表明，所提方法的预测精度大幅度超过了历史平均法。 关键词：支持向量机；行程时间；智能交通；历史平均 中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2014）04-40-03 Abstract： As an important indicator of transportation planning， operations and capacity assessment， the forecasted travel time has important practical meaning for the choice of route and timing， as well as for traffic signal control strategy of transportation planning department. For advanced transportation guidance systems， it is a key issue to predict travel times between pairs of points of interest. There are few travel time prediction methods with high probability of prediction error. In this paper， the speed data returned from probe vehicles and microwave radars is used to predict travel times based on support vector regression（SVR）， and the new algorithm is compared to the historical mean algorithm. The experimental results over elevatedroads in Hangzhou show that the SVR based algorithm significantly outperforms the historical mean algorithm. Key words： support vector machine； travel time； intelligent transportation； historical average 0 引言 行程时间是交通规划、运营和通行能力评估的重要指标。基于预测的行程时间，出行者可以直观地进行路线选择或者出行时间点的选择，交通规划部门能够做出合理的信号控制策略。因此，准确预测行程时间具有重要的应用价值。 支持向量机（SVM）[1]是Vapnik在1995年提出的，已经被广泛地应用到监督分类领 域。因为该方法采用了结构风险最小化的设计，比起经验风险最小化方法，其泛化能力更强，因此往往表现出较强的测试精度。特别地，工程实践往往难以获得大量标注样本，而SVM在小样本学习问题上表现出较佳的性能。另外，SVM采用严格的数值计算方法，不会收敛到局部最小解。在智能交通领域，运用SVM解决交通状态评估的工作较多，并且能得到高精度的路况估计结果。
3.3 支持向量回归机 SVM 本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression ，SVR ）是支持向量在函数回归领域的应用。SVR 与SVM 分类有以下不同：SVM 回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。 3.3.1 SVR 基本模型 对于线性情况，支持向量机函数拟合首先考虑用线性回归函数 b x x f +?=ω)(拟合n i y x i i ,...,2,1),,(=，n i R x ∈为输入量，R y i ∈为输出量，即 需要确定ω和b 。 图3-3a SVR 结构图 图3-3b ε不灵敏度函数 惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。 表3-1 常用的损失函数和相应的密度函数 损失函数名称 损失函数表达式()i c ξ% 噪声密度 ()i p ξ ε -不敏感 i εξ 1 exp()2(1) i εξε-+ 拉普拉斯 i ξ 1 exp()2 i ξ- 高斯 212 i ξ 21 exp()22i ξπ -
标准支持向量机采用ε-不灵敏度函数，即假设所有训练数据在精度ε下用线性函数拟合如图（3-3a ）所示， ** ()()1,2,...,,0 i i i i i i i i y f x f x y i n εξεξξξ-≤+??-≤+=??≥? （3.11） 式中，*,i i ξξ是松弛因子，当划分有误差时，ξ，*i ξ都大于0，误差不存在取0。这时，该问题转化为求优化目标函数最小化问题： ∑=++?=n i i i C R 1 ** )(21 ),,(ξξωωξξω （3.12） 式（3.12）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数0>C 表示对超出误差ε的样本的惩罚程度。求解式（3.11）和式（3.12）可看出，这是一个凸二次优化问题，所以引入Lagrange 函数： * 11 ****1 1 1()[()] 2[()]() n n i i i i i i i i n n i i i i i i i i i i L C y f x y f x ωωξξαξεαξεξγξγ=====?++-+-+-+-+-+∑∑∑∑ （3.13） 式中，α，0*≥i α，i γ，0*≥i γ，为Lagrange 乘数，n i ,...,2,1=。求函数L 对ω， b ，i ξ，*i ξ的最小化，对i α，*i α，i γ，*i γ的最大化，代入Lagrange 函数得到对偶形式，最大化函数：
支持向量机数据分类预测 一、题目——意大利葡萄酒种类识别 Wine数据来源为UCI数据库，记录同一区域三种品种葡萄酒的化学成分，数据有178个样本，每个样本含有13个特征分量。50%做为训练集，50%做为测试集。 二、模型建立 模型的建立首先需要从原始数据里把训练集和测试集提取出来，然后进行一定的预处理，必要时进行特征提取，之后用训练集对SVM进行训练，再用得到的模型来预测试集的分类。 三、Matlab实现 3.1 选定训练集和测试集 在178个样本集中，将每个类分成两组，重新组合数据，一部分作为训练集，一部分作为测试集。 % 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量 load chapter12_wine.mat; % 选定训练集和测试集 % 将第一类的1-30,第二类的60-95,第三类的131-153做为训练集 train_wine = [wine(1:30,:);wine(60:95,:);wine(131:153,:)]; % 相应的训练集的标签也要分离出来 train_wine_labels = [wine_labels(1:30);wine_labels(60:95);wine_labels(131:153)]; % 将第一类的31-59,第二类的96-130,第三类的154-178做为测试集 test_wine = [wine(31:59,:);wine(96:130,:);wine(154:178,:)]; % 相应的测试集的标签也要分离出来 test_wine_labels = [wine_labels(31:59);wine_labels(96:130);wine_labels(154:178)]; 3.2数据预处理 对数据进行归一化： %% 数据预处理 % 数据预处理,将训练集和测试集归一化到[0,1]区间 [mtrain,ntrain] = size(train_wine); [mtest,ntest] = size(test_wine); dataset = [train_wine;test_wine]; % mapminmax为MATLAB自带的归一化函数 [dataset_scale,ps] = mapminmax(dataset',0,1); dataset_scale = dataset_scale';
２００７，４３（５）ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 １问题的提出 航空公司在客舱服务部逐步实行“费用包干”政策，即：综合各方面的因素，总公司每年给客舱服务部一定额度的经费，由客舱服务部提供客舱服务，而客舱服务产生的所有费用，由客舱服务部在“费用包干额度”中自行支配。新的政策既给客舱服务部的管理带来了机遇，同时也带来了很大的挑战。通过“费用包干”政策的实施，公司希望能够充分调用客舱服务部的积极性和主动性，进一步改进管理手段，促进新的现代化管理机制的形成。 为了进行合理的分配，必须首先搞清楚部门的各项成本、成本构成、成本之间的相互关系。本文首先对成本组成进行分析，然后用回归模型和支持向量机预测模型对未来的成本进行预测［１－３］，并对预测结果的评价和选取情况进行了分析。 ２问题的分析 由于客舱服务部的特殊性，“费用包干”政策的一项重要内容就集中在小时费的重新分配问题上，因为作为客舱乘务员的主要组成部分—— —“老合同”员工的基本工资、年龄工资以及一些补贴都有相应的政策对应，属于相对固定的部分，至少目前还不是调整的最好时机。乘务员的小时费收入则是根据各自的飞行小时来确定的变动收入，是当前可以灵活调整的部分。实际上，对于绝大多数员工来说，小时费是其主要的收入部分，因此，用于反映乘务人员劳动强度的小时费就必然地成为改革的重要部分。 现在知道飞行小时和客万公里可能和未来的成本支出有关系，在当前的数据库中有以往的飞行小时（月）数据以及客万公里数据，并且同时知道各月的支出成本，现在希望预测在知道未来计划飞行小时和市场部门希望达到的客万公里的情况下的成本支出。 根据我们对问题的了解，可以先建立这个部门的成本层次模型，搞清楚部门的各项成本、成本构成、成本之间的相互关系。这样，可以对部门成本支出建立一个层次模型：人力资源成本、单独预算成本、管理成本，这三个部分又可以分别继续分层 次细分，如图１所示。 基于支持向量机回归模型的海量数据预测 郭水霞１，王一夫１，陈安２ ＧＵＯＳｈｕｉ－ｘｉａ１，ＷＡＮＧＹｉ－ｆｕ１，ＣＨＥＮＡｎ２ １．湖南师范大学数学与计算机科学学院，长沙４１００８１ ２．中国科学院科技政策与管理科学研究所，北京１０００８０ １．ＣｏｌｌｅｇｅｏｆＭａｔｈ．ａｎｄＣｏｍｐｕｔｅｒ，ＨｕｎａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ４１００８１，Ｃｈｉｎａ ２．ＩｎｓｔｉｔｕｔｅｏｆＰｏｌｉｃｙａｎｄＭａｎａｇｅｍｅｎｔ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００８０，Ｃｈｉｎａ Ｅ－ｍａｉｌ：ｇｕｏｓｈｕｉｘｉａ＠ｓｉｎａ．ｃｏｍ ＧＵＯＳｈｕｉ－ｘｉａ，ＷＡＮＧＹｉ－ｆｕ，ＣＨＥＮＡｎ．Ｐｒｅｄｉｃｔｉｏｎｏｎｈｕｇｅｄａｔａｂａｓｅｏｎｔｈｅｒｅｇｒｅｓｓｉｏｎｍｏｄｅｌｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３（５）：１２－１４． Ａｂｓｔｒａｃｔ：Ａｓａｎｉｍｐｏｒｔａｎｔｍｅｔｈｏｄａｎｄｔｅｃｈｎｉｑｕｅ，ｐｒｅｄｉｃｔｉｏｎｈａｓｂｅｅｎｗｉｄｅｌｙａｐｐｌｉｅｄｉｎｍａｎｙａｒｅａｓ．Ｗｉｔｈｔｈｅｉｎｃｒｅａｓｉｎｇａｍｏｕｎｔｏｆｄａｔａ，ｐｒｅｄｉｃｔｉｏｎｆｒｏｍｈｕｇｅｄａｔａｂａｓｅｂｅｃｏｍｅｓｍｏｒｅａｎｄｍｏｒｅｉｍｐｏｒｔａｎｔ．Ｂａｓｅｄｏｎｔｈｅｂａｓｉｃｐｒｉｎｃｉｐｌｅｏｆｖｅｃｔｏｒｍａｃｈｉｎｅａｎｄｉｍ－ｐｌｅｍｅｎｔａｒｉｔｈｍｅｔｉｃ，ａｐｒｅｄｉｃｔｉｏｎｓｙｓｔｅｍｉｎｆｒａｓｔｒｕｃｔｕｒｅｏｎａｎａｉｒｃｏｍｐａｎｙｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｌａｓｔｌｙ，ｔｈｅｒｕｌｅｓｏｆｅｖａｌｕａｔｉｏｎａｎｄｓｅｌｅｃｔｉｏｎｏｆｔｈｅｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｓａｒｅｄｉｓｃｕｓｓｅｄ． Ｋｅｙｗｏｒｄｓ：ｐｒｅｄｉｃｔｉｏｎ；ｄａｔａｍｉｎｉｎｇ；ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ；ｒｅｇｒｅｓｓｉｏｎｍｏｄｅｌ 摘要：预测是很多行业都需要的一项方法和技术，随着数据积累的越来越多，基于海量数据的预测越来越重要，在介绍支持向量机基本原理和实现算法的基础上，给出了航空服务成本预测模型，最后对预测结果的评价和选取情况进行了分析。 关键词：预测；数据挖掘；支持向量机；回归模型 文章编号：１００２－８３３１（２００７）０５－００１２－０３文献标识码：Ａ中图分类号：ＴＰ１８ 基金项目：国家自然科学基金（ｔｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａｕｎｄｅｒＧｒａｎｔＮｏ．１０５７１０５１）；湖南省教育厅资助科研课题（ｔｈｅＲｅｓｅａｒｃｈＰｒｏｊｅｃｔｏｆＤｅｐａｒｔｍｅｎｔｏｆＥｄｕｃａｔｉｏｎｏｆＨｕｎａｎＰｒｏｖｉｎｃｅ，ＣｈｉｎａｕｎｄｅｒＧｒａｎｔＮｏ．０６Ｃ５２３）。 作者简介：郭水霞（１９７５－），女，博士生，讲师，主要研究领域为统计分析；王一夫（１９７１－），男，博士生，副教授，主要研究领域为计算机应用技术，软件工程技术；陈安（１９７０－），男，副研究员，主要研究领域为数据挖掘与决策分析。 １２
．．．． 拓扑分析、空间叠加、缓冲分析、网络分析P3 数字地面模型(DTM)： 数字高程模型(DEM)： 不规则三角网(TIN)： 地质统计学：是利用空间变量的自相关特征研究空间随机场性质的一种统计理论。它分为(1)结构分析理论；(2)克立格插值理论（插值理论）；(3)条件模拟理论。 协方差、空间采样理论P9 估计误差：是指实测值与真实值之间的误差。 估计方差：是指估计误差的离散程度。 z，它的空间分布由x , y水平坐标系统来描述。 DEM派生信息：以数字地面模型为基础，通过数字地形分析（DTA）手段可提取出用于描述地表不同方面特征的参数，这些参数统称为DEM派生信息。 坡度、坡向、曲率P16 地面曲率：地面曲率是对地形表面一点扭曲变化程度的定量化度量因子，地面曲率在垂直和水平两个方向上分量分别称为平面曲率和剖面曲率。 剖面曲率、平面曲率、坡形P18 汇流量（汇流面积）：一个栅格单元的汇流量是其上游单元向其输送的水流量的总和。 地形湿度指数：单位等高线上的汇流面积与坡度之比。 通视分析：就是利用DEM判断地形上任意点之间是否可以相互可见的技术方法，分为视线分析和视域分析。 ,具体指在点. 线. 面实体周围自动建立的一定宽度的多边形。 叠置分析：是将同一地区的两组或两组以上的要素进行叠置，产生新的特征的分析方法。 合成叠置、统计叠置P30 交、并、剪P31 差、识别P32 距离分析：用于分析图像上每个点与目标的距离，如有多目标，则以最近的距离作为栅格值。 距离制图、直线距离分析P32 密度分析：针对一些点要素（或线要素）的特征值（如人口数）并不是集中在点上（或线上）的特点，对要素的特征值进行空间分配，从而更加真实地反映要素分布。 密度制图：根据输入的要素数据集计算整个区域的数据聚集状况，从而产生一个连续的密度表面。 泰森多边形：设平面有n个互不重叠的离散数据点，则其中任意一个离散数据点Pi都有一个临近范围Bi，在Bi中的任一点同Pi点间的距离都小于它们同其它离散数据点间的距离，其中Bi是一个不规则多边形，称为泰森多边形。 重分类Reclassify：即基于原有数值，对原有数值重新进行分类整理从而得到一组新值并输出，是对单个波段，改变值的分布。 重采样Resample：是改变影像分辨率（每个像素点代表矢量大小），可以用于多波段。 像元统计、邻域统计、区域统计P38 Aggregate、Majority Filter、Expand和Shrink P38 协方差函数、互协方差函数P44 平稳假设：指区域化变量Z(x)的任意n维分布函数不因空间点x发生位移而改变。 二阶平稳假设：数学期望与协方差函数均存在且平稳。 两点之差的方差之半定义为Z(x)的变差函数。 角度容差、距离容差P50 块金常数、变程、基台值P51 套和结构：实际的区域化变量的变化性是十分复杂的，反映在变差函数上就是它的结构不是单纯的一种结构，而是多层次结构叠加在一起称为套和结构。 ,克里格法是建立在变异函数理论及结构分析基础上,在有限区域内对区域化变量取值进行线性无偏最优估计的方法。
最小二乘支持向量机 产生训练样本与测试样本，每一列为一个样本 k=125;m=10;n1=ones(5,125);n2=ones(5,10);n3=[120,150,218,2 47、7,56,181,0,57,4、32, 23、51, 24、16, 93、5,96,93,910,20,24, 26、7,220, 33、9, 46、9, 70、2,72,128,139,144,1 59、8,230,679, 15、21, 20、37, 22、1,16,35,73,86,336,82,87,94,121,170,1 72、9,180, 26、6, 70、4,164, 25、1,274,3,14,45,60,72,304, 22、3, 35、1,56,63,68,68,207,236,37,80,82,293,42,220,766,10,
36、2,105,117,240,851,4072,4、6875,0、962,2, 20、443, 18、614,4、0787, 17、187, 17、314, 11、299, 11、31,3、7648,25 87、2,1565, 87、266, 85、865, 84、333, 61、394, 57、983,59,57,6 73、6, 32、2,255,707, 50、11,56,121,1 30、4,300、 44,685,174,111,410,574,127,200,1678,162,334, 48、155, 49、77, 45、703, 39、216,
56、982, 32、597, 26、859, 43、737, 20、385;120,60,1 20、7,1 48、7,78,262,434,77,193, 61、33,2 61、05, 36、7,41,58,1592, 41、9, 27、8, 90、6,230, 36、5,1 61、6, 70、2,442,419,714,754,4 38、7,5 72、4,4992, 61、25, 59、79, 64、1,237,30,520,110,419,81,87,195,69,320,334,97, 22、7,
文章编号:100228743(2004)0320075204 用于分类的支持向量机 黄发良,钟 智Ξ (1.广西师范大学计算机系,广西桂林541000; 2.广西师范学院数学与计算机科学系,广西南宁530001) 摘 要:支持向量机是20世纪90年代中期发展起来的机器学习技术,建立在结构风险最小化原理之上的支持向量机以其独有的优点吸引着广大研究者,该文着重于用于分类的支持向量机,对其基本原理与主要的训练算法进行介绍,并对其用途作了一定的探索. 关键词:支持向量机;机器学习;分类 中图分类号:TP181 文献标识码:A 支持向量机S VM (Support Vector Machine )是AT&T Bell 实验室的V.Vapnik 提出的针对分类和回归问题的统计学习理论.由于S VM 方法具有许多引人注目的优点和有前途的实验性能,越来越受重视,该技术已成为机器学习研究领域中的热点,并取得很理想的效果,如人脸识别、手写体数字识别和网页分类等. S VM 的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界. 1 基本原理 支持向量机理论最初来源于数据分类问题的处理,S VM 就是要寻找一个满足要求的分割平面,使训练集中的点距离该平面尽可能地远,即寻求一个分割平面使其两侧的margin 尽可能最大. 设输入模式集合{x i }∈R n 由两类点组成,如果x i 属于第1类,则y i =1,如果x i 属于第2类,则y i =-1,那么有训练样本集合{x i ,y i },i =1,2,3,…,n ,支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来,通常分为两类情况来讨论,(1)线性可分,(2)线性不可分. 1.1 线性可分情况 在线性可分的情况下,就会存在一个超平面使得训练样本完全分开,该超平面可描述为: w ?x +b =0(1) 其中,“?”是点积,w 是n 维向量,b 为偏移量. 最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面.最优超平面可以通过解下面的二次优化问题来获得: min <(w )= 12‖w ‖2(2) Ξ收稿日期:2004202206作者简介:黄发良(1975-),男,湖南永州人,硕士研究生;研究方向:数据挖掘、web 信息检索. 2004年9月 广西师范学院学报(自然科学版)Sep.2004 第21卷第3期 Journal of G u angxi T eachers Education U niversity(N atural Science Edition) V ol.21N o.3
基于支持向量机的分类方法 摘要：本文首先概述了支持向量机的相关理论，引出了支持向量机的基本模型。当训练集的两类样本点集重合区域很大时，线性支持向量分类机就不适用了，由此介绍了核函数相关概念。然后进行了核函数的实验仿真，并将支持向量机应用于实例肿瘤诊断，建立了相应的支持向量机模型，从而对测试集进行分类。最后提出了一种支持向量机的改进算法，即根据类向心度对复杂的训练样本进行预删减。 1、支持向量机 给定训练样本集1122{[,],[,], ,[,]}()l l l T a y a y a y Y =∈Ω?L ，其中n i a R ∈Ω=，Ω是输入空间，每一个点i a 由n 个属性特征组成，{1,1},1,,i y Y i l ∈=-=L 。分类 就是在基于训练集在样本空间中找到一个划分超平面，将不同的类别分开，划分超平面可通过线性方程来描述： 0T a b ω+= 其中12(;;;)d ωωωω=K 是法向量，决定了超平面的方向，b 是位移项，决定 了超平面与原点之间的距离。样本空间中任意点到超平面的距离为|| |||| T a b r ωω+=。 支持向量、间隔： 假设超平面能将训练样本正确分类，即对于[,]i i a y T ∈，若1i y =+，则有 0T i a b ω+>，若1i y =-，则有0T i a b ω+<。则有距离超平面最近的几个训练样本点使得 11 11 T i i T i i a b y a b y ωω?+≥+=+?+≤-=-? 中的等号成立，这几个训练样本点被称为支持向量；两个异类支持向量到超平面 的距离之和2 |||| r ω=被称为间隔。 支持向量机基本模型： 找到具有最大间隔的划分超平面，即 ,2max ||||..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这等价于 2 ,||||min 2..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这就是支持向量机（SVM ）的基本模型。 支持向量机问题的特点是目标函数2 ||||2 ω是ω的凸函数，并且约束条件都是 线性的。