libsvm参数

LIBSVM（⼆）参数实例详解

1. ⼊门案例

1.1 分类的⼩例⼦--根据⾝⾼体重进⾏性别预测

%% 使⽤Libsvm进⾏分类的⼩例⼦

%{

⼀个班级⾥⾯有两个男⽣（男⽣1、男⽣2），两个⼥⽣（⼥⽣1、⼥⽣2），其中

男⽣1 ⾝⾼：176cm 体重：70kg；

男⽣2 ⾝⾼：180cm 体重：80kg；

⼥⽣1 ⾝⾼：161cm 体重：45kg；

⼥⽣2 ⾝⾼：163cm 体重：47kg；

如果我们将男⽣定义为1，⼥⽣定义为-1，并将上⾯的数据放⼊矩阵data中,

并在label中存⼊男⼥⽣类别标签（1、-1）%}

train_data = [176 70;

180 80;

161 45;

163 47];

train_label = [1;1;-1;-1];

%{

这样上⾯的data矩阵就是⼀个属性矩阵，⾏数4代表有4个样本，列数2表⽰属性有两个，label就是标签（1、-1表⽰有两个类别：男⽣、⼥⽣）。

%}

% 利⽤libsvm建⽴分类模型 此处options参数为默认值

model = svmtrain(train_label,train_data);

%{

此时该班级⼜转来⼀个新学⽣，其

⾝⾼190cm，体重85kg

我们想给出其标签（想知道其是男[1]还是⼥[-1]）

由于其标签我们不知道，我们假设其标签为-1（也可以假设为1） %}

test_data = [190 85];

test_label = -1;

[predict_label,accuracy,dec_value] = svmpredict(test_label,test_data,model);

predict_label

if 1 == predict_label

disp('==该⽣为男⽣');

end

if -1 == predict_label

disp('==该⽣为⼥⽣');

end

1.2 回归的⼩例⼦ y=x^2

利⽤训练集合已知的x,y来建⽴回归模型 model ，然后利⽤这个 model 去预测。

支持向量机（SVM）、支持向量机回归（SVR）：

原理简述及其MATLAB实例

一、基础知识

1、关于拉格朗日乘子法和KKT条件

1）关于拉格朗日乘子法

2）关于KKT条件

2、范数

1）向量的范数

2）矩阵的范数

3）L0、L1与L2范数、核范数

二、SVM概述

1、简介

2、SVM算法原理

1）线性支持向量机

2）非线性支持向量机

二、SVR：SVM的改进、解决回归拟合问题

三、多分类的SVM

1. one-against-all

2. one-against-one

四、QP（二次规划）求解 五、SVM的MATLAB实现：Libsvm

1、Libsvm工具箱使用说明

2、重要函数：

3、示例

支持向量机（SVM）：原理及其MATLAB实例

一、基础知识

1、关于拉格朗日乘子法和KKT条件

1）关于拉格朗日乘子法

首先来了解拉格朗日乘子法，为什么需要拉格朗日乘子法呢？记住，有需要拉格朗日乘子法的地方，必然是一个组合优化问题。那么带约束的优化问题很好说，就比如说下面这个：

这是一个带等式约束的优化问题，有目标值，有约束条件。那么你可以想想，假设没有约束条件这个问题是怎么求解的呢？

是不是直接 f 对各个 x 求导等于 0，解 x 就可以了，可以看到没有约束的话，求导为0，那么各个x均为0吧，这样f=0了，最小。但是x都为0不满足约束条件呀，那么问题就来了。

有了约束不能直接求导，那么如果把约束去掉不就可以了吗？怎么去掉呢？这才需要拉格朗日方法。既然是等式约束，那么我们把这个约束乘一个系数加到目标函数中去，这样就相当于既考虑了原目标函数，也考虑了约束条件。

现在这个优化目标函数就没有约束条件了吧，既然如此，求法就简单了，分别对x求导等于0，如下：

把它在带到约束条件中去，可以看到，2个变量两个等式，可以求解，最终可以得到,这样再带回去求x就可以了。

那么一个带等式约束的优化问题就通过拉格朗日乘子法完美的解决了。更高一层的，带有不等式的约束问题怎么办？那么就需要用更一般化的拉格朗日乘子法，即KKT条件，来解决这种问题了。

libsvm参数说明

简介

libsvm是一个支持向量机（Support Vector Machine，SVM）的软件包，由台湾大学林智仁教授等人开发。它提供了用于二分类和多分类的高效实现，并支持回归和异常检测。

libsvm的主要优势在于其高效的内存使用和计算速度，尤其适用于处理小到中等规模的数据集。它支持多种核函数，包括线性核、多项式核、高斯核等，可以灵活地适应不同的数据特征。

在使用libsvm进行机器学习任务时，我们需要了解它的参数设置，以便根据具体情况进行调整，以获得更好的性能。

参数说明

-s type

这个参数用于设置SVM的类型，即用于解决什么类型的问题。常用的取值有：

• 0：C-SVC（用于多分类问题）

• 1：nu-SVC（用于多分类问题）

• 2：one-class SVM（用于异常检测问题）

• 3：epsilon-SVR（用于回归问题）

• 4：nu-SVR（用于回归问题）

-t kernel_type

这个参数用于设置核函数的类型。常用的取值有：

• 0：线性核函数

• 1：多项式核函数

• 2：高斯核函数

• 3：径向基核函数

• 4：sigmoid核函数

-c cost

这个参数用于设置惩罚因子（C）的值。C越大，对误分类的惩罚越重，容错率越低；C越小，对误分类的惩罚越轻，容错率越高。 -g gamma

这个参数用于设置高斯核函数和径向基核函数的gamma值。gamma越大，决策边界越复杂，容易过拟合；gamma越小，决策边界越简单，容易欠拟合。

-p epsilon

这个参数用于设置epsilon-SVR中的epsilon值，表示对于回归问题的容错范围。epsilon越小，容错范围越小，模型越精确；epsilon越大，容错范围越大，模型越宽松。

-n nu

这个参数用于设置nu-SVC、one-class SVM和nu-SVR中的nu值，表示支持向量的比例。nu越大，支持向量的比例越高，模型越复杂；nu越小，支持向量的比例越低，模型越简单。

libsvm 训练后的模型参数讲解

本帖子主要就是讲解利用libsvm-mat工具箱建立分类（回归模型）后，得到的模型model里面参数的意义都是神马？以及如果通过model得到相应模型的表达式，这里主要以分类问题为例子。

测试数据使用的是libsvm-mat自带的heart_scale.mat数据（270*13的一个属性据矩阵，共有270个样本，每个样本有13个属性），方便大家自己测试学习。

首先上一个简短的测试代码：

1. %% ModelDecryption

2. % by faruto @ faruto's Studio~

3. % /faruto

4. % Email:faruto@

5. %

6. %

7. %

8. % last modified by 2011.01.06

9. %% a litte clean work

10. tic;

11. close all;

12. clear;

13. clc;

14. format compact;

15. %%

16. % 首先载入数据

17. load heart_scale;

18. data = heart_scale_inst;

19. label = heart_scale_label;

20. % 建立分类模型

21. model = svmtrain(label,data,'-s 0 -t 2 -c 1.2 -g 2.8');

22. model

23. % 利用建立的模型看其在训练集合上的分类效果

24. [PredictLabel,accuracy] = svmpredict(label,data,model);

25. accuracy

26. %%

27. toc;

复制代码

运行结果：

1. model = 2. Parameters: [5x1 double]

3. nr_class: 2