支持向量机（SVM）、支持向量机回归（SVR）：原理简述及其MATLAB实例一、基础知识1、关于拉格朗日乘子法和KKT条件1）关于拉格朗日乘子法2）关于KKT条件2、范数1）向量的范数2）矩阵的范数3）L0、L1与L2范数、核范数二、SVM概述1、简介2、SVM算法原理1）线性支持向量机2）非线性支持向量机二、SVR：SVM的改进、解决回归拟合问题三、多分类的SVM1. one-against-all2. one-against-one四、QP（二次规划）求解五、SVM的MATLAB实现：Libsvm1、Libsvm工具箱使用说明2、重要函数：3、示例支持向量机（SVM）：原理及其MATLAB实例一、基础知识1、关于拉格朗日乘子法和KKT条件1）关于拉格朗日乘子法首先来了解拉格朗日乘子法，为什么需要拉格朗日乘子法呢？记住，有需要拉格朗日乘子法的地方，必然是一个组合优化问题。
那么带约束的优化问题很好说，就比如说下面这个：这是一个带等式约束的优化问题，有目标值，有约束条件。
那么你可以想想，假设没有约束条件这个问题是怎么求解的呢？是不是直接 f 对各个 x 求导等于 0，解 x 就可以了，可以看到没有约束的话，求导为0，那么各个x均为0吧，这样f=0了，最小。
但是x都为0不满足约束条件呀，那么问题就来了。
有了约束不能直接求导，那么如果把约束去掉不就可以了吗？怎么去掉呢？这才需要拉格朗日方法。
既然是等式约束，那么我们把这个约束乘一个系数加到目标函数中去，这样就相当于既考虑了原目标函数，也考虑了约束条件。
现在这个优化目标函数就没有约束条件了吧，既然如此，求法就简单了，分别对x求导等于0，如下：把它在带到约束条件中去，可以看到，2个变量两个等式，可以求解，最终可以得到,这样再带回去求x就可以了。
那么一个带等式约束的优化问题就通过拉格朗日乘子法完美的解决了。
更高一层的，带有不等式的约束问题怎么办？那么就需要用更一般化的拉格朗日乘子法，即KKT条件，来解决这种问题了。
支持向量机的基本原理
支持向量机（Support Vector Machine, SVM）是一种二分类模型，其基本原理是找到一个最优的超平面来进行数据的划分。
其基本思想是将样本空间映射到高维特征空间，找到一个超平面使得正负样本之间的间隔最大化，从而实现分类。
具体来说，SVM的基本原理包括以下几个步骤：
1. 寻找最优超平面：将样本空间映射到高维特征空间，使得样本在特征空间中线性可分。
然后寻找一个超平面来最大化两个不同类别样本的间隔（也称为“分类间隔”）。
2. 构建优化问题：SVM通过解决一个凸二次规划问题来求解最优超平面。
该优化问题的目标是最大化分类间隔，同时限制样本的分类正确性。
3. 核函数技巧：在实际应用中，数据通常是非线性可分的。
通过引入核函数的技巧，可以将非线性问题转化为高维或无限维的线性问题。
常用的核函数有线性核、多项式核、高斯核等。
4. 寻找支持向量：在求解优化问题时，只有一部分样本点对于最优超平面的确定起到决定性作用，这些样本点被称为“支持向量”。
支持向量决定了超平面的位置。
5. 分类决策函数：在得到最优超平面后，可以通过计算样本点到超平面的距离来进行分类。
对于新的样本点，根据其距离超平面的远近来判断其所属类别。
支持向量机的基本原理可以简单概括为在高维特征空间中找到一个最优超平面，使得样本的分类间隔最大化。
通过引入核函数的技巧，SVM也可以处理非线性可分的问题。
支持向量机具有理论基础牢固、分类效果好等优点，在实际应用中得到了广泛的应用。
一文解析支持向量机（附公式）本文为你详细描述SVM产生的过程。
前言众所周知SVM 是非常强大的一种分类算法，有着媲美神经网络的分类效果，实现过程却简单得多。
受限于我的能力，这篇文章不会系统地介绍SVM（因为我并不是线性代数、凸优化等方面的专家），而是以一个学习者的角度描述SVM 产生的过程，由于内容较长，计划分成三到四篇一个好的分类是怎么样的图中的两组数据，显然它们是线性可分（linear separable）的，图里给出的三条分界线都可以准确区分这两类数据，它们是不是一样好？如果不是，哪一条看起来更加合适？直觉告诉我们是a。
相比之下，b 和c 离个别点太近了，我们很难拍着胸脯说“这个点在分界线下面，所以绝对是X'，因为分界线稍微挪一挪就可以改变这些点的属性，我们想要的是一个相对自信的分界线，使靠近分界线的点与分界线的距离足够大，上图中的分界线 a 就符合我们的需求。
ps. 这里所说的分界线严格来说是decision boundary，decision boundary 在二维空间是一条线，在三维空间是一个平面，更高维的空间里称作超平面，为了方便本文都用分界线来代表decision boundary。
进入向量的世界你或许已经注意到SVM 的全称是Support Vector Machine （支持向量机），在推导SVM 公式过程中，我们几乎都是在和向量打交道。
刚接触SVM 的时候我对这个名字非常诧异，SVM 很强是没错，但是名字也太「随意」了吧？希望写完这篇文章以后我能理解为什么这种算法叫做支持向量机。
如果你之前没有接触过向量，建议花一个小时左右的时间熟悉一下向量的概念和基本性质。
我们先把空间上的点用向量来表示（以原点为起点的向量）：虽然写成了向量的形式，其实并没有什么大不了的，我们可以把它和初中时候学过的直线表达式联系起来：对于SVM 来说仅仅这样是不够的，还记得吗我们要修一条路出来，我们得确保在一条足够宽的路里面没有数据点：这样前面的式子就可以写成更为简洁的形式：什么是支持向量这是一个基于KKT 条件的二次规划问题，优化原理的内容超出了这篇文章的范畴，在这里我们只要知道拉格朗日乘数法可以求得这个最优解，引入新的系数αi :令以上两式为0，我们可以得到：。
