下载文档原格式
机器学习-核FisherLDA算法本⽂在我的上⼀篇博⽂的基础上进⼀步介绍核Fisher LDA算法。
之前我们介绍的LDA或者Fisher LDA都是线性模型，该模型简单，对噪⾳的鲁棒性较好，不容易过拟合，但是，简单模型的表达能⼒会弱⼀些，为了增加LDA算法的表达能⼒，我们可以将数据投影到⾮线性的⽅向上去。
为了达到这个⽬的，我们可以先将数据⾮线性的投影到⼀个特征空间F内，然后在这个F空间内计算Fisher 线性判别式,达到降维的⽬的。
⾸先介绍⼀下核函数的概念：如果F空间的维数⾮常⾼甚⾄是⽆穷维数，那么单纯的只是将原数据投影到F空间就是⼀个很⼤的计算量。
但是，我们可以并不显式的进⾏数据的投影，⽽只是计算原数据的点乘：(Φ (x)·Φ (y)).如果我们可以快速⾼效的计算出点乘来，那么我们可以⽆须将原数据投影到F空间就解决问题(关于这⼀点，Andrew Ng的讲义中举过⼀些例⼦，详见附录1)。
我们使⽤Mercer核：k(x,y)=(Φ (x)·Φ (y))，可以选择⾼斯径向基函数核(Gaussian RBF)：k(x,y)=exp(-|x-y|2/c)，或者多项式核：k(x,y)=(x·y)d，或者S形核：tanh(kx·y-δ),其中c,d和δ都是正的常数。
我们⽤Φ表⽰⼀个投影到F特征空间的映射函数，为了得到F空间内的Fisher线性判别式，我们需要最⼤化：式⼦-1其中ω∈F空间，⽽S BΦ和S WΦ分别为：我们需要将式⼦-1转换成⼀个只含有点乘的形式，这样的话我们就可以只使⽤核函数来表达式⼦-1了。
我们知道，任意F空间内的解ω都可以由投影到F空间内的原数据组合得到：式⼦-2根据式⼦-2，以及m iΦ的定义，我们能够得到：式⼦-3其中：根据式⼦-3和S BΦ的定义，式⼦-1中的分⼦可以写为：式⼦-4其中.根据式⼦-2和m iΦ的定义，式⼦-1中的分母可以写为：式⼦-5其中,K j是⼀个l*l j的矩阵：,I是单位矩阵，l lj是所有项都是1/l j的矩阵。
SVM 小结理论基础：机器学习有三类基本的问题，即模式识别、函数逼近和概率密度估计．SVM 有着严格的理论基础，建立了一套较好的有限训练样本下机器学习的理论框架和通用方法。
他与机器学习是密切相关的，很多理论甚至解决了机器学习领域的其他的问题，所以学习SVM 和机器学习是相辅相成的，两者可以互相促进，有助于机器学习理论本质的理解。
VC 维理论：对一个指示函数集，如果存在h 个样本能够被函数集中的函数按所有可能的2h 种形式分开，则称函数集能够把h 个样本打散；函数集的VC 维就是它能打散的最大样本数目。
VC 维反映了函数集的学习能力，VC 维越太则学习机器越复杂(容量越太)。
期望风险：其公式为[](,,(,))(,)y R f c y f y dP y χχχχ⨯=⎰，其中(,,(,))c y f y χχ为损失函数，(,)P y χ为概率分布，期望风险的大小可以直观的理解为，当我们用()f χ进行预测时，“平均”的损失程度，或“平均”犯错误的程度。
经验风险最小化（ERM 准则）归纳原则：但是，只有样本却无法计算期望风险，因此，传统的学习方法用样本定义经验风险[]emp R f 作为对期望风险的估计，并设计学习算法使之最小化。
即所谓的经验风险最小化（ERM 准则）归纳原则。
经验风险是用损失函数来计算的。
对于模式识别问题的损失函数来说，经验风险就是训练样本错误率；对于函数逼近问题的损失函数来说，就是平方训练误差；而对于概率密度估计问题的损失函数来说，ERM 准则就等价于最大似然法。
但是，经验风险最小不一定意味着期望风险最小。
其实，只有样本数目趋近于无穷大时，经验风险才有可能趋近于期望风险。
但是很多问题中样本数目离无穷大很远，那么在有限样本下ERM 准则就不一定能使真实风险较小。
ERM 准则不成功的一个例子就是神经网络和决策树的过学习问题（某些情况下，训练误差过小反而导致推广能力下降，或者说是训练误差过小导致了预测错误率的增加，即真实风险的增加）。
核方法及应用核方法是一种基于核函数的机器学习方法，广泛应用于模式识别、分类和回归等领域。
它的基本思想是将原始数据映射到一个高维特征空间，使得在该空间中线性不可分的问题变为线性可分，从而提高分类或回归的准确性。
核方法的核心是核函数，它是一个非负函数，能够计算两个向量之间的相似度或内积，而无需显式地进行高维特征空间的计算。
常用的核函数有线性核、多项式核、高斯核等。
核方法的应用非常广泛，下面介绍一些常见的应用领域和具体方法：1. 模式识别：核方法在模式识别中有着重要的应用，可以用于人脸识别、文本分类等任务。
例如，在人脸识别中，可以使用核方法将人脸数据映射到高维特征空间，并利用支持向量机等分类器进行训练和测试。
2. 文本挖掘：核方法也被广泛应用于文本挖掘领域，可以用于情感分析、信息检索等任务。
例如，在情感分析中，可以使用核方法将文本数据映射到高维特征空间，并利用支持向量机等分类器对情感进行分类。
3. 生物信息学：核方法在生物信息学中也有重要应用，可以用于蛋白质结构预测、基因表达数据分析等任务。
例如，在蛋白质结构预测中，可以使用核方法将蛋白质序列映射到高维特征空间，并利用支持向量机等分类器对其进行分类。
4. 数据挖掘：核方法也被广泛应用于数据挖掘领域，用于发现数据中的模式和规律。
例如，在聚类分析中，可以使用核方法将数据点映射到高维特征空间，并利用核聚类算法对数据进行聚类。
5. 图像处理：核方法在图像处理中也有重要应用，可以用于图像分类、图像检索等任务。
例如，在图像分类中，可以使用核方法将图像数据映射到高维特征空间，并利用支持向量机等分类器对其进行分类。
总之，核方法是一种强大的机器学习方法，能够有效处理线性不可分的问题，并在模式识别、文本挖掘、生物信息学、数据挖掘和图像处理等领域发挥重要作用。
随着机器学习技术的发展，核方法的应用前景将会更加广阔。
![[复习]核函数方法简介](https://uimg.taocdn.com/30d0e01abb1aa8114431b90d6c85ec3a87c28b4d.webp)
核函数方法简介（1）核函数发展历史早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。
而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。
（2）核函数方法原理核函数方法原理根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。
采用核函数技术可以有效地解决这样问题。
设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<<m。
根据核函数技术有：K(x,z) =<Φ(x),Φ(z) >(1)其中：<, >为内积,K(x,z)为核函数。
从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。
根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。
采用核函数技术可以有效地解决这样问题。
设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<<m。
根据核函数技术有：K(x,z) =<Φ(x),Φ(z) > (1)其中：<, >为内积,K(x,z)为核函数。
介绍机器学习中的核方法机器学习是人工智能领域中的一个重要分支，核方法是其中一种用于特征提取和模式识别的有效技术。
本文将介绍机器学习中的核方法，包括核函数的定义和应用、支持向量机与核方法的关系以及常用的核函数类型。
核方法是一种基于核函数的机器学习技术。
核函数是一个将输入数据转化为高维特征空间中的内积的函数。
通过映射原始数据到高维特征空间，核方法能够有效地解决非线性问题。
核方法的关键思想是利用核函数定义的相似度度量来衡量数据之间的相似性，从而进行分类、回归等任务。
在机器学习中，核方法最常见的应用是在支持向量机（SVM）中。
SVM是一种经典的二分类模型，利用核方法可以将低维线性不可分的数据映射到高维特征空间中，使其在高维空间中线性可分。
通过找到最优的超平面来实现分类任务。
核方法在SVM中的应用使得SVM具备了处理非线性问题的能力，广泛应用于分类、回归、特征提取等领域。
常用的核函数类型包括线性核、多项式核和高斯核等。
线性核是核函数的一种特殊情况，它对应于在原始特征空间中直接计算内积，不进行任何映射。
多项式核可以将原始特征空间映射到多项式特征空间，通过增加特征的次数可以处理一定程度的非线性问题。
高斯核是一种广泛应用的核函数，它将原始特征映射到无穷维的特征空间，通过调节高斯核函数的参数，可以适应不同的数据分布。
除了常用的核函数类型，还有一些其他的核函数，如拉普拉斯核、sigmoid核等。
这些核函数根据数据和问题的特点选择适合的核函数是核方法中的一个重要挑战。
核方法的优点是可以处理高维和非线性数据，具有较高的准确性和鲁棒性。
然而，核方法也存在一些挑战和局限性。
首先，核方法的计算复杂度较高，尤其是在数据量较大时。
其次，核函数的选择需要根据具体问题进行定制，不同的核函数可能适应不同的数据分布和问题。
此外，核方法对于核函数的参数设置较为敏感，需要进行调优。
总之，核方法是机器学习中一种重要的特征提取和模式识别技术。
通过核函数的定义和应用，核方法能够有效地处理高维和非线性数据。
核函数方法简介核函数方法简介（1）核函数发展历史早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。
而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。
（2）核函数方法原理根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。
采用核函数技术可以有效地解决这样问题。
设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<<m。
根据核函数技术有：K(x,z) =<Φ(x),Φ(z) > (1)其中：<, >为内积,K(x,z)为核函数。
从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。
（3）核函数特点核函数方法的广泛应用,与其特点是分不开的：1）核函数的引入避免了“维数灾难”,大大减小了计算量。
而输入空间的维数n对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。
2）无需知道非线性变换函数Φ的形式和参数.3）核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。
4）核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。
支持向量机的核函数算法支持向量机（SVM）是一种经典的分类器，其优势在于具有较高的分类准确率和较好的泛化性能。
而对于非线性分类问题，SVM采用核函数对数据进行变换，将非线性问题转化为线性问题。
本文将详细介绍支持向量机的核函数算法。
一、支持向量机的线性可分模型首先，我们回顾一下支持向量机的线性可分模型。
设有n个样本$x_{1},x_{2},...,x_{n}$和它们对应的标签$y_{1},y_{2},...,y_{n}$，其中$y_{i} \in \{-1,1\}$。
SVM的线性可分模型可以表示为：$$ \underset{\boldsymbol{w},b}{\operatorname{argmin}}{\frac{1}{2}\|\boldsymbol{w}\|^2} $$$$ \text{subject to}\ \ y_i(\boldsymbol{w} \cdot\boldsymbol{x_i}+b)\geq 1 , \ i = 1,2,...,n $$其中，$\boldsymbol{w}$和$b$分别是SVM的参数。
目标函数表示的是间隔最大化，即通过最大化所有训练样本到分类超平面的距离，来得到最优超平面。
同时，约束条件保证了每个样本在超平面下方且与超平面的距离最小。
二、核函数的引入在实际应用场景中，数据往往不是线性可分的，无法通过线性超平面对数据进行分类。
此时，我们需要引入核函数这一概念。
核函数是一种将低维度数据映射到高维度空间的函数，通过对数据进行非线性变换，解决了原始数据不可分的问题。
具体来说，我们将样本$x$通过核函数$K$映射到高维空间中的点$φ(x)$，SVM在高维空间中学习分类超平面，从而实现了对原始数据的分类。
在核函数中，我们通常选取的是正定核函数（positive definite kernel），即对于任意数据$x_1,x_2,...,x_n \in \mathbb{R}^{d}$和任意系数$a_1,a_2,...,a_n \in \mathbb{R}$，有：$$ \sum_{i=1}^{n}\sum_{j=1}^{n}a_i a_j K(x_i,x_j) \ge 0 $$这个条件保证了我们通过核函数进行非线性变换后的数据在高维空间中仍能满足内积的性质，从而可以使用线性超平面对数据进行分类。
⽀持向量机（四）--核函数⼀、核函数的引⼊问题1：SVM 显然是线性分类器。
但数据假设根本就线性不可分怎么办？解决⽅式1：数据在原始空间（称为输⼊空间）线性不可分。
可是映射到⾼维空间（称为特征空间）后⾮常可能就线性可分了。
问题2：映射到⾼维空间同⼀时候带来⼀个问题：在⾼维空间上求解⼀个带约束的优化问题显然⽐在低维空间上计算量要⼤得多，这就是所谓的“维数灾难”。
解决⽅式2：于是就引⼊了“核函数”。
核函数的价值在于它尽管也是讲特征进⾏从低维到⾼维的转换。
⼆、实例说明⽐如图中的两类数据，分别分布为两个圆圈的形状，不论是不论什么⾼级的分类器，仅仅要它是线性的。
就没法处理。
SVM 也不⾏。
由于这种数据本⾝就是线性不可分的。
从上图我们能够看出⼀个理想的分界应该是⼀个“圆圈”⽽不是⼀条线（超平⾯）。
假设⽤ 和 来表⽰这个⼆维平⾯的两个坐标的话，我们知道⼀条⼆次曲线（圆圈是⼆次曲线的⼀种特殊情况）的⽅程能够写作这种形式：注意上⾯的形式，假设我们构造另外⼀个五维的空间，当中五个坐标的值分别为 , , , , ，那么显然。
上⾯的⽅程在新的坐标系下能够写作：关于新的坐标 。
这正是⼀个超平⾯ 的⽅程！也就是说，假设我们做⼀个映射 。
将 依照上⾯的规则映射为 ，那么在新的空间中原来的数据将变成线性可分的，从⽽使⽤之前我们推导的线性分类算法就能够进⾏处理了。
这正是 Kernel ⽅法处理⾮线性问题的基本思想。
三、具体分析还记得之前我们⽤内积这⾥是⼆维模型，可是如今我们须要三维或者更⾼的维度来表⽰样本。
这⾥我们如果是维度是三。
那么⾸先须要将特征x 扩展到三维，然后寻找特征和结果之间的模型。
我们将这样的特征变换称作特征映射（feature mapping ）。
映射函数称作，在这个样例中我们希望将得到的特征映射后的特征应⽤于SVM 分类，⽽不是最初的特征。
这样，我们须要将前⾯公式中的内积从，映射到。
为什么须要映射后的特征⽽不是最初的特征来參与计算，⼀个重要原因是例⼦可能存在线性不可分的情况，⽽将特征映射到⾼维空间后，往往就可分了。
基于核函数的学习算法基于核函数的学习算法是一种机器学习算法，用于解决非线性分类和回归问题。
在传统的机器学习算法中，我们通常假设样本数据是线性可分或线性可回归的，但是在现实世界中，许多问题是非线性的。
为了解决这些非线性问题，我们可以使用核函数来将原始数据映射到高维特征空间中，然后在该特征空间中进行线性分类或回归。
核函数是一个用于计算两个向量之间相似度的函数。
它可以通过计算两个向量在特征空间中的内积来度量它们的相似程度。
常用的核函数包括线性核函数、多项式核函数、高斯核函数等。
支持向量机是一种非常有力的分类算法。
它利用核技巧将输入数据映射到高维特征空间中，然后在该特征空间中找到一个最优分割超平面，使得样本点离超平面的距离最大化。
通过最大化间隔，支持向量机能够更好地处理非线性分类问题，并具有较好的泛化性能。
支持向量机的核函数可以将样本数据映射到高维特征空间中，以便在非线性问题上进行线性分类。
常用的核函数包括线性核函数、多项式核函数和高斯核函数等。
线性核函数可以实现与传统线性分类算法相同的效果。
多项式核函数可以将数据映射到多项式特征空间中，通过多项式特征的组合实现非线性分类。
高斯核函数可以将数据映射到无穷维的特征空间中，通过高斯核函数的相似度计算实现非线性分类。
核岭回归是一种非线性回归算法。
类似于支持向量机，核岭回归也利用核函数将输入数据映射到高维特征空间中，然后在该特征空间中进行线性回归。
通过最小二乘法求解岭回归问题，核岭回归能够更好地处理非线性回归问题。
1.能够处理非线性问题：核函数能够将数据映射到高维特征空间中，从而实现对非线性问题的线性分类或回归。
2.较好的泛化性能：支持向量机等基于核函数的学习算法通过最大化间隔来进行分类，可以有较好的泛化性能，减少模型的过拟合风险。
3.算法简洁高效：基于核函数的学习算法通常具有简单的模型结构和高效的求解方法，能够处理大规模数据集。
4.不依赖数据分布：基于核函数的学习算法不依赖于数据的分布情况，适用于各种类型的数据。
核函数推导过程核函数是机器学习中一个重要的概念，能够帮助我们从低维空间将数据映射到高维空间，从而让线性分类器能够处理非线性问题。
本文将简要介绍核函数的定义和推导过程。
首先，我们来看一下什么是核函数。
核函数可以描述为一个函数 K(x, y)，它能够将输入数据 x 和 y 映射到一个高维或无限维的特征空间，从而更好地区分不同的数据类别。
具体来说，核函数的作用是将两个样本映射到同一空间中，当它们之间的距离很短时，它们被认为是相似的，距离较大时则认为它们是不相似的。
接下来，我们来看一下核函数的推导过程。
假设我们有一个低维空间中的向量 x 和 y，现在我们想将它们映射到高维空间。
假设我们有一个线性函数 f(x)，它能够将 x 映射到高维空间，如下所示：f(x) = (w1 x1 + w2 x2 + … + wn xn)T其中，w 是一个权重向量。
为了描述 y 在高维空间中的点，我们可以将线性函数应用于 y，得到：f(y) = (w1 y1 + w2 y2 + … + wn yn)T现在，我们需要定义核函数并推导出它的具体形式。
我们定义核函数为：K(x, y) = φ(x)T φ(y)其中，φ 表示将向量 x 映射到高维空间后的结果。
我们可以将φ 写成下面的形式：φ(x) = (φ1(x), φ2(x), …, φn(x))T接下来，我们可以将核函数表示为：K(x, y) = (φ1(x)φ1(y) + φ2(x)φ2(y) + … + φn(x)φn(y))这样我们就得到K 的具体形式，可以将其应用于分类器或聚类算法中。
总结一下，核函数是一个非常强大的工具，可以帮助我们将数据从低维空间映射到高维空间，从而更好地区分不同的数据类别。
在实际应用中，我们可以使用不同类型的核函数来处理不同类型的数据集，从而获得更好的分类和聚类结果。
核函数(2010-12-23 23:08:30)分类：工作篇标签：校园高斯核函数所谓径向基函数(Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。
通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数, 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。
高斯核函数 - 常用公式最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。
核函数简介（1）核函数发展历史早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。
而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。
（2）核函数方法原理根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。
采用核函数技术可以有效地解决这样问题。
设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<<m。
根据核函数技术有：K(x,z) =<Φ(x),Φ(z) >(1)其中：<, >为内积,K(x,z)为核函数。
从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。
机器学习：SVM（核函数、⾼斯核函数RBF）⼀、核函数（Kernel Function） 1）格式K(x, y)：表⽰样本 x 和 y，添加多项式特征得到新的样本 x'、y'，K(x, y) 就是返回新的样本经过计算得到的值；在 SVM 类型的算法 SVC() 中，K(x, y) 返回点乘：x' . y'得到的值； 2）多项式核函数业务问题：怎么分类⾮线性可分的样本的分类？内部实现：1. 对传⼊的样本数据点添加多项式项；2. 新的样本数据点进⾏点乘，返回点乘结果；多项式特征的基本原理：依靠升维使得原本线性不可分的数据线性可分；升维的意义：使得原本线性不可分的数据线性可分；例：1. ⼀维特征的样本，两种类型，分布如图，线性不可分：2.3. 为样本添加⼀个特征：x2，使得样本在⼆维平⾯内分布，此时样本在 x 轴升的分布位置不变；如图，可以线性可分：4. 3）优点 / 特点不需要每次都具体计算出原始样本点映射的新的⽆穷维度的样本点，直接使⽤映射后的新的样本点的点乘计算公式即可；减少计算量减少存储空间1. ⼀般将原始样本变形，通常是将低维的样本数据变为⾼维数据，存储⾼维数据花费较多的存储空间；使⽤核函数，不⽤考虑原来样本改变后的样⼦，也不⽤存储变化后的结果，只需要直接使⽤变化的结果进⾏运算并返回运算结果即可；核函数的⽅法和思路不是 SVM 算法特有，只要可以减少计算量和存储空间，都可以设计核函数⽅便运算；对于⽐较传统的常⽤的机器学习算法，核函数这种技巧更多的在 SVM 算法中使⽤； 4）SVM 中的核函数svm 类中的 SVC() 算法中包含两种核函数：1. SVC(kernel = 'ploy')：表⽰算法使⽤多项式核函数；2. SVC(kernel = 'rbf')：表⽰算法使⽤⾼斯核函数；SVM 算法的本质就是求解⽬标函数的最优化问题；求解最优化问题时，将数学模型变形： 5）多项式核函数格式：from sklearn.svm import SVCsvc = SVC(kernel = 'ploy')思路：设计⼀个函数（ K(x i, x j) ），传⼊原始样本（x(i)、 x(j)），返回添加了多项式特征后的新样本的计算结果（x'(i) . x'(j)）；内部过程：先对 x i、x j添加多项式，得到：x'(i)、 x'(j)，再进⾏运算：x'(i) . x'(j)；1. x(i)添加多项式特征后：x'(i)；2. x(j)添加多项式特征后：x'(j)；3. x(i) . x(j)转化为：x'(i) . x'(j)；其实不使⽤核函数也能达到同样的⽬的，这⾥核函数相当于⼀个技巧，更⽅便运算；⼆、⾼斯核函数（RBF）业务问题：怎么分类⾮线性可分的样本的分类？ 1）思想业务的⽬的是样本分类，采⽤的⽅法：按⼀定规律统⼀改变样本的特征数据得到新的样本，新的样本按新的特征数据能更好的分类，由于新的样本的特征数据与原始样本的特征数据呈⼀定规律的对应关系，因此根据新的样本的分布及分类情况，得出原始样本的分类情况。
