第二讲支持向量机解析
- 格式:ppt
- 大小:383.00 KB
- 文档页数:31
支持向量机的训练算法解析支持向量机(Support Vector Machine,SVM)是一种常用的机器学习算法,被广泛应用于分类和回归问题。
其独特之处在于通过寻找一个最优的超平面来实现分类或回归任务。
本文将对支持向量机的训练算法进行解析,以帮助读者更好地理解和应用该算法。
支持向量机的训练算法主要包括两个关键步骤:间隔最大化和核函数的选择。
首先,我们来了解间隔最大化的概念。
在SVM中,我们希望找到一个超平面,能够将不同类别的样本点分开,并且使得离超平面最近的样本点到该超平面的距离最大化。
这个距离就是所谓的间隔,而支持向量就是离超平面最近的样本点。
为了找到最优的超平面,我们需要进行一些数学推导和优化。
具体来说,我们需要最小化一个目标函数,该函数由两部分组成:间隔的倒数和模型的复杂度。
间隔的倒数表示样本点离超平面的距离,我们希望这个距离尽可能大。
而模型的复杂度则通过引入正则化项来控制,以防止过拟合。
通过求解这个优化问题,我们可以得到最优的超平面。
接下来,我们来讨论核函数的选择。
在实际应用中,很多问题的数据集并不是线性可分的,即无法通过一个超平面将不同类别的样本点完全分开。
为了解决这个问题,我们可以引入核函数,将数据映射到更高维的特征空间中,从而使得数据在新的特征空间中线性可分。
常用的核函数包括线性核、多项式核和径向基函数(RBF)核。
线性核适用于线性可分的问题,而多项式核和RBF核适用于非线性可分的问题。
选择合适的核函数取决于数据的特性和问题的复杂度。
在实际应用中,我们通常通过交叉验证等方法来选择最优的核函数和超参数。
除了间隔最大化和核函数的选择,支持向量机还有一些其他的训练算法和技巧。
例如,软间隔支持向量机可以处理有噪音的数据集,通过引入松弛变量来容忍一些错误分类。
此外,支持向量机还可以通过使用核技巧来处理高维数据,而无需直接计算高维特征空间中的内积。
在实际应用中,支持向量机已经取得了很多成功的应用。
支持向量机简介与基本原理支持向量机(Support Vector Machine,SVM)是一种常用的机器学习算法,被广泛应用于模式识别、数据分类以及回归分析等领域。
其独特的优势在于可以有效地处理高维数据和非线性问题。
本文将介绍支持向量机的基本原理和应用。
一、支持向量机的基本原理支持向量机的基本思想是通过寻找一个最优超平面,将不同类别的数据点分隔开来。
这个超平面可以是线性的,也可以是非线性的。
在寻找最优超平面的过程中,支持向量机依赖于一些特殊的数据点,称为支持向量。
支持向量是离超平面最近的数据点,它们对于确定超平面的位置和方向起着决定性的作用。
支持向量机的目标是找到一个超平面,使得离它最近的支持向量到该超平面的距离最大化。
这个距离被称为间隔(margin),最大化间隔可以使得分类器更具鲁棒性,对新的未知数据具有更好的泛化能力。
支持向量机的求解过程可以转化为一个凸优化问题,通过求解对偶问题可以得到最优解。
二、支持向量机的核函数在实际应用中,很多问题并不是线性可分的,此时需要使用非线性的超平面进行分类。
为了解决这个问题,支持向量机引入了核函数的概念。
核函数可以将低维的非线性问题映射到高维空间中,使得原本线性不可分的问题变得线性可分。
常用的核函数有线性核函数、多项式核函数、高斯核函数等。
线性核函数适用于线性可分问题,多项式核函数可以处理一些简单的非线性问题,而高斯核函数则适用于复杂的非线性问题。
选择合适的核函数可以提高支持向量机的分类性能。
三、支持向量机的应用支持向量机在实际应用中有着广泛的应用。
在图像识别领域,支持向量机可以用于人脸识别、物体检测等任务。
在生物信息学领域,支持向量机可以用于蛋白质分类、基因识别等任务。
在金融领域,支持向量机可以用于股票市场预测、信用评估等任务。
此外,支持向量机还可以用于文本分类、情感分析、异常检测等领域。
由于其强大的分类性能和泛化能力,支持向量机成为了机器学习领域中的重要算法之一。
支持向量机算法的原理和应用支持向量机(Support Vector Machine, SVM)是一种基于统计学习理论的机器学习算法,它可以在数据集中找到一个最优超平面,将不同类别的样本分割开来。
在分类问题中,SVM通过构建一个超平面来对不同类别的样本进行分类;在回归问题中,SVM可以用来拟合非线性关系的数据。
SVM的核心思想是最大化间隔,即找到一个能够将不同类别的样本分隔开的超平面,使得两侧最近的样本点到超平面的距离最大。
这些最近的样本点被称为支持向量,它们决定了最终划分超平面的位置。
SVM的基本原理可以分为以下几个步骤:1.数据准备:首先需要对数据进行预处理,包括数据清洗、归一化、特征提取等。
2.特征选择:选择与分类问题相关的特征。
3.模型构建:构建SVM模型,选择适当的核函数、设置参数。
4.模型训练:使用已标记的训练样本进行模型训练,找到最佳的超平面。
5.模型预测:用训练好的模型对新样本进行预测,即将新样本进行分类。
SVM算法的应用非常广泛,主要包括以下几个方面:1.二分类问题:SVM在二分类问题中表现出色,特别适用于具有较大类别间距离且样本数目较少的情况。
例如,在垃圾邮件分类中,SVM可以将垃圾邮件和正常邮件进行有效地区分。
2.多分类问题:通过将多个二分类器组合起来,SVM可以用于解决多分类问题。
例如,在手写数字识别中,可以使用SVM对不同的数字进行分类。
3.异常检测:SVM可以用于异常检测,通过将异常样本与正常样本分开。
例如,在网络入侵检测中,SVM可以帮助识别潜在的入侵行为。
4.文本分类:SVM在文本分类问题中也有广泛的应用。
例如,在垃圾短信识别中,可以使用SVM对短信进行分类。
5.图像识别:SVM在图像识别问题中有很好的表现。
例如,在人脸识别中,可以使用SVM对不同人脸进行分类。
除了以上几个应用领域,SVM还可以应用于生物信息学、计算机视觉、自然语言处理等问题的解决。
尽管SVM算法在许多问题中都表现出色,但也存在一些限制。
一文看懂支持向量机1 前言支持向量机(support vector machines,SVM)是我最早接触的有监督分类算法之一。
早在MIT 修统计学的时候,我用它做过一个旧金山湾区上班族通勤模式的分类研究,但当时只是很粗浅的认识。
后来由于工作的关系又非常系统的学习了一下,这其中包括认真学习了斯坦福 Andrew Ng(吴恩达)的机器学习课(吴讲的真的非常好,深入浅出),参阅了大量的关于 SVM 的理论和实际应用的文献。
对于有监督分类算法的表现,业界常用大概 10 种不同的指标来评判,包括Accuracy,LIFT,F-Score,ROC,Precision / Recall Break-Even Point,Root Mean Squared Error 等。
无论以哪种准确性的评价指标来看,SVM 的效果都不输于人工神经网络 ANN 或者高级的集合算法如随机森林。
SVM 的另一个特点是其自身可以在一定程度上防止过拟合,这对于其在量化投资上的应用格外重要。
这是因为任何人工智能算法有效的前提是:历史样本和未来样本是来自同一个(未知)的整体,满足同分布。
只有这样,基于历史样本学习出来的规律才会在未来继续有效。
但是对于金融数据来说,这个假设在很多问题上无法满足。
因此,如果机器学习算法在历史数据上过拟合的话,那么基本可以肯定这个模型对未来的数据毫无作用。
鉴于我对 SVM 的钟爱,我很早以前就打算写一篇介绍它的短文,作为对知识的一个梳理。
不过后来,我读了一篇来自 的文章,名为 Support Vector Machines: A Guide for Beginners。
作者并没有使用大量的数学公式,而是用精炼的语言和恰如其分的图例对 SVM 的基本原理进行了阐述。
平心而论,让我自己憋几天也不一定能写的比人家更清晰和生动,因此今天不如就索性把这篇文章大致翻译过来,作为对 SVM 的一个介绍。
我会跳过一些不影响理解的文字、对原文的结构做一些改动,并在一些地方加入自己的理解(在第7、8 节中,有一些该文没有的核心内容)。
支持向量机模型解释性分析方法 支持向量机(Support Vector Machine, SVM)是一种常用的机器学习算法,广泛应用于分类和回归问题。然而,SVM模型在解释性方面存在一定的挑战,因为其决策边界通常是非线性的,难以直观地解释。本文将介绍一些支持向量机模型的解释性分析方法,帮助我们更好地理解和解释SVM模型的决策过程。
一、特征重要性分析 在解释性分析中,了解模型对特征的重要性是非常重要的。特征重要性分析可以帮助我们确定哪些特征对于模型的决策起到关键作用。有几种方法可以进行特征重要性分析,其中一种常用的方法是使用SVM模型的特征权重。
特征权重是指在SVM模型中,每个特征对决策边界的贡献程度。一种常见的计算特征权重的方法是使用线性SVM模型,因为线性模型的决策边界更容易解释。通过训练线性SVM模型,我们可以获得每个特征的权重值,从而衡量其对于模型的重要性。
二、支持向量分析 支持向量是SVM模型中起到关键作用的样本点,它们位于决策边界上或最靠近决策边界的样本点。支持向量分析可以帮助我们理解模型是如何进行分类的,并揭示模型对于不同类别的判别依据。
通过观察支持向量的特征值,我们可以了解到哪些特征在决策过程中起到了决定性的作用。如果某个特征在支持向量中的值较大,那么它对于模型的分类决策起到了重要的作用。这种分析方法可以帮助我们识别出关键特征,并理解它们对于模型的贡献。
三、决策边界可视化 决策边界是SVM模型中的关键概念,它将不同类别的样本点分开。通过可视化决策边界,我们可以直观地了解模型是如何进行分类的。
决策边界可视化方法有很多种,其中一种常见的方法是使用二维平面上的等高线图。通过绘制等高线图,我们可以清晰地看到决策边界的形状和位置。这种可视化方法可以帮助我们理解模型的决策过程,并发现潜在的问题或局限性。
四、模型参数调整 调整模型参数是提高SVM模型解释性的一种重要方法。不同的参数设置会导致不同的决策边界形状和模型性能。通过调整参数,我们可以探索不同的模型表现,并选择最适合我们需求的模型。
机器学习技术中的支持向量机方法解析支持向量机(Support Vector Machines,SVM)是机器学习领域中一种重要的分类和回归方法。
它通过构建超平面或者集合一些样本作为支持向量来进行分类或者回归任务。
在本文中,我们将详细解析支持向量机方法并介绍它在机器学习中的应用。
支持向量机的基本原理是找到一个最优的超平面来划分不同类别的样本。
超平面是一个(n-1)维的子空间,其中n是样本的特征数。
如果样本是线性可分的,那么可以找到一个唯一的超平面来完全分开两个类别。
然而,真实世界中的数据通常是复杂的,存在一些噪声和重叠的情况。
因此,支持向量机引入了松弛因子,允许少量的样本被错误分类,同时仍然保持分离超平面尽可能地远离两类样本。
支持向量机的目标是最大化间隔,即超平面与最近的两个类别样本之间的距离。
这两个样本就是支持向量。
通过最大化间隔,支持向量机可以更好地泛化到新的未见样本,提高模型的鲁棒性。
支持向量机的决策函数可以表示为:f(x) = sign(w·x + b)其中w是一个权重向量,x是样本特征向量,b是一个偏置项。
当f(x)的结果大于0时,样本被分为正类别,否则被分为负类别。
在处理非线性可分问题时,支持向量机采用了核函数的方法。
核函数可以将低维输入空间映射到高维特征空间,从而使非线性问题在高维空间中变得线性可分。
常用的核函数有线性核、多项式核、高斯径向基核等。
核函数可以表示为:K(x, y) = φ(x)·φ(y)其中K是核函数,x和y是输入样本,φ(x)是从低维空间到高维空间的映射。
支持向量机方法有许多优点。
首先,支持向量机是一种泛化能力强的学习算法,因为它通过最大化间隔来提高模型的鲁棒性。
其次,支持向量机可以使用不同的核函数来处理各种各样的非线性问题,具有很强的灵活性。
此外,由于支持向量机只需要支持向量的信息,它不受样本维度的影响,可以有效地处理高维数据。
支持向量机方法在机器学习中有广泛的应用。
机器学习笔记(⼆、⽀持向量机)⼀、线性可分问题对于⼀个训练样本集{(x i,y i)},i=1~N,若存在(w,b)使得使得满⾜下式,则是线性可分问题。
要求这样的⼀个超平⾯(在⼆维平⾯中是⼀条直线),则要满⾜以下公式证明过程如下:⾸先要确认两个事实,即和则可以根据线性可分问题的满⾜式,⽤a来缩放(w,b),使得找到某个⾮零a,存在⽀持向量x0上有|W T x0+b|=1,在⾮⽀持向量x0上有|W T x0+b|>1,其中,⽀持向量是指平⾯内训练集中离超平⾯最近距离向量。
根据上⾯的条件可得以下结论:根据线性问题中要寻找的超平⾯的条件之⼀:margin最⼤,即d最⼤,所以问题就转化为求||w||最⼩值,为了之后的求导⽅⾯可改变为求1/2*||w||的最⼩值,所以要求这样⼀个超平⾯即求(w,b),则只要在限制条件下求得1/2*||w||的最⼩值。
因为这是⼀个凸优化问题,要么有唯⼀解要么⽆解,所以可以⽤梯度下降法求得其值。
⼆、线性不可分问题对于线性不可分问题,⾸先要放松其限制条件,在这对每⼀个训练样本(x i,y i)需要设置⼀个松弛变量δi,所以线性可分问题⾥的⽬标函数和限制条件就变成:在⽀持向量机中解决线性不可分问题是通过将低维度映射到⾼纬度转化成线性可分问题解决,⽐如下⾯的例⼦中,⽤映射函数φ(x)将⼆维向量转化成五维向量:这是⼀个⼆维的⾮线性可分问题:我们引⼊φ(x)使之实现⼆维向量到五维向量的映射,具体的函数如下:则不同的训练向量映射后的结果如下:当确定(w,b)时,我们可以在⾼维下得到这样的不等式集,根据下⾯的四个不等式可知,这是线性可分的:所以我们有以下结论:假设在M维空间中随机取N个样本,并随机对每个训练样本赋予⼀个标签+1或-1,并假设这些训练样本线性可分的概率为P(M).则当M区域⽆穷⼤时,P(M)=1,假设φ(x)以确定,则有如下结论:其中,这⾥的w也随着维度的增⾼⽽增加,这⾥的维度和φ(x)维度相同。
支持向量机算法简要解析标题:支持向量机算法简要解析简介:支持向量机(Support Vector Machine,SVM)算法是一种广泛应用于分类和回归问题的机器学习算法。
它在处理线性和非线性数据集时具有较强的泛化能力和解释性,被广泛应用于图像识别、文本分类、生物信息学等领域。
本文将对支持向量机算法进行简要解析,首先介绍其基本概念和原理,然后探讨其核心思想和工作过程,并对其优缺点进行评估。
最后,我们将提供一些实际应用案例,并总结对支持向量机算法的观点和理解。
## 目录1. 引言2. 支持向量机的基本概念2.1. 分类问题和超平面2.2. 支持向量和间隔3. 支持向量机的原理3.1. 最大化间隔的优化问题3.2. 松弛变量和软间隔4. 支持向量机的核心思想4.1. 核技巧和非线性分类4.2. 核函数的选择5. 支持向量机的工作过程5.1. 数据预处理和特征选择5.2. 模型训练和参数调优6. 支持向量机的优缺点6.1. 优点6.2. 缺点7. 实际应用案例7.1. 图像识别7.2. 文本分类7.3. 生物信息学8. 总结9. 观点和理解## 1. 引言在机器学习领域,支持向量机算法是一种经典的监督学习算法,主要用于解决二分类问题。
它的基本思想是通过构建一个超平面来最大限度地将不同类别的样本分开,以实现分类的目标。
通过引入支持向量和间隔的概念,支持向量机能够较好地处理线性可分和线性不可分的数据集,同时具备较强的泛化能力。
## 2. 支持向量机的基本概念2.1. 分类问题和超平面支持向量机主要用于解决二分类问题,其中每个样本被标记为属于两个不同的类别。
为了将这些样本进行分类,我们需要找到一个超平面来将它们分开,使得同一类别的样本更接近这个超平面,不同类别的样本则被超平面分隔开。
2.2. 支持向量和间隔在支持向量机中,支持向量是离超平面最近的样本点,它们的存在决定了超平面的位置和方向。
间隔指的是支持向量到超平面的距离,支持向量机的目标是最大化间隔,以提高模型的鲁棒性和泛化能力。
机器学习算法中的支持向量机原理分析近年来,随着人工智能技术的飞速发展,机器学习算法在各个领域都得到了广泛应用。
支持向量机(SVM)作为一种常用的机器学习算法,在数据分类和回归等问题上表现出了优异的性能,因此备受关注。
本文将深入分析SVM 的原理及其优越性质,以期为读者提供更清晰的认识。
一、SVM的定义支持向量机是一种经典的二分类模型,其核心思想是通过寻找一个超平面,将样本空间划分成两个部分,使得两类样本彼此分离且离超平面的最小距离最大。
这个最小距离称为“间隔”,是SVM 在训练时的优化目标。
具体来说,SVM 算法是通过构建一个最大间隔分类器来实现分类的,即从所有可能的分类器中选择间隔最大的那一个。
这样做的好处在于,当两类样本分离程度较好时,分类器的泛化能力较强,模型拟合效果也较好。
二、SVM 优越性质SVM 算法有很多优越性质,主要体现在以下几方面:1、形式简洁:SVM 的目标函数只涉及到少量变量,求解方法也相对简单,运行效率高。
2、对异常点鲁棒性强:由于SVM 使用间隔最大原则进行分类,因此对于噪声数据、异常数据容忍度较高。
3、非线性分类能力强:SVM 可以通过核函数将样本空间映射到高维空间,从而处理非线性分类问题,提高分类精度。
4、最优化问题化简:SVM 的目标函数是一个凸优化问题,因此可以使用现有优化器很快得到最优解。
5、支持向量可解释性强:SVM 计算出的最优解为支持向量,支持向量构成的超平面具有很好的可解释性。
三、SVM 的核函数SVM 通过核函数将样本空间映射到高维特征空间,实现了非线性分类。
常用的核函数有以下几种:1、线性核函数:最简单的核函数,适用于线性分类问题,将样本空间映射到某个特定的直线或平面上。
2、多项式核函数:将样本空间映射到一个高维空间,并根据多项式函数的特性确定特征空间中的曲面。
3、高斯核函数:又称为径向基函数(RBF),将样本空间映射到无穷维的高维空间,从而处理非线性分类问题。
机器学习中支持向量机算法的使用教程及实战案例分析支持向量机(Support Vector Machine,SVM)是一种重要的机器学习算法,被广泛应用于分类和回归问题。
它在许多实际应用中显示出了出色的性能和鲁棒性。
本文将详细介绍支持向量机算法的原理、使用方法和实战案例分析。
一、支持向量机算法的原理支持向量机算法的基本原理是基于最大间隔分类的思想,通过在特征空间中找到一个最优超平面,将不同类别的数据样本完全分开。
该超平面由支持向量确定,支持向量是距离超平面最近的样本点。
支持向量机算法的目标是最大化间隔。
间隔指的是超平面到最近的样本点的距离,最大化间隔可以提高模型的鲁棒性。
支持向量机算法可以处理线性可分和线性不可分的问题。
对于线性可分问题,可以使用硬间隔支持向量机;对于线性不可分问题,可以使用软间隔支持向量机,通过引入松弛变量来容忍一定的错分类。
二、支持向量机算法的使用方法1. 数据预处理在应用支持向量机算法之前,需要对数据进行预处理。
首先,对数据进行清洗,处理缺失值和异常值。
然后,对数据进行标准化或归一化,以便不同特征之间的数值范围一致。
2. 特征选择选择合适的特征对支持向量机算法的性能至关重要。
可以通过统计方法、相关性分析或专业知识等方式选择最具区分度的特征。
3. 模型训练将数据集分为训练集和测试集,使用训练集对支持向量机模型进行训练。
在模型训练过程中,需要选择合适的核函数和参数,并进行交叉验证来确定最优的模型。
4. 模型评估使用测试集对训练好的支持向量机模型进行评估。
常用的评估指标包括准确率、精确率、召回率和F1值等。
通过评估结果可以判断模型的性能。
三、支持向量机算法的实战案例分析为了更好地理解支持向量机算法的应用,下面将介绍一个实战案例:乳腺癌分类。
乳腺癌是女性常见的恶性肿瘤之一,及早发现和诊断对于治疗和预后非常重要。
在这个案例中,我们将使用支持向量机算法对乳腺癌进行分类。
首先,我们收集了乳腺癌相关的临床特征数据,包括肿块的厚度、大小、形状等。
w支持向量机: Maximum Margin Classifier bypluskid, on 2010-09-08, in Machine Learning84 comments支持向量机即Support Vector Machine,简称 SVM 。
我最开始听说这头机器的名号的时候,一种神秘感就油然而生,似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起,然后再做成一个 Machine ,一听就很玄了!不过后来我才知道,原来 SVM 它并不是一头机器,而是一种算法,或者,确切地说,是一类算法,当然,这样抠字眼的话就没完没了了,比如,我说 SVM 实际上是一个分类器 (Classifier) ,但是其实也是有用 SVM 来做回归(Regression) 的。
所以,这种字眼就先不管了,还是从分类器说起吧。
SVM 一直被认为是效果最好的现成可用的分类算法之一(其实有很多人都相信,“之一”是可以去掉的)。
这里“现成可用”其实是很重要的,因为一直以来学术界和工业界甚至只是学术界里做理论的和做应用的之间,都有一种“鸿沟”,有些很 fancy 或者很复杂的算法,在抽象出来的模型里很完美,然而在实际问题上却显得很脆弱,效果很差甚至完全 fail 。
而 SVM 则正好是一个特例——在两边都混得开。
好了,由于 SVM 的故事本身就很长,所以废话就先只说这么多了,直接入题吧。
当然,说是入贴,但是也不能一上来就是 SVM ,而是必须要从线性分类器开始讲。
这里我们考虑的是一个两类的分类问题,数据点用x 来表示,这是一个n 维向量,而类别用y 来表示,可以取 1 或者 -1 ,分别代表两个不同的类(有些地方会选 0 和 1 ,当然其实分类问题选什么都无所谓,只要是两个不同的数字即可,不过这里选择 +1 和 -1 是为了方便 SVM 的推导,后面就会明了了)。
一个线性分类器就是要在n 维的数据空间中找到一个超平面,其方程可以表示为一个超平面,在二维空间中的例子就是一条直线。
数据挖掘中的支持向量机算法原理解析数据挖掘是一门利用统计学、机器学习和数据库技术来发现模式、关系和趋势的学科。
而支持向量机(Support Vector Machine,SVM)是数据挖掘中一种常用的分类算法。
本文将深入探讨SVM算法的原理及其在数据挖掘中的应用。
一、SVM算法的基本原理SVM算法是一种监督学习算法,其基本原理是通过将数据映射到高维空间,构建一个最优的超平面来实现分类。
在SVM中,我们将数据看作是一个n维空间中的点,每个点都有一个对应的标签。
我们的目标是找到一个超平面,将不同类别的数据点分开,并使得超平面到最近数据点的距离最大化。
在SVM中,我们首先将数据映射到高维空间,然后通过寻找一个最优的超平面来实现分类。
这个最优的超平面被称为分离超平面,它可以将不同类别的数据点完全分开。
为了找到最优的分离超平面,我们需要解决一个优化问题,即最大化间隔。
二、SVM算法的优化问题在SVM中,我们的目标是找到一个最优的超平面,使得超平面到最近数据点的距离最大化。
这个最优化问题可以通过求解一个凸二次规划问题来实现。
具体来说,我们需要最小化一个目标函数,同时满足一些约束条件。
目标函数可以表示为:min 1/2 * ||w||^2,其中w是超平面的法向量。
约束条件可以表示为:yi(w·xi + b) ≥ 1,其中xi是数据点的特征向量,yi是数据点的标签,b是超平面的偏置。
通过求解这个凸二次规划问题,我们可以得到最优的超平面,从而实现数据的分类。
三、SVM算法的核函数在实际应用中,数据往往不是线性可分的,这时候就需要引入核函数来处理非线性问题。
核函数可以将数据从原始空间映射到一个更高维的空间,使得数据在新空间中线性可分。
常用的核函数有线性核函数、多项式核函数和径向基函数(RBF)核函数。
线性核函数适用于线性可分的数据,多项式核函数适用于多项式可分的数据,而RBF核函数适用于非线性可分的数据。