§7 多项式函数
到目前为止，我们始终是纯形式地讨论多项式，也就是把多项式看作形式表达式. 在这一节，将从另一个观点，即函数的观点来考察多项式.
一、多项式函数
1．定义
设
011
1)(a x a x a x a x f n n n
n ++++=-- (1)
是][x P 中的多项式，α是P 中的数，在(1)中用α代x 所得的数
011
1a a a a n n n n ++++--ααα
称为)(x f 当α=x 时的值,记为)(αf .这样，多项式)(x f 就定义了一个数域上的函数.可以
由一个多项式来定义的函数就称为数域上的多项式函数.
因为x 在与数域P 中的数进行运算时适合与数的运算相同的运算规律，所以不难 看出，如果
,)()()(,)()()(21x g x f x h x g x f x h =+=
那么
.)()()(,)()()(21ααααααg f h g f h =+=
2．定理7(余数定理)：用一次多项式去除多项式)(x f ，所得的余式是一个常数， 这个常数等于函数值)(αf .
如果)(x f 在α=x 时函数值0)(=αf ，那么α就称为)(x f 的一个根或零点.
由余数定理得到根与一次因式的关系.
推论 α是)(x f 的根的充要条件是)(|)(x f x α-.
由这个关系，可以定义重根的概念. α称为)(x f 的k 重根，如果)(α-x 是)(x f 的 k 重因式.当1=k 时，α称为单根；当1>k 时，α称为重根.
3．问题：数域 P 上的不可约多项式在数域 P 上有无根？
答：一次不可约多项式在数域 P 上有根， 高于一次的不可约多项式在数域 P 上 无根. 例如：在实数域上， ()5f x x =-， 2()1f x x =+
定理8 []P x 中n 次多项式)0(≥n 在数域P 中的根不可能多于n 个，重根按重数计算. 证明：
二、多项式相等与多项式函数相等的关系
在上面看到，每个多项式函数都可以由一个多项式来定义.不同的多项式会不会定义 出相同的函数呢？这就是问，是否可能有
)()(x g x f ≠,
而对于P 中所有的数α都有
)()(ααg f =?
由定理8不难对这个问题给出一个否定的回答.
定理9 如果多项式)(x f ,)(x g 的次数都不超过n ,而它们对n+1个不同的数有相同的值 即
)()(i i g f αα=,
1,,2,1+=n i ,那么)(x f =)(x g .
因为数域中有无穷多个数，所以定理9说明了，不同的多项式定义的函数也不相同. 如果两个多项式定义相同的函数，就称为恒等，上面结论表明，多项式的恒等与多项式 相等实际上是一致的.换句话说，数域P 上的多项式既可以作为形式表达式来处理，也可 以作为函数来处理.但是应该指出，考虑到今后的应用与推广，多项式看成形式表达式要 方便些.
三、求余数———综合除法
在前面我们补充过综合除法 例1 用3+x 除94)(24-++=x x x x f . 例2 求k 使355)(234+++-=kx x x x x f 能被3-x 整除 注意 :若)(x f 缺少某一项,在作综合除法时该项系数的位置要补上零.
核函数理论 §1 多项式空间和多项式核函数 定义 1.1 (核或正定核) 设X 是n R 中的一个子集，称定义在X X ?上的函数),(z x K 是核函数，如果存在一个从X 到Hilbert 空间H 的映射Φ H x x ∈ΦΦ)(:α (1.1) 使得对任意的X z x ∈,， ))()((),(z x z x Φ?Φ=K (1.2) 都成立。其中)(?表示Hilbert 空间H 中的内积。 定义1.2 （d 阶多项式）设n T n R x x x x ∈=)][,,][,]([21Λ，则称乘积d j j j x x x ][][][21K 为x 的一个d 阶多项式，其中},,2,1{,,,21n j j j d K K ∈。 1. 有序齐次多项式空间 考虑2维空间中（n R x ∈）的模式T x x x )][,]([21=，其所有的2阶单项式为 21][x ，22][x ，21][][x x ，12][][x x (1.3) 注意，在表达式(1.3)中，我们把21][][x x 和12][][x x 看成两个不同的单项式，所以称式（1.3）中的单项式为有序单项式。这4个有序单项式张成的是一个4维特征空间，称为2阶有序齐次多项式空间，记为H 。相应地可建立从原空间2 R 到多项式空间H 的非线性映射 H x x x x x x x C x x x C T T ∈==)][][,][][,][,]([)()][,]([:122122212212α (1.4) 同理，从n R 到d 阶有序齐次多项式空间H 的映射可表示为 H n j j j x x x x C x x x x C T d j j j d T n d d ∈∈==}),,2,1{,,,|][][]([)()][,,][,]([:212121K K K αK (1.5) 这样的有序单项式d j j j x x x ][][][21K 的个数为d n ，即多项式空间H 的维数d H n n =。如果在H 中进行内积运算)()(z C x C d d ?，当n 和d 都不太小时，多项式空间H 的维数d H n n =会相当大。如当200=n ，5=d 时，维数可达到上亿维。显然，在多项式空间H 中直接进行内积运算将会引起“维数灾难”问题，那么，如何处理这个问题呢？ 我们先来考查2==d n 的情况，计算多项式空间H 中两个向量的内积 212122121222 2212122)(][][][][][][][][][][][][))()((z x z z x x z z x x z x z x z C x C ?=+++=? (1.6)
clear all; clc; N=35; %样本个数 NN1=4; %预测样本数 %********************随机选择初始训练样本及确定预测样本******************************* x=[]; y=[]; index=randperm(N); %随机排序N个序列 index=sort(index); gama=23.411; %正则化参数 deita=0.0698; %核参数值 %thita=; %核参数值 %*********构造感知机核函数************************************* %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=tanh(deita*(x1'*x2)+thita); % end %end %*********构造径向基核函数************************************** for i=1:N x1=x(:,index(i)); for j=1:N x2=x(:,index(j)); x12=x1-x2; K(i,j)=exp(-(x12'*x12)/2/(deita*deita)); End End %*********构造多项式核函数**************************************** %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=(1+x1'*x2)^(deita); % end %end %*********构造核矩阵************************************ for i=1:N-NN1 for j=1:N-NN1 omeiga1(i,j)=K(i,j); end end
龙源期刊网 https://www.doczj.com/doc/4714163751.html, 核函数选择方法研究 作者：王振武何关瑶 来源：《湖南大学学报·自然科学版》2018年第10期 摘要：核函数的选择对支持向量机的分类结果有着重要的影响，为了提高核函数选择的客观性，提出了一种以错分实例到支持向量所在界面的距离来表示错分程度，并基于此进行秩和检验的核函数选择方法.通过与K折交叉验证、配对t测试等参数检验的统计方法进行对比 分析，对9种常用核函数的分类能力在15个数据集进行了定量研究.与参数检验方法不同，秩和检验并未假定数据的分布情况（很多情况下数据并不满足假定的分布），而且数据实验证明，秩和检验不但能够对核函数的分类能力进行客观评估，而且在某些数据集上还能产生更好的核函数选择效果. 关键词：核函数；支持向量机；秩和检验； K折交叉验证；配对t测试 中图分类号：TP301.6 文献标志码：A Abstract：The selection of kernel functions has an important influence on the classification results of support vector machines. This paper proposed a kernel functions selection method based on rank sum test in order to enhance the selection objectivity， where the error degree adopted in the rank sum test was represented by the distance between the error instance and the interface of support vectors. By comparing with other statistical methods， such as Kfolding cross validation and paired t test， the classification abilities of nine common kernel functions were quantitatively studied based on 15 datasets. Different from parameter test methods， the rank sum test does not assume the data distribution（in some cases data cannot satisfy the assumed distribution）， the experimental data proves that the rank sum test not only can objectively evaluate the classification abilities of kernel functions， but also can produce better selection results on some data sets. Key words：kernel function； support vector machines； rank sum test； K folding cross validation； paired t test 支持向量機（Support Vector Machine，SVM）[1]的使用与核函数的正确选择是密不可分的，核函数技术巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，直接决定了SVM 的非线性处理能力[2].当前对核函数选择方法的研究主要集中在构造新的核函数[3-7]、核函数参数选择[8-13]以及核函数的评估[1，14-16]上.由于在使用SVM进行分类的过程中只定义了核函数（并不显式地定义映射函数），所以在同一分类问题上选择不同的核函数对分类效果影响较大，另外映射函数的类型是多变的，在没有先验知识的情况下人们更多地是凭借主观经验进行核函数的选择，具有较大的随意性.
SVM 小结 理论基础： 机器学习有三类基本的问题，即模式识别、函数逼近和概率密度估计． SVM 有着严格的理论基础，建立了一套较好的有限训练样本下机器学习的理论框架和通用方法。他与机器学习是密切相关的，很多理论甚至解决了机器学习领域的其他的问题，所以学习SVM 和机器学习是相辅相成的，两者可以互相促进，有助于机器学习理论本质的理解。 VC 维理论：对一个指示函数集，如果存在h 个样本能够被函数集中的函数按所有可能的2h 种形式分开，则称函数集能够把h 个样本打散；函数集的VC 维就是它能打散的最大样本数目。VC 维反映了函数集的学习能力，VC 维越太则学习机器越复杂(容量越太)。 期望风险：其公式为[](,,(,))(,)y R f c y f y dP y χχχχ?=?，其中(,,(,))c y f y χχ为损失函数，(,)P y χ为概率分布，期望风险的大小可以直观的理解为，当我们用()f χ进行预测时，“平均”的损失程度，或“平均”犯错误的程度。 经验风险最小化（ERM 准则）归纳原则：但是，只有样本却无法计算期望风险，因此，传统的学习方法用样本定义经验风险[]emp R f 作为对期望风险的估计，并设计学习算法使之最小化。即所谓的经验风险最小化（ERM 准则）归纳原则。经验风险是用损失函数来计算的。对于模式识别问题的损失函数来说，经验风险就是训练样本错误率；对于函数逼近问题的损失函数来说，就是平方训练误差；而对于概率密度估计问题的损失函数来说，ERM 准则就等价于最大似然法。但是，经验风险最小不一定意味着期望风险最小。其实，只有样本数目趋近于无穷大时，经验风险才有可能趋近于期望风险。但是很多问题中样本数目离无穷大很远，那么在有限样本下ERM 准则就不一定能使真实风险较小。ERM 准则不成功的一个例子就是神经网络和决策树的过学习问题（某些情况下，训练误差过小反而导致推广能力下降，或者说是训练误差过小导致了预测错误率的增加，即真实风险的增加）。 结构风险最小化理论(SRM)：所以，在有限样本情况下，仅仅用ERM 来近似期望风险是行不通的。统计学习理论给出了期望风险[]R f 与经验风险[]emp R f 之间关系： [][]()emp h R f R f l φ≤+
核函数方法简介 （1）核函数发展历史 早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。 （2）核函数方法原理 核函数方法原理 根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。 设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F 属于R（m）,n<
机器学习-核函数基本概念 §1 多项式空间和多项式核函数 定义 1.1 (核或正定核) 设X 是n R 中的一个子集，称定义在X X ?上的函数 ),(z x K 是核函数，如果存在一个从X 到Hilbert 空间H 的映射Φ H x x ∈ΦΦ)(:α (1.1) 使得对任意的X z x ∈,， ))()((),(z x z x Φ?Φ=K (1.2) 都成立。其中)(?表示Hilbert 空间H 中的内积。 定义1.2 （d 阶多项式）设n T n R x x x x ∈=)][,,][,]([21Λ，则称乘积d j j j x x x ][][][21K 为x 的一个d 阶多项式，其中},,2,1{,,,21n j j j d K K ∈。 1. 有序齐次多项式空间 考虑2维空间中（n R x ∈）的模式T x x x )][,]([21=，其所有的2阶单项式为 21][x ，2 2][x ，21][][x x ，12][][x x (1.3) 注意，在表达式(1.3)中，我们把21][][x x 和12][][x x 看成两个不同的单项式，所以称式（1.3）中的单项式为有序单项式。这4个有序单项式张成的是一个4维特征空间，称为2阶有序齐次多项式空间，记为H 。相应地可建立从原空间2 R 到多项式空间H 的非线性映射 H x x x x x x x C x x x C T T ∈==)][][,][][,][,]([)()][,]([:12212 22 12212α (1.4) 同理，从n R 到d 阶有序齐次多项式空间H 的映射可表示为 H n j j j x x x x C x x x x C T d j j j d T n d d ∈∈==}),,2,1{,,,|][][]([)()][,,][,]([:212121K K K αK (1. 5) 这样的有序单项式d j j j x x x ][][][21K 的个数为d n ，即多项式空间H 的维数d H n n =。如果 在H 中进行内积运算)()(z C x C d d ?，当n 和d 都不太小时，多项式空间H 的维数d H n n =会相当大。如当200=n ，5=d 时，维数可达到上亿维。显然，在多项式空间H 中直接进行内积运算将会引起“维数灾难”问题，那么，如何处理这个问题呢？ 我们先来考查2==d n 的情况，计算多项式空间H 中两个向量的内积
第一章 核函数 §1 多项式空间和多项式核函数 定义 1.1 (核或正定核) 设X 是n R 中的一个子集，称定义在X X ?上的函数 ),(z x K 是核函数，如果存在一个从X 到Hilbert 空间H 的映射Φ H x x ∈ΦΦ)(: (1.1) 使得对任意的X z x ∈,， ))()((),(z x z x Φ?Φ=K (1.2) 都成立。其中)(?表示Hilbert 空间H 中的内积。 定义1.2 （d 阶多项式）设n T n R x x x x ∈=)][,,][,]([21 ，则称乘积d j j j x x x ][][][21 为x 的一个d 阶多项式，其中},,2,1{,,,21n j j j d ∈。 1. 有序齐次多项式空间 考虑2维空间中（n R x ∈）的模式T x x x )][,]([21=，其所有的2阶单项式为 21][x ，2 2][x ，21][][x x ，12][][x x (1.3) 注意，在表达式(1.3)中，我们把21][][x x 和12][][x x 看成两个不同的单项式，所以称式（1.3）中的单项式为有序单项式。这4个有序单项式张成的是一个4维特征空间，称为2阶有序齐次多项式空间，记为H 。相应地可建立从原空间2 R 到多项式空间H 的非线性映射 H x x x x x x x C x x x C T T ∈==)][][,][][,][,]([)()][,]([:12212 22 12212 (1.4) 同理，从n R 到d 阶有序齐次多项式空间H 的映射可表示为 H n j j j x x x x C x x x x C T d j j j d T n d d ∈∈==}),,2,1{,,,|][][]([)()][,,][,]([:212121 (1.5) 这样的有序单项式d j j j x x x ][][][21 的个数为d n ，即多项式空间H 的维数d H n n =。如果 在H 中进行内积运算)()(z C x C d d ?，当n 和d 都不太小时，多项式空间H 的维数d H n n =会相当大。如当200=n ，5=d 时，维数可达到上亿维。显然，在多项式空间H 中直接进行内积运算将会引起“维数灾难”问题，那么，如何处理这个问题呢？ 我们先来考查2==d n 的情况，计算多项式空间H 中两个向量的内积 2 121221212222212122)(][][][][][][][][][][][][))()((z x z z x x z z x x z x z x z C x C ?=+++=? (1.6)
径向基核函数 (Radial Basis Function)–RBF 发表于297 天前?技术, 科研?评论数 8?被围观 3526 views+ 论文中又提到了RBF，虽然是个简单的核函数，但是也再总结一下。关于SVM中的核函数的选择，比较简单和应用比较广的是RBF。 所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。 最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制 了函数的径向作用范围。 建议首选RBF核函数，因为： 1.能够实现非线性映射；（线性核函数可以证明是他的一个特例；SIGMOID 核函数在某些参数上近似RBF的功能。） 2.参数的数量影响模型的复杂程度，多项式核函数参数较多。 3.the RBF kernel has less numerical difficulties. ———–那么，还记得为何要选用核函数么？———– 对于这个问题，在Jasper’s Java Jacal博客《SVM入门（七）为何需要核函数》中做了很详细的阐述，另外博主对于SVM德入门学习也是做了很详细的阐述，有兴趣的可以去学习，丕子觉得这个文章写得相当好，特意转载了过来，留念一下。 如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？ 例子是下面这张图：