当前位置：文档之家 › 非参数判别分类方法

非参数判别分类方法

  • 格式：ppt
  • 大小：874.00 KB
  • 文档页数：17

下载文档原格式

  / 17

合集下载

非参数检验方法

非参数检验方法

⾮参数检验⽅法⾮参数检验的推断⽅法不涉及样本所属总体的分布形式，也不会使⽤均值、⽅差等统计量，⾮参数检验是通过研究样本数据的顺序和分布的性质来构成理论基础，下⾯介绍⼀些⾮参数检验经常使⽤的样本数据信息：1.顺序：将样本数据按照升序排列，可以得到X1≤X2≤X3≤Xi....≤Xn,其中Xi为第i个顺序量。

2.秩将样本数据按照升序排列，可以得到X1≤X2≤X3≤Xi....≤Xn，Ri为Xi在这⼀列数据中的位置，称为秩，R1,R2,R3...Rn为样本数据的秩统计量3.结如果样本数据中存在相同的值，那么在排序时就会出现秩相同的情况，这样的情况称为结，结的取值是对应的秩的均值。

注意是秩的均值⽽不是数据本⾝的均值。

⾮参数检验的统计理论都是根据上述概念计算⽽来，此外，和参数检验⼀样，当我们得到分析数据的时候，最先做的⼯作还是先通过图表和⼀些描述性统计量对数据整体进⾏探索性分析，掌握数据⼤致分布情况、有⽆极端值等，为后续正确选择分析⽅法打下基础。

================================================ ====⾮参数检验主要应⽤在以下场合：1.不满⾜参数检验的条件，且⽆适当的变换⽅法进⾏变换2.分布类型⽆法获知的⼩样本数据3.⼀端或两端存在不确定值，如>10004.有序分类变量求各等级之间的强度差别更进⼀步来讲，⾮参数检验可以做以下分析：⼀、单样本总体分布检验⼆、两独⽴样本差异性检验三、两配对样本差异性检验四、多个独⽴样本差异性检验五、多个相关样本差异性检验可以看出，以上应⽤除了第⼀点之外，其他都有对应的参数检验⽅法，这就要根据样本数据的实际情况来进⾏选择了：适合使⽤参数检验的优先使⽤参数检验，否则使⽤⾮参数检验。

================================================ =下⾯我们分别介绍⼀下上述应⽤对应的⾮参数检验⽅法⼀、单样本总体分布检验单样本总体分布检验主要⽤来检验某样本所在总体分布和某⼀理论分布是否存在显著差异，主要涉及的⾮参数检验⽅法有：1.卡⽅检验卡⽅检验可以检验样本数据是否符合某⼀期望分布或理论分布，这在卡⽅检验中有所介绍，在此不再多说2.⼆项分布检验⼆项分布检验主要⽤来检验样本数据是否符合某个指定的⼆项分布，该检验只适合⼆分类变量样本。

第三章线性判别分析非参数判别分类方法-第二次课

第三章线性判别分析非参数判别分类方法-第二次课

第3章 线性判别分析
(2) r g(x) w
g(x)是x到超平面距离的一种代数距离。
当x=0时, g(x)=w0,
若w0>0, 则原点在超平面的正侧; 若w0<0, 则原点在超平面的负侧; 若w0=0, 则超平面通过原点。
r0
w0 w
第3章 线性判别分析
结论： 对于两类情形, 利用线性函数进行分类, 实质上 就是用一个超平面H把Rd分成两个决策区域； H的方向由权向量w确定, 它的位置由阈值权w0 确定； 判别函数g(x)正比于x点到H的代数距离； 当x在H的正侧时, g(x)>0; 在负侧时, g(x)<0。
Cm2
1 2
m(m
1)
第3章 线性判别分析
Hij的方程为
gij (x) wTij x w0ij
g ji (x) gij (x)
其中, i<j, i, j=1, 2, …, m。
gij(x)判决准则为：
gij
(x)
0 0
x i (i, j 1, 2, , m) xj
对于3类问题, 可用3个超平面: g12(x)=0, g13(x)=0和g23(x)=0 把ω1、 ω2、 ω3
g(x) w0 wi xi vT y
i 1
第3章 线性判别分析
3.1.3
g(x) wT x w0
➢设计线性分类器, 是指所用的判别函数、分界面方程的类型 已选定为线性类型, 主要的设计任务是确定线性方程的两个参 数, 一个是权向量w, 另一个是阈值w0。 ➢使所设计的线性分类器在性能上要满足一定的要求, 这种要 求通过一种准则来体现, 并且要表示成一种准则函数, 以便能 通过将准则函数值优化的方法确定w和w0。

几种非参数方法的比较分析

几种非参数方法的比较分析
Wni(x) Khn(x Xi) / fhn(x)
n
这里 ， fhn( x) n1 Khn( x Xi), Khn(u) hn1K (U / hn), hn i1
是窗宽，函数 fhn(•) 称为X的密度的Rosenblatt-Parzen核 密度估计；核函数K是一个连续、有界、对称的实值函数且 其积分为1，对于核函数的选择有很多种、像高斯核、三角 核、四次方核等。最优核函数 K(u) 0.75(1u2)I(U 1) 是由 Epanechnikov（1969），Bartlett（1963）提出的，被称 为Epanechnikov核，同时它是一个万能的加权方式，并对 比较核提供一个有用的基准。前苏联的E.A.Nadaraya 和美 国的G。Watson于1964年各自独立发表了一种被称为核函数 估计的统计方法，后来就以Nadaraya-Watson 命名这种非 参数回归的核估计方法 ，广泛记为Nadaraya-Watson估计。
1 hn
K(
Xi x0 ) hn
这里假设权函数为 1 K ( Xi x0) 。最小化上式可
h
hn
得：ˆ ( X WX )1 X WY
,其中 W
。
diag
K
(
Xi hn
x0
)
nx
n
向量ˆ 的第一个分量就是 m(x)的局部多项式估计，当 p=1
时局部多项式估计就变成局部线性估计。
【1】罗爱华.倒U型多拐点社会问题的测度[J]. 统计与决策,2012,(6)
【1】秦国友.纵向数据边际模型非参数光滑方法的比较[J]. 应用概率与统计,2009,(6) 【2】卢一强,陈中威.部分线性模型的光滑样条推断[J].山西大同大学学报,2010(2)

第三章 线性判别分析_非参数判别分类方法-第四次课

第三章 线性判别分析_非参数判别分类方法-第四次课

Ri Ri1 Ri2 Rili
其中,
Ri j1 Ri j2 , j1 j2 。
用mli表示Rli中的均值向量, 并以此作为该子区的代表 点, 确定判别函数: 则判决准则为 若 g j ( x) min gi ( x) ， 则x∈ωj
i1,2,,m
gi ( x) min x mli
Fisher 线性判决的基本思想
是寻找一个最好的投影方向 ,
当特征向量x从d维空间映射到
这个方向上时 , 两类能最好地 分开。

这个方法实际上涉及特征维
数的压缩问题。
第3章 线性判别分析
分析 w1 方向之所以比 w2 方向优 越, 可以归纳出这样一个准则：即向 量 w 的方向选择应能使两类样本投 影的均值之差尽可能大些, 而使类内 样本的离散程度尽可能小。这就是 Fisher准则函数的基本思路。
，则vTzi>0。
经过这样的变换后, 我们可以不考虑样本原来的类别标 志, 只要找到一个对全部样本zi都满足vTzi>0(i=1, 2, …, N)的
权向量即可。
第3章 线性判别分析 3. 解向量和解区
满足vTzi>0(i=1, 2, …, N)的
权向量称为解向量。 若把 v 看成是权向量空间中 的一点, 对于任一zi, vTzi=0在权向 量空间确定了一个超平面 , 这个 超平面把权空间分为两个半空间 , 该超平面的法向量为 zi , 超平面

在这种情况下，可以将各类 别划分成相对密集的子类， 每个子类以它们的均值作为 代表点，然后按最小距离分 类，可以有比较满意的效果。
对样本进 行子类的合适划 分是分段线性距离分类器性 能好坏的一个关键问题。 分段线性距离分类器示意图

非参数判别分类方法

非参数判别分类方法
分类界面方程 ai* yi f (xi ) f (x) w0* 0 （3-108）
i
其中 w0* 为相应的常数项
特征映射，核函数
由于特征进行了映射，从x变成了f（x），因此问题是
在另一个映射后的空间讨论的。设原空间维数为d，即X Rd
，而新空间为m维，即 f (X ) Rm ，则一般m维要比d维大得
它强调将线性方程中的法向量与样本的乘积看作样
本向量在单位法向量上的投影，如能做到不同类的
样本在法向量上的投影呈现类内聚集，类间分开的
效果，则对减少错分类有利。所得最佳法向量计算
式为
S
1 w
(m1

m2 )（
见有关课本定义）。这个结果
与正态分布协方差矩阵等的贝叶斯决策结果相近，
这说明如果两类分布范围绕各自均值的确相近，
这样一来，线性分类方法就可以直接采用。
支持向量机利用特征映射的思想
W *
ai* yi xi
（3-104）
i
其中, ai*,i 1,2,..., n 是以下式子求极大值的解
LD
i
ai

1 2
aia j yi y j xi.x j
（3-105）
计算上式的极大值只用到训练样本数据间的点积
n
分类界面方程
ai* yik (xi , x) w0* 0
i
（3-109） （3-110）
因此选择合适的函数K( . , . )就成为设计中的重要问题
2020/1/11
支持向量机计算示意图
2020/1/11
核函数
与内积函数值等价的函数K(.,.)称为核函数。理论上 的研究对核函数的充分必要条件进行了研究，并已 得出一些主要结论（如Mercer条件）。 常用的核函数还局限于以下三种函数形式。

第三章 非参数判别分类方法

第三章 非参数判别分类方法

第三章非参数判别分类方法学习指南：前一章重点学习的贝叶斯决策具有理论指导的意义，同时也指明了根据统计参数分类决策的方法。

沿这条路走就要设法获取样本统计分布的资料,要知道先验概率，类分布概率密度函数等。

然而在样本数不足条件下要获取准确的统计分析也是困难的。

这样一来人们考虑走另一条道路，即根据训练样本集提供的信息，直接进行分类器设计。

这种方法绕过统计分布状况的分析，绕过参数估计这一环，而企图对特征空间实行划分，称为非参数判别分类法，即不依赖统计参数的分类法。

这是当前模式识别中主要使用的方法，并且涉及到人工神经元网络与统计学习理论等多方面，是本门课最核心的章节之一。

非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法。

这里最重要的概念是分类器设计用一种训练与学习的过程来实现。

机器自动识别事物的能力通过训练学习过程来实现，其性能通过学习过程来提高，这是模式识别、人工神经元网络中最核心的内容。

学习这一章要进一步体会模式识别中以确定准则函数并实现优化的计算框架。

由于决策域的分界面是用数学式子来描述的，如线性函数，或各种非线性函数等。

因此确定分界面方程，包括选择函数类型与确定最佳参数两个部分。

一般说来选择函数类型是由设计者确定的，但其参数的确定则是通过一个学习过程来实现的，是一个叠代实现优化的过程。

因此本章从最简单的函数类型讲起，再扩展到非线性函数。

学习的重点要放在线性判别函数的基本内容上，然后再注意如何扩展到非线性函数的应用上去。

该章的学习最好通过概念的反复推敲与思考，以加深对重要概念的理解，另一方面通过实验，亲自体验设计模式识别系统的完整过程，对学习才会更加真切。

学习目的(1) 通过本章学习掌握模式识别中最重要的非参数判别分类法的原理(2) 掌握机器自学习的原理，自学习功能已不仅在模式识别中应用，目前经常用机器学习这个词以涉及更为广泛的内容。

(3) 学习线性分类器的三种典型算法，这三种算法各自形成体系，分别形成了传统模式识别、人工神经元网络以及统计学习理论(4) 用近邻法进行分类(5) 通过相应数学工具的运用进一步提高运用数学的本领本章重点(1) 非参数判别分类器的基本原理，与参数判别分类方法的比较(2) 线性分类器的三种典型方法——以Fisher准则为代表的传统模式识别方法，以感知准则函数为代表的机器自学习方法，以及支持向量机代表的统计学习理论。

常见的几种非参数检验方法

常见的几种非参数检验方法

常见的几种非参数检验方法非参数检验是一种不需要对数据进行假设检验的统计方法，它不需要满足正态分布等前提条件，因此被广泛应用于实际数据分析中。

在本文中，我们将介绍常见的几种非参数检验方法。

一、Wilcoxon符号秩检验Wilcoxon符号秩检验是一种用于比较两个相关样本之间差异的非参数检验方法。

它基于样本差异的符号和秩来计算统计量，并通过查表或使用软件进行显著性判断。

二、Mann-Whitney U检验Mann-Whitney U检验是一种用于比较两个独立样本之间差异的非参数检验方法。

它基于样本排名来计算统计量，并通过查表或使用软件进行显著性判断。

三、Kruskal-Wallis H检验Kruskal-Wallis H检验是一种用于比较多个独立样本之间差异的非参数检验方法。

它基于样本排名来计算统计量，并通过查表或使用软件进行显著性判断。

四、Friedman秩和检验Friedman秩和检验是一种用于比较多个相关样本之间差异的非参数检验方法。

它基于样本排名来计算统计量，并通过查表或使用软件进行显著性判断。

五、符号检验符号检验是一种用于比较两个相关样本之间差异的非参数检验方法。

它基于样本差异的符号来计算统计量，并通过查表或使用软件进行显著性判断。

六、秩相关检验秩相关检验是一种用于比较两个相关样本之间关系的非参数检验方法。

它基于样本排名来计算统计量，并通过查表或使用软件进行显著性判断。

七、分布拟合检验分布拟合检验是一种用于检验数据是否符合某个特定分布的非参数检验方法。

它基于样本数据与理论分布之间的差异来计算统计量，并通过查表或使用软件进行显著性判断。

八、重复测量ANOVA重复测量ANOVA是一种用于比较多个相关样本之间差异的非参数检验方法。

它基于样本方差和均值来计算统计量，并通过查表或使用软件进行显著性判断。

九、Bootstrap法Bootstrap法是一种用于估计总体参数和构建置信区间的非参数方法。

它基于自助重采样技术来生成大量虚拟样本，以此估计总体参数和构建置信区间。

第4章非参数判别分类方法(线性判别函数)

第4章非参数判别分类方法(线性判别函数)

感知准则函数
线性可分
线性可分是说该训练样本集中的两类样本可 以用一个线性分界面正确无误的分开。
在线性可分条件下，广义权向量a合适的话 应有：
感知准则函数
为了方便起见，如果我们令
则合适的a能使所有的Y’满足
例 _
需要解决的问题: 找到满足上式的aT
感知准则函数
分析
_
根据训练样本确定增广权向量 a
广义线性判别函数
广义线性判别函数
选择一种映射X→Y，即将原样本特征向量X 映射成另一向量Y，从而可以采用线性判别 函数的方法。
例如对于二次函数情况，其一般式可表示成
如果我们采用映射x→Y，使
广义线性判别函数
广义线性判别函数
则判别函数g(x)又可表示成
_
此时g(x)被称为广义线性判别函数，a称为广义权向
向量W的方向选择应能使两类样本投影的均值之差尽可能 大些
而使类内样本的离散程度尽可能小
这就是Fisher准则函数的基本思路。
Fisher线性判别函数
基本参量
样本在d维特征空间的一些描述量。
(1) 各类样本均值向量mi
(2) 样本类内离散度矩阵Si与总类内离散度矩阵Sw
Fisher线性判别函数
对于分类效果也与原决策面相同 只是在Y空间中决策面Fra bibliotek通过坐标原点的，
这在分析某些问题时具有优点
广义线性判别函数
例 一维特征空间的分类器
其决策面方程为： x-c=0 一维空间中为一个点 经齐次简化后可得：
此时在二维空间中决策面为一过原点的直线
广义线性判别函数
线性分类器设计步骤
计算出后验概率

非参数判别分析SAS

非参数判别分析SAS

KERNEL=BIWEIGHT\BIW 或 EPANECHNIKOV\EPA 或TRIWEIGHT\TRI 或UNIFORM\UNI
为估计组密度指定一个核密度，缺省为 KERNEL=UNIFORM\UNI。
data l;
input xx$ x y g;/*判别分析。已分类，训练样本*/
datalines;
proc format; value specname 1='Setosa ' 2='Versicolor' 3='Virginica '; run; data iris; title 'Discriminant Analysis of Fisher (1936) Iris Data'; input SepalLength SepalWidth PetalLength PetalWidth Species @@; format Species specname.; *label SepalLength='Sepal Length in mm.' SepalWidth ='Sepal Width in mm.' PetalLength='Petal Length in mm.' PetalWidth ='Petal Width in mm.'; symbol = put(Species, specname10.); datalines;
data plotdata;
do PetalWidth=-5 to 30 by .5;
output;
pattern1 c=red /*v=l1 */; pattern2 c=yellow /*v=empty*/; pattern3 c=blue /*v=r1 */; axis1 label=(angle=90); axis2 value=(height=.6); legend1 frame label=none; proc gchart data=iris; vbar PetalWidth / subgroup=Species midpoints=0 to 25 raxis=axis1 maxis=axis2 legend=legend1 cframe=ligr; run;

非参数判别分类方法

非参数判别分类方法

2020/10/5
中国矿业大学 计算机科学与技术学院
(33)8
3.4 多类问题
• 在两类别问题中使用的线性判别函数方法可以推广到多 类别问题中。
（1）将C类别问题化为(C-1)个两类问题，即将第i类与所有非i 类样本，按两类问题确定其判别函数与决策面方程。因 此对于C类，则总共有(C-1)个两类别问题。
2020/10/5
中国矿业大学 计算机科学与技术学院
(33)3
3.3.2 感知准则函数及其梯度下降算法
感知准则函数方法的思路
• 随意找一个初始广义权向量 a(0) • 当前的广义权向量a(k)，若出现Y’，使aTY<0 ，则
a(k 1) a(k) pkY '
其中pk>0
• 理论证明，只要训练样本集线性可分，无论a(0)的初值是 什么，经过有限次叠代，都可使式aTY>0得到满足。
• 主要讨论在样本分布及子类划分大体已定的情况下， 设计分段线性判别函数的问题，着重讨论几种典型 的设计原理。
2020/10/5
中国矿业大学 计算机科学与技术学院
(33)15
• 分段线性判别函数的一般形式可定义为：
其中 gil ( X )表示第i类第l段线性判别函数，li为i类所具有的判别函 数个数，Wil与wi0l分别是第l段的权向量与阈值权。相应的判别规 则是：
• 传统的模式识别技术，则侧重于使用分段线性判别函数。
• 人工神经元网络如多层感知器等网络能够适用非常复杂的 非线性分类，以及非线性函数拟和，非线性映射等，这将 在人工神经元网络这一章讨论。
• 支持向量机则提出了一种基于特征映射的方法，也就是使 用某种映射，使本来在原特征空间必须使用非线性分类技 术才能解决的问题,映射到一个新的空间以后, 使线性分类 技术能继续使用。

机器学习非参数方法

机器学习非参数方法

p: 树中的一个结点，对 应一个样本子集Kp Np : Kp中的样本数 Mp : Kp中的样本均值 rp : 从Kp中任一样本到 Mp的最大距离
（2）快速搜索算法
要实现快速搜索近邻，需要有方法快速判断某个样本子集是否是该待识样本 的可能近邻样本集，从而可将无关的样本子集尽快排除。另一方面在某样本子 集内寻找哪个样本是近邻时，需快速排除不可能为近邻的样本。
假设以欧氏距离来衡量，O的最 近邻是A3，其次是B1，因此O应该 属于A类； 但若A3被拿开，O就会被判为B 类。
这说明计算最近邻法的错误率会有 偶然性，也就是指与具体的训练样本 集有关。 同时还可看到，计算错误率的偶然 性会因训练样本数量的增大而减小。 因此我们就利用训练样本数量增至 极大，来对其性能进行评价。这要使 用渐近概念，以下都是在渐近概念下 来分析错误率的。
• 对所有的x，有： PN-> ∞(e|x) ≤Ck[P*(e|x)] 根据Jensen不等式, P=E[PNk(e|x) ≤ E{Ck[P*(e|x)]} ≤ CkE{ [P*(e|x)]} = Ck( P*) • 不等式关系 P* ≤P ≤ Ck( P*) ≤ Ck-1( P*) ≤… ≤ C1( P*) ≤2 P* (1- P* )
最近邻法的错误率高于贝叶斯错误率，可以证明以 下关系式成立：* C * *
P P P (2
P*：贝叶斯错误率

C 1 P：最近邻法错误率
P)
由于一般情况下P*很小，因 此又可粗略表示成：
P* P 2P*

可粗略说最近邻法的渐近平 均错误率在贝叶斯错误率的 两倍之内。
小结 模式识别（机器自动分类）的基本方法有两大类：
（1）样本集的分级分解

[模式识别及MATLAB实现][杨杰][电子教案(PPT版本)] (5)[56页]

[模式识别及MATLAB实现][杨杰][电子教案(PPT版本)] (5)[56页]

个区域，一个属于，i 另一个属于i 。再考察另一个决策的
判别函数d j (X ) WjT X ，（j ）i 其决策面WjT X 0 同样把特
征空间划分成两个区域，一个属于，j 另一个属于
。这两
j
个决策面分别确定的i和 j类型区域可能会有重叠，这个
重叠区域不能由这两个判别函数确定类别。同样，i和 j
外的判决函数 d j (X )的值。若 dj(X ) 0 ，j i 才能确定。所以 此时判决规则为
•
如果 di (X ) 0 d j ( X ) 0
j i 则 X i 。
（4-7）
Page 9
• 二、i / j 两分法
•
i / j 两分法的基本思想是对 c 个类别中的任意两个类
别和i j建立一个判别函数 dij (X，) 决策面方程 dij (X ) ，0 能
把i和 j 两个类别区分开，但对其他类别的分类则不提
供任何信息。因为 c 个类别中，任取两个类别的组合数为
，c(c 1) / 2
•即
•
dij (X ) WijT X
• 此时，判别函数具有性质
，i, j 1,2,....c
（4-8）
•
dij ( X ) d ji ( X )
（4-9）
• 每个判别函数具有以下功能
，将属于 i 类的模式与其余不属于i 类的模式分开。对于
c类问题，如果样本模式是完全线性可分的，则需要c 1个独 立的判别函数。为了方便，可建立 c 个判别函数，形如
Page 5
•
， di ( X ) WiT X
i 1, 2, ，c
（4-5）
• 其中，每一个判别函数具有以下功能
•

非参数判别分类方法

非参数判别分类方法
Fisher线性判别函数是研究这类判别函数中最 有影响的方法之一。
对线性判别函数的研究确实是从R.A.Fisher在 1936年发表的论文开始的。
3.3.1 Fisher准那么函数
Fisher准那么差不多原理
假如在二维空间中一条直线能将两类样本分 开，或者错分类很少，那么同一类别样本数 据在该直线的单位法向量上的投影的绝大多 数都应该超过某一值。而另一类数据的投影 都应该小于(或绝大多数都小于)该值，那么这 条直线就有可能将两类分开。

yTN

yN1
yN 2
y1d

y2d


yNd
为使解更可靠，引入余量b>0,那么 Ya>b’>0
b b' b
b
准那么
1、Jq1(a) (Ya b) Ya b 2
J
q1(
a*
)

min a
J
q1(a)来自共梯度法求解 2、jq2
J
s
(a*
)

min a
J
s
(
a)
3.6 多类问题
两类别问题中使用的线性判 别函数方法能够推广到多类 别问题中
将C类别问题化为(C-1)个两 类问题，即将第i类与所有非i 类样本，按两类问题确定其 判别函数与决策面方程。因 此关于C类，那么总共有(C-1) 个两类别问题，
两个问题
可能会出现一些不定区域，如图中阴影所示， 在这些区域中的样本无法确定其类别。
准那么：向量W的方向选择应能使两类样本 投影的均值之差尽可能大些，而使类内样本 的离散程度尽可能小。这确实是Fisher准那么 函数的差不多思路。 y=WTX

十非参数判别分析与非参数聚类(非参数统计,西南财大)

十非参数判别分析与非参数聚类(非参数统计,西南财大)

第十二章 非参数判别分析与非参数聚类第一节 非参数判别分析一、引言关于判别分析的一般概念我们在多元统计分析中已经详细的讨论，在那里我们采用了距离判别、贝叶斯判别和典型判别法。

这些判别法都需要估计总体的参数，而贝叶斯判别时，我们还指定了总体服从正态分布。

在非参数统计中，不对变量的分布做任何假设，这里主要有两种方法，BAYES 方法和近邻方法进行非参数判别分析。

设有M 个类，用Y 记一具体的对象所属的类，Y 可能的取值为M ,,2,1 。

设有了n 个经过明确判定的样本，第i 个样本的指标为i X ,所属的类为),,2,1(n i Y i =，,n 个样本记()()(){},,,,,,,221n n n Y Y Y Z X X X 1 =，常称为“训练样本”。

这一名称的来由使因为日后进行的判别工作依赖，因此可以说它们“训练了”人们如何取进行判别。

非参数方法是基于组概率密度函数的非参数估计。

每组的非参数密度估计核产生的分类准则采用核方法或k 最近邻方法。

马氏距离或欧氏距离用来确定样品的接近程度。

二、核方法 1、Bayes 方法概念设有M 个总体M G G ,,1 分别具有概率分布密度)(),(1x f x f M ，出现M 个总体的先验概率分别为M p p ,,1 ，0>=i p ，11=++M p p 。

贝叶斯判别的规则将样品判给)()()|(000x f P x f p x G P j j k k k ∑=最大的类，即如果)(max )(1x f p x f p j j Mj l l ≤≤=，判l G Y ∈2、Bayes 方法和密度函数估计的联系在非参数判别中，通常M j x f j ,,3,2,1),( =完全未知，有时k p p ,,1 未知。

一个直观的想法是直接估计M j x f j ,,3,2,1),( =和M p p ,,1 ，然后将得到的估计代入判别规则中进行计算。

具体的步骤是：如果已知某事物可分为M 个总体：1G …2G ，M G ，该事物的特性P 个指标描述，在进行分析之前，已观察到在各个总体的样本。

非参数分类方法-分析归纳很到位共26页文档

非参数分类方法-分析归纳很到位共26页文档
When n→∞, the variance is 0, we can use k/n to estimate P.
Pattern Recognition Lab 501
Tongji University
4
Density Estimation – Overview (4)
Important condition
This estimate becomes more accurate as we increase the number of sample points N and shrink the volume V
Pattern Recognition Lab 501
Tongji University
5
Density Estimation – Overview (5)
There are two basic approaches to perform density estimation:
Parametric: the density function is assumed (i.e., Gaussian) and the parameters of the function (i.e., mean and variance) are then optimized by fitting the model to the data set
We can choose a fixed value of k and determine the corresponding volume V from the data. This gives rise to the k Nearest Neighbor (kNN) approach.
Pattern Recognition Lab 501
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

2014-5-16
六、感知准则函数方法
这种方法提倡用错分类提供的信息修正错误，这种 思想对机器学习的发展以及人工神经元网络的发生 发展产生深远影响。
七、近邻法
近邻法训练样本数量较多时，从逐渐错误率角度看， 其错误率比较小，是经常使用的模式识别分类方法， 比较适合在多类别情况下使用。当每类的样本数很 多时，存储量与计算量要求都偏高，使用剪辑近邻 法与压缩近邻法，特别是压缩近邻法可大量减少训 练样本的数量。
支持向量机利用特征映射的思想
W * ai* yi xi
* 其中, ai , i 1,2,...,n
（3-104）
i
是以下式子求极大值的解 1 （3-105） LD ai ai a j yi y j xi .x j
i
计算上式的极大值只用到训练样本数据间的点积 <xi.xj>,而使用的分类器判别函数中权向量的作用也 是通过权向量与样本的点积体现出来的，而从（3104）式子中可以看出，权向量是训练样本中的支持 向量的线性组合，因此WTX 值的计算可以写成
核函数型式的函数 k ( x, xi ) exp(
| x xi |2

2
)
（3-112）
（3-113）
S行函数，如
k ( x, xi ) tanh( v xi x c)
2014-5-16
本章小结
一、参数判别分类方法与非参数判别分类方法的区别
参数判别方法：它的提前是对特征空间中的各类样 本的分布清楚，因此一旦要测试分类样本的特征向量值X 已知，就可以确定X对各类的后验概率，也就是可按相应 的准则计算与分类，所以判别函数等的确定取决于样本 统计分布的有关知识。
2014-5-16
三、决策面方程的显示表示和隐式表示
*用函数直接表示分界面方程，如线性方程式表示的边界等。 *用隐含形式，例如我们用最小距离分类器就代表了这种类 型，其实这两种型式是等价的。如二维空间的最小距离分 类器用最小距离表示为：|| X-m1 ||=||x-m2||而其等价于连 接m1与m2线的垂直平分线。 *本章学习的Fisher准则、支持向量机与局部训练法等用的 是 显示表示，而错误修正法和近邻法则可以说是隐式表示。
2 ax12 bx1x2 cx2 dx1 ex2 f 0
如果我们希望采用广义线性方程的方法，则可以定义
2 Y ( x12 , x1 x2 , x2 , x1 , x2 )T
T 作为映射后的特征向量，而相应的广义权向量 W (a, b, c, d , e)
则一个线性方程就可以写成 W T Y w0 0 , 其中 , w0 f 这样一来，线性分类方法就可以直接采用。
2014-5-16
谢谢观赏
2014-5-16
统计学习理论
从我们所讨论的一些方法中，分类器设计的性能， 都以队训练样本集有好的性能为目标，而没有办法 保证在实际使用时仍能保持好的性能。支持向量机 在线性可分时要求隔离带尽可能宽，正是从期望实 际的错误率也较低这一点出发。关于这一点需要很 深的理论，我们只做一种浅显的解释。 对我们的实际应用来说，支持向量机可以通过特征 映射方法，将原特征空间需要用非线性函数分类的 问题，转换成在一个新的空间中仍能采用线性分类 器的方法，使实际使用非线性分类器（而不是分段 线性分类器）的可能性大大增加。这是一个很大的 突破。
2014-5-16
二、非参数分类判别方法的基本做法
非参数分类判别方法进行分类器设计主要包含两个步骤：
1. 确定要使用的判别函数类型或决策面方程类型， 如线性分类器，分段线性分类器，非线性分类器等 或近邻法等。如果使用人工神经网络，则怎样的网 络结构也隐含了所使用的函数形式。 2.在选定的函数类型网络结构等条件下，确定相 应的参数，从而完成整个分类器设计。
W T X ( ai* yi xi ) X ai* yi xi y j （3-106）
i i
4
2
它表明在计算判别函数值时，仍然只 需要通过计算相应数据的点积即可。 由此可以设想，如果我们将原特征向 量用映射的方式转换成 xi f ( xi ) ，则相 应的式子只需要改变成
2014-5-16
例：Sin（ax）拟合
红线表示正确拟合得到的结果，但是对于这样一组数据，我们完 全可以用一个函数Sin(ax)来拟合它，如图中蓝线表示的函数所示， 只要调整参数a总可以使所有数据都落在Sin(ax)曲线上，但是很 明显Sin(ax)并不反映这组数据的内在规律，如果再增加一个新数 据，参数a很可能就要变。从直观上讲，所用的函数Sin(ax)并不 合适，但是从训练样本数据来看，它的拟合程度的确很高。
四、基于相似度的分类判别方法
判别函数的隐式表示与使用基于相似程度判别的原则有关。 如近邻法是用距离远近表示相似程度，错误修正法用样本 向量与增广权向量的点积运算，也可在一定程度上看作相 似度，在多类问题上，往往用计算相似度较为方便。
2014-5-16
五、模式识别方法中的典型方法， 它强调将线性方程中的法向量与样本的乘积看作样 本向量在单位法向量上的投影，如能做到不同类的 样本在法向量上的投影呈现类内聚集，类间分开的 效果，则对减少错分类有利。所得最佳法向量计算 1 (m1 m2 ) 式为 S w （ 见有关课本定义）。这个结果 与正态分布协方差矩阵等的贝叶斯决策结果相近， 这说明如果两类分布范围绕各自均值的确相近， Fisher准则可使错误率较小。
由于特征进行了映射，从x变成了f（x），因此问题是 d 在另一个映射后的空间讨论的。设原空间维数为d，即X R ，而新空间为m维，即 f ( X ) Rm ，则一般m维要比d维大得 多。权向量的维数也是m维，它是在映射后空间中的支持 向量的线性求和。但是支持向量机的提出者进一步发现， 并不一定要求出这个权向量，因为分类判别函数中只关心 权向量与样本向量之间的点积。因此，又引出了所谓核函 数 k ( xi , x) 1 LD ai ai a j yi y j k ( xi , x j ) （3-109）
模 式识别
非参数判别分类方法
2014-5-16
3.5.3 特征映射法、解决非线性判别分类问题
* 支持向量机采用的方法与前面提到的方法很不相同， 支持向量机提出的方法是利用特征映射方法,使非 线性分类的问题可以利用线性分类的计算框架来实 现。 * 原理示意图
广义线性判别函数
例如：假设对一个二维空间的分类问题，想用一个二次函数 作为判别函数，则二次曲线函数的一般式可以写成：
分类界面方程
* * a y k ( x , x ) w i i i 0 0 i
n
i
2
（3-110）
因此选择合适的函数K( . , . )就成为设计中的重要问题
2014-5-16
支持向量机计算示意图
2014-5-16
核函数
与内积函数值等价的函数K(.,.)称为核函数。理论上 的研究对核函数的充分必要条件进行了研究，并已 得出一些主要结论（如Mercer条件）。 常用的核函数还局限于以下三种函数形式。 多项式类型的函数 k ( x, xi ) [ x xi 1]q （3-111）
2014-5-16
八、支持向量机
支持向量机是新近提出的影响较大的方法。在理论 上有很深的背景，这里指的理论是统计学习理论。 它主要关注的问题是：当训练样本数量有限时。在 训练过程中做到使训练样本错误率为最小，是否就 意味着系统在实际应用中，也能自然而然做到错误 率小呢？对我们来说了解这种理论显然超出我们课 程的范围，但是可以举一个例子说明这种问题的确 存在。例如下图表示在一个样本集（X，Y），其中X 在实数范围内取值，而Y则在[-1,+1]范围取值。
1 LD ai ai a j yi y j f ( xi ) f ( x j ) （3-107） 2 i
* * a y f ( x ) f ( x ) w 分类界面方程 i i i 0 0 （3-108） i n
* w 其中 0 为相应的常数项
特征映射，核函数
非参数分类判别方法：着眼于直接利用训练样本集， 省去参数估计这一环节，这样一来，从保证最小错去率 的原则出发计算确定判别函数的方法就不适用了。因此， 非参数分类判别方法只能根据一些其它准则来设计分类 器。分类器的效果好坏，所选择的判别函数型式，所使 用的训练样本集，以及所用的算法是对结果都会有影响。