05 线性判别函数

第3章 线性判别分析
(2) r g(x) w
g(x)是x到超平面距离的一种代数距离。
当x=0时, g(x)=w0,
若w0>0, 则原点在超平面的正侧; 若w0<0, 则原点在超平面的负侧; 若w0=0, 则超平面通过原点。
r0
w0 w
第3章 线性判别分析
结论： 对于两类情形, 利用线性函数进行分类, 实质上 就是用一个超平面H把Rd分成两个决策区域； H的方向由权向量w确定, 它的位置由阈值权w0 确定； 判别函数g(x)正比于x点到H的代数距离； 当x在H的正侧时, g(x)>0; 在负侧时, g(x)<0。
Cm2
1 2
m(m
1)
第3章 线性判别分析
Hij的方程为
gij (x) wTij x w0ij
g ji (x) gij (x)
其中, i<j, i, j=1, 2, …, m。
gij(x)判决准则为：
gij
(x)
0 0
x i (i, j 1, 2, , m) xj
对于3类问题, 可用3个超平面: g12(x)=0, g13(x)=0和g23(x)=0 把ω1、 ω2、 ω3
g(x) w0 wi xi vT y
i 1
第3章 线性判别分析
3.1.3
g(x) wT x w0
➢设计线性分类器, 是指所用的判别函数、分界面方程的类型 已选定为线性类型, 主要的设计任务是确定线性方程的两个参 数, 一个是权向量w, 另一个是阈值w0。 ➢使所设计的线性分类器在性能上要满足一定的要求, 这种要 求通过一种准则来体现, 并且要表示成一种准则函数, 以便能 通过将准则函数值优化的方法确定w和w0。

wT x x0 0
w
x0
4.1.3 对线性判别函数的深入分析
2 判别函数： 1 g j x 2 2μTj x μTj μ j ln P w j wTj x w j 0 2
2 i i i0
gi x
1
2μ x μ μ ln P w w x w
g(x)
判别计算


阈值单元
x
1 2
决策
特征向量
判别函数的判别功能示意图
4.1.2 正态概型下贝叶斯决策中的线性判别函数
2 判别函数： 1 g j x 2 2μTj x μTj μ j ln P w j wTj x w j 0 2
2 i i i0
2. n维情况(续)
模式分类：
g ( x) W
当 g1(x)
T
0, x 1 X 0, x 2
=WTX=0 为判别边界 。当n=2时，二维 情况的判别边界为一直线。当n=3时，判别边界 为一平面，n>3时，则判别边界为一超平面。
(二) 多类问题
对于多类问题，模式有 ω1 ,ω2 , … , ωm 个类别。 一种情况： 每一模式类与其它模式类间可用单个判别平面把一个类 分开。这种情况，M类可有M个判别函数，且具有以下 性质：
线性判别函数的引出：类条件概率密度很难确定
线性判别函数法：首先假定判别函数g(x)是x的线性函数，即：
g x wT x w0
对于c类问题，可以定义c个判别函数,
gi x wiT x wi 0
函数的类别中去。
关键问题是求得 wi 和 wi 0 。

判别规则： x w g ( x ) 0 1 , 若 ,则 （3-2） g ( x) 0 ,则 x w2 , g ( x) 0 ,则可将x分到任一类, 或拒绝
方程 g(x)=0 定义了一个决策面。当 g(x) 为线性函 数时，这个决策面便是超平面。
假设
x1
和
T
x2
都在决策面H上，则有
g ( x) ( x a)( x b)
决策规则是
（3-9）
g ( x) 0, 则决策x 1 g ( x) 0, 则决策x 2
二次判别函数可写成
g ( x) c0 c1 x c2 x
T 3
2
（3-10）
适当选择从x到y的影射，则可把函数化成y的线性函数
g ( x) a y ai yi
3.Fisher算法步骤
由Fisher线性判别式求解向量的步骤： ① 把来自两类 w1 / w2 的训练样本集X分成 w1和w2两 个子集 X 1和 X 2。
1 ② 由 mi Ni
③ 由 Si
xX i
T ( x m )( x m ) , i 1, 2 计算各类的类 i i
T
w x1 w0 w x2 w0
或
（3-3） （3-4）
w ( x1 x2 ) 0
T
这表明，w和超平面H上任一向量正叫交，即w是 H的法向量。
判别函数 g(x) 可以看成是特征空间中某点 x 到超 平面的距离的一种代数度量，见图4.1。
若把x表示成
w x xp r w
（3-5）
在图3.3中，分析w1方向之所以比w2方向优越，
可以归纳出这样一个准则，即向量W的方向选择应 能使两类样本投影的均值之差尽可能大些，而使类 内样本的离散程度尽可能小。这就是Fisher准则函 数的基本思路。为了将这个思路变为可计算的函数 值，我们先对一些基本参量下定义。

【模式识别与机器学习】——3.1线性判别函数3.1线性判别函数3.1.1两类问题的判别函数（1）以⼆维模式样本为例（2）⽤判别函数进⾏模式分类依赖的两个因素①判别函数的⼏何性质：线性的和⾮线性的函数。

线性的是⼀条直线；⾮线性的可以是曲线、折线等；线性判别函数建⽴起来⽐较简单（实际应⽤较多）；⾮线性判别函数建⽴起来⽐较复杂。

②判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。

只要被研究的模式是可分的，就能⽤给定的模式样本集来确定判别函数的系数。

3.1.2 n维线性判别函数的⼀般形式（1）⼀个n维线性判别函数的⼀般形式：（3）多类情况：设模式可分成ω1, ω2,…, ωM共M类，则有三种划分⽅法①多类情况1:问题描述：⽤线性判别函数将属于ωi类的模式与不属于ωi类的模式分开，其判别函数为：i = 1, 2, …, M这种情况称为两分法，即把M类多类问题分成M个两类问题，因此共有M个判别函数，对应的判别函数的权向量为w i, i = 1, 2,…, M。

图例：对⼀个三类情况，每⼀类模式可⽤⼀个简单的直线判别界⾯将它与其它类模式分开。

例如，对的模式，应同时满⾜：d1(x)>0，d2(x)<0，d3(x)<0不确定区域：若对某⼀模式区域，d i(x)>0的条件超过⼀个，或全部d i(x)<0，i = 1, 2, …, M，则分类失败，这种区域称为不确定区域(IR)。

⽰例1：设有⼀个三类问题，其判别式为： d1(x)= -x1 + x2，d2(x)= x1 + x2 - 5，d3(x)= -x2 + 1则对⼀个模式x=(6, 5)T，判断其属于哪⼀类。

将x=(6, 5)T代⼊上述判别函数，得： d1(x) = -1，故d1(x)<0 d2(x) = 6，故d2(x)>0 d3(x) = -4，故d3(x)<0从⽽⽰例2：假若x=(3, 5)T，则 d1(x) = 2>0 d3(x) = -2<0分类失败。