统计模式识别-线性分类器h

§4.2 Fisher线性判别
Fisher线性判别函数是研究线性判别函数中最 有影响的方法之一。对线性判别函数的研究就 是从R.A.Fisher在1936年发表的论文开始的。
§4.2 Fisher线性判别
设计线性分类器： g(x) wT x + w0
➢首先要确定准则函数； ➢然后再利用训练样本集确定该分类器的参数，以求使所确 定的准则达到最佳。
w
x = xp + r w , g(x)= r w
x2
x p是x在H 上的投影向量 r是x到H的垂直距离
w 是w方向上的单位向量 w
w x
r
xp
x1
H: g=0
线性判别函数的几何意义
令 g(x) wT x w0 = r w
若x为原点，则g(x) w0
原点到超平面H的距离：r0
w0 w
w0 0 原点在H的正侧 w0 0 原点在H的负侧 w0 0 H通过原点
一些基本参量的定义
2.在一维Y空间
➢各类样本均值
1 mi Ni
y,
yYi
i 1, 2
➢ 样本类内离散度、总类内离散度和类间离散度
Si ( y mi )2, yYi
Sw S1 S2 Sb (m1 m2 )2
i 1, 2
§4.2 Fisher线性判别
根据Fisher选择投影方向w的原则：使原样本向量在该方向上 的投影能兼顾：
mi
1 Ni
yYi
y
1 Ni
xX i
wT x =
wT mi ,
i 1, 2
Sb (m1 m2 )2 (wT m1 - wT m2 )2 = wT (m1 - m2 )(m1 - m2 )T w = wT Sbw

第 1 页第二讲 线性分类器一、 判别函数1、 决策论方法在模式识别中，如果根据模式特征信息，按照决策论的思路，以一定的数量规则来采取不同的分类决策，将待识别的模式划分到不同的类别中去，就称为模式识别的决策论方法。

在决策论方法中，特征空间被划分成不同的区域，每个区域对应一个模式类，称为决策区域（Decision Region ）。

当我们判定待识别的模式位于某个决策区域时，就判决它可以划归到对应的类别中。

图1 决策区域需要注意的是：决策区域包含模式类中样本的分布区域，但不等于模式类的真实分布范围。

2、 判别函数如果特征空间中的决策区域边界（Decision Boundary ）可以用一组方程0)( x i G来表示，则将一个模式对应的特征向量x 代入边界方程中的)(x i G ，确定其正负符号，就可以确定该模式位于决策区域边界的哪一边，从而可以判别其应当属于的类别，)(x i G 称为判别函数（Discriminant Function ）。

判别函数的形式可以是线性的（Linear ）或非线性（Non-linear）的。

第 2 页例如图2就显示了一个非线性判别函数，当G (x )>0时，可判别模式x ∈ω1；当G (x )<0时，可判别x ∈ω2。

图2 非线性判别函数非线性判别函数的处理比较复杂，如果决策区域边界可以用线性方程来表达，则决策区域可以用超平面（Hyperplane ）来划分，无论在分类器的学习还是分类决策时都比较方便。

例如图3中的特征空间可以用两个线性判别函数来进行分类决策：当G 21(x )>0且G 13(x )>0时，x ∈ω2； 当G 13(x )<0且G 21(x )<0时，x ∈ω3； 当G 21(x )<0 且 G 13(x )>0时，x ∈ω1；当G 21(x )>0且G 13(x )<0时，x 所属类别无法判别。

研究目的和意义
5.1 几何分类器的基本概念
03
内容纲要
研究目的和意义
一个模式通过某种变换映射成一个特征向量后， 该特征向量可以理解为特征空间的一个点。
O { f1, f 2 ,, f n }
06
内容纲要
研究目的和意义
在特征空间中，属于一个类的点集，在某种程 度上总是与属于另一个类的点集相分离，各个类之 间是确定可分的，
10
内容纲要
研究目的和意义
几何分类法按照分界函数的形式可以分为
线性判别函数 和 非线性判别函数 两大类。
11
1.若已知类的所有特征向量都可以用线性分类器正确 研究目的和意义 分类，我们将研究其相应的线性函数的计算方法。
内容纲要
线性可分情况
12
内容纲要 2.对于不能将所有向量正确分类的线性分类器，我们 研究目的和意义 将通过采用相应的优化规则来寻找设计最优线性分类 器的方法。
有多个判别函数的值大于0，第一种情况下只有一个判
别函数的值大于0。
30
内容纲要
研究目的和意义
31
内容纲要 若可用以上几种情况中的任一种线性判别函数来进行分类， 则这些模式类称为线性可分的。总结如表所示。 研究目的和意义
32
内容纲要 第五章 几何分类器专题
研究目的和意义
5.3 线性判别函数的实现
02
内容纲要
研究目的和意义
还记得吗？
第二章到第四章在概率密度和概率函数的基础 上设计分类器。
04
内容纲要
研究目的和意义
直接使用Bayes决策首先需要知道有关样品总体 分布的知识，包括各类先验概率 P(1 ) 、
类条件概率密度函数和样品的后验概率 P(1 | X ) ， 并以此作为产生判别函数的必要依据，设计出相应 的判别函数与决策面，这种方法称为参数判别方法。

2类判别区域 d21(x)>0 d23(x)>0 3类判别区域 d31(x)>0 d32(x)>0
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
32
i j 两分法例题图示
33
3、第三种情况（续）
d1 ( x) d2 ( x)
12
2.2.1 线性判别函数的基本概念
• 如果采用增广模式，可以表达如下
g ( x) w x
T
x ( x1 , x 2 , , x d ,1)
w ( w1 , w 2 , , w d , w d 1 ) T
T
增广加权向量
2016/12/3
模式识别导论
13
2.1 判别函数(discriminant function) 1．判别函数的定义 直接用来对模式进行分类的准则函数。
模式识别导论
11
2.2.1 线性判别函数的基本概念
• 在一个d维的特征空间中，线性判别函数的
一般表达式如下
g ( x ) w1 x1 w 2 x 2 w d x d w d 1
g ( x ) w x w d 1
T
w为 加 权 向 量
2016/12/3
模式识别导论
1
d1 ( x ) d3 ( x )
2
3
d2 ( x) d3 ( x)
34
多类问题图例（第三种情况）
35
上述三种方法小结:
当c
但是
3 时，i j
法比
i i
法需要更多