模式识别第四章线性判别函数优秀课件

g(x)=0, 可将其任意分类或拒绝
线性判别函数的几何意义
决策面(decision boundary)H方程：g(x)=0
向量w是决策面H的法向量
g(x)是点x到决策面H的距离的一种代数度量
w
x xp r
w w
,
g(x) r w
x2
x
r是x到H的垂直距离
r
x p是x在H 上的投影向量
xp
当 n 和 ( x p) 夹角小于90度时，即 x 在 n 指向的半空间中
当 n 和 ( x p) 夹角大于90度时，即 x 在 n 背向的半空间中
由于 w 0 ，故 nT ( x p) 和 wT x w0 同号
广义线性判别函数
线性判别函数是形式最为简单的判别函数， 但是它不能用于复杂情况。
模式识别问题就是根据模式X的n个特征来判 别模式属于ω1 ,ω2 , … , ωc 类中的那一类。
判别函数：表示类分界面的函数。
判别函数（续）
x2
•
•••••••••2 ••••••••••••1
o x1
两类的分类问题，它们的边界线就是一个判别函数
判别函数（续）
X轴
两类问题中线性不可分的实例
模式识别第四章线性判别函数
主要内容
引言 Fisher线性判别 感知器准则 最小平方误差准则 多类问题 分段线性判别函数
4.1 引言
分类器
x1
g1
功能结构
x2
g2
MAX
a(x)
基于样本的Bayes分类
. .
. . .
器：通过估计类条件 概率密度函数，设计
.
xn
gc
相应的判别函数
最一般情况下适用的“最 优”分类器：错误率最小，
是H平面的法向量。
证明：判别函数g(x)绝对值正比于x到决策面H的距离
由平面H的方程可得： g(x)wTxw00w w Txw w0
设平面H的单位法矢量 n T w T
w
x
n
设P是平面H中的任一点，X是特 征空间中任一点，点X到平面H的 距离为差矢量（X-P）在n上的投 影的绝对值，即：
x-p w
原来一维非线性可分 三维线性可分。
y1 1
a1 c0
yy2 x，aa2c1
y3 x2
a3 c2
3
g(x)又可表示成：g(x)aTyaiyi i1
广义线性判别函数(2)
按照上述原理，任何非线性函数g(x)用级数展开成高
次多项式后，都可转化成线性判别函数来处理。 一种特殊映射方法：增广样本向量y与增广权向量a
下图所示两类模式为线性不可分
经过非线性变换，两类模式为线性可分
线性分类器设计步骤
线性分类器设计任务：给定样本集K，确定线
性判别函数g(x)=wTx的各项系数w。步骤：
1. 收集一组样本K={x1,x2,…,xN} 2. 按需要确定一准则函数J(K,w)，其值反映分类器
的性能，其极值解对应于“最好”决策。
x1
H: g=0
证明：权向量是决策面的法向量
设点 x 1 、x 2 在决策面H中，故它们满足方程，有：
w T x1 w0 0 wT x2 w0 0
上两式相减，可得：wT(x1x2)0
这表明向量w T 与向量 ( x1 x2 ) 正交，由于x 1 、x 2
是H平面中的任意两点，故w T 与决策面H正交，
Y轴
判别函数（续）
x2
2
1
边界
x1
3
三类的分类问题，它们的边界线也是一个判别函数
判别函数（续）
判别函数包含两类：
一类是线性判别函数： ➢线性判别函数 ➢广义线性判别函数
（所谓广义线性判别函数就是把非线性判别函数 映射到另外一个空间变成线性判别函数）
➢分段线性判别函数 另一类是非线性判别函数
线性判别函数
对分类器设计在理论上有
指导意义。
训练样本集
样本分布的 统计特征：
决策规则： 获取统计分布及其参数很 判别函数 困难，实际问题中并不一
概率密度函数
决策面方程 定具备获取准确统计分布
的条件。
直接确定判别函数
基于样本的直接确定判别函数方法：
针对各种不同的情况，使用不同的准则函数， 设计出满足这些不同准则要求的分类器。
3. 用最优化技术求准则函数J的极值解w*，从而确
定判别函数，完成分类器设计。
w*argmaxJ(K,w)
w
对于未知样本x，计算g(x)，判断其类别
4.2 Fisher线性判别 线性判别函数y=g(x)=wTx:
样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1，则视作向量x在向量w上的投
y1xx1,...,xd,1T aw 1w1,...,wd,w0T 线性判别函数的齐次简化： g(x)w Txw 0aTy
增广样本向量使特征空间增加了一维，但保持了样本间的 欧氏距离不变，对于分类效果也与原决策面相同，只是在Y 空间中决策面是通过坐标原点的，这在分析某些问题时具 有优点，因此经常用到。
这些准则的“最优”并不一定与错误率最小相 一致：次优分类器。
实例：正态分布最小错误率贝叶斯分类器在特
殊情况下，是线性判别函数g(x)=wTx（决策面 是超平面），能否基于样本直接确定w?
选择最佳准则
训练样本集
决策规则： 判别函数
决策面方程
判别函数
假设对一模式X已抽取n个特征，表示为： X(x1,x2,x3,...,xn)T X是n维空间的一个向量
例：设计一个一维分类器，使其功能为：
如 果 xbb或 xxaa
则 决 策 x1 则 决 策 x2
要用二次判别函数才可把二类分开：
1
2
1
0 g(x)(xa)(xb) 0
x1 x2
x
a0 b
二次判别函数
广义线性判别函数
二次函数的一般形式：
g(x)c0c1xc2x2
如果作非线性变换， 则原来的一维特征空 间映射为三维特征空 间。
d 维空间中的线性判别
函数的一般形式：
g(x)wTxw0
x是样本向量，即样本在d 维特征空间中的描述， w是权向 量，w0是一个常数(阈值权)。
x x 1 ,x 2 ,...x d Tw w 1 ,w 2 ,...w d T
两类问题的分类决策规则:
g(x)>0, 如果g(x)<0,
则决策x1 则决策x2
p
H: g=0
dx nT (x p) nT x nT p
wT
wT x
p
wT
x
w0
ww
ww
wT x w0 1 g (x)
w
w
判别函数g(x)绝对值正比于x到决策面H的距离
证明：判别函数值的正负表示出特征点 位于哪个半空间中
两矢量n和（x-p）的数积为：
n T(xp )nxpco s(n ,(xp ))w Txw 0 w