模式识别课件(总顺序 No6)(第三章 NO1)(张 凤)(071030)(线性判别函数)

向量X可以表示为：
X Xp Xp X
Xp r
W W
式中：XpX向量是超平面H的法线方向。
向量Xp是X在H上的投影向量。由于Xp是H上的一点，所以
g(XP) WT XP W0 0
W W
是W(权向量)方向上的单位向量，而
W W12 ... Wd2
r 是X到H的垂直距离。r是待求的距离，且r是一个代数量， r的正负反应了X位于H的正负侧（即当X在H的正侧时，r为正； 反之，r为负）。
说明：
⑴ 使用g(X)来进行模式分类，依赖于两个因素。 ① g(X)的形状(即几何性质)。它可是线性的或非线性的函数。 在g(X)是线性判别函数下，它是所有模式特性的线性组合。
g(X) = w1x1 + … + wdxd + w0 式中，每个特征对于判别函数g(X)作出不同的贡献，贡献的大 小就是它的权wi(i=1,…,d) 。 ② g(X)的参数：只要被研究的模式是可分的，就可确定g(X) 的参数。
(2) 应对与局限性：
▪ 因此，提出了利用样本集直接设计分类器。
▪ 这种方法是：若能找到一个分离函数，特别若是不依赖于 条件分布密度的，且呈线性或非线性的分离函数。它可理 解为通过几何的方法，将Ω分解为对应于不同类别的子空间。
▪ 这种方法所能处理的只是确定可分(线性/非线性可分)的问题， 当样本集聚的空间发生重叠现象时，寻找分离函数的迭代 过程将加长，甚至振荡。这就是这种方法的局限性。另外， 相对Bayes方法该方法得到的是“次优解”。
H是决策面，其方 程为g(X) =0。
W是权向量，其是 H的法线方向。
X是待识别的模式的特征向量(图中X落入R1区域中，即被分到 W1类中去)。 对待识模式X，若将X带入判别函数，则判别函数值g(X)是特 征空间中一/某点X到超平面H的距离的度量。
图中W0,g(X) 均为代数量，W0 , g(X) 用于求距离,与方向无关。
(2) 使用g(X)进行模式分类的方法。
首先利用样本去计算各wi和w0(i=1,…,d)，再将未知(待识别) 样本X归到具有最大判别函数值的类别中去。
(3) 对于C类模式问题，(一般)需要定义C个判别函数。
gi(X)
(i=1,…,c)
它们分别对应于C个模式类w1,…,wc。
(4) g(X)的基本性质：设一个模式X属于第i类，则有：
(3) 这种方法的基本思想是：
如果根据以往大量的观察： ① 知道模式类别的分布； ② 能找出d维空间(Ω)中模式类之间的分界。
这就能解决模式的分类问题。 ▪ 这实际上是运用已知类别的训练样本进行学习的过程。通
过学习产生若干个代数界面g(X)=0，这个表示界面的函数 g(X)称为判别函数。
(4) 这种方法的处理思路是：
x1
一 线性判别函数
▪ 对于d维特征空间中的不同模式类别分别给出一个由d个特 征组成的单值函数，这称为判别函数。其一般表达式为：
▪ g(X) = WTX + W0 ▪ 其中：X是d维特征向量(亦称样本向量)。
X=[x1,…,xd]T ▪ W称权向量。 W = [w1,…,wd]T ▪ W0是个常数，称为阀值权。
② 如果令 g(X) = g1(X) - g2(X)，则得两类模式的线性分类器的 决策规则为：
如果 g(X) > 0, 则决策X∈ W1，即将X归到W1类。 如果 g(X) < 0, 则决策X∈ W2，即将X归到W2类。 如果 g(X) = 0, 则决策是任意的，即将X归到W1或W2类。 其中：g(X)=0是决策面方程。
▪ 分类
特征空间的分划
寻求子区域的界面
判别函数g(X)
判别函数g(X)的结构与参数的确定
待识别样本特征向量带入判别函数后取值与归类。
注意：这种方法要求以后的待分类样本/模式基本上不超过 学习样本的分布范围，也就是说利用这些已知样本得出的分 类边界是无误差的。
▪ 为了找出这些模式类之间的分界面，可以利用判别函数来进 行。
第三章 线性判别函数
3.1 引言
(1) 问题：
▪ 第二章所述的分类器设计方法是在已知类条件概率密度 p(X|Wi)和先验概率p(Wi)，再利用Bayes公式将其转化成 后验概率。然后依据不同规则进行分类－－相对最优。
▪ 但实际中，p(X|Wi)很难确定，而Parzen窗等估计方法有 需大量样本，且随着特征空间Ω维数的增加所需样本数急 增，导致计算量增加，存储量增加。
Байду номын сангаас
(5) 处理方法是：
▪ 先给定(某个)判别函数类g(X)=0，再利用样本集确定出g(X) 中的未知参数，然后对于样本根据其特征值带入g(X)后的 取值正负而确定样本的类别(即其所属的子区域)。
▪ 即：
▪ g(X) = W1X1+ W2X2+ W3 = 0
若 g(X)<0, 则 X W2
若 g(X)>0, 则 X W1
故 W的方向就是H的法线方向(即法向量)。
▪ 在两类下，H把特征空间分成两个半空间，即对W1类的决 策域R1和对W2 类的决策域R2。
▪ 由于当向量（即模式）X在R1中时，g(X)>0,所以H的法向量 的方向是指向R1的。常称R1位于决策面H的正侧／面；反之， 称R2位于决策面H的负／反侧。
(3) 几何解释：
它是两类模式的分界面(即分割W1类和W2类)。对于二维 空间，它是一条直线(线性下)；对于三维空间，它是一个平面； 而对于高维空间，则是一个超平面。
⑵ 决策域问题
▪ 设X1和X2都在决策面H上，则有：
WTX1 + W0 = WTX2 + W0
即 WT(X1-X2) = 0
由于向量X1和X2是决策面（即超平面）H上的任意两点， 所以(X1-X2)是H上的任意向量。上式说明，权向量W和H上 的任一向量正交。
gi(X) > gj (X)
(i,j=1,…,c ,i≠j)
而如果此模式在第i类和第j类的分界面上，则有：
gi(X) = gj (X)
例如：对于两类问题的线性判别函数及其分类问题。
⑴ 决策规则问题： 在只有两类模式的情况下，可得到两个线性判别函数，即 g1(X) = w1Tx+w10 g2(X) = w2Tx+w20 ① 如果X属于W1类，则根据上述性质，有： g1(X) > g2(X) 或 g1(X) - g2(X) > 0； 反之，即如果X属于W2类，则上式小于0。