模式识别基础_张学工_非线性判别函数
- 格式:pdf
- 大小:447.04 KB
- 文档页数:5
否则若 L =
> N1 ( z j ) + N 2 ( z j ) <
N1 ( z j )
1 1 ,则 Ω ( z j ) = 2 0
决策规则:对输入 x ,若
Ω ( z ( x)) = δ , 则拒绝 Ω ( z ( x)) = 1, 则x ∈ ω1 Ω ( z ( x)) = 0, 则x ∈ ω 2
树状分段线性分类器 首先设计一个线性分类器,分成两个子类 若子类中有错分,则在其中再分,…直到全部正确分类。
5.2 用凹函数的并表示分段线性判别函数
P = L11 ∧ L12 ∧ L ∧ L1,m1 ∨ L ∨ Lq1 ∧ L ∧ Lq ,mq
(
)
(
)
5.3 用交遇区样本设计分段线性分类器
思想:寻找两类中最靠近的样本子集,用它们设计分类器
m T n T
则 y k 被错分,对其中最大者, (记为 i ′, n ′ ) , 修正:
m αm j ( k + 1) = α j ( k ) + ρ k y k
α in′ ′ (k + 1) = α in′ ′ (k ) − ρ k y k
(c) 对下一个样本重复 (b),直到收敛
(3)未知子类数目
若对某些 z j , L ≈ 大m
1 ,则说明两类差别不大,应进一步划分子类,增 2
5.4 二次判别函数
ˆ −1 ( x − m ˆ i )T ∑ ˆ i ) , i = 1,2 g i ( x) = K i2 − ( x − m i
适用于两类(或其中一类)分布较成团的情况, k i 阈值,控制决策椭 球大小。 回顾: 正态分布一般情况下 Bayes 决策面为二次曲面, 故样本近似正态分布时 效果较好。
第五章 非线性判别函数
线性判别函数:简单、实用、经济,但线性不可分时错误率可能较大
问题线性不可分
噪声影响 问题本身
采用非线性分类器
改变特征, 使线性可分
新特征 非线性变换
本章介绍非线性分类器中的两种(分段性与二次)。 一般地讨论非线性分类器设计(参数化设计)是不可能的, 更一般性的方法是近邻法、神经网络和支持向量机。
(1)用聚类分析(第十章)等方法把每类样本分为若干子类(原型区) (2)考查子类之间的距离
d vim , v n j
(
(
)
)
l =1,L,li
(3)寻找紧互对原型对
l n m l d vim , v n j = min d v i , v j = min d v i , v j l =1,L,l j
(
)
(Байду номын сангаас
)
(4)用紧互对原型对设计分类面 (5)决策规则(考虑有错分情况) 设最后得到 m 个超平面
H i : α iT y = 0 , i = 1,L, m
记
1, α iT y > 0 , i = 1, L, m z i ( x) = T 0, α i y ≤ 0
得
z ( x) = [ z1 ( x), z 2 ( x),L, z m ( x)]
ω i , i = 1,L, c , ω i 类中有 li 个子类, α il (k ) 为子类权值。
(a) (b) 初始化权值, α i (0) , i = 1, L , c , l = 1, L , l i
l
对某个样本 y k ∈ ω j ,找出 ω j 类的子类中最大的判别函数
l =1,L,l j
m 维二值向量, 2 m 种值
m
对 z ( x) 的每一种可能的取值 z j , j = 1, L ,2 ,统计其在 X 1 和 X 2 两 类样本中出现的次数 N 1 ( z j ) 和 N 2 ( z j ) 。 定义 Ω ( z j ) :若 N 1 ( z j ) 和 N 2 ( z j ) 都很小,则 Ω ( z j ) = δ
l
T αm α lj (k ) T y k } j ( k ) y k = max {
若 α j ( k ) y k > α i (k ) y k , ∀i = 1, L , c , i ≠ j , l = 1, L , l i
m T T
则 α i ( k ) 不变;
l
若对某个 i ≠ j , l = n ,有 α j ( k ) y k ≤ α i ( k ) y k
5.1 分段线性判别函数的基本概念
上节的多类线性判别函数实际就是分段线性判别函数。 思路: 如果两类可以划分为线性可分的若干子类, 则可以设计多个线性分类器,实现分段线性分类器。
最简单情况: 直接依据样本到各子类中心的距离判别
更一般情况:对每个子类求一个线性判别函数。
三种设计方法:
(1)若已知子类划分,则可直接用多类线性分类方法 (2)只知子类数目,不知子类划分,用下述错误修正法