1．线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则 二维情况：（a ）判别函数： ( ) （b ）判别边界：g(x)=0; （cn 维情况：（a ）判别函数：也可表示为：（b ）判别边界：g 1(x ) =W T X=0（c ）判别规则：（2）多类：3种判别方法（函数、边界、规则）(A)第一种情况：(a)判别函数：M 类可有M 个判别函数(b) 判别边界：ωi （i=1,2,…,n ）类与其它类之间的边界由 g i (x )=0确定 (c)(B)第二种情况：(a)判别函数：有 M (M _ 1)/2个判别平面(b) 判别边界：(c)判别规则：(C)第三种情况：(a)判别函数： (b) 判别边界：g i (x ) =g j (x ) 或g i (x ) -g j (x ) =0(c)判别规则：32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值模式向量。
，＝为增值权向量，T n n T n n x x x x X w w w w W )1,...,,(),,...,,(21121+=+XW x g Tij ij =)(0)(=x g ij j i x g ij ≠⎩⎨⎧∈→<∈→>j ix 0x 0)(ωω当当权向量。
个判别函数的为第式中i w w w w W T in in i i i ),,,...,,(121+=XW x g K k =)(⎩⎨⎧∈=小，其它最大，当i Tki x X W x g ω)(2．分段线性判别方法1）基于距离:（1）子类，类判别函数 （2）判别规则（1）子类：把ωi 类可以分成l i 个子类:∴ 分成l 个子类。
子类判别函数：在同类的子类中找最近的均值 （2）判别规则： 这是在M 类中找最近均值。
则把x 归于ωj 类完成分类2）基于函数：（1）子类，类判别函数 （2）判别规则（1）子类类判别函数：对每个子类定义一个线性判别函数为：（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M 类，可定义M 个判别函数g i (x ),i =1,2,…..M,因此，决策规则3）基于凹函数的并：（1）析取式，合取式，凹函数判别规则析取式：P=(L 11∧L 12∧…∧L 1m )∨…∨(L q 1∧L q 2∧…∧L q m )合取式：Q= (L 11 ∨ L 12 ∨ … ∨ L 1m ) ∧ … ∧(L q 1 ∨ L q 2 ∨ … ∨ L q m ) 凹函数：P i =L i 1∧L i 2∧…∧L i m判别规则：设第一类有q 个峰，则有q 个凹函数。
即P=P 1∨P 2∨……∨P q3．非线性判别方法 （1）1ω集中，2ω分散),...,,(21li i i i ωωωω=li ll i x x g μ-==,...,2,1m in )(Mi x g x g i j ,...,2,1),(min )(==子类的权向量。
为其中li l i l i l i w x w x g ω,)(=ji M i j x x g x g ω∈==则),(max )(,.....,2,1⎩⎨⎧=∈<=∈>=。
每个子类的判别函数数子类。
m j x q i x x w L ij ij ,...,2,1,,0,...,2,1,,021ωω⎩⎨⎧∈≤∈>21,0,0ωωx P x P 则则判别规则：协方差为均值，为其中：大小。
的大小，决定超平面的判别函数定义1111111121,)()()(:ωωμμμω∑∑---=-k x x k x g T 判别规则：,0)(,0)(21⎩⎨⎧∈<∈>x x g x x g ωω（2）1ω, 2ω均集中4．分类器的设计（1）梯度下降法（迭代法）：准则函数，学习规则（a ）准则函数：J(W)≈J(W k )+ ▽J T (W- W k )+(W- W k )T D(W- W k )T /2其中D 为当W = W k 时 J(W)的二阶偏导数矩阵（b ）学习规则：从起始值W 1开始，算出W 1处目标函数的梯度矢量▽J(W 1)，则下一步的w 值为：W 2 = W 1-ρ1▽J(W 1) 其中W 1为起始权向量， ρ1为迭代步长，J(W 1) 为目标函数，▽J(W 1)为W 1处的目标函数的梯度矢量 在第K 步的时候W k+1 = W k -ρk ▽J(W k ) 最佳步长为ρk =||▽J||2/▽J T D ▽J 这就是梯度下降法的迭代公式。
（2）感知器法：准则、学习规则（批量，样本） （a ）准则函数： 其中x 0为错分样本（b ）学习规则：1.错误分类修正w k如w k T x≤0并且x ∈ω1 w k+1= w k +ρk x如w k Tx≥0并且x ∈ω2 w k+1= w k -ρk x 2.正确分类 ，w k 不修正 如w k T x ＞0并且x ∈ω1 如w k T x ＜0并且x ∈ω2 w k+1= w k（3）最小平方误差准则法（MSE 法）（非迭代法）：准则、权向量解(a)准则函数： (b)权向量解：协方差，为均值，，为其中：，两个判别函数：都比较集中，那么定义，如果212112212,1)()()(ωωωωμμμωω∑∑=---=-i i i i T i i i i x x k x g 。
可用来调整二类错误率判别规则：判别平面方程：21212221212211111221111211221,,0,0)(0)()()(2)()()()(k k x x x g k k x x x x g x g x g T T T T ⎩⎨⎧∈<∈>=-+---+--=-=∑∑∑∑∑∑------ωωμμμμμμ()∑∈-=0)(X X X W W J T ()∑-==-==N i b iX i W T b XW e W J 1222||||||||)(()b X b X X X T W T +-==1()的伪逆（规范矩阵）称为其中X XXX T XT =-+1（4）韦—霍氏法（LMS 法）（迭代法）：准则，学习规则 (a)准则函数： (b)学习规则： W 1任意 ，W k+1=W k +ρk (b k -W k T X k ) X kρk 随迭代次数k 而减少，以保证算法收敛于满意的W 值（5）何—卡氏法（H-K 法）（迭代法）：准则，b ，W 的学习规则(a)准则： 它的解为：（b ）b ，W 的学习规则：其中 c 为矫正系数，e k 为误差矢量，e k =XW k -b k 初始条件 W 1=X +b 1并且b 1>0 迭代时检测如果e k ≥0时，XW >b ，系统线性可分，迭代收敛 如果e k <0时，XW <b ，系统线性不可分，迭代不收敛（6）Fisher 分类法：准则函数的建立，W 权值计算，0W 的选择(a)准则函数的建立：投影样本之间的类间分离性越大越好，投影样本的总离散度越小越好。
即可表示为：其中S w 为类散布矩阵, S b 为类间散布矩阵(b)W 权值计算：(c)W 0的选择 ：()∑-==-==N i b iX i W T b XW e W J 1222||||||||)(k1K ρρ=取()∑-==-==N i b i X i W T b XW e W J 1222||||||||)(()bX b X X X T WT +-==1k k k b b b b δ+=+1前后两次迭代后，对的增量为其中b b k δ]|[][|11k K k k K k K K k e e X c W b X b X b b X b X W ++=+=+==+++++++δδ|]|[k k k e e C b +=δ()2212212||)(σσ+-=Y Y W J Fisher 准则函数有所以WS W WS W )(w Tb T=W J ()X X S W W J w 211)(-=-求极值得对2.1210Y Y W +=2121212102122.2N N X W N X W N N N Y N Y N W TT ++=++=()∑=--+=N Y Y Y Y Y W k k 111211120)(.312w S S S =+()()1111T S X X X X X N =-∈-∑()()2222T S X X X X X N =-∈-∑()()1212Tb X X X X S =--Y ki 表示第i 类中第k 个样本的投影值N 1为ω1样本数 N 2为ω2样本数 （7）电位函数分类器：电位函数，累积电位的计算(a)电位函数：电位分布函数有如下三种形式：α为系数 x k 为某一特定点(b)累计电位的计算： K k+1(x)= K k (x)+r k+1K(x,x k )其中： x k+1∈ω1并且K k (x k+1)>0时 r k+1= 0 x k+1∈ω1并且K k (x k+1) ≤ 0时 r k+1= 1 x k+1∈ω2并且K k (x k+1)<0时 r k+1= 0 x k+1∈ω2并且K k (x k+1) ≥ 0时 r k+1= -15．1）二类问题的贝叶斯判别（1）判别函数的四种形式 （2）决策规则 （3）决策面方程（4）决策系统的结构（1）判别函数的四种形式：（2）判别规则：（3）决策面方程：g （x ）=0}||||ex p{- )K( 1.2k k x x XX -=α||||11)K( 2.2k k x x XX -+=α|||||||||sin |)K( 3.22k k k x x x x XX --=αα)(,)()(ln )()(ln )()()(,)()()()()()()(),()()()()()()(),()()()(12211221221121取对数方法似然比形式类条件概率密度后验概率ωωωωωωωωωωωωωP P x P x P x g D P P x P x P x g C P x P P x P x g B x P x P x g A -=-=-=-=2112212112212122112121)()(ln )()(ln )()()()()()()()()()()()()()()(ωωωωωωωωωωωωωωωωωωωωωω∈⇒<>=∈⇒<>∈⇒<>∈⇒<>x P P x P x P x g D x P P x P x P C x P x P P x P B x x P x P A2）多类问题的贝叶斯判别 （1）判别函数的四种形式 （2）决策规则 （3）决策面方程 （4）决策系统的结构（1）判别函数的四种形式：M 类有M 个判别函数g 1(x ), g 2(x ),…, g m (x ).（2）决策规则：另一种形式：（3）决策面方程：6．三种最小错误率贝叶斯分类器（正态分布）：判别函数，判别规则，决策面方程 （1）第一种情况：各个特征统计独立，且同方差情况。
