1.感知器算法
已知两类训练样本，(0,0),(0,1)属于w1，(1,0),(1,1)属于w2，试用感知器算法求解w*
训练样本分量增广化以及符号规范化。将训练样本增加一个分量1，且把来自w2的样本各分量乘以-1，得到训练模式集x1=(0,0,1), x2=(0,1,1), x3=(-1,0,-1), x4=(-1,-1,-1)
运用训练算法，给权向量赋初值w(1)=(1,1,1)T，取增量c=1，置迭代步数k=1，下面是迭代过程
K=1,x m=x1,w(k)T x m=1>0,w(2)=w(1)
K=2, x m=x2,w(k)T x m=2>0,w(3)=w(2)
K=3, x m=x3,w(k)T x m=-2<0,w(4)=w(3)+ x3=(0,1,0)T
K=4, x m=x4,w(k)T x m=-1<0,w(5)=w(4)+ x4=(-1,0,-1)T
K=5, x m=x1,w(k)T x m=-1<0,w(6)=w(5)+ x1=(-1,0,0)T
K=6, x m=x2,w(k)T x m=0,w(7)=w(6)+ x2=(-1,1,1)T
K=7, x m=x3,w(k)T x m=0,w(8)=w(7)+ x3=(-2,1,0)T
K=8, x m=x4,w(k)T x m=1>0,w(9)=w(8)
K=9,x m=x1,w(k)T x m=0,w(10)=w(9) + x1=(-2,1,1)T
K=10, x m=x2,w(k)T x m=2>0,w(11)=w(10)
K=11, x m=x3,w(k)T x m=1>0,w(12)=w(11)
K=12, x m=x4,w(k)T x m=0,w(13)=w(12)+ x4=(-3,0,0)T
K=13, x m=x1,w(k)T x m=0,w(14)=w(13)+ x1=(-3,0,1)T
K=14, x m=x2,w(k)T x m=1>0,w(15)=w(14)
K=15, x m=x3,w(k)T x m=2>0,w(16)=w(15)
K=16, x m=x4,w(k)T x m=2>0,w(17)=w(16)
K=17, x m=x1,w(k)T x m=1>0,w(18)=w(17)
通过上面的结果可以看出，经过对x1, x2, x3, x4一轮迭代后，使用w(14)已经能够对所有训练样本正确分类，增广权矢量的值不再发生变化，所以算法收敛于w(14)，w(14)就是所求的解向量，即w*=(-3,0,1)T。由此可以得到区分界面为：-3x1+1=0
例题.
设有两类样本
ω1={(0,0)T,(2,0)T} ω2={(1,1)T,(1,-1) T}如下图线性不可分
特征为二维的，所以电位函数为：
K(xx2)=exp{-[(x1-x k1)2+( x2-x k2)2]}
①输入x1=( x k1, x k2)T=(0,0)T x1∈ω1
K1(x)= K1(xx1)=exp{-( x12+ x22)}
②输入x2=(2,0)T x2∈ω1代入
K1(x2)=exp{-( 02+ 22)}>0 不修正
K2(x)= K1(x) =exp{-( x12+ x22)}
③输入x3=(1,1)T x3∈ω2代入
K2(x3)=exp{-( 12+ 12)}>0 所以需要修正
K3(x)= K2(x)- K(xx3) =exp{-( x12+ x22)} -exp{-[(x1-1)2+ (x2-1)2]}
④输入x4=(1,-1)T x3∈ω2代入
K3(x4)=e-2- e-4>0 所以需要修正
K4(x)= K3(x)- K(xx4)
=exp{-( x 12+ x 22)}- exp{-[(x 1-1)2+ (x 2-1)2]} -exp{-[(x 1-1)2+ (x 2+1)2]}
? 第二次迭代
⑤输入x 5=x 1=(0,-0)T x 5∈ω1代入
K 4(x 5)=1-e -2- e -4>0
K 5(x)= K 4(x)
⑥输入x 6=x 2=(2,0)T x 6∈ω1代入
K 5(x 6)= e -4-e -2- e -2=0 所以需要修正
K 6(x)= K 5(x)+ K(xx 6)
=exp{-( x 12+ x 22)}- exp{-[(x 1-1)2+ (x 2-1)2]} -exp{-[(x 1-1)2+ (x 2+1)2]}+ -exp{-[(x 1-2)2+ x 22]} ⑦输入x 7=x 3=(1,1)T x 7∈ω2代入
K 6(x 7)= e -2- e 0 -e -4+e -2<0 所以不需要修正
K 7(x)= K 6(x)
⑧输入x 8=x 4=(1,-1)T x 8∈ω2代入
K 7(x 8)= e -2- e -2 - e 0 +e -2<0 所以不需要修正
K 8(x)= K 7(x)
⑨输入x 9=x 1=(0,0)T x 9∈ω1代入
K 8(x 9)= 1-e -2-e -2+e -4>0 所以不需要修正
K 9(x)= K 8(x)
同理得到: K 10(x)= K 9(x)= K 8(x)= K 7(x)= K 6(x) ,经一个完
整的循环可得判别函数为：
g(x)= exp{-( x 12+ x 22)} -exp{-[(x 1-1)2+ (x 2-1)2]} -exp{-[(x 1-1)2+ (x 2+1)2]}+exp{-[(x 1-2)2+ x 22]}
例1、有训练集资料矩阵如下表所示，现已知，N=9、N 1=5、N 2=4、n=2、M=2，试
问，X=(0,0)T 应属于哪一类？
解1、假定二类协方差 矩阵不等（∑1≠∑2） 则均值:
5
3,0)11011(511211==--++=X X ()()方法）的计算请看协方差协方差矩阵为∑∑∑∑???? ??=?????? ??=???? ??=-====1122211211212221212111(,410032,103001:.)47,0(,,)53,0(,C C C C X X X X X X T T T T
聚类见书91,93
特征提取见书104,108
[]计算方法同上）协方差矩阵为(410032,10300110
3)()(410)()(411)01()01()00()01()01(41)()(15121122511222221
121225111112222221115111111∑∑∑∑∑?????? ?
?=???? ??==--===--==--+--+-+-+-=---====T k k k T k k k k k T k x x x x C C C x x x x C x x x x C 188.12)5.13(81.14091.101832210)()0,0(091.10)()0,0(),(x ,),(x 0)()(ln ln 21)x x ()x x (21)x x ()x x (21)()()(22
2221222211212121
21211222111112=++=+++==<-====∈?><-+-----=-=∑∑∑∑--x x x x x x g X x g x x x x x P P x g x g x g T T T T T
T
程：这是一个非线性椭圆方得分界线方程为：令类。
属于所以判代入得：将利用公式：ωωωωω223.0)()(ln ,94)(,95)(:59.0ln ,61,103,40023,310001212121211211======???? ??=???? ??=∑∑∑∑∑∑--ωωωωP P P P 先验概率