第6章 神经网络中的线性变换共22页

111 2 1 A z2 0 2 1 2 ( 2 ) 1 λ 2z2
对角化
A B - 1 A B 1 0 1 1 0 11 2 1 0 1 1 0 1 0 2
设 B z 1z 2z n
其中{z1,z2,…,zn}是一个矩阵A的特征值。然后求
考虑一个线性变换： X→X(定义域和值域相同)。分别称 满足下式的那些不等于0的向量 和标量λ分别是特征 向量和特征值：
假设选择了n维向量空间X的一个基， 那么 或
现在，重新看看前面的旋转实例。如果采用标准基集，
那么变换的矩阵是
coθs sinθ Asinθ coθsλ
有
coθsλ sinθ
（1）一个被称为定义域的元素集合X={ }
（2）一个被称为值域的元素集合Y={ }
（3）一个将每个
和一个元素
相联系的
规则。
线性变换 一个变换 是线性的，如果
1）对所有的
2）对所有的
假设某个变换 是在二维空间 中将一个向量旋转 角，
如图6-2所示。图6-3和图6-4表示该旋转变换满足线性变 换定义中的条件1。图6-5表示旋转变换满足线性变换定 义中的条件2。
yA x 0 1..0 43 1 3 6 0 0 .6 .69 6 9 1 0 7 0 1..0 43 1 3 6
yB1y01.5
110.616 1 0.933
2/3 2/30.6161.033 1/3 2/30.93 30.416
这些向量表示在图6-10中。
6.2.4 特征值和特征向量 特征值 特征向量
1 1Leabharlann 5 1//3 6ssiiθ n θ n
4/3siθn 1/3siθncoθs
取θ=30°
A01..043137
0.667 0.699
0.866 0.5
A
0.5
0.866
为了检验这些矩阵是否正确，假设和 x
向量是： 1
1
0
相对应的测试
x
0
.5
变换后的测试向量是
0.86 60.51 0.61 6 yA x 0.5 0.86 0 6 .5 0.93 3
6.2.2 矩阵表示 设
个向量
是向量空间X的一个基底，
是向量空间Y的一个基。即是对任意两 ，有
设 是一个定义域为X值域为Y的线性变换 那么 可以写成
此式正好是下面形式的矩阵乘
a11 a12 a21 a22 am1 am2
a1nx1 y1
a2nx2 y2
amnxn
yn
下面将以旋转变换为例，来讨论变换的矩阵表示，看
λ2 3 λ 2 (λ 1 )λ( 2 ) 0
得特征值 λ1-1,λ2-2
为了找到其特征向量，求解
-1-λ
0
-21-λZ00
首先将λ1代入上式，可得
或
1
z1
0
将λ2代入，
或
1
z2
1
下面两式验证了结果的正确性：
1 11 1 1 A z1 0 2 0 0 ( 1 ) 0 λ1z1
向量
可写成
得到如下新的矩阵表示：
a11 a12 a21 a22 am1 am2
a1nx1 y1 a2nx2 y2
amnxn ym
或
A′(x′)=y′
那么，A和A’之间的关系是什么呢？要解答这个问题， 必须找出两个基集之间的关系。首先，由于每个ti是x的一 个元素，那么可以按照X原先基集的形式展开：
λ1 0 0
B-1 AB
定义一个列为wi的矩阵：Bw=[w1 w2 … wm] y=Bwy′
现在将X=x′1t1+x′2t2+…+x′ntn=Btx′ 和y=Bwy′代入到 Ax=y，可得
ABtX′=Bwy′
如果我们用Bw-1乘以上式的两边，有[Bw-1ABt]x′=y′
基变换
A′=[Bw-1ABt]
相似变换
现在利用基{t1,t2}找到一个新的矩阵表示（如图6-9所 示）。
其次，因为每个wi是Y的一个元素，所以也可以按照Y原 先基集的形式展开：
所以，基向量可以写成如下的列向量表示形式：
t 1 i
t ti
2 i
t ni
w 1 i
w w i
2i
w mi
定义一个列为ti的矩阵：Bt=[t1 t2 … tn] X=x′1t1+x′2t2+…+x′ntn=Btx′
sinθ
coθsλ 0
或 λ 2-2 λcos θ+((cos θ)2+(sin θ)2)= λ2-2 λcos θ+1=0
该等式的根是 λ1=cos θ+jsin θ, λ2=cos θ-jsin θ
考虑另外一个矩阵：
A
-1
0
1 -2
为了找到其特征值，必须求解 -1-λ 1
0
-2-λ 0
或
看 如何找到该变换的矩阵表示。这里的定义域和值域相
同（
）。为简单起见，对其采用标准基
如图6-6所示。
第1步是对第一个基向量进行变换，并且
以基向量的形式展开变换后的向量。如果
将向量s1逆时针旋转一个角度 ，可得
如图6-7所示。
第2步是对第二个基向量进行变换。如果将向量s2逆时针 旋转一个角度 ，可得 如图6-8所示。完整的矩阵表示可以由下式给出：
6.1 目的 本章接着第五章继续讨论神经网络分析所需要的数学
基础。第五章复习了有关向量空间的内容，本章将探讨在 神经网络中所采用的线性变换。 6.2 理论和实例
hopfield网络通过下式同步对网络输出进行修改
a(t+1)=satlin(Wa(t)+b)
6.2.1 线性变换
变换 一个变换由以下三部分组成
6.2.3 基变换
考虑一个线性变换：
是向量空间X的一个基， 一个基。所以有
。设 是向量空间Y的
所以，如果
那么变换 或
的矩阵表示形式是
a11 a12 a21 a22 am1 am2
a1nx1 y1
a2nx2
y2
amnxn ym
Ax=y
现在假设对X和Y使用不同的基集。设{t1,t2,…,tn}是X 的新基集,{w1,w2,…,wm}是Y的新基集。那么，向量 可写成
第一步，按照标准基的形式对t1和t2进行 展开。观察图6-9可知：t1=s1+0.5s2
t2=-s1+s2
t1
1
0
.5
1
t2
1
现在可以得到矩阵
Btt1
,
t201.5
1 1
1 1 BwBt 0.5 1
AB w1ABt 21//33
2/3coθssiθ n1 2/3siθ n coθs0.5