毕业设计(论文)任务书
课题名称多元回归分析中常用的矩阵算法
学院
专业班级
姓名
学号
毕业设计(论文)的主要内容及要求：
（1）首先要了解多元回归分析中的矩阵算法的研究背景。
（2）查阅相关文献（至少4-5篇），并查阅1-2篇外文文献。
（3）熟悉相关矩阵算法；掌握多元回归分析的基本理论知识；
（4）完成各种矩阵算法的程序编写，并将其运用于多元回归分析。
（5）通过实例验证算法的准确性，然后进行修改优化。
（6）整理相关资料，完成毕业论文的写作。
（7）对论文进行全面修改、完善，准备论文答辩。
指导教师签字：
摘要
在多元回归分析的计算中，观测数据一般用矩阵表示，对数据的分析转化为对数据矩阵的分析计算问题.如线性方程组的求解，矩阵的分解，矩阵的变换，特征值和特征向量的计算等.这些常见的矩阵计算问题也是多元回归分析中经常遇到的问题.
本文主要介绍了多元回归分析中常用的矩阵分解及其算法，其中包括三角分解，正交三角-分解，正交分解. 然后针对每一种分解我们讨论了它们的一些常用算法，并在计算机上通过Matlab软件编程实现这些算法，最后再介绍了这些矩阵算法在多元回归分析中的应用.
本文给出的算法是多元回归分析计算的基础，对应用多元回归分析解决实际问题具有很重要的意义.
关键词：矩阵分解；矩阵变换；算法；回归分析
Abstract
In the calculation of multiple regression analysis, the observed data generally represented by matrix, the analysis of datas often transform into the analysis of the matrix. Such as the solution of linear equations, matrix decomposition, matrix transform, the computation of eigenvalues and eigenvectors. These common matrix computation problems are often encountered in the multivariate regression analysis of the problem.
This paper mainly introduces the commonly used matrix decomposition and its algorithm in the multiple regression analysis,including triangular decomposition, QR decomposition, orthogonal decomposition. Then for each decomposition, we discuss some algorithms and realize the algorithm by Matlab software programming in the computer, and introduce the application of the algorithm of matrix in the multivariate regression analysis.
The presented algorithm in this paper is the base of the analysis of multiple regression on the calculation, it has the very vital significance for using multiple regression analysis to solve practical problems.
Keywords: Matrix decomposition; Matrix transformation; The algorithm; Regression analysis
目录
摘要................................................................................................................................. I Abstract....................................................................................................................... II 第一章引言 (1)
1.1本文的研究背景 (1)
1.2本文的主要工作 (1)
第二章矩阵的三角分解及其算法 (2)
2.1矩阵的LR分解及其算法 (2)
2.2正定阵的Cholesky分解及其算法 (6)
第三章矩阵的正交-三角分解及其算法 (10)
3.1 Householder变换 (10)
3.2 Givens变换 (17)
3.3 Gram-Schmidt正交化及其修正算法 (20)
第四章矩阵的正交分解及其算法 (24)
4.1对称阵的谱分解及Jacobi算法 (24)
4.2矩阵的奇异值分解及其算法 (28)
第五章矩阵算法在多元回归分析中的应用 (31)
5.1多元线性回归模型的参数估计与假设检验 (31)
5.2基于Cholesky分解的回归算法 (33)
5.3基于Householder变换的回归算法 (35)
5.4谱分解在岭回归估计中的应用 (37)
5.5总结 (41)
附录 (43)
参考文献 (57)
致谢 (58)
第一章引言
1.1本文的研究背景
数理统计方法是以概率论为基础，通过样本来了解和推断总体统计特性的科学方法，内容及其丰富.随着计算机使用的日益广泛，为了更好地应用数理统计方法来解决实际问题，从事统计工作或实际工作的人们都很关心如何应用计算机来更快完成各种统计数据的分析处理工作.故而出现了“统计计算”（Statistical Computation）这个方向.统计计算是数理统计、计算数学、和计算机科学三者的结合，它是一门综合性学科.
在科学研究和生产实际的各个领域中，普遍地存在着大量数据的分析处理工作.如何应用数理统计学中的回归分析、多元分析、时间序列分析等统计方法来解决实际问题，以及如何解决在应用中的计算问题，对实际工作者来说是极需解决的问题.而矩阵算法对于实际工作者应用计算机实现数理统计中的计算问题具有很关键的位置.我们知道在多元统计分析的计算中观测数据一般用矩阵表示，对数据的分析转化为对数据矩阵的分析计算问题.如线性方程组的求解，矩阵的分解，奇异值的分解，特征值和特征向量的计算，广义特征值的计算，广义逆矩阵的计算及扫描变换等.这些常见的矩阵计算问题都是统计计算中经常遇到的问题.本文研究的目的是力求把统计计算中常用的矩阵算法的思想、步骤及其在计算机上的实现结合起来，为实际工作者应用多元统计分析解决实际问题提供便利.
1.2本文的主要工作
本文第2-4章主要讲解矩阵的三大分解，包括三角分解，正交三角-分解，正交分解.其中三角分解中主要讲解了Doolilttle、LDU以及正定阵的cholesky分解；正交-三角分解主要讲解了Housholder变换、Givens变换、GS正交化以及修正的MGS正交化；正交分解则主要讲解了对称阵的jacobi变换，以及一般矩阵的奇异值分解.本文的最后一章首先介绍了多元回归分析的一些基本理论知识，然后介绍了矩阵三大分解在多元回归分析中的运用.最后在本文的附录中我们给出了矩阵三大分解的中常用矩阵算法的程序以及在多元回归分析中的运用程序.
第二章 矩阵的三角分解及其算法
我们知道用有回代的消去变换法求解线性方程组b Ax =的过程，实质上就是化系数矩阵A 为上三角矩阵的过程；系数矩阵为上三角形矩阵的线性方程组用回代法很容易求得方程组的解.将一个矩阵分解为三角形矩阵或其他简单形式的矩阵，是矩阵计算的一种基本的方法.本章讨论将一个矩阵分解为两个三角形矩阵乘积的方法.
2.1矩阵的LR 分解及其算法
（一）矩阵的LR 分解（Doolittle 分解） 1.LR 分解的存在唯一性
用高斯（Gauss ）消去变换求解n 阶线性方程组b Ax =时，记增广矩阵为
()b A ，化A 为上三角形矩阵的过程为：
R a 00
a a 0a a a A a a 0
a a 0a a a A A )n (nn )1(n 2)1(22n 11211
)1(nn )1(2n )1(n 2)
1(22n 112111?
=??
???
?
???
???=→→??
???????
???=→ ）（）
（n ,
其中R 为上三角矩阵.初等变换的过程可通过初等变换阵i P 的运算来表示.记
()n 211e ,,e ,t P =，
其中n),2,1i ( )001,0,,0(e ,)a a ,,a a ,1( t T i i T
11
1n 11211 ，，，，，个元素第==--= 则(). a A P A
)
1(ij
011==）（）
（一般地记 ()1)n ,1,2,(i e ,,e ,t ,e ,,e P n 1i i 1i 1i -==+- ，
其中i P 的第i 列T
)1i (ii
)1i (ni )
1i (ii )1i (i
),1i (i a a ,,a a ,1,0,,0t ???
?
?
?--=----+ 是由）（1i A -的第i 列元素定义的向量（前1i -个元素为0），i P 是单位下三角矩阵，则
A P P P P R 122n 1n --=，
LR R P P P A 11
n 1211?
----==
这里1
1n 1211P P P L ----= 是单位下三角矩阵.因此对n 阶方阵进行1n -次高斯消去
变换，就实现对A 的三角分解：LR A =.
我们称矩阵A 分解为单位下三角矩阵和上三角矩阵的乘积的分解法为矩阵的LR 分解或Doolittle 分解.
线性方程组b Ax =的解法可化为:
???==?=?=
(2)y Rx
(1) b Ly b LRx b Ax
其中（1）可求出b L y 1
-=，然后由（2）用逐步回代法求出.x 因此，求解线性方程组的高斯消去法实质上就是系数矩阵的LR 分解.
由上面的介绍我们大概了解了矩阵的LR 分解，那么我们不禁要问矩阵A 的
LR 分解是否一定存在，若存在是否唯一？对此，我们先给出一个例子来进行讨
论，如下：
例2.1 设.3210A ??
?
???= 显然02A ≠-=，方程组b Ax =有唯一解，但A 不存在LR 分解.
事实上，使得等式
??
?
???=?????
???????=3210r 0r r 1l 01LR 221211
21 成立的L 与R 不存在.
如果把A 的第一、第二行交换位置，得
?
?
?
???=1032A 1， 则1A 存在LR 分解
.103210011032??
?
?????????=?????? A 不存在LR 分解的原因是0a 11=（即A 的一阶顺序主子式为0）.
定理2.1 设A 为n 阶方阵，A 的k 阶顺序主子式记为
.k ,,2,1k ,,2,1A a a a a d kk
1k k
111k ???
?
??==?
则A 的LR 分解存在且唯一的充要条件是().1n ,1,2,k , 0d k -=≠
对更一般的矩阵，如A 是退化方阵，或者A 是m n ?矩阵，是否仍有LR 分解？
定理2.2 设A 为m n ?矩阵，()m n,min r r(A)≤= ，如果 , 0d k ≠,1k (=
r),2, ，则A 存在LR 分解：LR A =（但不一定唯一）.
在矩阵A 中，当1r m n +==时，A 的LR 分解是存在唯一的；当A 是非奇异矩阵但不满足各阶顺序主子式不等于0，这时先对A 作行变换，然后进行三角分解.
定理2.3 设A 为非奇异的n 阶方阵，则存在行置换阵P ，使LR PA =. 此定理对应于选主元的高斯消去变换，1
L -实际上就是一系列初等变换阵的乘积 .
注：定理2.1、2.2以及2.3的证明请参考数值计算方法的有关书籍，如参考文献[4]、[5].
2. LR 分解的算法
算法2.1.1（Doolittle 分解的算法） 已知矩阵()
n
n ij
a A ?=，设A 存在LR 分解，即
?
?
??
?
???????????????????=????????????nn n 222n 112112
n 1n 21mn m2m12n 22211n 1211r 00r r 0
r r r 1l l 01l 001a a a a a a a a a
.r r l r l r l r l r l r r l r r l r l r r r nn n 22n n 11n 22
2n 121n 11
1n n
2n 12122122111
21n
112
11?
???
?
???????++++++=
(2.1)
利用（2.1）式两边矩阵对应元素相等计算出L 与R 的元素，具体步骤如下： （1）对比矩阵的第一行元素相等，求得：
).n ,,2,1j ( a r j 1j 1 ==
（2）对比矩阵的第一列元素相等，求得：
n),,2,1(i r /a l 111i 1i ==
（3）对比第二行、第二列元素相等，求得：
??
?=-===).
n ,,4,3i ( r /)r l a (l ).
n ,,3,2j ( r l a r 22121i 2i 2i ij 21j 2j 2 — （4）以此类推，得到这一过程的递推计算公式如下：对n ,,1,2k =
?????+=-=+==∑∑-=-= ).n ,,1i j ( r /r l a l ).n ,,1i ,i j ( r l a r 1
k 1
t kk tk it ik ik 1
k 1
t tj kt kj kj ）（— (2.2) 注：类似于Doolittle 分解，对于三角分解LR A =，当L 为下三角矩阵，R 为单位上三角矩阵时，该分解称为Grout 分解.Grout 分解的算法与Doolittle 分解类似，这里不再从复累述.
下面我们介绍矩阵的另一种三角分解. （二）矩阵的LDU 分解
由LDU R LDD LR A 1
?
-===，其中()nn 2211r ,,r ,r diag D =，R D U 1
-=
为单位上三角阵，记
????
?
?
???
???=100u 10u u 1 U 2n n 112 则 ().n ,1,i j n;,1,2,i , r /r u ii ij ij +===
例2.2 设????
?
?????=064010032A ，求A 的LDU 分解.
解 首先由（2.2）式可得A 的唯一LR 分解式为
.000010032102010001LR A ????
?
???????????????==
则 ????
?
?????????????????????????==00001003/21000010002102010001L D U A ，
注：此例告诉我们只要知道了矩阵A 的LR 分解，相应的LDU 分解也就随之求出来了.另外，此例中A 是退化矩阵，但A 的LR 分解存在且唯一，故而A 的
LDU 分解也是存在且唯一.
2.2正定阵的Cholesky 分解及其算法
以上介绍了一般矩阵A 的三角分解，当()
ij a A =为正定阵时，A 的三角分解具有特殊的形式：T
GG A =（其中）（ij g G =为下三角矩阵）.正定阵A 的这种形式的分解称为Cholesky 分解.
在多元统计分析中，涉及到的矩阵如协差阵、相关阵等一般都是正定阵.Cholesky 分解在统计计算中更是一类重要的、常用的矩阵计算. （一）Cholesky 分解的存在唯一性
定理2.4 设A 为n 阶正定阵，则A 的Cholesky 分解T
GG A =必存在；当G 的对角元素均取正时，分解式是唯一的.
证明 A 是正定阵，所以A 的k 阶顺序主子式().n ,1,k , 0d k =≠由定理2.1知，A 存在唯一的LR 分解式，因此其LDU 分解式也存在唯一，即
LDU A =.
又因为A 是对称的，所以A A T
=，即
LDU DL U L D U T T T T T ==.
由分解式唯一可知L U T
=，于是
()
T T
2/12
/1T 1/21/2T GG LD LD
L D LD LDL A ?
====
其中当()nn 22112
/1r ,,r ,r diag D
=时，
分解式T GG A =是唯一的.2
/1LD G =为下三角矩阵. [证毕] （二）Cholesky 分解的算法
以下给出正定阵A 的Cholesky 分解的两种算法. 算法2.2.1（直接递推算法） 设()
ij a A =已知，T
GG A =可写为：
?
?
??
?
??
????????????
?????=????????????nn 2n 221n 2111nn 2
n 1
n 2221
11nn 2
n 1
n n 222211n 1211
g 00g g 0g g g g g g 0g g 00g a a a a a a a a a (1.3)
（1）对比（1.3）式两边第一行元素对应相等，可得：
()
????
?===n ,2,3,j g /a g
a g 11j 1j11111 （2）对比（1.3）式两边第二行元素对应相等，可得：
()
????
?=-=-=n ,2,3,j g /)g g a (g
g a g 221j 21j 2j22
212222 例2.
以此类推，可得出计算G 的直接递推公式为（对n ,,1,2i =）：
()(
)??
???????-==+=??? ??-=-=∑∑-=-=1i ,1,2,j 0g n ,1,i j g /g g a g g a g ji ii 1i 1k jk ik ij ji 1i 1k 2ik ii ii (1.4)
算法2.2.2（顺序Cholesky 分解算法或称平方根分解算法）
设T
GG A =，记()n g ,,g ,g G 21 =，其中() g ,,g ,0,,0g T
ni ii i ， =
()n ,1,2,i =，则
∑===n
1
i T
i i T
g g GG A (1.5)
该算法是根据i g 的特点（前1i -个元素为0）及关系式（1.5）依次求出
n 21g ,g ,g 的算法.记. a A A (0)
ij (0)
）（?
== 具体步骤如下：
例2.
令）
（(1)
ij T n
n T 22T
11(0)
(1)
a g g g g g g A A
?
=++=-= . 由于n 2g ,g 的第一个元素均为0，所以）
（1A
的第一行和第一列元素全为0，即
??????
???
???=?????
???????---------)1(nn )1(2n )1(n 2)1(222n1)
0(nn 211n )0(n211
1n )
0(n1121)
0(2n 221)0(221121)
0(211n 11(0)1n 2111)0(122
11(0)11
a a 0a a 0000g a g g a g g a g g a g a g g a g g a g g a g a
n 对比上式两端，求得1g 及(1)
ij a ：
?????=-=-===n)
,,2j (i, a /a a a g g a a n)
,1,2,(j a /a g )
0(11(0)1j (0)1i )0(ij 1j i1)0(ij (1)ij )
0(11(0)1j j1 （2）令）
（(2)
ij T n
n T 44T 33T
22(1)
(2)
a g g g g g g g g A A
?
=+++=-= ，类似的，由）
（2A 的前两行和前两列元素均为0，可求得2g 及(2)ij a ：
?????=-===n)
,,3j (i, a /a a a a n)
,2,3,(j a /a g )
1(22(1)2j (1)2i )1(ij (2)ij )
1(22(1)2j j2 例2.
依次类推，1k -步后得出1k 21g ,,g ,g - 及1)
(k A -，求k g 及(k)
A 的
计算
公式为（对n ,1,2,k =）：
?????+=-=+==------n)
,,1k j (i, a /a a a a n)
,1,k k,(j a /a g )
1k (kk 1)(k kj 1)(k ki )1k (ij (k)ij )1k (kk 1)(k kj jk （1.6） （4）令()n g ,,g ,g G 21 =，则T
GG A =就是A 的Cholesky 分解式.
注：观察（1.6）式可知，用算法2.2.2求A 的Cholesky 分解式的过程实际
上就是一种用初等变换化A 为特殊上三角矩阵的过程.
例2.3 用平方根分解算法求矩阵????
??????=382910295861064A 的Cholesky 分解式. 解 对3,2,1k =利用递推公式（1.6）即可求出321g ,g ,g ，从而得到A 的
Cholesky 分解式.下面我们来用初等变换法求A 的Cholesky 分解式.
>==+?-+?-???????????==T
T 131211(0)(2,3,5)(4,6,10)4g r r 4
10 r r 46 r 41 382910295861064A A 其中，，
27,0)14,49,0(49g
r r 4914
r 491 1314014490532A T
T 23221>==+?-???????????=），（其中，）
（
>==???????????=T
T 332)3,0,0()9,0,0(9
g
r 91
900270532A 其中）
（
????
?
?????=300270532A )
3( 记)3(T A G =，则T GG A = 由例2.3也可以看出用递推公式（1.6）求解矩阵A 的Cholesky 分解式实质上就是一种用初等变换化A 为特殊上三角矩阵的算法.
第三章 矩阵的正交-三角分解及其算法
矩阵A 的LR 分解，实质上是对A 作初等变换，化A 为上三角矩阵的过程.其实，我们还可以对A 作正交变换，即存在正交阵），，（n ,21i P i
=，使得 R A P P P P 121-n n = （R 为上三角形矩阵）
， 则QR A =，其中1
12n P P P Q -=）（ 是正交阵.
我们称矩阵A 分解为正交阵Q 和上三角矩阵R 的乘积的分解法为矩阵的正交-三角分解，或简称QR 分解.
通过正交变换化矩阵A 为上三角矩阵的这种变换思想在统计计算中是非常重要的.下面我们将介绍几种简单有效的正交变换方法.
3.1 Householder 变换 （一）r Householde 矩阵
定义3.1 设e 是欧式空间n
R 中的单位向量，形如T
ee 2I H -=的n 阶矩阵称为r Householde 矩阵（或r Householde 变换）.
性质 设H 为n n R ?中的一个r Householde 矩阵，则
（1）H H T
= （对称性）； （2）T 1H H
=- （正交性）；
（3）I H 2
= （对合性）.
将T
ee 2I H -=代入以上三式即可证得结论.
为了进一步了解r Householde 矩阵，我们有必要探讨一下r Householde 矩阵的几何意义.当2n =时，x 与Hx 的关系如图3-1所示:
如果把L 看成一面镜子，e 看成这面镜子的单位法向量，则Hx 即为x 在镜面L 下所成的像.因此，r Householde 矩阵的几何意义可描述为:把e 看成是n
R
中的一个1n -维超平面的单位法向量，对任意n
R x ∈，Hx y =即为x 在1
n -维超平面下所成的镜像.根据其几何意义，r Householde 矩阵也称为反射（镜像）矩阵或反射（镜像）变换.
如果有n
R u ∈，将u 看成是n
R 中一个1n -维超平面的法向量，那么
r Householde 矩阵又可写为
T 12
T 2T
uu I u u u u 2I ee 2I H -?
-=?-=-=β （3.1）
其中.u 2
12
21
=
-β
（3.1）式告诉我们，只要给定一个超平面的法方向，我们就可以通过这个法方向去定义一个r Householde 矩阵.再结合图3-1可以看出，法方向e 与y x -是共线的.所以，我们有以下定理.
定理3.1 设n
R 中有非零向量y x ≠且22
y x =，则必存在r
Householde 矩阵H ，使得y Hx =.
证明 令2
y x y x e --=
，e 为与y x -共线的单位向量.设T
2ee I H -=，则
)
y x ()y x ()
x y x x )(y x (2x )y x ()y x (x )y x )(y x (2x x )2ee I (Hx T T T T
T T
-----=-----=-=
由于22
y x
=，即y y x x T T =，所以
x )y x 2(x y y x y 2x x )y x ()y x (T T T T T T -=+-=--
从而，y.)y x (x Hx =--= [证毕]
下面我们将r Householde 矩阵运用于矩阵的正交-三角化. 化A 为上三角矩阵的第i 步要求把）
（1i A -的第i 列化为T
(i)ii (i)1i ,0)
,0,a ,(a 且）
（1i A
-的前1i -列不变.因此，我们的想法是：若给定一个n 维向量
T n 21)x ,,x ,(x x =，是否存在r Householde 矩阵i H ，使得
y.,0),0,x ,x ,,(x x H T
(1)i
(1)1i (1)
1i ?
-==
事实上，由定理3.1可知，如果满足22
x y
=（记为条件1），那么我们便
可构造一个r Householde 矩阵i H ，使得y x H i =（只需令y x u -=即可）.但由于化A 为上三角矩阵的过程中，第i 步我们不仅要求将第i 列化为
T (i)
ii (i)1i ,0),0,a ,(a ，而且必须保证）（1i A -的前1i -列不变，因此构造的i H 应该
形如??
??
??*=-00I H 1i i （记为条件2），这样才能保证）
（1i i A H -的前1i -列不变. 根据条件1和条件2，我们可以令(),0),0s x sign ,x ,,(x y i i 1i 1 ?-=-， 则
()),x ,,x ,s x sign x ,0,(0,y x u n 1i i i i +?+=-= .u u I 0
I uu I H T i i 1i 1i n 1
T
1i
i ??
??
??-=-=-+---ββi 其中().)x ,,x ,s x sign x (u ,s x s u 2
1 ,x s T
n 1i i i i i i i 2i 22i n
i j 2
j
i +=?+=+===∑β
这样选择的y ，即满足了条件1（22
x y
=），又满足了条件2.而对于y 的
第i 个元素的符号为什么选择“()i x sign -”
，那是因为当计算u 的第i 个元素()i i i s x sign
x ?+时，以“()i x sign ”作为i s 的系数可以避免i x 与i s 作减法运算从而防止计算结果损失有效数字.
（二）利用r H o u s e h o l d e 变换的QR 分解
设A 为n 阶非奇异矩阵，记A A (0)
=，对n ,1,2k =计算）
（1k k (k)A
H A -=，其中k H 是由）
（1k A
-的第k 列向量定义的r Householde 矩阵，则
R HA A H H H A 012n (n)===）
（
即QR A =，其中T
1H H Q ==-为正交阵.
对k 用数学归纳法，利用i H 的性质容易证明上述结论.以上结论说明非奇异矩阵存在QR 分解，并且通过r Householde 变换能够得出QR 分解式.
当A 为m n ?矩阵（n m ≤），且m r(A)=（即A 为列满秩矩阵）时，类似地，对m ,1,2,k =计算）
（1k k (k )
A
H A
-=，??
?
???===0R R HA A
1(m)
，从而
QR A =，1R 为m 阶上三角矩阵，T 1H H Q ==-为n 阶正交阵.
若记[]21Q Q Q =（1Q 为m n ?正交阵，2Q 为m)n (n -?正交阵），则矩
阵A 的QR 分解式还可以写为：[]11121R Q 0R Q ,Q QR A =??
?
???==
定理3.2 设A 为m n ?列满秩矩阵（n m ≤），则A 可以分解为：QR A =，其中Q 为m n ?正交阵，R 为m 阶上三角矩阵.如果规定R 的对角元素取正时，分解式是唯一的.
证明 由m r(A)=知，A A T
为m 阶正定阵，利用定理 2.4知，A A T
存在
Cholesky 分解：R R A A T T =（R 为m 阶非奇异上三角矩阵）.
记1
AR Q -=，则I AR A R Q Q 1
T 1T T ==--）（，即Q 为m n ?正交阵，且
QR A =；即A 存在QR 分解.当规定R 的对角元素取正时，A A T 的Cholesky
分解唯一，从而A 的QR 分解也唯一. [证毕]
设A 为m n ?矩阵，n}.min{m,r r(A)≤=对A 作QR 分解的思路如下：
（1）对A 作列变换，使A 的前r 列线性无关.即存在列置换阵P ，使
[]10A A AP =，其中0A 为r n ?列满秩矩阵，而1A 可由0A 的r 个列向量线性
表出，即存在)r m (r -?矩阵B ，使得B A A 01=，此时[]. B A A AP 00 =
（2）对0A 作QR 分解，由定理3.2知，存在H 使得??
?
???=0R HA 0，R 为r 阶
非奇异上三角矩阵.故
.00RB R B)HA (HA HAP 00?
?
?
???== 在实际计算时，列置换不必在对A 作r Householde 变换之前执行，这一步可以顺便在执行r Householde 变换的过程中实现.下面我们根据这一思路来导出求解R 的具体步骤如下：
记A A
0=）
（，对m ,1,2,k =计算(不妨设n m ≤)：
（2）由）
（1k A
-的第k 列计算k H 阵.
()().u u I 0
I H )a ,,a ,h (u s a sign a h ,s a s u 21 ,a s T k k 1k 1k n 1
k k T
)1k (nk
)1k (k 1,k k k k )
1k (kk
)1k (kk k k )
1k (kk 2k 22k k n
k
j 2
)
1k (jk
k ??
????-==?+=+==
=-+----+---=-∑ββ， 当出现0s k =时，则0a a a 1)
(k nk
1)(k k 1,k 1)
(k kk
====--+- ，此时）（1k A -的第k 列可由前1k -列线性表出.把第k 列移到最后一列，即令)m ,k (I A A 1k 1k ）
（）（--=，其中
)m ,k (I 表示交换m 阶单位矩阵m I 的第k 列与第m 列所得到的初等置换阵.最后
对新的）
（1k A
-的第k 列（即原）
（1k A
-的第1k +列）重新计算k H 阵.
（3）计算.A
k ）
（
??
?
???=????
??-=??????????
??-==--?---------+---）（
）
（）（k 22)1k (121k )1k (22T k k 1k )1k (22)1k (121
k )1k (22
)
1k (12
1k T k k 1k 1k n 1k 1k k k A 0A R A u u A 0
A R A 0A R u u I 00
I A H A ββ （3.2）
由(3.2)式可知，我们只需计算 .
A u u A A )
1k (22T k k 1k )
1k (22
)
k (22----=β （3.3） 为此，我们记)a ,,a (A )
k (n )k (k )
k (22 =，)a ,,a (A )1k (n )1k (k )
1k (22
---= .
第一步：计算)
k (k a ，由(3.3)式知)
1k (k
T k k k
)
1k (k
)
k (k a u u 1
a a ---=β 由于
()()()())s a s i gn (a s a sign s a sign a s a s s a sign a h k )1k (kk )1k (kk k )1k (kk k
)
1k (kk )1k (kk k
)
1k (kk 2k k )1k (kk )1k (kk k k
?+???+=+?+=--------β 即
()k
)
1k (kk
k k
s a sign h -=β 所以
()()()()()k )
1k (kk
2k )1k (kk k )
1k (kk
k
)
1k (kk )
1k (kk
n k j 2
)1k (jk )1k (kk k )1k (kk k )
1k (kk )
1k (kk
n
1
k j 2
)1k (jk )1k (kk k k
k
)1k (kk
)1k (k
T k k
k
)1k (kk
)
k (kk
s a sign )s a s a sign (s a sign a
)
)a (a s a sign (s a sign a ))a (a (h h a
a
u h a
a
?-=+??-=+??-=+-
=-
=-----=-----+=-----∑∑ββ
n)
,1,k (i 0)s s a (a
a
))a (a (h a a
a
u a a
a
2k k )1k (kk k
)1k (ik
)
1k (ik
1
k t 2
)1k (ik )1k (kk k k
)1k (ik
)1k (ik
)1k (k
T k k
)1k (ik
)1k (ik
)k (ik
+==+-
=+-
=-=---+=-------∑βββn
第二步：计算)k (j a ，由(3.3)式知)1k (j
T k k k
)
1k (j
)k (j a u u 1
a a ---
=β，)n ,,1k j ( +=
()()()())1k (kk
)1k (j
T )1k (k
k
)1k (kk
)
1k (tj
k
t )1k (tk )
1k (tj k t )1k (tk )1k (kj k )1k (kk k
)
1k (kk )1k (kj )
1k (tj 1
k t )1k (tk )1k (kj k k
k
)1k (kj
)1k (j
T
k k
k
)1k (kj
)k (kj
a a
a
s
a
sign a a )a a a s a sign (s a sign a
)a a a (h h a
a
u h a
a
-----=--=------+=-----=
?-=
+??-=+-
=-
=∑∑∑n
n n
ββ
()()()n),1,k j (i, )a a (h a a )s a sign a a a (h a a
)a a a s a (sign h s a sign a a
a u a a a
)k (kj )1k (kj k
)1(k ik )
1k (kj k
)1k (kk )1k (tj
k t )1k (tk
)
1k (kj k )1(k ik )1k (kj
)
1k (tj k t )1k (tk )1k (kj k )1k (kk k k )
1k (kk )
1(k ik )
1k (ij
)
1k (j
T k k
)1(k ik
)1k (ij
)k (ij
+=--=?+-=+????-=-
=-----=-----=---------∑∑n
n β
通过以上两步，我们便得到计算)
k (22A 中各元素的计算公式：
()() n),1,k j (i, )a a (h a a
a n)
,1,k (j a
a
a
a n),1,k (i 0a s a sign a )k (kj )1k (kj k
)1(k ik )1k (kj
)k (ij )1k (kk
)1k (j
T
)1k (k
)k (kj )k (ik k )
1k (kk
)k (kk ?????
??????+=--=+==
+==?-=------- （3.4）
经过m 次r Householde 变换后，得R A
(m)
=（m n ?上三角矩阵），令
T 12m )H H H (Q =，则QR.A =
算法3.1.1（用r Householde 变换化A 为上三角矩阵） （1）输入矩阵A ，并置A A 0=）
（，对m ,1,2,k =，重复（2）~（5）；
（2）由）
（1k A
-的第k 列计算()∑=-=n
k
j 2
)
1k (jk k a s ，并置m k I P =；
（3）判断0s k =是否成立：若0s k =成立，则令)m ,k (I A A
1k 1k ）（）
（--=，置
SPSＳ统计分析 多元线性回归分析方法操作与分析 实验目得： 引入1998~2０08年上海市城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率与房屋空置率作为变量，来研究上海房价得变动因素。 实验变量: 以年份、商品房平均售价(元／平方米)、上海市城市人口密度(人/平方公里)、城市居民人均可支配收入(元)、五年以上平均年贷款利率(%)与房屋空置率（％)作为变量。 实验方法：多元线性回归分析法 软件:spsｓ１9、0 操作过程: 第一步:导入Ｅxceｌ数据文件 1.open daｔａｄoｃumenｔ——ｏpeｎ datａ——ｏpen; 2、Ｏpening exｃel dａta ｓourcｅ——ＯＫ、
第二步: 1、在最上面菜单里面选中Ａnalyze——Ｒegｒesｓｉｏn——Ｌiｎear ，Ｄｅpenｄenｔ(因变量)选择商品房平均售价,Indepｅｎdeｎts（自变量)选择城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率、房屋空置率；Methoｄ选择Sｔｅpｗｉse、 进入如下界面: 2、点击右侧Staｔiｓｔｉcs，勾选ReｇressiｏｎCｏｅｆｆiｃｉｅｎts（回归系数)选项组中得Esｔiｍates；勾选Ｒeｓｉｄuaｌs(残差)选项组中得Durｂiｎ-Watson、Casewise diagnoｓtｉｃｓ默认;接着选择Ｍｏdel fit、Collinｅａritｙdiａgｎｏticｓ;点击Conｔiｎuｅ、
3、点击右侧Pｌoｔs,选择*ZPRED(标准化预测值)作为纵轴变量，选择DEPENDＮT(因变量)作为横轴变量;勾选选项组中得Standarｄiｚed Resi ｄｕal Ｐlots(标准化残差图)中得Hiｓｔｏgrａm、Normal probabｉlity ploｔ;点击Ｃｏntinue、 4、点击右侧Savｅ,勾选Ｐｒｅdiｃted Vanｉueｓ（预测值)与Reｓｉｄu ａｌs（残差)选项组中得Ｕｎsｔａnｄarｄized;点击Cｏntinue、
农民收入影响因素的多元回归分析 自改革开放以来,虽然中国经济平均增长速度为9.5 % ,但二元经济结构给经济发展带来的问题仍然很突出。农村人口占了中国总人口的70 %多,农业产业结构不合理,经济不发达,以及农民收入增长缓慢等问题势必成为我国经济持续稳定增长的障碍。正确有效地解决好“三农”问题是中国经济走出困境,实现长期稳定增长的关键。其中,农民收入增长是核心,也是解决“三农”问题的关键。本文力图应用适当的多元线性回归模型,对有关农民收入的历史数据和现状进行分析,寻找其根源,探讨影响农民收入的主要因素,并在此基础上对如何增加农民收入提出相应的政策建议。 一、回归模型的建立 (1) 数据的收集 根据实际的调查分析，我们在影响农民收入因素中引入3个解释变量。即: X财政用于农业的支出的比重， X-乡村从业人员占农村人口的比重， X -2-34 农作物播种面积 y X2 X3 X4 乡村从业人员78年可比财政用于农业农作物播年份占农村人口的价的支出 的比重种面积比重 1989 196.76 9.42 49.23 146553.9 1990 220.53 9.98 49.93 148362.3 1991 223.25 10.26 50.92 149585.8 1992 233.19 10.05 51.53 149007.1 1993 265.67 9.49 51.86 147740.7 1994 335.16 9.2 52.12 148240.6 1995 411.29 8.43 52.41 149879.3
1996 460.68 8.82 53.23 152380.6 1997 477.96 8.3 54.93 153969.2 1998 474.02 10.69 55.84 155705.7 1999 466.8 8.23 57.16 156372.8 2000 466.16 7.75 59.33 156299.9 2001 469.8 7.71 60.62 155707.9 2002 468.95 7.17 62.02 154635.5 2003 476.24 7.12 63.72 152415 2004 499.39 9.67 65.64 153552.6 2005 521.2 7.22 67.59 155487.7 (1) 回归模型的构建 Y=ββX+βX+βX+u i1+223344i 二、回归模型的分析 (1) 多重共线性检验 a系数 非标准化系数标准系数共线性统计量模型 B 标准误差试用版 t Sig. 容差 VIF 1 (常量) -2983.479 803.141 -3.715 .003 X2 -14.221 15.007 -.141 -.948 .361 .579 1.726 X3 5.201 3.760 .258 1.383 .190 .368 2.717 X4 .021 .006 .614 3.677 .003 .459 2.177 a. 因变量: y 表1 多重共线性是指解释变量之间存在相关关系，判断解释变量之间的多重共线性一般可看方差膨胀因子VIF和容忍度这两个指标，如果解释变量之间存在多重共线性，一般采用逐步剔除VIF最大的解释变量来消除解释变量之间多重共线性的问
第3章 矩阵及其运算 3.1 基本要求、重点难点 基本要求： 1．1．掌握矩阵的定义. 2．2．掌握矩阵的运算法则. 3．3．掌握伴随矩阵的概念及利用伴随矩阵求逆矩阵的方法. 4．4．掌握矩阵秩的概念及求矩阵秩的方法. 5．5． 掌握初等变换和初等矩阵的概念，能够利用初等变换计算矩阵的秩，求可逆矩阵的逆矩阵. 6．6．掌握线形方程组有解得判定定理及其初等变换解线形方程组的方法. 重点难点：重点是矩阵定义，矩阵乘法运算，逆矩阵的求法，矩阵的秩，初等 变换及线性方程组的解. 难点是矩阵乘法，求逆矩阵的伴随矩阵方法. 3.2 基本内容 3.2.1 3.2.1 重要定义 定义3.1 由n m ?个数)2,1;,2,1(n j m i a ij ==组成的m 行n 列的数表成为一个m 行n 列矩阵，记为 ????????????mn m m n n a a a a a a a a a 2122221 11211 简记为A n m ij a ?=)(，或A )(ij a =,n m A ?,mn A 注意行列式与矩阵的区别： （1） （1） 行列式是一个数，而矩阵是一个数表. （2） （2） 行列式的行数、列数一定相同，但矩阵的行数、列数不一定相 同. （3） （3） 一个数乘以行列式，等于这个数乘以行列式的某行（或列）的所有元素，而一个数乘以矩阵等于这个数乘以矩阵的所有元素. （4） （4） 两个行列式相等只要它们表示的数值相等即可，而两个矩阵相等则要求两个矩阵对应元素相等. （5） （5） 当0||≠A 时，||1A 有意义，而A 1 无意义.
n m =的矩阵叫做阶方阵或m 阶方阵.一阶方阵在书写时不写括号，它在 运算中可看做一个数. 对角线以下（上）元素都是0的矩阵叫上（下）三角矩阵，既是上三角阵， 又是下三角的矩阵，也就是除对角线以外的元素全是0的矩阵叫对角矩阵.在对角矩阵中，对角线上元素全一样的矩阵叫数量矩阵；数量矩阵中，对角线元素全是1的n 阶矩阵叫n 阶单位矩阵，常记为n E （或n I ），简记为E （或I ），元素都是0的矩阵叫零矩阵，记为n m 0?，或简记为0. 行和列分别相等的两个矩阵叫做同型矩阵，两个同型矩阵的且对应位置上的 元素分别相等的矩阵叫做相等矩阵. 设有矩阵A =n m ij a ?)(，则A -n m ij a ?-=)(称为A 的负矩阵. 若A 是方阵，则保持相对元素不变而得到的行列式称为方针A 的行列式，记 为||A 或A Det . 将矩阵A 的行列式互换所得到的矩阵为A 的转置矩阵，记为T A 或A '. 若方阵A 满足A A T =，则称A 为对称矩阵，若方阵A 满足A A T -=，则称A 为反对称矩阵. 若矩阵的元素都是实数，则矩阵称为实矩阵.若矩阵的元素含有复数，则称矩 阵为复矩阵，若A =n m ij a ?)(是复矩阵，则称矩阵n m ij a ?)(（其中ij a 为ij a 的共轭矩阵，记为A n m ij a ?=)(. 定义3.2 对于n 阶矩阵A ，如果存在n 阶矩阵B ，使得E BA AB ==，则 称方阵A 可逆，B 称为A 的逆矩阵，记做1-=A B . 对于方阵A n m ij a ?=)(，设ij a 的代数余子式为ij A ，则矩阵 *A ????????????=nm n n n n A A A A A A A A A 2122212 12111 称为A 的伴随矩阵，要注意伴随矩阵中元素的位置. 定义3.3 设有矩阵A ，如果： （1） （1） 在A 中有一个r 阶子式D 不为零.
计算实习报告 一 实习目的 （1）了解矩阵特征值与相应特征向量求解的意义，理解幂法和反幂法的原理， 能编制此算法的程序，并能求解实际问题。 （2）通过对比非线性方程的迭代法，理解线性方程组迭代解法的原理，学会编 写Jacobi 迭代法程序，并能求解中小型非线性方程组。初始点对收敛性质及收 敛速度的影响。 （3）理解 QR 法计算矩阵特征值与特征向量的原理，能编制此算法的程序，并 用于实际问题的求解。 二 问题定义及题目分析 1. 分别用幂法和幂法加速技术求矩阵 2.5 2.5 3.00.50.0 5.0 2.0 2.00.50.5 4.0 2.52.5 2.5 5.0 3.5-?? ?- ?= ?-- ?--?? A 的主特征值和特征向量． 2. 对于实对称矩阵n n ?∈A R ，用Jacobi 方法编写其程序，并用所编程序求下列矩阵的全部 特征值． 1515 4 1141144114114?-?? ?-- ? ?- ?= ? ?- ?-- ? ?-??A 3. 对于实矩阵n n ?∈A R ，用QR 方法编写其程序，并用所编程序求下列矩阵的全部特征值: 111 21 113,4,5,62311111n n n n n n ? ???? ?????==+? ????? ??+??A 三 概要设计 （1） 幂法用于求按模最大的特征值及其对应的特征向量的一种数值算法，
它要求矩阵 A 的特征值有如下关系： 12n ...λλλ>≥≥ ，对于相应 的特征向量。其算法如下： Step 0：初始化数据0,, 1.A z k = Step 1：计算1k k y A z +=。 Step 2：令 k k m y ∞=。 Step 3：令 k k k z y m = ；如果1k k m m +≈或1k k z z +≈，则 goto Step 4；否则 ， k = k + 1 ，goto Step 1。 Step 4：输出结果 算法说明与要求 输入参数为实数矩阵、初始向量、误差限与最大迭代次数。输出 参数为特征值及相对应的特征向量。注意初始向量不能为“0”向量。 （2） 迭代法的原理 如果能将方程 Ax =b 改写成等价形式：x=Bx+f 。如果B 满足：ρ(B )<1，则对于任意初始向量 x (0) ，由迭代 x ( k + 1) = Bx (k ) + f 产生的序列均收敛到方程组的精确解。迭代法中两种最有名的迭代法就是Jacobi 迭代法，它的迭代矩阵 B 为： 1()J D L U -=-+,1 f D b -= 其中，D 为系数矩阵 A 的对角元所组成对角矩阵，L 为系数矩阵 A 的对角元下方所有元素所组成的下三角矩阵，U 为系数矩阵 A 的对角元上方所有元素所组成的上三角矩阵。 算法如下： Step 0：初始化数据 00,,,,k A b x δ=和ε。 Step 1：计算D,L,U,J 或G, 得到迭代矩阵B. Step 2：:1k k =+ 0x B x f * =+ 0x x = 如果0x x δ-<或()f x ε≤，goto Step 3?否则 goto Step ２。 Step 3：输出结果。 程序说明与要求
基于多元线性回归模型对AQI研究与分析 摘要：目前中国大气污染形势严峻，以可吸入颗粒物、细颗粒物为特征污染物的区域性大气环境问题日益突出，损害人民群众的身体健康，影响社会和谐稳定。本文根据相关数据，选取了一部分影响因子：PM2.5、PM10、CO、NO2、SO2、温度和降雨量，对我国部分城市的空气质量进行评价，采用了多元线性回归模型方法，预测空气质量指数。通过回归分析发现，空气质量指数和PM2.5、PM10、CO、NO2和降雨量有关，并得到空气质量指数的预测模型，有利于我们对未来各城市空气质量的走势有所了解。 1研究背景和目的 空气是人类生活中不可或缺的一部分，是城市生产活动的基础。空气污染不仅会影响人的身体健康，还会对动植物的生长有非常不利的影响，损害农业和林业的发展，是城市所面临的最严峻的问题之一。现代医学研究表明，呼吸新鲜自然的空气能够增强免疫力、促进血液循环、消除疲劳、提高工作效率等；否则就会引起乏力、烦闷、头晕、注意力不集中、精神不振等不良症状，日积月累，将可能会导致多种人体疾病的发生。因此空气质量的好坏对我们的生活有着重大的影响。 为了研究空气的好坏，提出了空气质量的概念。空气质量指数（air quality）的好坏反映了空气污染程度，它是依据空气中污染物浓度的高低来判断的。空气质量问题始终是世界各国备受关注的一个问题。随着我国工业化、城镇化的深入推进，能源和资源消耗持续增加，大气污染防治压力继续加大。了解我国空气质量现状，及时采取有效措施进行治理，是改善空气质量的唯一途径。我国从1973年召开第一次全国环境保护会议开始，通过制定环境保护五年计划，对空气污染物排放进行约束与管理，为城市环境空气质量保护、工业污染防治等提供方向。为了改善环境空气质量，防止生态破坏，创造清洁适宜的环境，保护人体健康，研究影响空气质量的影响因子刻不容缓。本文运用多元线性回归模型，对影响空
SPSS 统计分析 多元线性回归分析方法操作与分析 实验目的： 引入1998~2008年上海市城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率和房屋空置率作为变量，来研究上海房价的变动因素。 实验变量： 以年份、商品房平均售价（元/平方米）、上海市城市人口密度(人/平方公里)、城市居民人均可支配收入(元)、五年以上平均年贷款利率(%)和房屋空置率(%)作为变量。 实验方法：多元线性回归分析法 软件：spss19.0 操作过程： 第一步：导入Excel数据文件 1.open data document——open data——open； 2. Opening excel data source——OK.
第二步： 1.在最上面菜单里面选中Analyze——Regression——Linear ，Dependent（因变量）选择商品房平均售价，Independents（自变量）选择城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率、房屋空置率；Method 选择Stepwise. 进入如下界面： 2.点击右侧Statistics，勾选Regression Coefficients（回归系数）选项组中的Estimates；勾选Residuals（残差）选项组中的Durbin-Watson、Casewise diagnostics默认；接着选择Model fit、Collinearity diagnotics；点击Continue.
3.点击右侧Plots，选择*ZPRED（标准化预测值）作为纵轴变量，选择DEPENDNT（因变量）作为横轴变量；勾选选项组中的Standardized Residual Plots（标准化残差图）中的Histogram、Normal probability plot；点击Continue. 4.点击右侧Save，勾选Predicted Vaniues（预测值）和Residuals（残差）选项组中的Unstandardized；点击Continue.
/************************ Matrix Chain Multiplication ***************************/ /************************ 作者：Hugo ***************************/ /************************ 最后修改日期：2015.09.10 ***************************/ /************************ 最后修改人：Hugo ***************************/ using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Text.RegularExpressions; using System.Collections; namespace Matrix { class Program { public static int nummulti = 0; static ArrayList list1 = new ArrayList();//定义计算式存储列表 static ArrayList listrow = new ArrayList();//定义矩阵行数存储列表 static ArrayList listcolumn = new ArrayList();//定义矩阵列数存储列表 static void Main(string[] args) { /****************************************************************************** *****************/ //从键盘上获取矩阵 int nummatrix = Int32.Parse(Console.ReadLine()); int countmat = 0; for (countmat = 0; countmat < nummatrix; countmat++) { string s = Console.ReadLine(); string[] str = s.Split(' ');//把输入的一行字符按空格拆分 listrow.Add(Int32.Parse(str[1]));//行数存储到矩阵行数存储列表 listcolumn.Add(Int32.Parse(str[2]));//列数存储到矩阵列数存储列表
矩阵基本运算及应用 201700060牛晨晖 在数学中，矩阵是一个按照长方阵列排列的或集合。矩阵是高等代中的常见工具，也常见于统计分析等应用数学学科中。在物理学中，矩阵于电路学、、光学和中都有应用；中，制作也需要用到矩阵。矩阵的运算是领域的重要问题。将为简单矩阵的组合可以在理论和实际应用上简化矩阵的运算。在电力系统方面，矩阵知识已有广泛深入的应用，本文将在介绍矩阵基本运算和运算规则的基础上，简要介绍其在电力系统新能源领域建模方面的应用情况，并展望随机矩阵理论等相关知识与人工智能电力系统的紧密结合。 1矩阵的运算及其运算规则 1.1矩阵的加法与减法 1.1.1运算规则 设矩阵，， 则
简言之，两个矩阵相加减，即它们相同位置的元素相加减！ 注意：只有对于两个行数、列数分别相等的矩阵（即同型矩阵），加减法运算才有意义，即加减运算是可行的． 1.1.2运算性质 满足交换律和结合律 交换律； 结合律． 1.2矩阵与数的乘法 1.2.1运算规则 数乘矩阵A，就是将数乘矩阵A中的每一个元素，记为或． 特别地，称称为的负矩阵． 1.2.2运算性质 满足结合律和分配律
结合律：(λμ)A=λ(μA)；(λ+μ)A =λA+μA． 分配律：λ(A+B)=λA+λB． 1.2.3典型举例 已知两个矩阵 满足矩阵方程，求未知矩阵． 解由已知条件知 1.3矩阵与矩阵的乘法 1.3.1运算规则 设，，则A与B的乘积是这样一个矩阵： (1) 行数与（左矩阵）A相同，列数与（右矩阵）B相同，即 ．
(2) C的第行第列的元素由A的第行元素与B的第列元素对应相乘，再取乘积之和． 1.3.2典型例题 设矩阵 计算 解是的矩阵．设它为 可得结论1：只有在下列情况下，两个矩阵的乘法才有意义，或说乘法运算是可行的：左矩阵的列数＝右矩阵的行数；结论2在矩阵的乘法中，必须注意相乘的顺序．即使在与均有意义时，也未必有=成立．可见矩阵乘法不满足交换律；结论3方阵A和它同阶的单位阵作乘积，结果仍为A，即． 1.3.3运算性质（假设运算都是可行的）
逐步回归分析的基本思想 在实际问题中, 人们总是希望从对因变量y有影响的诸多变量中选择一些变量作为自变量, 应用多元回归分析的方法建立“最优”回归方程以便对因变量y进行预报或控制。所谓“最优”回归方程, 主要是指希望在回归方程中包含所有对因变量y影响显著的自变量而不包含对影响不显著的自变量的回归方程。逐步回归分析正是根据这种原则提出来的一种回归分析方法。它的主要思路是在考虑的全部自变量中按其对y的作用大小, 显著程度大小或者说贡献大小, 由大到小地逐个引入回归方程, 而对那些对作用不显著的变量可能始终不被引人回归方程。另外, 己被引人回归方程的变量在引入新变量后也可能失去重要性, 而需要从回归方程中剔除出去。引人一个变量或者从回归方程中剔除一个变量都称为逐步回归的一步, 每一步都要进行F检验, 以保证在引人新变量前回归方程中只含有对y 影响显著的变量, 而不显著的变量已被剔除。 逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和(即贡献), 然后选一个偏回归平方和最小的变量, 在预先给定的水平下进行显著性检验, 如果显著则该变量不必从回归方程中剔除, 这时方程中其它的几个变量也都不需要剔除(因为其它的几个变量的偏回归平方和都大于最小的一个更不需要剔除)。相反, 如果不显著, 则该变量要剔除, 然后按偏回归平方和由小到大地依次对方程中其它变量进行检验。将对影响不显著的变量全部剔除, 保留的都是显著的。接着再对未引人回归方程中的变量分别计算其偏回归平方和, 并选其中偏回归平方和最大的一个变量, 同样在给定水平下作显著性检验, 如果显著则将该变量引入回归方程, 这一过程一直继续下去, 直到在回归方程中的变量都不能剔除而又无新变量可以引入时为止, 这时逐步回归过程结束。 在供选择的m个自变量中，依各自变量对因变量作用的大小，即偏回归平方和（partial regression sum of squares）的大小，由大到小把自变量依次逐个引入。每引入一个变量，就 ≤时，将该自变量引入回归方程。新变量引入回归方程后，对方对它进行假设检验。当Pα 程中原有的自变量也要进行假设检验，并把贡献最小且退化为不显著的自变量逐个剔出方程。因此逐步回归每一步（引入一个自变量或剔除一个自变量）前后都要进行假设检验，直至既没有自变量能够进入方程，也没有自变量从方程中剔除为止。回归结束，最后所得方程即为所求得的“最优”回归方程。 逐步回归分析的特点：双向筛选，即引入有意义的变量（前进法），剔除无意义变量（后退法） 多元线性回归的应用 1．影响因素分析 2．估计与预测用回归方程进行预测时，应选择 具有较高2 R值的方程。 3．统计控制指利用回归方程进行逆估计，即通 过控制自变量的值使得因变量Y为 给定的一个确切值或者一个波动范 围。此时，要求回归方程的2R值要 大，回归系数的标准误要小。 1．样本含量 应注意样本含量n与自变量个数m的比例。通常，
对多元线性回归模型的各种检验方法 对于形如 u X X X Y k k +++++=ββββ 22110 （1） 的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验： 一、 对单个总体参数的假设检验：t 检验 在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0 H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。如果拒绝0H ，说明解释变量j X 对 被解释变量Y 具有显著的线性影响，估计值j β?才敢使 用；反之，说明解释变量j X 对被解释变量Y 不具有显 著的线性影响，估计值j β?对我们就没有意义。具体检验 方法如下： （1） 给定虚拟假设 0H ：j j a =β；
（2） 计算统计量 )?(?)?()(?j j j j j j Se a Se E t βββββ-=-= 的数值； 11?)?(++-==j j jj jj j C C Se 1T X)(X ，其中σβ （3） 在给定的显著水平α下（α不能大于1.0即 10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ； （4） 如果出现 2/αt t >的情况，检验结论为拒绝 0H ；反之，无法拒绝0H 。 t 检验方法的关键是统计量 )?(?j j j Se t βββ-=必须服从已 知的t 分布函数。什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）： （1） 随机抽样性。我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21 =。这保证了误差u 自身的随机性，即无自相关性，
毕业论文题目基于SPSS的多元回归分析模型选取的应用
基于SPSS的多元回归分析模型选取的应用 摘要 本文不仅对于复杂的统计计算通过常用的计算机应用软件SPSS来实现，同时通过对两组数据的实证分析，来研究统计学中多元回归分析中的变量选取，让大家对统计学中的多元回归分析中模型的选取以及变量的选取和操作方法有更深层次的了解. 一组数据是对于淘宝交易额的未来发展趋势的研究，一组数据时对于我国财政收入的研究. 本文通过两个实证即淘宝交易额研究和财政收入研究从不同程度上对非线性回归模型和变量选取的研究运用通俗的语言和浅显的描述将SPSS在多元回归分析中的统计分析方法呈现在大家面前，让大家对多元回归分析以及SPSS软件都可以有更深一步的了解. 通过SPSS软件对数据进行分析，对数据进行处理的方法进行总结，找出SPSS对于数据处理和分析的优缺点，最后得在对变量的选取和软件的操作提出建议. 关键词：统计学，SPSS，变量选取，多元回归分析 Abstract This article not only for complex statistical calculations done by the commonly used computer application software of SPSS, through the empirical analysis of the two groups of data at the same time, to study the statistics of the variables in the multivariate regression analysis, let everybody in the multiple regression analysis of statistical model selection as well as the selection of variables and operation methods have a deeper understanding. Is a set of data for the future development trend of research taobao transactions, a set of data for the research of our country's fiscal revenue. In this paper, through two empirical taobao transactions and fiscal revenue research from different degree of the study of nonlinear regression model and variable selection using a common language and plain the SPSS statistical analysis method in multiple regression analysis of present in front of everyone, let everyone to multiple regression analysis and SPSS software can have a deeper understanding. Through SPSS software to analyze data, and summarizes method of data processing, find out the advantages and disadvantages of SPSS for data processing and analysis, finally had to put forward the proposal to the operation of the selection of variables and software. Keywords: Statistical, SPSS, The selection of variables, multiple regression analysis
几种矩阵完备算法的研究与实现 ——《矩阵分析》课程仿真作业报告* 刘鹏飞 电?系2016210858 摘要 矩阵完备是指从??部分已知的矩阵元素中恢复出整个矩阵。它在计算机视觉、推荐系统以及社交?络等??具有?泛的应?。矩阵恢复可以通过 求解?个与核范数有关的凸优化问题来实现。由此诞?了许多矩阵恢复的算 法，?如FPC算法等。FPC算法虽然实现简单，但其迭代速度较慢。在此基 础上，APG算法经过改进，能够提升迭代速度。但最?化核范数并不是求解 矩阵完备问题的唯??法，其中OptSpace算法构造了?个在流形上的优化问 题，相?于前两种算法能够以更?的精度恢复出原始矩阵。本?主要总结了 FPC、APG和OptSpace三种算法的步骤。特别地，对于OptSpace算法，本 ?提出了求解其中两个?优化问题的具体算法。最后，本?通过仿真实验和理 论分析?较了三种算法的特点，并给出了OptSpace算法的精度?于APG算 法的解释。 关键词：矩阵完备，核范数，FPC，APG，OptSpace 1介绍 1.1矩阵完备及其算法综述 矩阵完备是指从??部分已知的矩阵元素中恢复出整个矩阵。它在计算机视觉、推荐系统以及社交?络等??具有?泛的应?。矩阵完备可以描述成这样?个问题：对于?个m×n的矩阵M，其秩为r，我们只有对M中的部分采样，记*报告中所涉及到的仿真代码可在https://https://www.doczj.com/doc/0d14796000.html,/s/1jHRcY8m下载 1
这些采样位置组成的集合为?，那么是否有可能从已知的部分元素中恢复出整个矩阵M。假如M为低秩矩阵，并且已知的元素?够多并且?够均匀地分布在整个矩阵中，那么我们可以通过解如下优化问题来恢复出原始矩阵[1]： min rank(W) s.t.W ij=M ij,(i,j)∈?(1-1)但是，问题(1-1)是?个NP难的?凸问题。在?定条件下，问题(1-1)可以转化成?个最?化核范数的问题。对于矩阵W m×n，W的核范数定义为其奇异值之和，即 ∥W∥?=min(m,n) ∑ k=1 σk(W)(1-2) 其中，σk(W)表?W第k?的奇异值。问题(1-1)可以转化成： min∥W∥? s.t.W ij=M ij,(i,j)∈?(1-3)对于(1-3)中带等式约束的问题，进?步地，可以将它凸松弛成?个?约束的 优化问题[2][3][4]： min 1 2 ∥A(W)?b∥22+μ∥W∥?(1-4) 其中，b是由矩阵中采样位置对应的元素组成的p×1维向量，p=|?|（|·|表?集合的势）；A:R m×n?→R p是?个线性映射，A(W)=(W ij)|(i,j)∈?；μ是?个可以调整的参数。 对于(1-4)中的?约束问题，?献[2][3]分别提出了Fixed Point Continuation （FPC）和Singular Value Thresholding（SVT）的算法。本?认为，这两种算法虽然出发点不同，但其实质都是梯度下降法，没有本质的差别，在算法实现上也基本?样。因此，本?只研究其中?种，即FPC算法。FPC算法虽然实现简单，但其迭代速度慢，效率不?。在此基础上，?献[4]做出了改进，提出?种Accelerated Proximal Gradient Singular Value Thresholding（APG）算法（该算法是在SVT算法上改进的，本?认为FPC和SVT实质上是?种算法，故不做区别），能够?幅度地提?收敛速度。 前?提到的?种算法，都是从(1-1)中的最?化秩的问题出发，经过?步步凸松弛得到的。与上述基本思路不同，?献[5]提出了OptSpace算法，它实质上是通过解另?种优化问题来实现矩阵完备： min F(W)= ∑ (i;j)∈? ∥M ij?W ij∥2 s.t.rank(W)=r(1-5)
多元线性回归的计算方法 摘要 在实际经济问题中，一个变量往往受到多个变量的影响。例如，家庭 消费支出，除了受家庭可支配收入的影响外，还受诸如家庭所有的财富、物价水平、金融机构存款利息等多种因素的影响，表现在线性回归模型中的解释变量有多个。这样的模型被称为多元线性回归模型。 多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由 于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。这里只介绍多元线性回归的一些基本问题。 但由于各个自变量的单位可能不一样，比如说一个消费水平的关系式中，工资水平、受教育程度、职业、地区、家庭负担等等因素都会影响到消费水平，而这些影响因素（自变量）的单位显然是不同的，因此自变量前系数的大小并不能说明该因素的重要程度，更简单地来说，同样工资收入，如果用元为单位就比用百元为单位所得的回归系数要小，但是工资水平对消费的影响程度并没有变，所以得想办法将各个自变量化到统一的单位上来。前面学到的标准分就有这个功能，具体到这里来说，就是将所有变量包括因变量都先转化为标准分，再进行线性回归，此时得到的回归系数就能反映对应自变量的重要程度。这时的回归方程称为标准回归方程，回归系数称为标准回归系数，表示如下： Zy=β1Zx1+β2Zx2+…+βkZxk 注意，由于都化成了标准分，所以就不再有常数项a 了，因为各自变量都取平均水平时，因变量也应该取平均水平，而平均水平正好对应标准分0，当等式两端的变量都取0时，常数项也就为0了。 多元线性回归模型的建立 多元线性回归模型的一般形式为 Yi=β0+β1X1i+β2X2i+…+i i i i h x υβ+ =1,2,…,n 其中 k 为解释变量的数目，j β=（j=1,2,…,k)称为回归系数 （regression coefficient)。上式也被称为总体回归函数的随机表达式。它的非随机表达式为 E(Y∣X1i,X2i,…Xki,)=β0+β1X1i+β2X2i+…+βkXki βj 也被称为偏回归系数（partial regression coefficient) 多元线性回归的计算模型
GE矩阵法及其使用方法介绍 一、GE矩阵法概述 GE矩阵法又称通用电器公司法、麦肯锡矩阵、九盒矩阵法、行业吸引力矩阵是美国通用电气公司（GE）于70年代开发了新的投资组合分析方法。对企业进行业务选择和定位具有重要的价值和意义。GE矩阵可以用来根据事业单位在市场上的实力和所在市场的吸引力对这些事业单位进行评估，也可以表述一个公司的事业单位组合判断其强项和弱点。在需要对产业吸引力和业务实力作广义而灵活的定义时，可以以GE矩阵为基础进行战略规划。按市场吸引力和业务自身实力两个维度评估现有业务（或事业单位），每个维度分三级，分成九个格以表示两个维度上不同级别的组合。两个维度上可以根据不同情况确定评价指标。 二、方格分析计算方法介绍： GE矩阵可以用来根据事业单位在市场上的实力和所在市场的吸引力对这些事业 单位进行评估，也可以表述一个公司的事业单位组合判断其强项和弱点。在需要 对产业吸引力和业务实力作广义而灵活的定义时，可以以GE矩阵为基础进行战 略规划。按市场吸引力和业务自身实力两个维度评估现有业务（或事业单位），
每个维度分三级，分成九个格以表示两个维度上不同级别的组合。两个维度上可以根据不同情况确定评价指标。 绘制GE矩阵，需要找出外部（行业吸引力）和内部（企业竞争力）因素，然后对各因素加权，得出衡量内部因素和市场吸引力外部因素的标准。当然，在开始搜集资料前仔细选择哪些有意义的战略事业单位是十分重要的。 1. 定义各因素。选择要评估业务（或产品）的企业竞争实力和市场吸引力所需的重要 因素。在GE内部，分别称之为内部因素和外部因素。下面列出的是经常考虑的一些因素（可能需要根据各公司情况作出一些增减）。确定这些因素的方法可以采取头脑风暴法或名义群体法等，关键是不能遗漏重要因素，也不能将微不足道的因素纳人分析中。 2. 估测内部因素和外部因素的影响。从外部因素开始，纵览这张表（使用同一组经理）， 并根据每一因素的吸引力大小对其评分。若一因素对所有竞争对手的影响相似，则对其影响做总体评估，若一因素对不同竞争者有不同影响，可比较它对自己业务的影响和重要竞争对手的影响。在这里可以采取五级评分标准（1=毫无吸引力，2=没有吸引力，3=中性影响，4=有吸引力，5=极有吸引力）。然后也使用5级标准对内部因素进行类似的评定（1=极度竞争劣势，2=竞争劣势，3=同竞争对手持平，4=竞争优势，5=极度竞争优势），在这一部分，应该选择一个总体上最强的竞争对手做对比的对象。 具体的方法是：- 确定内外部影响的因素，并确定其权重- 根据产业状况和企业状况定出产业吸引力因素和企业竞争力因素的级数（五级）- 最后，用权重乘以级数，得出每个因素的加权数，并汇总，得到整个产业吸引力的加权值 下面分别用折线图和表格两种形式来表示。
SPSS 统计分析 欧阳歌谷（2021.02.01） 多元线性回归分析方法操作与分析 实验目的： 引入1998~2008年上海市城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率和房屋空置率作为变量，来研究上海房价的变动因素。 实验变量： 以年份、商品房平均售价（元/平方米）、上海市城市人口密度(人/平方公里)、城市居民人均可支配收入(元)、五年以上平均年贷款利率(%)和房屋空置率(%)作为变量。 实验方法：多元线性回归分析法 软件：spss19.0 操作过程： 第一步：导入Excel数据文件 1.open data document——open data——open； 2. Opening excel data source——OK. 第二步： 1.在最上面菜单里面选中Analyze——Regression——Linear ，Dependent（因变量）选择商品房平均售价，Independents（自变量）选择城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率、房屋空置率；Method选择Stepwise. 进入如下界面： 2.点击右侧Statistics，勾选Regression Coefficients（回归系数）选项组中的Estimates；勾选Residuals（残差）选项组中的Durbin-Watson、Casewise diagnostics默认；接着选择Model fit、Collinearity diagnotics；点击Continue. 3.点击右侧Plots，选择*ZPRED（标准化预测值）作为纵轴变量，选择DEPENDNT（因变量）作为横轴变量；勾选选项组中的Standardized Residual Plots（标准化残差图）中的Histogram、Normal probability plot；点击Continue. 4.点击右侧Save，勾选Predicted Vaniues（预测值）和Residuals （残差）选项组中的Unstandardized；点击Continue. 5.点击右侧Options，默认，点击Continue.
基于多元线性回归的期权价格预测模型 王某某 （北京航空航天大学计算机学院北京100191）1 摘要：期权是国际市场成熟、普遍的金融衍生品，是金融市场极为重要的金融工具。2015年2月9日，上海证券交易所正式推出了我国首支场内交易期权——上证50ETF期权，翻开了境内场内期权市场的新篇章。50ETF期权上市以来，市场规模逐步扩大，其发展情况境外期权产品相同时期。本文以此为研究背景，以“50ETF购12月”这支期权为研究对象，以今日开盘价、收盘价、最高价、最低价、结算价、成交量、成交额、持仓量、涨停价和跌停价为解释变量，通过多元线性回归模型，预测该期权的明日收盘价。本次研究以多元线性回归的全模型（模型1）为出发点，通过异方差检验、残差的独立性检验、误差的正太分布检验以及多重共线性检验，说明该模型不违反回归的基本假设条件。进而通过主成分回归（模型4）和逐步回归（模型5）进行降维，结果表明因变量与解释变量之间存在强烈的线性相关关系，且主成分回归和逐步回归相比全模型有更好的预测能力。 关键词：期权价格多元线性回归50ETF 多重共线性因子分析 一、引言 期权（option）是依据合约形态划分的一种衍生品，指赋予其购买方在规定期限内按买卖双方约定的价格（即协议价格或行权价格）购买或者出售一定数量某种金融资产（即标的资产）的权利的合约。期权购买方为了获得这个权利，必须支付给期权出售方一定的费用，称为权利金或期权价格错误!未找到引用源。。 2015年2月9日，上海证券交易所正式推出了我国首支场内交易期权——上证50ETF，翻开了境内场内期权市场的新篇章。期权是与期货并列的基础衍生产品，是金融市场极为重要的金融工具之一。 自50ETF上市以来，市场规模逐步扩大。2015年2月日均合约成交面值为亿元，12月就达到了亿元，增长了倍；2月日均合约成交量为万张，12月就达到了万张，增长了倍；2月权利金总成交额为亿元，12月就达到了亿元，增长了倍错误!未找到引用源。。 我国股票市场有上亿的个人投资者，是一个较为典型的散户市场错误!未找到引用源。。相较于专业投资机构讲，散户缺乏时间，精力以及专业分析，投资具有很大的投机行为。对于这些投资者来说，期权价格的变动则是他们最为关注的问题，其变化直接影响到自身的收益。在实际情况中，影响股票价格的因素很多，涉及到金融政策、利率政策以及国际市场等因素，其作用机制也相当复杂错误!未找到引用源。。因此，对于期权价格预测的研究，则可以降低投资者的投资风险，及时调整投资结构，从而保障自身的收益。 本文选择“50ETF购12月（期权代码：）”这支期权作为研究对象，根据过去一个月内期权的交易数据，以今日开盘价、收盘价、最高价、最低价、结算价、成交量、成交额、持 1作者简介：王某某，北京航空航天大学研究生。