广义特征值问题中的预处理方法

基于投影正交化LANCZOS算法的广义特征值求解方法作者：莫晓聪来源：《软件导刊》2016年第04期摘要：正交化Lanczos算法是求解复杂结构振动、振频、振型的有效方法，它将高阶振动问题转化为低阶振动问题来求解，且不会损失特征值和特征根。

针对半正定矩阵的广义特征值及重特征值求解问题，利用正交化Lanczos算法给出了一个简单而又方便的求解方法。

关键词关键词：特征值；特征向量；Lanczos算法中图分类号：TP312文献标识码：A文章编号文章编号：1672-7800（2016）004-0025-030引言在结构动力分析中，求解特征值与特征根问题的方法可分为变换方法和向量迭代法。

变换方法直接对原始矩阵进行一系列变换，将它变成便于求解特征值与特征根的形式，如Jacobi方法。

但在计算机求解时，变换方法要存储整个矩阵，只适合求解低阶矩阵；向量迭代法通过一系列的矩阵向量迭代乘积而逼近求得特征值与特征根，正交化Lanczos算法是这类解法的典型[1]。

1基本原理振动方程为：KX=ω2Mx（1）4结语本文所采用的方法作为同步迭代的迭代初始向量求特征值与特征向量非常有用。

由于用同步迭代法迭代一次的时间相当于用一次Lanczos正交截尾的计算时间，因而这两种方法替代使用对于节省时间弥补同步迭代的不足，效果十分明显。

参考文献参考文献：[1]王坤，周岩.线性代数[M].北京：机械工业出版社，2016.[2]王欣欣.求解对称矩阵特征值问题的Lanczos算法的改进及分析[D].哈尔滨：哈尔滨工业大学，2008.[3]法捷耶夫，法捷耶娃.线性代数计算法[M].上海：上海科学技术出版社，1995.[4]KONSTANTINOSEPARSOPOULOS，MICHAELNVRAHATIS.Particleswarmoptimizationmethodinmultiobjectiveproblems[C].Madrid：InProceedingsofthe2002ACMSymposiumonAppliedComputing（SAC’2002），2002：603-607.[5]REYES-SIERRAM，COELLOCAC.Fitnessinheritanceinmulti-objectiveparticleswarmoptimization[C].SwarmIntelligenceSymposium（SIS2005），2005：116-123.[6]SSUN，CLTSENG，YHCHENSC.Cluster-basedsupportvectormachinesintext-independentspeakeridentifi cation[C].Proc.oftheInt’lJointConf.onNeuralNetwork，2004.[7]WYSHI，YFGUO，XYXUE.Matrix-basedkernelprincipalcomponentanalysisforlarge-scaledataset[C].InternationalJointConferenceonNeuralNetworks，2009.责任编辑（责任编辑：孙娟）。

第8章特征值和特征向量M A T L A B中的命令计算特征值和特征向量很方便，可以得到不同的子结果和分解，这在线性代数教学时很有用。

注意，本章中的命令只能对二维矩阵操作。

8.1 特征值和特征向量的计算假设A是一个m×n的矩阵，A的特征值问题就是找到方程组的解：其中λ是一个标量，x是一个长度为n的列向量。

标量λ是A的特征值，x是相对应的特征向量。

对于实数矩阵A来说，特征值和特征向量可能是复数。

一个n×n的矩阵有n个特征值，表，λ2，. ..，λn。

示为λ1M A T L A B中用命令e i g来确定矩阵A的特征值和特征向量。

特征向量的规格化，就是每个特征向量的欧几里得范数为1；参见7 .6节。

命令e i g自动完成对矩阵A的平衡化。

这就要求M A T L A B找出一个相似变换矩阵Q，满足条件。

求的特征值比求A的特征值条件更好些。

万一A有一个和机器错误大小一样的元素，平衡化对于计算过程是没有好处的。

带有参数n o b a l a n c e的命令e i g可用来计算没有这个变换矩阵的特征值和特征向量。

命令集7 9特征值和特征向量e i g(A)求包含矩阵A的特征值的向量。

[ X,D]=e i g(A)产生一个矩阵A的特征值在对角线上的对角矩阵D和矩阵X，它们的列是相应的特征向量，满足A X=X D。

为了得到有更好条件特征值的矩阵要进行相似变换。

[ X,D]=不经过平衡处理求得矩阵A的特征值和特征向量，也就是e i g(A,’n o b a l a n c e’)不进行平衡相似变换。

b a l a nc e(A)求平衡矩阵。

[ T,B]=b a l a n c e(A)找到一个相似变换矩阵T和矩阵B，使得它们满足B=T－1AT。

B是用命令b a l a n c e求得的平衡矩阵。

e i g s(A)返回一个由矩阵A的部分特征值组成的向量，和命令e i g一样，但是不返回全部的特征值。

高等数学线性代数教材目录第一章行列式1.1 行列式的引入1.2 二阶和三阶行列式的计算1.3 行列式的性质和性质的应用1.4 行列式的性质证明第二章矩阵和向量2.1 矩阵的概念和基本运算2.2 矩阵的转置和逆2.3 向量的线性相关性和线性无关性2.4 向量组的秩和极大线性无关组第三章矩阵的运算3.1 矩阵的加法和减法3.2 矩阵的数乘3.3 矩阵的乘法3.4 矩阵的特殊类型第四章线性方程组4.1 线性方程组的概念和解的分类4.2 齐次线性方程组和非齐次线性方程组的解 4.3 线性方程组的向量表示第五章向量空间5.1 向量空间的定义和例子5.2 向量子空间和子空间的概念5.3 向量空间的线性组合和生成子空间5.4 基和维数第六章矩阵的特征值和特征向量6.1 特征值和对角化6.2 特征多项式和特征方程6.3 相似矩阵和相似对角矩阵6.4 实对称矩阵的对角化第七章线性变换7.1 线性变换的概念和性质7.2 线性变换的矩阵表示7.3 线性变换的特征值和特征向量7.4 线性变换的相似、迹和行列式第八章内积空间8.1 内积的定义和性质8.2 欧几里得空间和具有内积的实向量空间8.3 向量的正交性和正交子空间8.4 施密特正交化方法第九章广义特征值问题9.1 广义特征值问题的引入9.2 广义特征值的计算9.3 广义特征值与相似变换9.4 对称矩阵的广义特征值问题与对角化第十章特殊矩阵的标准形式10.1 对称矩阵的对角化10.2 正定矩阵和正定二次型10.3 实对称矩阵的正交对角化10.4 复数矩阵的标准型这是《高等数学线性代数》教材的目录, 包含了十个章节，每个章节中有相应的小节来详细介绍相关内容。

这本教材综合了高等数学和线性代数的知识，旨在帮助读者掌握线性代数的基本概念、理论和方法，以及应用于实际问题的能力。

希望读者通过学习这本教材，能够系统地理解和应用线性代数的知识，为今后的学习和研究打下坚实的基础。

广义奇异值分解广义奇异值分解（Generalized Singular Value Decomposition，GSVD）是一种常用的矩阵分解方法，被广泛应用于信号处理、数据挖掘、图像处理等领域。

它是奇异值分解（Singular Value Decomposition，SVD）的推广，可以处理非方阵和复数矩阵，具有更广泛的适用性。

在介绍广义奇异值分解之前，我们先了解一下奇异值分解。

奇异值分解是一种将矩阵分解为三个矩阵乘积的方法，可以将矩阵的信息分解为多个特征值和特征向量。

对于一个m×n的矩阵A，奇异值分解可以表示为A=UΣV^H，其中U和V是正交矩阵，Σ是对角矩阵，其对角线上的元素称为奇异值。

广义奇异值分解是在奇异值分解的基础上进行推广，可以处理非方阵和复数矩阵。

对于两个矩阵A和B，广义奇异值分解可以表示为A=UΣV^H，B=UΓW^H，其中U和V是正交矩阵，Σ和Γ是对角矩阵，W是一般矩阵。

广义奇异值分解的特点是，U和V是共同的，而Σ和Γ分别对应于矩阵A和B的奇异值。

广义奇异值分解的应用非常广泛。

在信号处理领域，可以用于滤波、降噪和压缩等操作。

在数据挖掘领域，可以用于特征提取和降维。

在图像处理领域，可以用于图像压缩和去噪。

此外，广义奇异值分解还被应用于网络分析、系统辨识、机器学习等领域。

广义奇异值分解的计算方法与奇异值分解类似，可以使用迭代法或直接法。

迭代法通常是通过迭代计算来逼近矩阵的奇异值和奇异向量，而直接法则是直接计算矩阵的特征值和特征向量。

在实际应用中，根据问题的需求和矩阵的规模选择适合的计算方法。

需要注意的是，广义奇异值分解存在一些限制。

首先，矩阵的广义奇异值分解可能不唯一，存在多种分解方式。

其次，计算广义奇异值分解的复杂度较高，对于大规模矩阵需要耗费较多的计算资源。

此外，广义奇异值分解的应用也需要针对具体问题进行适当的调整和优化。

广义奇异值分解是一种常用的矩阵分解方法，具有广泛的应用领域和适用性。

特征值法对元素为实数或复数的n×n矩阵A，求数λ和n维非零向量x使A x=λx，这样的问题称为代数特征值问题，也称矩阵特征值问题，λ和x分别称为矩阵A的特征值和特征向量。

代数特征值问题的数值解法是计算数学的主要研究课题之一，它常出现于动力系统和结构系统的振动问题中。

在常微分方程和偏微分方程的数值分析中确定连续问题的近似特征系，若用有限元方法或有限差分方法求解，最终也化成代数特征值问题。

此外，其他数值方法的理论分析，例如确定某些迭代法的收敛性条件和初值问题差分法的稳定性条件，以及讨论计算过程对舍入误差的稳定性问题等都与特征值问题有密切联系。

求解矩阵特征值问题已有不少有效而可靠的方法。

矩阵A的特征值是它的特征多项式P n(λ)det(λI-A)的根，其中I为单位矩阵。

但阶数超过4的多项式一般不能用有限次运算求出根，因而特征值问题的计算方法本质上是迭代性质的，基本上可分为向量迭代法和变换方法两类。

向量迭代法是不破坏原矩阵A，而利用A对某些向量作运算产生迭代向量的求解方法，多用来求矩阵的部分极端特征值和相应的特征向量，特别适用于高阶稀疏矩阵。

乘幂法、反幂法都属此类，隆措什方法也常作为迭代法使用。

变换方法是利用一系列特殊的变换矩阵(初等下三角阵、豪斯霍尔德矩阵、平面旋转矩阵等)，从矩阵A出发逐次进行相似变换，使变换后的矩阵序列趋于容易求得特征值的特殊形式的矩阵(对角阵、三角阵、拟三角阵等)；多用于求解全部特征值问题，其优点是收敛速度快，计算结果可靠，但由于原矩阵A被破坏，当A是稀疏矩阵时，在计算过程中很难保持它的稀疏性，因而大多数变换方法只适于求解中小规模稠密矩阵的全部特征值问题。

雅可比方法、吉文斯－豪斯霍尔德方法以及LR方法、QR方法等都属此类。

乘幂法计算矩阵的按模最大的特征值及对应特征向量的一种向量迭代法。

设A为具有线性初等因子的矩阵，它的n个线性无关的特征向量是u i(i=1，2，…，n)，特征值排列次序满足是一个n维非零向量，于是若λ1>λ2，则当α1≠0，且k足够大时，A k z0除相差一个纯量因子外趋于λ1所对应的特征向量，这就是乘幂法的基本思想。

线性代数中的广义逆线性代数中的广义逆是一种特殊的矩阵运算，它在解决线性方程组、最小二乘问题以及矩阵逆的计算中具有重要作用。

本文将详细介绍广义逆的定义、性质和应用，以加深对该概念的理解。

一、广义逆的定义与性质广义逆是针对非方阵而言的。

对于一个m×n的矩阵A，在矩阵A的扩展实数域中，若存在一个n×m的矩阵B，使得AB和BA均为投影矩阵，则称B为A的广义逆，记作A^+。

广义逆具有以下性质：1. 幂等性：(A^+)^+ = A^+2. 逆性：(AB)^+ = B^+A^+3. 秩性：(A^+)A和A(A^+)的秩相等4. 唯一性：若A^+和B^+都是A的广义逆，则A^+ = B^+二、广义逆的应用广义逆在线性方程组的求解中扮演着重要角色。

对于一个m×n的线性方程组Ax=b，其中A为系数矩阵，x为未知数向量，b为已知向量。

若A的行秩等于列秩，则该方程组有唯一解。

然而，在实际问题中，方程组常常出现行秩小于列秩的情况，此时无法直接求解。

利用广义逆的概念，我们可以构造最小二乘解。

最小二乘解是指使得||Ax-b||^2（欧氏范数下的二范数）最小的解。

通过广义逆的求解方法，可以找到最接近方程组Ax=b的解x*，即使得||Ax*-b||^2取得最小值。

特别地，当A的列秩等于n（A是满秩列）时，最小二乘解与精确解重合。

广义逆还在矩阵逆的计算中起到重要作用。

当方阵A不可逆时，可以使用广义逆来近似计算逆矩阵。

通过广义逆的逆性质，我们可以得到A的近似逆矩阵A^+的逼近解析表达式。

三、广义逆的计算方法1. 伪逆法：通过奇异值分解（SVD）求解广义逆，即A^+=VΣ^+U^T，其中U、Σ、V分别是A的左奇异向量矩阵、对角奇异值矩阵和右奇异向量矩阵。

2. 矩阵分块法：将矩阵A分块，利用分块矩阵性质求解广义逆。

3. Moore-Penrose逆矩阵：Moore-Penrose逆矩阵是一种特殊的广义逆矩阵，是广义逆的一种常用表示形式。

降维法1. 引言降维法是在数据分析和机器学习领域中常用的一种技术，用于将高维数据转化为低维数据，从而降低数据的复杂性，便于后续的分析和处理。

在实际应用中，降维法可以帮助我们发现数据中的隐藏模式和结构，提高数据分析的效果和准确性。

本文将介绍降维法的原理和常用方法，以及它们在实际应用中的一些注意事项。

2. 降维原理在介绍降维法的具体方法之前，我们先来了解一下降维的原理。

高维数据通常包含大量冗余信息和噪声，这使得数据分析和处理变得复杂且计算开销较大。

而低维数据则包含了原始数据的关键信息，可以用较少的特征来表达。

因此，通过降维可以减少数据的复杂性，去除冗余信息和噪声，提高数据的表达能力和可解释性。

降维的关键问题就是如何选择合适的特征子集，使得低维数据能够尽可能地保留原始数据的信息。

不同的降维方法通过不同的策略来进行特征选择和变换，达到降维的目的。

下面我们将介绍几种常用的降维方法。

3. 主成分分析（PCA）主成分分析（Principal Component Analysis，简称PCA）是一种经典的降维方法。

它通过线性变换将高维数据投影到一个低维空间中，使得投影后的数据保留尽可能多的原始数据的方差。

PCA的基本思想是找到数据中方差最大的方向作为第一主成分，然后找出与第一主成分不相关且方差次大的方向作为第二主成分，依此类推。

PCA的具体算法步骤如下： 1. 对原始数据进行中心化处理，即将每个特征的均值减去去掉后的样本平均值。

2. 计算协方差矩阵。

3. 对协方差矩阵进行特征值分解，得到特征值和特征向量。

4. 按照特征值从大到小的顺序选择前k个特征向量，组成投影矩阵。

5. 将原始数据投影到低维空间中。

PCA的优点是简单易理解且计算效率高，但它假设数据的低维表示是线性的，对于非线性的数据结构表达可能效果较差。

4. 线性判别分析（LDA）线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的降维方法，特别适用于分类问题。

求广义特征向量的例题广义特征向量又称为广义特征值向量，它指的是一组由多个实数组成的列向量，广义特征向量可以说是一种非线性矩阵的特征向量。

它与传统的特征值向量的区别是，它是由一组实数构成的，而不仅仅是一组实数。

在特征向量理论中，它被称为特征值/特征向量，表示为{lambda_1,lambda_2,cdots,lambda_k}，可以用来描述矩阵的特征。

经典样例考虑下面的矩阵：$$A=begin{bmatrix}1&4&52&-3&73&0&-1end{bmatrix}$$ 显然，A矩阵的特征方程是下列公式：$$begin{split}lambda^3+(4lambda^2-10lambda+27)&=0lambda^2+(2lambda-9)&=0end{split}$$将特征方程分解，得到三个特征值：$$lambda_1=3, lambda_2=3, lambda_3=3$$接下来，求每个特征值对应的特征向量：对于$lambda_1=3$，特征方程有：$$(A-3I)vec{x}=0$$令 $x_2=1$，入上式得：$$begin{bmatrix}1&4&50&-6&73&0&-4end{bmatrix}vec{x}=0$$ $$x_1+4x_3=0,7x_3=-6$$$$vec{x}_1=begin{bmatrix}-411end{bmatrix}$$对于$lambda_2=3$，特征方程有：$$(A-3I)vec{x}=0$$令$x_1=1$，带入上式得：$$begin{bmatrix}0&4&52&-6&73&0&-4end{bmatrix}vec{x}=0$$ $$4x_2+5x_3=0,7x_3=-2$$$$vec{x}_2=begin{bmatrix}1-1/21/5end{bmatrix}$$ 对于$lambda_3=3$，特征方程有：$$(A-3I)vec{x}=0$$令$x_1=1$，带入上式得：$$begin{bmatrix}0&4&52&-6&70&0&-7end{bmatrix}vec{x}=0$$ $$4x_2+5x_3=0,7x_3=0$$$$vec{x}_3=begin{bmatrix}100end{bmatrix}$$综上所述，矩阵A的特征向量是：$$vec{x}_1=begin{bmatrix}-411end{bmatrix},vec{x}_2=begin{bm atrix}1-1/21/5end{bmatrix},vec{x}_3=begin{bmatrix}100end{bm atrix}$$该矩阵的特征向量组成的特征矩阵为：$$ X=begin{bmatrix}-4&1&11&-frac{1}{2}&frac{1}{5}1&0&0end{b matrix}$$求非线性矩阵的广义特征向量一般来说，求解非线性矩阵的广义特征向量不是一件容易的事情。

特征值问题有限元方法一、选择题（每题3分，共10题）1. 有限元方法求解特征值问题时，首先要（）A. 构建刚度矩阵和质量矩阵。

B. 直接求解特征方程。

C. 确定边界条件。

D. 离散化几何区域。

解析：在有限元方法求解特征值问题时，首先要对几何区域进行离散化，将其划分为有限个单元，然后才能构建刚度矩阵和质量矩阵等后续操作。

所以答案是D。

2. 对于二维弹性体的特征值问题，其特征值代表（）A. 结构的固有频率。

B. 结构的应力大小。

C. 单元的节点位移。

D. 材料的弹性模量。

解析：在二维弹性体的特征值问题中，特征值代表结构的固有频率。

应力大小与求解过程有关但不是特征值的意义，节点位移是求解的变量，弹性模量是材料属性。

所以答案是A。

3. 有限元法中，质量矩阵的形成方式不包括（）A. 集中质量法。

B. 一致质量法。

C. 对角质量法。

D. 混合质量法。

解析：有限元法中质量矩阵的形成有集中质量法和一致质量法，没有所谓的对角质量法这种单独的形成方式（对角质量矩阵是集中质量法的结果），混合质量法也不是常规的质量矩阵形成方式。

所以答案是C。

4. 在有限元求解特征值问题中，刚度矩阵是（）A. 对称正定矩阵。

B. 对称负定矩阵。

C. 非对称矩阵。

D. 奇异矩阵。

解析：刚度矩阵是对称正定矩阵。

它反映了结构的刚度特性，在有限元求解特征值问题等多种结构分析中具有重要意义。

所以答案是A。

5. 设特征值问题有限元方程为Kφ=λ Mφ，其中K为刚度矩阵，M为质量矩阵，λ为特征值，φ为特征向量。

若增大结构的刚度，特征值将（）A. 增大。

B. 减小。

C. 不变。

D. 无法确定。

解析：从方程Kφ=λ Mφ来看，刚度矩阵K增大时，在质量矩阵M不变的情况下，特征值λ会增大。

所以答案是A。

6. 有限元求解特征值问题时，单元插值函数的作用是（）A. 确定单元内的场变量分布。

B. 计算单元刚度矩阵。

C. 计算单元质量矩阵。

D. 以上都是。

解析：单元插值函数可以确定单元内的场变量分布，进而用于计算单元刚度矩阵和单元质量矩阵等。

应用统计学判别分析目录1. 内容概览 (2)1.1 统计学概述 (2)1.2 判别分析简介 (3)2. 判别分析的基本原理 (5)2.1 判别分析的数学基础 (6)2.2 判别分析的分类方法 (7)2.3 判别分析的适用条件 (8)3. 判别分析的方法论 (9)3.1 线性判别分析 (11)3.1.1 线性判别函数 (12)3.1.2 线性判别分析的应用实例 (13)3.2 非线性判别分析 (14)3.2.1 非线性判别函数 (15)3.2.2 非线性判别分析的应用实例 (16)4. 判别分析的模型评估 (18)4.1 分类准确率 (18)4.2 交叉验证 (20)4.3 模型比较 (21)5. 判别分析的应用实例 (22)5.1 生物信息学 (24)5.2 金融数据分析 (25)5.3 社会科学 (26)6. 判别分析的未来发展趋势 (28)6.1 深度学习与判别分析 (29)6.2 大数据与判别分析 (31)6.3 个性化判别分析 (32)1. 内容概览本文档旨在深入探讨应用统计学中的判别分析，首先，我们将简要介绍判别分析的基本概念和背景，阐述其在数据分析和预测建模中的重要性。

随后，我们将详细讲解判别分析的原理和方法，包括线性判别分析和非线性判别分析的不同类型。

文档将逐步引导读者理解如何选择合适的判别函数，如何进行特征选择和变量标准化，以及如何评估判别模型的性能。

此外，我们将通过实际案例展示判别分析在实际问题中的应用，如市场细分、信用评估、生物分类等。

案例研究将帮助读者掌握判别分析在解决实际问题时的具体操作步骤和技巧。

文档将总结判别分析的关键点和局限性，并展望其在未来统计学发展和数据分析领域中的潜在应用前景。

通过本内容的深入学习，读者将能够熟练掌握判别分析的理论知识和实际应用技巧，为解决复杂的数据分析问题提供有力工具。

1.1 统计学概述统计学是一门研究数据的收集、整理、分析和解释的学科，它是应用数学的一个分支，广泛应用于各个领域，如自然科学、社会科学、经济学、医学、工程学等。