基于QR分解的低复杂度RLS算法研究
- 格式:pdf
- 大小:1.33 MB
- 文档页数:4
复矩阵的Givens变换及其QR分解杜鹃;冯思臣【摘要】实矩阵有成熟的三角分解算法,复矩阵尚无好的三角分解算法.为解决复矩阵的三角分解与QR分解问题,采用科学类比,重新拓展定义,演绎计算的方法,给出复Givens矩阵的定义,推导出了复Givens矩阵是酉矩阵,得到了用有限个复Givens 变换将一个n维复向量旋转到任何一个给定方向的方法,证明了任何一个非奇异复矩阵能够通过有限次复Givens变换,分解为一个酉矩阵与一个复非奇异上三解矩阵的乘积,利用复Givens变换解决了复矩阵的QR分解问题.%There is a mature algorithm of the triangle factorization of the real matrix, but there is not a good one of that of the complex matrix. To solve the problem on the triangle factorization of the complex matrix, This paper uses the scientific analogy, redefinition, extending the definition, and deduction to solve this problem. It gives a definition for the complex Givens matrix. It also deduces that the complex Givens matrix is a Unitary matrix. It gets the algorithm of rotating a complex vector to any fixed direction by finite complex Givens transformations. It proves that any nonsingular complex matrix can be factorized in a product between a Unitary matrix and a complex nonsingular upper triangular matrix by finite complex Givens transformations. It solves the QR factorization of the complex matrix by the complex Givens transformations.【期刊名称】《成都理工大学学报(自然科学版)》【年(卷),期】2011(038)006【总页数】4页(P693-696)【关键词】复Givens变换;Givens矩阵;QR分解【作者】杜鹃;冯思臣【作者单位】成都理工大学管理科学学院,成都610059;成都理工大学管理科学学院,成都610059【正文语种】中文【中图分类】O151.211 预备知识随着现代化科学技术的迅速发展,矩阵的分解在控制理论、信息论、系统识别和信息处理、优化理论、最小二乘问题中都是十分重要的工具。
实Schur分解前⾯已经说过LU,Cholesky和QR分解,这次介绍的是实Schur分解。
对这个分解的定义是任意⼀个矩阵A,可有如下形式的分解:U*A*U’ = B;其中B是拟上三⾓矩阵,拟上三⾓矩阵的定义是在矩阵的对⾓线上存在2x2⼤⼩的矩阵,⽽且矩阵U是正交矩阵,因为矩阵A的特征值和B的特征值相同。
⽽且A的特征值出现在B的对⾓线上。
计算特征值分解和SVD都依靠这个算法做最基本的处理,然后根据不同的任务有不同的处理。
计算schur分解的⽅法是是QR算法,这个算法的原理相当的简单,可以⽤如下的伪代码表⽰:for i = 1 …A(i-1)= QRA(i) = R*Qend这段代码所做的变化类似于A(i) = R*Q = (Q’)*Q*R*Q = (Q’)*A(i-1)*Q;因此这段代码的基本思想就是使⽤正交矩阵Q不停的对矩阵A做相似变化。
在这样的变化中将矩阵A的下半三⾓矩阵中的数全部消去。
但是在实际中使⽤这样的算法是不现实的,因为每⼀次QR分解都需要⼤量的计算,同时完全的矩阵相乘R*Q也需要⼤量的计算。
对这种⽅法的改进是⾸先将矩阵A化为Hessenberg型,然后对Hessenbert计算QR分解,对应的code如下:function [H, U] = zhess(A)%for any matrix A, turn it into a upper hessenberg matrix by orthogonal%transformation[m, n] = size(A);if m ~= nerror('support square matrix only')endH = A;U = eye(n);for k=1:n-2%compute the householder matrix[v, beta] = zhouse(H(k+1:end, k));temp_U = eye(n);temp_U(k+1:n,k+1:n) = eye(n-k) - beta*v*(v');H = temp_U*H;U = U * temp_U;%fprintf('after %d iteration\n', k);%disp(H);end这段代码将矩阵A转换成上hessenberg矩阵。
4 递归最小二乘自适应算法及仿真4.1 引言最小二乘(RLS)法是一种典型的有效的数据处理方法。
由著名学者高斯在1795年提出,他认为,根据所获得的观测数据来推断未知参数时,未知参数最可能的值是这样一个数据,即它使各项实际观测值和计算值之间的差的平方乘以度量其精度的数值以后的和为最小。
这就是著名的最小二乘法。
前面所研究的自适应滤波算法根据的最佳准则为最小均方误差准则。
自适应算法的目标在于,使滤波器输出与需要信号的误差的平方的统计平均值最小。
这个准则根据输入数据的长期统计特性寻求最佳滤波。
然而,我们通常己知的仅是一组数据,因而只能对长期统计特性进行估计或近似。
LMS 算法、格形梯度算法都是这样。
而最小二乘算法就是能直接根据一组数据寻求最佳解。
换句话说,根据最小均方误差准则得到的是对一类数据的最佳滤波器,而根据最小二乘法得到的是对一组已知数据的最佳滤波器。
对同一类数据来说,最小均方误差准则对不同的数据组导出同样的“最佳”滤波器;而最小二乘法对不同的数据组导出不同的“最佳”滤波器。
因而常说最小二乘法导出的最佳滤波器是“精确”的。
递推最小二乘法(R 璐)是最小二乘法的一类快速算法。
4.2 递推最小二乘(RLS )算法递推最小二乘(RLS)算法是一种在自适应迭代的每一步都要求最优的迭代算法,滤波器输出信号法,滤波器输出信号()y n 等于输入信号()x n 与冲激响应序列()i w n 的卷积和,即()()()11Mk k y n w n x n k ==*-+∑ K 1,2,...,n N = (4.1)误差信号()()()e n d n y n =-。
由此可以得到自适应横向滤波器按最小均方准则设 计的代价函数()()()()2211N N i i J n e n d i y i ====-⎡⎤⎣⎦∑∑ (4.2) 式中()d i 与()y i 分别为自适应滤波器的期望相应于输出信号。
()e i 为误差信号。
矩阵奇异值分解的计算方法矩阵奇异值分解是一种重要的矩阵分解方法,广泛应用于信号处理、压缩、图像处理、数据降维等领域。
本文主要介绍矩阵奇异值分解的计算方法。
一、矩阵奇异值分解的基本概念与定义矩阵是实数或复数元素排成矩形的数表,是线性代数的基础概念之一。
矩阵奇异值分解是将一个任意形状的矩阵分解成三个矩阵乘积的形式,即A=UΣV^T其中,A是一个m×n的矩阵,U是一个m×r的矩阵,V是一个n×r的矩阵,Σ是一个r×r的对角矩阵,其中r=min(m,n)。
在矩阵奇异值分解中,U和V都是酉矩阵,即满足U^TU=I和V^TV=I的矩阵,Σ是非负实数矩阵,对角线上的元素称为矩阵A 的奇异值,按降序排列。
若A是实矩阵,则U和V的列向量都是正交基,若A是复矩阵,则U和V的列向量都是规范正交基。
二、矩阵奇异值分解的计算方法1.传统方法传统的矩阵奇异值分解方法包括Jacobi和Golub-Kahan方法。
Jacobi方法是一种迭代方法,用于将对称矩阵对角化,时间复杂度为O(n^3),在大规模矩阵分解上效率较低。
Golub-Kahan方法是一种求解一般矩阵奇异值分解的有效算法,它使用基于QR分解的方法来计算矩阵的奇异值分解,时间复杂度为O(mn^2),但由于需要计算矩阵的QR分解,因此效率仍然不高。
2.基于迭代的方法基于迭代的矩阵奇异值分解方法主要包括基于幂迭代的方法和基于分解的方法。
(1) 基于幂迭代的方法幂迭代是一种求解矩阵特征值和特征向量的迭代方法,可以使用幂迭代求解矩阵的奇异值分解。
幂迭代可以计算出矩阵的最大奇异值及其对应的左右奇异向量,但不适用于计算非最大奇异值。
为解决这个问题,可以使用反迭代求解非最大奇异值,时间复杂度为O(mnr),其中r为矩阵的秩。
(2) 基于分解的方法基于分解的矩阵奇异值分解方法主要包括Lanczos算法、Arnoldi算法和Krylov子空间方法等。
基于QR分解的正则化邻域保持嵌入算法翟冬灵;王正群;徐春林【摘要】针对训练样本不足时,对数据的低维子空间估计可能会产生严重偏差的问题,提出了一种基于QR分解的正则化邻域保持嵌入算法.首先,该算法定义一个局部拉普拉斯矩阵保留原始数据的局部结构;其次,将类内散度矩阵的特征谱空间划分成三个子空间,通过倒数谱模型定义的权值函数获得新的特征向量空间,进而对高维数据进行预处理;最后,定义一个邻域保持邻接矩阵,利用QR分解获得的投影矩阵和最近邻分类器进行人脸分类.与正则化广义局部保持投影(RGDLPP)算法相比,所提算法在ORL、Yale、FERET和PIE库上识别率分别提高了2个百分点、1.5个百分点、1.5个百分点和2个百分点.实验结果表明,所提算法易于实现,在小样本(SSS)下有较高的识别率.【期刊名称】《计算机应用》【年(卷),期】2016(036)006【总页数】6页(P1624-1629)【关键词】图嵌入;正则化;局部拉普拉斯矩阵;邻域保持嵌入;OR分解【作者】翟冬灵;王正群;徐春林【作者单位】扬州大学信息工程学院,江苏扬州 225127;扬州大学信息工程学院,江苏扬州 225127;北方激光科技集团有限公司,江苏扬州 225009【正文语种】中文【中图分类】TP391.4人脸识别技术是人机交互和视频监控的研究热点之一。
经过近几十年的研究,许多国内外学者提出了各类子空间分析法(Subspace Analysis Method, SAM)[1]在模式识别领域中取得了较多的成就。
然而,如何设计一个合理可靠的降维技术仍是一个开放性问题。
当人脸图像位于一个高维空间时,直接对人脸图像处理往往会遇到维数灾难问题[2],计算的复杂度较高。
而且,一个高维的数据往往含有大量的冗余信息和噪声,这些都不利于分类。
因此,基于图嵌入的降维技术是提高算法泛化能力的有效途径之一,是一个重要的研究课题。
降维的目的是在提取有效特征的同时减少鉴别信息的丢失。