当前位置:文档之家› 机器学习中的降维方法综述

机器学习中的降维方法综述

机器学习中的降维方法综述
机器学习中的降维方法综述

模型降阶方法综述

模型降阶方法综述 大系统模型降阶是一个活跃的研究领域,比较成熟的经典降阶方法主要有:Pade逼近法,时间矩法,连分式法,Routh逼近法及棍合法等。本文综述了这一领域的现有文献,介绍了每种降阶方法的基本思想、优缺点和适用范围,特别指出了一些新的经典模型降阶方法的进展。文中最后提出了模型降阶方法的可能研究方向。 一、Pade逼近法 Pade逼近法是大系统模型简化中最早出现的一种经典降阶方法。到目前为止,人们仍然公认它是一种行之有效的传递函数降阶法。Pade逼近法是泰勒级数展开理论的应用,适用于传递函数可表示成有理多项式分式(或传递函数阵为有理分式阵)的场合。降阶方法简单,易于编制上机程序,低频(稳态)拟合性能好。但是,Pade逼近法的高频(动态)拟合性能较差且不能保证降阶模型的稳定性。因而在模型降阶方法中,很少单独使用Pade逼近法。 为了弥补Pade逼近法的不足,Brown等引入了使降阶模型稳定的补充性能准则,但却提高了降阶模型的阶次;Rossen等把造成降阶模型不稳定的极点隔离开来,并用任意稳定极点取代,可以防止降阶模型不稳定,但加大了计算量;Chuang和Shamash先后提出在0 s=和s=∞附近交替展成Pade近似式,可获得有较好动态拟合性能的降阶模型;Shih等采用线性变换方法将() G s中不稳定的极点映射到另一平面,以扩大Pade展开式的收敛域,并由此选出稳定的降阶模型。

为了克服泰勒级数收敛慢的弱点,Calfe等提出了切比雪夫多项式模型降阶方法,可获得稳定的降阶模型;Bistritz等提出了广义切比雪夫一Pade逼近法,即Darlington多项式展开法。这两种降阶方法均可使降阶模型在预定的区间上既稳定又具有最小相位,但计算量大,仅适用于单变量系统。 二、时间矩法 时间矩法首先由Paynter提出,采用与Pade逼近法类似的方法,把高阶系统和降阶模型都展成多项式,再令时间矩对应项相等,可以求得降阶模型的各系数。因此,时间矩法本质上仍是Pade遏近法,其优缺点也相似。 有的学者从时间矩或马尔可夫参数组成的Hankel阵出发,提出了相应的模型降阶方法,但本质上仍属于时间矩法的范畴。 三、连分式法 连分式是函数论中研究得比较深入的课题。1974年左右,开始应用连分式进行模型降阶,5年后,又推广于多变量系统降阶。连分式降阶法的基本出发点是:将真有理传递函数G(s)在0 s 附近展成连分式,然后截取前面起主要作用的若干项(也称偏系数)构成降阶模型。由于连分式比其他多项式或幂级数展开式收敛快,少量偏系数就能反映原系统的主要信息,所以连分式法是一种很有效的频域模型降阶方法,至今仍被广泛应用。 在降阶过程中,常用的连分式有:Cauer一I型,Cauer一II型,Cauer一III型,修正Cauer型和Jordan型等。在现代频域降阶法中,

高维数据的低维表示综述

高维数据的低维表示综述 一、研究背景 在科学研究中,我们经常要对数据进行处理。而这些数据通常都位于维数较高的空间,例如,当我们处理200个256*256的图片序列时,通常我们将图片拉成一个向量,这样,我们得到了65536*200的数据,如果直接对这些数据进行处理,会有以下问题:首先,会出现所谓的“位数灾难”问题,巨大的计算量将使我们无法忍受;其次,这些数据通常没有反映出数据的本质特征,如果直接对他们进行处理,不会得到理想的结果。所以,通常我们需要首先对数据进行降维,然后对降维后的数据进行处理。 降维的基本原理是把数据样本从高维输入空间通过线性或非线性映射投影到一个低维空间,从而找出隐藏在高维观测数据中有意义的低维结构。(8) 之所以能对高维数据进行降维,是因为数据的原始表示常常包含大量冗余: · 有些变量的变化比测量引入的噪声还要小,因此可以看作是无关的 · 有些变量和其他的变量有很强的相关性(例如是其他变量的线性组合或是其他函数依赖关系),可以找到一组新的不相关的变量。(3) 从几何的观点来看,降维可以看成是挖掘嵌入在高维数据中的低维线性或非线性流形。这种嵌入保留了原始数据的几何特性,即在高维空间中靠近的点在嵌入空间中也相互靠近。(12) 数据降维是以牺牲一部分信息为代价的,把高维数据通过投影映射到低维空间中,势必会造成一些原始信息的损失。所以在对高维数据实施降维的过程中如何在最优的保持原始数据的本质的前提下,实现高维数据的低维表示,是研究的重点。(8) 二、降维问题 1.定义 定义1.1降维问题的模型为(,)X F ,其中D 维数据空间集合{}1N l l X x ==(一般为D R 的一个子集),映射F :F X Y →(),x y F x →=

多组分分析方法综述

重金属多组分分析的研究现状 近年来,随着科技的进步,单组分重金属的检测技术已经非常成熟,但是在实际污染体系中重金属离子种类繁多,且它们之间往往存在相互干扰,传统的化学分析方法和化学分析仪器难以一次性精确的检测出各个重金属离子的浓度,需要对共存组分进行同时测定。 对共存组分进行同时测定,传统的化学分析方法是首先通过加入各种掩蔽剂进行组分的预分离,然后采用单组分重金属检测技术进行分析检测。这种方法的分离过程往往冗长繁琐,实验条件苛刻,费时费力,而且检测精度低,无法应用于污染现场的检测。 随着计算机科学技术、光谱学和化学信息学的发展,复杂体系的多组分分析已成为当今光谱技术的研究热点,应用范围涉及环境监测、石油化工、高分子化工、食品工业和制药工业等领域,而且需求日益显著。由于多重金属离子共存时会产生重金属离子间的相互作用,因此在用化学分析仪器检测时会产生相干数据干扰,对实验结果产生影响,为了使测试结果更加准确,需要在实验的基础上建立数学模型,用于数据处理,消除各重金属离子共存时产生的相干数据干扰。近年来,引入化学计量学手段,用“数学分离”部分代替复杂的“化学分离”,从而达到重金属离子的快速、简便分析测定[1]。 化学计量学是一门通过统计学或数学方法将对化学体系的测量值与体系的状态之间建立联系的学科,它应用数学、统计学和其他方法和手段(包括计算机)选择最优试验设计和测量方法,并通过对测量数据的处理和解析,最大限度地获取有关物质系统的成分、结构及其他相关信息。目前,已有许多化学计量学方法从不同程度和不同方面解决了分析化学中多组分同时测定的问题,如偏最小二乘法(PLS)、主成分回归法(PCR)、Kalman滤波法、多元线性回归(MLR)等,这些方法减少了分离的麻烦,并使试验更加科学合理。 (1) 光谱预处理技术 这些方法用来降噪、消除无关信息。 ①主成分分析法 在处理多元样本数据时,假设总体为X=(x1,x1,x3…xn),其中每个xi (i=1,2,3,…n)为要考察的数量指标,在实践中常常遇到的情况是这n个指标之间存在着相关关系。如果能从这n个指标中构造出k个互不相关的所谓综合指标(k

评价指标权重确定方法综述

评价指标权重确定方法综述 *** (西安科技大学地质与环境学院西安 710600) 摘要:权重是一个相对的概念,是针对某一指标而言的。某一指标的权重是指该指标在整体评价中的相对重要程度。在多因素的各种评价决策问题中,确定各因素的权重是评价决策的关健之一,本文着重介绍了专家估测法、频数统计法、因子分析权重法、信息量权数法、独立性权数法、主成份分析法、层次分析法、模糊关系方程法等几种确定权重的方法。 关键词:权重;变量;因子分析;层次分析。 The review of the weighing values’s evaluation method *** ( xi’an university of science and technology Xi’an 710600 ) Abstract: the weight is a relative concept, is aimed at a certain indicators. One refers to the weights of indicators in the evaluation of the overall relative important degree. In multi-factor evaluation of decision making problems, determine the weight of each factor is one of the key evaluation decision, this paper emphatically introduces the expert estimation method, frequency statistics, factor analysis weighting method, weighting method, independent information weighting method, principal component analysis method, analytic hierarchy process (ahp) and fuzzy relation equation method of several kinds of determining weights methods. Key words: weight; Variables; Factor analysis; Hierarchical analysis. 0 引言 多因素的评价决策问题具有广泛的理论和实际应用背景。解决多因素决策问题的许多方法都需要关于因素权重的信息。所以,如何确定权重是评价决策的关键之一。下面将分别介绍几种不同类型的方法,应用时候可以根据具体情况选用。 1专家估测法

遗传算法综述

遗传算法综述 史俊杰 摘要:遗传算法来源于进化论和群体遗传学,是计算智能的重要组成部分,正受到众多学科的高度重视。本文主要回顾了遗传算法的起源和发展历程,并对遗传算法的基本原理及特点作了简要阐述。进一步指出了遗传算法存在的问题及相应的改进措施,讨论了遗传算法在实际中的应用,并对遗传算法的未来的发展进行了探讨。 关键字:遗传算法,适应度函数,神经网络 1.遗传算法的起源 遗传算法(Genetic Algorithm,GA)是模拟自然界生物进化机制的一种算法,即遵循适者生存、优胜劣汰的法则,也就是寻优过程中有用的保留,无用的则去除。在科学和生产实践中表现为,在所有可能的解决方法中找出最符合该问题所要求的条件的解决方法,即找出一个最优解。这种算法是1960年由Holland提出来的,其最初的目的是研究自然系统的自适应行为,并设计具有自适应功能的软件系统。 2.遗传算法的发展过程 从二十世纪六十年代开始,密切根大学教授Holland开始研究自然和人工系统的自适应行为,在这些研究中,他试图发展一种用于创造通用程序和机器的理论。在六十年代中期至七十年代末期,Bagly发明“遗传算法”一词并发表了第一篇有关遗传算法应用的论文。1975年竖立了遗传算法发展史上的两块里程碑,一是Holland出版了经典著作“Adaptation in Nature and Artifieial System”,二是Dejong完成了具有指导意义的博士论文“An Analysis of the Behavior of a Class of Genetie Adaptive System”。进入八十年代,随着以符号系统模仿人类智能的传统人工智能暂时陷入困境,神经网络、机器学习和遗传算法等从生物系统底层模拟智能的研究重新复活并获得繁荣。进入九十年代,以不确定性、非线性、时间不可逆为内涵,以复杂问题为对象的科学新范式得到学术界普遍认同,如广义进化综合理论。由于遗传算法能有效地求解属于、NPC类型的组合优化问题及非线性多模型、多目标的函数优化问题,从而得到了多学科的广泛重视。3.遗传算法特点 遗传算法作为具有系统优化、适应和学习的高性能计算和建模方法的研究渐趋成熟。遗传算法具有进化计算的所有特征,同时又具有自身的特点: (1)搜索过程既不受优化函数的连续性约束,也没有优化函数导数必须存在的要

权重确定方法综述

权重确定方法综述 引言 多指标综合评价是指人们根据不同的评价目的,选择相应的评价形式据此选择多个因素或指标,并通过一定的评价方法将多个评价因素或指标转化为能反映评价对象总体特征的信息,其中评价指标与权重系数确定将直接影响综合评价的结果。评价指标权重的确定是多目标决策的一个重要环节,因为多目标决策的基本思想是将多目标决策结果值纯量化,也就是应用一定的方法、技术、规则(常用的有加法规则、距离规则等)将各目标的实际价值或效用值转换为一个综合值;或按一定的方法、技术将多目标决策问题转化为单目标决策问题。指标权重是指标在评价过程中不同重要程度的反映,是决策(或评估)问题中指标相对重要程度的一种主观评价和客观反映的综合度量。按照权数产生方法的不同多指标综合评价方法可分为主观赋权评价法和客观赋权评价法两大类,其中主观赋权评价法采取定性的方法由专家根据经验进行主观判断而得到权数,然后再对指标进行综合评价,如层次分析法、综合评分法、模糊评价法、指数加权法和功效系数法等。客观赋权评价法则根据指标之间的相关关系或各项指标的变异系数来确定权数进行综合评价,如熵值法、神经网络分析法、TOPSIS法、灰色关联分析法、主成分分析法、变异系数法等。权重的赋值合理与否,对评价结果的科学合理性起着至关重要的作用;若某一因素的权重发生变化,将会影响整个评判结果。因此,权重的赋值必须做到科学和客观,这就要求寻求合适的权重确定方法。下面就对当前应用较多的评价方法进行阐述。 一、变异系数法 变异系数法是直接利用各项指标所包含的信息,通过计算得到指标的权重。是一种客观赋权的方法。此方法的基本做法是:在评价指标体系中,指标取值差异越大的指标,也就是越难以实现的指标,这样的指标更能反映被评价单位的差

第九章 降维

第九章 降维 9.1k 近邻学习 k 近邻( k -Nearest Neighbor ,简称KNN )学习是一种常用的监督学习方法,其工作机制非常简单:给定测试样本,基于某种距离度量找出训练集中与其靠近的k 个训练样本,然后基于k 个“邻居”的信息来进行预测。在分类任务中一般使用“投票法”,在回归任务中使用 “简单平均法”。还可以基于距离使用加权平均或加权投票。 9.2 低维嵌入 最近邻学习的一个重要建设:任意测试样本附近任意小的距离范围内总能找到一个训练样本,即训练样本的采样密度足够大。然而,这个假设在现实任务中通常很难满足。在低维数空间进行采样还比较容易满足一定条件,而在维数很高时,距离计算有时都面临困难。在高维情况下出现的数据样本稀疏、距离计算困难等问题,是所有机器学习共同面临的障碍, 被称为“维数灾难”。 缓解维数灾难的一个重要途径是降维(dimension reduction ),亦称“维数简约”,即通过 某种数学变换将原始高维属性空间转变为一个低维“子空间”,在这个子空间中样本的密度大幅增高,距离计算也变得容易。为什么能降维?这是因为在很多时候,人们观测或收集到的数据样本虽是高维的,但与学习任务密切相关的也许是某个低维分布,即高维空间中的一个低维嵌入。 若要求原始空间中样本之间的距离在低维空间中得以保持,即得到“多维缩放”(Multiple Dimensional Scaling ,简称MDS )[Cox ,2001]这样一种经典的降维方法。 假定m 个样本在原始空间的距离矩阵为m m R D ?∈,其元素ij d 表示样本i x 与j x 之间的 距离,原始空间的维数为d 。目标是获得样本在d '维空间的表示d d R Z m d ≤'∈?' ,,且任意两个样本在d '维空间中的欧式距离等于原始空间中的距离,即ij j i d z z =-。 令m m T R Z Z B ?∈=,其中B 为降维后样本的内积矩阵,j T i ij z z b =,有 j T i j i ij z z z z d 22 2 2-+= ij jj ii b b b 2-+= (1) 为了便于讨论,令降维后的样本Z 被中心化,即01=∑ =m i i z 。显然矩阵B 的行与列之和 均为零,即 ∑∑====m j m i ij bij b 110。易知 jj m i ij mb B tr d +=∑=)(1 2 (2) ii m j ij mb B tr d +=∑=)(1 2 (3)

pca算法综述

PCA 算法进行人脸识别综述 1 引言 人脸识别过程的一般思想是对于一幅图像可以看作一个由像素值组成的矩阵,也可以扩展开,看成一个矢量,如一幅N*N 象素的图像可以视为长度为N 2 的矢量,这样就认为这幅图像是位于N 2 维空间中的一个点,这种图像的矢量表示就是原始的图像空间,但是这个空间仅是可以表示或者检测图像的许多个空间中的一个。不管子空间的具体形式如何,这种方法用于图像识别的基本思想都是一样的,首先选择一个合适的子空间,图像将被投影到这个子空间上,然后利用对图像的这种投影间的某种度量来确定图像间的相似度,最常见的就是各种距离度量。 2、PCA 算法实现过程 首先在图片库中提取出N 张人脸图,每一张图的像素大小为P*M ,然后把第一张图的像素值按行(把每一行的元素依次都连到第一行中去)每一行的矩阵是一个1*(P*M )维,这样就构成了一个N*(P*M )维的由训练图像构成的矩阵B 。 PCA 算法就是对这样的一个矩阵B 进行K-L 变换,K-L 变换的公式为: )()(_ 1_B B B B S i N i i --=∑ = 其中_ B 是B 中各列的元素之和的再除以N 得到的一个1*(P*M )维的行向量,i B 是B 的第 i 行,S 是一个N*(P*M)维的矩阵。 计算出这样的一个矩阵S 后,就消除了原来各张图像之间的相关性,接下来就是要计算出S 的特征值和特征向量,但是S 的维数太大了,计算出这样一个高维矩阵的特征值和特征向量非常的困难。这就要求对这样的一个高维矩阵进行降维处理。设C=T SS ,T S 为要的转置矩阵,C 是一个N*N 维矩阵,相比于S 维数降低了很多了,设C 的特征值和对应的特征向量分别为i λ和i ν,则有: T SS *i λ=i λ*i ν 对这个式子作如下变换: T SS * ( S*i ν)=i λ(S*i ν) 由此可得C 的特征值也是原高维矩阵S 的特征值,C 的特征向量是S*i ν,到经过降维处理 后的低维矩阵C 的特征值也是原高维矩阵S 的特征值,这样就实现了由低维矩阵计算高维矩阵的特征值,只要对所求得的特征向量就可以了。 上述方去所求的每一个向量都构成一个特征脸。由这些特征脸所张成的空间称为特征脸子空间,需要注意对于正交基的选择的不同考虑,对应较大特征值的特征向量(正交基)也称主分量,用于表示人脸的大体形状,而对应于较小特征值的特征向量则用于描述人脸的具体细节,所以在选取特征向量的时候,我们把特征值较少的特征向量省去,只保留占人脸主特征的特征值大的对应的特征向量。通过实验已证明,选取T (T 《N )个这样的特征向量,就足以把人脸图像给表达出来,并且能取得较高的人脸识别率,设由T 个这样的特征向量构成的所所得到的矩阵为V (N*T 维),由T 个这样的特征值对应的后的对角阵为F (1*T 维)。 计算特征脸形成的坐标系

相关主题
文本预览
相关文档 最新文档