盲源分离问题综述
- 格式:docx
- 大小:67.71 KB
- 文档页数:7
独立组分分析的十种算法综述及其在药物分析中的应用宋清;陆峰【摘要】The principles and applications of ICA methods were reviewed. Firstly, a summary of the background and development prospects of the ICA were described, the definition, basic principles, and ten algorithms of ICA were briefly introduced,and then the practical application of the ICA in pharmaceutical analysis was discussed.%对独立组分分析的原理和应用进行了综述.首先,概要叙述独立组分分析的产生背景和发展前景,简要介绍和评述了独立组分分析的定义、基本原理以及其中的十种算法;然后对独立组分分析在药物分析方面的实际应用进行了讨论.【期刊名称】《药学实践杂志》【年(卷),期】2013(031)001【总页数】5页(P1-4,74)【关键词】独立组分分析;化学计量学;药物分析;盲源分离【作者】宋清;陆峰【作者单位】第二军医大学药学院药物分析教研室,上海200433;解放军211医院药剂科,黑龙江哈尔滨150080;第二军医大学药学院药物分析教研室,上海200433【正文语种】中文【中图分类】R917独立组分分析[1](independent component analysis,ICA)是20世纪90年代提出的一种解决盲源信号分离问题的有效的信号处理方法,其模型最早是作为线性混合的盲信号分离问题(如鸡尾酒会问题)提出的。
它是在既不知道源信号的分布,又不知道源信号的混合模型的情况下,仅利用一组已知的源信号的混合信号来恢复或提取独立的源信号。
通信信号调制方式识别方法综述曾创展;贾鑫;朱卫纲【摘要】对通信信号调制方式的识别进行了深入研究,对通信信号常用的数字调制技术和调制识别预处理技术、理想高斯白噪声条件下基于决策论和基于统计模式的识别法、非理想信道条件下的调制识别法以及对共信道多信号调制方式的识别等进行了总结.在简要介绍各种方法的来源、理论基础和发展基础上讨论了各自的优缺点,并提出了调制识别研究领域的进一步发展方向.【期刊名称】《通信技术》【年(卷),期】2015(048)003【总页数】6页(P252-257)【关键词】通信信号调制识别;基于决策论;基于统计模式;非理想信道条件下;共信道多信号【作者】曾创展;贾鑫;朱卫纲【作者单位】装备学院研究生管理大队,北京101416;装备学院光电装备系,北京101416;装备学院光电装备系,北京101416【正文语种】中文【中图分类】TN76;TN911调制识别通常位于接收机的前端,在信号检测和信号解调之间,接收方要根据信号的调制方式进行解调才能继续进行下一步操作直至最终获取信号携带的信息。
而在诸如无线电检测、侦察、对抗等应用中,侦察方通常缺乏足够的先验知识,如信号的调制参数、方式等,而为了达到区分信号来源、性质、内容等目的,就需要侦察方对信号的调制方式进行正确识别分类。
当前,制电磁权已日益成为重要的作战要素,战场电磁环境中存在着大量未知信号,此时人工识别已无法满足信号识别的实时性要求,因而,人们开始研究自动调制识别方法,1969年,C.S.Weaver等人就发表了第一篇关于自动调制识别方法研究的论文[1],根据信号频谱的差异完成了自动识别。
随着通信信号从模拟调制发展为数字调制,调制方式更加复杂多样,调制识别算法的研究成果也越来越多,涉及方法体系也十分广泛。
本文从AWGN 条件下的调制识别、非理想信道条件下的调制识别以及共信道多信号的调制识别三方面概述了多种识别方法,在对各方法简要介绍的基础上对比讨论了各自的优缺点,展望了调制识别研究领域的进一步发展方向。
第43
卷第
5期
物探化探计算技术 Vol. 43
No. 5
2021 年 9 月 COMPUTING TECHNIQUES FOR GEOPHYSICAL AND GEOCHEMICAL EXPLORATION Sept. 2021
文章编号:
1001 -1749(2021)05
-0609
-11
大地电磁法人文噪声干扰特点及处理方法综述葛双超】,李斌
2
(1.中北大学 仪器与电子学院,太原
300051
;
2.太原卫星发射中心技术部,太原 300051)
摘要:大地电磁法(MT)是一种大深度、高效率、低成本的被动源勘探技术。随着社会经济的
不断发展,交通、电力、通讯网络等各类人文干扰对
MT法观测数据污染日益严重。为获得有效
观测数据,必须对人文干扰进行抑制或消除。
这里分析了大地电磁观测方法中常见人文噪声及
其干扰特性,对国内、外MT法观测数据信噪分离方法进行了分类总结。分别对
Hilbert —
Huang变换、小波分析、统计分析、形态滤波、稀疏分解等方法的原理、
特点及应用
,进行了介绍
和对比分析。最后对现有方法存在的问题做出了总结,
并展望了
MT法信噪分离新思路及关键
问题。
关键词:大地电磁法;人文噪声;时频分析;信噪分离
中图分类号:P631.2 文献标志码
:
A DOI:
10. 3969 力.issn.1001-1749.2021.05. 10
0 引言
我国矿产资源种类繁多,为我国经济发展提供
了坚实的能源保障,但这些矿产资源的勘探程序较
低,其中大部分资源的存储情况未得到准确探测,同
时浅部资源开发殆尽,矿产资源日益短缺,为国家的
安全发展带来隐患,因此亟需加强深部复杂矿藏勘
探能力,提高矿产资源勘查的深度和效率。
在各种地球物理勘探方法中,电磁勘探是目前
应用最多的矿产资源勘探手段之一。大地电磁法 (MT)通过在地表测量正交电磁场分量的变化情 况,来研究地下介质的电性结构,是被动源电磁勘探
的一个重要分支。MT法无需大功率供电设备且探 测深度大,在矿产资源勘查、地震前兆监测、环境保
2021575成像式光电容积描记技术(imaging Photoplethys-mography,iPPG)是近些年发展迅速的一种非接触式生理参数检测技术[1],是在传统单点接触式光电容积描记技术(Photoplethysmography,PPG)上发展起来的。
与传统的接触式PPG相比,iPPG技术具有无创、非接触检测人体的优点。
在现代医学体系中,心率(Heart Rate,HR)、心率变异性(Heart Rate Variability,HRV)、呼吸率(Breathing rate,BR)、血氧饱和度(Oxygen saturation,SpO2)等生理参数的检测对人体健康评估、疾病诊断等起着重要的作用。
而生理参数检测除了应用在传统的医疗场景中,也逐渐扩展到智能教育等领域。
比如,通过检测教室空间里参与者的生理参数来进行情绪识别[2],可以及时评估学生的心理健康情况,同时对教师及时调整教学状态也有很大的督促作用。
而在传统的教学课堂上,主要还是采用课堂观察这一评估方式。
课堂观察是教师动态捕捉教学现象,实时分析教学情况,获得教学质量反馈,以此对教学内容、方法、状态做出及时调整的重要手段。
但这种评估方式是一种基于经验的评价,主观性较强,评价结果不够精准[3]。
随着大数据、人工智能的不断发展,传统教育领域的智能化将是一个必然的发展趋势。
同时近些年来,智慧教育越来越受到国家的重视。
结合人工智能技术对学生的心理情绪进行及时监督,对iPPG技术及生理参数检测的教育应用综述郑鲲1,孔江萍1,周晶2,慈康怡1,常鹏11.北京工业大学信息学部,北京1001242.北京工业大学继续教育学院,北京100124摘要:获取学习状态数据是实现智能教育的前提,生理参数是反映学生学习状态的重要信息。
而目前在智能教育领域生理参数检测方法比较单一,仍然以接触式为主,存在一定局限性。
而非接触式生理参数检测方法更有利于智能教育的广泛推广。
第34卷第8期2013年8月仪器仪表学报Chinese Journal of Scientific InstrumentVol.34No.8Aug.2013收稿日期:2012-11Received Date :2012-11*基金项目:航空基础科学基金(2012ZD52054)资助项目振动信号处理方法综述*李舜酩1,郭海东1,李殿荣2(1.南京航空航天大学能源与动力学院南京210016;2.潍坊小型拖拉机有限公司潍坊261000)摘要:振动信号处理方法一直以来是研究的热点,对设备振动监测和故障诊断都至关重要。
近年来,振动信号的处理方法得到了快速发展,但仍需不断改进和完善。
对近年来的文献进行了分类总结,分别对传统方法中的幅值域分析法、傅里叶变换、相关分析和现代方法中的Wigner-Ville 分布、谱分析、小波分析、盲源分离、Hilbert-Huang 变换及高阶统计量分析的发展、特点以及应用进行了概述和对比分析,最后作出了总结与展望。
关键词:振动信号;处理方法;传统方法;现代方法中图分类号:V231.92文献标识码:A国家标准学科分类代码:590.25Review of vibration signal processing methodsLi Shunming 1,Guo Haidong 1,Li Dianrong 2(1.College of Energy and Power Engineering ,Nanjing University of Aeronautics and Astronautics ,Nanjing 210016,China ;2.Weifang Xiaotuo Tractor Co.,Ltd ,Weifang 261000,China )Abstract :Vibration signal processing method has been an active research topic all the time ,and the equipment vibra-tion monitoring and fault diagnosis are crucial.Though the vibration signal processing methods developed fast in re-cent years ,they still need to be improved and optimized.Some typical approaches referring to recent literatures are classified and summarized in this paper.The developments ,features and applications are presented and discussed for amplitude domain analysis ,Fourier transform ,correlation analysis in traditional methods ,and Wigner-Ville distribu-tion ,spectral analysis ,wavelet analysis ,blind source separation ,Hilbert-Huang transform ,higher order statistics anal-ysis in modern methods.Finally ,we make a conclusion for this paper and an overview is made to guide the future de-velopment in this field.Keywords :vibration signal ;processing method ;traditional method ;modern method1引言信号是信息的载体,为了从实际测量的振动信号中提取各种特征信息,必须采取各种有效的振动信号处理方法进行分析,从而进行参数检测、质量评价、状态监测和故障诊断等,因此振动信号的处理方法已成为科学研究的热点之一[1]。
ieee tac 几篇全文共四篇示例,供读者参考第一篇示例:IEEE Transctions on Automation Science and Engineering 是一本关于自动科学和工程的权威期刊,它涵盖了广泛的领域,如自动化系统,控制理论,机器学习,优化,计算机视觉,传感器网络等。
在这篇文章中,我们将介绍几篇在该期刊上发表的精彩论文,展示了该领域最新的研究成果和发展趋势。
第一篇论文是《A Survey on Industrial Internet of Things: A Cyber-Physical Systems Perspective》。
这篇论文由业界知名学者撰写,针对工业物联网(IIoT)进行了详细的调查和分析。
IIoT 是将智能设备、传感器和互联网技术融合在一起,实现工业系统的实时监测和控制。
论文从网络结构、数据安全、实时性能等多个方面对IIoT 进行了全面的介绍和评估,为研究人员和工程师提供了重要的参考和指导。
第二篇论文是《Event-Triggered Control for Multi-Agent Systems: A Brief Overview and Recent Advances》。
这篇论文介绍了事件触发控制在多智能体系统中的应用和发展。
传统的时间驱动控制方法可能会导致系统资源的浪费和能耗的增加,而事件触发控制可以根据系统状态的变化主动触发控制器的更新,实现更有效的控制。
论文总结了事件触发控制的基本原理和设计方法,并介绍了最新的研究成果和应用领域,为多智能体系统的控制提供了新的思路和方向。
第三篇论文是《Deep Reinforcement Learning for Robot Manipulation: A Survey》。
这篇论文涵盖了深度强化学习在机器人操作中的应用和研究进展。
机器人操作是自动化科学和工程领域的重要应用领域,深度强化学习可以帮助机器人根据环境反馈和奖励信号学习最优的控制策略。
第28卷 第5期2002年9月自 动 化 学 报ACT A AU T OM A T ICA SIN ICA V ol.28,N o.5Sept.,2002 综述与评论独立成分分析方法综述1)杨竹青 李 勇 胡德文(国防科技大学机电工程与自动化学院 长沙 410073)(E -mail :dw hu @nudt .edu .cn )摘 要 对ICA 方法的原理和应用进行了综述.首先,概要叙述ICA 的产生背景和发展前景,简要介绍和评述了ICA 的定义、分类以及算法.然后,对I CA 在语音信号分离、生物医学信号处理、金融数据分析、图像噪声消除以及人脸识别等方面的实际应用进行了讨论.关键词 独立成分分析方法,投影法,定点算法,盲源信号分离中图分类号 T P 141)国家基础研究重大项目前期研究专项基金、国家“863”计划基金、中国科学院模式识别国家重点实验室基金、中国科学院青年科学家创新小组基金资助收稿日期 2001-04-28 收修改稿日期 2001-10-08INDEPENDENT COMPONENT ANALYSIS :A SURVEYYANG Zhu-Qing LI Yong HU De-Wen(Colleg e of M echatronics E ngineering and A utomation ,N ational Univ ersity of Def ense Technology ,Changsha 410073)(E -mail:dw hu @)Abstract T he principle and applications of t he Independent Component A nalysis (ICA )are surveyed.First ly,t he background and the development prospect s of ICA are described and t he def init ion ,classificat ion and algorithms of ICA are brief ly intro-duced and evaluat ed.T hen,it is discussed the ICA 's applicat ions such as in speech signal separation ,biomedical signal processing ,f inancial data analysis ,image denois-ing,face recognit ion and so on.Key words ICA ,projection pursuit ,fixed-point algorit hm,blind source separation 1 引言假想一下,在一个房间里的不同位置放着两个麦克风,同时有两个人说话.两个麦克风能同时记录下两个时间信号,如果仅用这两个记录的信号来估计出原来的两个语音信号,那将是一件非常有意义的事情,这也就是所谓的“鸡尾酒会”问题.独立成分分析法(ICA)最初是用来解决“鸡尾酒会”问题.由于主成分分析(PCA)[1~3]和奇异值分解(SVD )[4]是基于信号二阶统计特性的分析方法,其目的用于去除图像各分量之间的相关性,因而它们主要应用于图像数据的压缩;而ICA 则是基于信号高阶统计特性的分析方法,经ICA 分解出的各信号分量之间是相互独立的.正是因为这一特点,使ICA 在信号处理领域受到了广泛的关注.随着近年来在ICA 方面研究兴趣的增加,使它在许多领域也有了非常有趣的应用.2 独立成分分析法2.1 ICA 定义ICA [5~10]是近几年才发展起来的一种新的统计方法.该方法的目的是,将观察到的数据进行某种线性分解,使其分解成统计独立的成分.最早提出ICA 概念的是Jutten 和Her-ault [5],当时他们对ICA 给出了一种相当简单的描述,认为ICA 是从线性混合信号里恢复出一些基本的源信号的方法.为了给ICA 下一个严格的定义[6,7],这里需要使用一个隐藏的统计变量模型x =A s (1)式(1)中的统计模型称为独立成分分析,或者ICA 模型,它表示被观察到的数据是如何由独立成分混合而产生的.独立成分是隐藏的变量,意味着它不能直接被观察到,而且混合矩阵也被假设为未知的.所有能观察到的仅仅只是随机向量x ,必须估计出A 和s ,而且必须在尽量少的假设条件下完成它.ICA 的出发点非常简单,它假设成分是统计独立的,而且还必须假设独立成分是非高斯分布的.统计独立的概念将在下面给出定义,为了简单起见,还得假设未知的混合阵为方阵.如果能计算出A 的逆W ,这样独立成分可由下式得到s =W x (2)式(1)中的ICA 模型存在如下的两个不确定性因素:(i)不能确定独立成分的方差;(ii)不能确定独立成分的顺序.ICA 方法与盲源信号分离(BSS )方法非常接近.这里“source ”指的是原始信号即独立成分,像“鸡尾酒会”问题上的说话者;“blind ”指我们对混合阵几乎未知,对原始信号进行很少的假设.给定M 个混合信号,ICA 能同时估计出M 个成分[11]或K ≤M 个成分[12],ICA 有可能是BSS 中用得最广泛的一种方法.在许多实际应用中,模型中都含有噪声.但为了简单起见,在模型中我们将忽略噪声的影响,有噪声的ICA 见文献[13,14].由于统计独立是ICA 方法的前提,在开始讲述ICA 模型估计的方法前,首先将给出独立的确切定义.2.2 独立性定义学术上,独立性的定义由概率密度[15]来定义.如果定义两个随机变量y 1和y 2是独立的,当且仅当联合概率密度可按下式分解:p (y 1,y 2)=p 1(y 1)p 2(y 2)该定义可扩展到n 个随机变量,这种情况下联合密度是n 个随机变量的乘积.该定义对独立的随机变量可衍生一个重要的特性:给定两个函数h 1和h 2,总是有E {h 1(y 1)h 2(y 2)}=E {h 1(y 1)}E {h 2(y 2)}由于随机变量的概率密度一般都未知,从而从概率的角度来度量独立存在着一定的难度,因此我们建议采用上面这种方法.而在文献[16]中,则是从另外一种角度来理解独立的概念.对两个随机变量x 和y ,如果Co v (x ,y )=E [xy ]-E [x ]E [y ]=0,那么x 和y 不相关;如果E [x p y q ]-7635期 杨竹青等:独立成分分析方法综述764自 动 化 学 报 28卷E[x p]E[y q]=0,p和q对任何整数都成立,那么x和y统计独立.从上面的推导可知,如果x和y独立,那么它们一定不相关;相反,如果x和y不相关,则并不意味着它们是独立的.因为独立即意味着不相关,因此总是给定独立成分的不相关估计.这样不仅减少了参数数目,而且简化了问题.由此可得出,这两种对独立的定义方法是相通的.只不过文献[16]依赖于对相关性的定义,它是理解独立这个概念更直观、更简便的一种方法.2.3 ICA和投影法ICA和投影法是分离混合物为单个独立成分的两个相关的方法.投影法(Projection Pursuit)[17~20]也是统计学里发展起来的一种方法,它的目的是为多维数据找到有意义的投影.这种方法可用来对数据进行最优化,例如密度估计.在最基本的1-D投影法里,尽量找到这样的方向使数据在该方向上的投影具有有意义的分布.一般来说,所有非高斯测量及相应的ICA算法都可称作投影法的算法,特别是,投影法允许独立成分比原来的变量少.假设独立成分所张成的空间没有充满高斯噪声,计算非高斯投影的方向,实际上是估计的独立成分;当所有的非高斯方向都被找到时,所有的独立成分实际上也已经被估计完了,这种程序可称为投影法和ICA的混合.然而我们应看到,投影法并没有关于独立成分的数据模型和假设.如果ICA模型成立,ICA非高斯测量的优化将产生独立成分;如果模型不成立,那么所得到的为投影法的方向.在文献[16]中投影法的假设条件是:任何有限个源信号的线性混合信号是高斯分布的,而源信号则是非高斯分布的.投影法抽取信号的方法是:从线性混合信号里找到一种变换,这样抽取的是非高斯信号.显然,统计独立假设是暗含在源信号是非高斯假设里的,因此投影法和ICA是基于相同的假设,且这种假设是与物质世界的时空观一致的.不同的是,投影法一次只能抽取一个信号,而ICA可同时抽取一系列信号.2.4 ICA的分类近年来fMRI成像技术日趋成熟,ICA是一个从其他生理和非自然成分中,决定与任务相关的激活区的方法.它的每个成分由一个固定的三维空间分布的脑体素和一个相关的激活时间序列组成,ICA的两种互为补充方法(sICA和tICA)可以将一个图像序列分解成一系列图像和相应的一系列时变的图像幅度.tICA[11]产生了一系列独立的时间序列和相应的一系列不受限制的图像.独立时间序列被抽取,是将图像(相对每个时间点)放在x的列中,N个像素中的每一个作为独立的麦克风或混合信号,每个混合信号由T个时间点组成.sICA[21]产生了一系列相互独立的图像和相应的一系列不受限制的时间序列.代替将图像放在x的列中,sICA将每幅图像放在x的行中.在这种情况下,每幅图像的像素值相对其它的图像来说是独立的.严格的来讲,无论是sICA还是tICA,都是在牺牲物理上不可能实现的形式来满足对成分独立的限制条件.stICA[22]则将独立成分和它们相应的信号放在同等重要的位置上,它同时最大化空间和时间上的独立度,即stICA在相互独立的图像和相互独立的时间序列上采取了一种折衷的方法.3 ICA估计原理当前估计ICA模型的主要方法有非高斯的最大化、互信息的最小化、最大似然函数估计(ML ).3.1 非高斯的最大化在大多数经典的统计理论里,随机变量被假设为高斯分布.概率论里一个经典的结论——中心极限定理表明,在某种条件下,独立随机变量的和趋于高斯分布,独立随机变量的和比原始随机变量中的任何一个更接近于高斯分布.为简单起见,假设所有独立成分都有相同的分布.为了估计其中的一个独立成分,考虑x i 是y =w T x =∑iw i x i的线性组合,这里w 是一个待定的向量.如果w 是A 的逆中的一行,这个线性组合实际上将等于一个独立成分.问题是怎样利用中心极限定理来确定w ?实际上,不能确切的确定w ,因为并不知道矩阵A .但是可以找到一个很接近的估计,这也就是ICA 估计的基本原理.将变量进行一下变换,定义z =A T w ,则有y =w T x =w T A s =z T s ,y 是s i 的一个线性组合,其权重由z i 给出.因为两个独立随机变量的和比原始的变量更接近高斯分布,所以z T s 是比任何一个s i 更接近高斯分布.因此可把w 看作是最大化非高斯w T x 的一个向量,这样的一个向量对应于z ,则有w T x =z T s 等于其中的一个独立成分!最大化w T x 的非高斯性,即可得到一个独立成分.实际上,在n 维空间最优化非高斯向量w 有两个局部最大点,相应的每个独立成分有两个即s i 和-s i .为找到几个独立成分,需要找到所有的局部最大点.这一点并不困难,因为不同的独立成分是不相关的.直接地讲,估计ICA 模型的关键是非高斯度量.在ICA 估计里为了使用非高斯性,因此对随机变量的非高斯性必须有一个定量的测量标准.现将非高斯性的测量方法综述如下.1)Kur to sis经典的测量非高斯方法是kurtosis 或称4阶累计量[23],y 的kurtosis 被定义为kurt(y )=E {y 4}-3(E {y 2})2(3)实际上,因为我们假设y 是单位方差,等式右边可简化为E {y 4}-3.对一个高斯分布y ,它的4阶矩等于3(E {y 2})2.对一个高斯随机变量来说,它的kurto sis 等于零;但对大多数非高斯随机变量,它的kurtosis 不等于零.Kurtosis 有正也有负,下高斯随机变量具有负的kurtosis,而上高斯随机变量则具有正的kurtosis.非高斯性的测量可以用kur to sis 的绝对值或kurtosis 的平方,值为零的是高斯变量,大于零的为非高斯变量.存在kurtosis 为零的非高斯变量,但这种情况相当的少.kurtosis 或它的绝对值,由于能从理论上用来作为解决ICA 问题时的最优化准则及计算和理论上的简单性,因此已经广泛地用于ICA 的非高斯的测量及其相关领域.计算上简单,是由于kur to sis 能用采样数据的4阶矩简单地进行估计;理论分析上简单,是由于下面的线性特性,即如果x 1和x 2是两个独立的随机变量,那么kurt(x 1+x 2)=kurt(x 1)+kurt(x 2)(4)和kur t(ax 1)=a 4kur t(x 1)(5)成立.这里a 是一个标量,这些性质由定义很轻易地得到证明.2)负熵(Negentro py )第二个非常重要的非高斯测量方法是负熵,它是基于信息理论上熵的概念.随机变量的熵可解释为给定观察变量的信息度,越随机,熵越大.实际上,在一些简单的假设条件下,熵就是指随机变量的代码长度,这在信息论[24]里有介绍.离散的随机变量Y 的负熵H 被定义为7655期 杨竹青等:独立成分分析方法综述H (Y )=-∑i P (Y =a i )log P (Y =a i )(6)这里a i 指Y 的可能值.这是个很好的定义,可扩展到连续的随机变量和向量,这种情况下称为微熵.随机向量y 的密度f (y )的微熵H 被定义为H (y )=-∫f (y )log f (y )d y (7)信息理论一个基本的结论是,在所有具有等方差的随机变量中,高斯变量的熵最大.这意味着熵能用来作为非高斯性的测量,分布明显的集中于某个值的熵很小.非高斯性测量中,高斯变量应该为零,而它总是非负.有人对熵的定义作了修改,称为负熵,定义如下:J (y )=H (y gauss )-H (y )(8)这里y gauss 是一个高斯随机向量,与y 有相同的协方差.由于上面提到的特性,负熵总是非负的.它为零的条件是当且仅当y 是高斯分布.使用负熵的问题是计算起来非常困难.因此,采用负熵的近似是非常有用的.3)负熵的近似如上所述,负熵的估计是很困难的,因此必须采取一些近似.这里介绍一些有较好特性的近似,它将在ICA 方法中使用到.近似负熵古典的方法是使用高阶矩,例如J (y )≈112E {y 3}2+148kur t(y )2(9)随机变量y 被假设为零均值、单位方差.然而,这种近似的有效性非常有限.特别是,这种近似对非鲁棒性非常敏感.为了避免这种问题,采用另外一种近似,这种近似是基于最大熵原理,下面给出一些性能较好的比较函数.一般来说,可得到如下的近似J (y )≈k i [E {G i (y )}-E {G i (v )}]2(10)这里k i 是一些正的常数,v 是零均值、单位方差的高斯变量.y 被假设为零均值、单位方差的变量,函数G i 是一些非二次函数.注意,即使在这种情况下,这种近似也是不精确的.在我们仅用非二次函数G 的情况下,这种近似变成了J (y )∝[E {G (y )}-E {G (v )}]2(11)在式(11)中明显的是基于矩的近似,如果y 是对称的,例如取G (y )=y 4,就能准确地得到式(11),即基于kurto sis 的近似G 1(u )=1a 1lo gcos a 1u , G 2(u )=exp(-u 2/2)(12)这里1≤a 1≤2为一些适合的常数.这样近似得到了负熵,它给出了古典的kurtosis 和负熵在非高斯性测量上的一种很好的折衷.它们概念上简单,计算起来快速,而且有很好的统计特性,尤其是鲁棒性.因此,在ICA 方法中我们建议使用这些比较函数.3.2 互信息的最小化对ICA 估计的另一种方法,是基于信息理论的最小化互信息.利用熵的概念,我们定义m 个随机变量y i (i =1,…,m )的互信息I 如下:I (y 1,y 2,…,y m )=∑mi =1H (y i)-H (y )(13)在随机变量间互信息是对相关性的一种自然测量.它总是非负的,当且仅当变量是统计独立的时候它才为零.因此,互信息考虑了变量的整个相关性结构,而不像PCA 和其他相关的方法一样,仅仅考虑了协方差.766自 动 化 学 报 28卷互信息能解释为熵的代码长度,当y i 的代码单独给出时,H (y i )给出了代码长度;当y 作为一个随机向量编码时(例如,所有的成分以同样的代码编码),H (y )给出了代码长度.互信息表明,代码的减少,是通过对整个向量编码而不是分离成分而得到的.总的来说,通过对整个向量编码可得到较好的代码.然而,如果y i 是独立的,它们相互间不提供任何信息,也能独立地对变量进行编码而并不增加代码长度.互信息一个重要的特性是,可以对线性变换y =W x 进行如下转换I (y 1,y 2,…,y n )=∑i H (y i)-H (x )-log det W(14)现在,如果我们限制y i 非相关和单位方差,则E {yy T }=W E {xx T }W T 表明:det I =1=(det W E {xx T }W T )=(det W )(det E {xx T })(det W T ),这意味着det W 是一个常数,而且由于y i 单位方差,熵和负熵区别仅在于一个符号,因此得到I (y 1,y 2,…,y n )=C -∑i J (y i)(15)这里C 是一个并不依赖W 的常数,表明负熵和互信息之间基本的关系.在信息论中,既然互信息是随机变量独立性的测量量度,那么可用它来作为找到ICA 变换的准则.在ICA 的定义中,随机向量x 在y =W T x 中是一个可逆变换,一旦W 被确定了,成分s i 的互信息也就被最小化了.很明显找到一个可逆矩阵W 最小化互信息,相当于找到了负熵最大化的方向.更精确地,它等同于找到1维子空间,这些子空间的投影有最大的负熵.严格地说,当估计互不相关时,通过最小化互信息来估计ICA 模型,相当于最大化非高斯估计的和.不相关这个约束条件在这里实际没必要,但为了大量简化计算,人为地采用了这种简单的形式.在随机变量间,互信息是对相关性的一种自然测量.它总是非负的,当且仅当变量是统计独立的时候它才为零.互信息考虑了变量的整个相关性结构,而不像PCA 和其它相关的方法一样,仅仅考虑了协方差.3.3 最大似然函数估计(ML )估计ICA 一个非常普遍的方法是最大似然估计.它与信息原理紧密相关,本质上它与最小化互信息是相同的.在无噪声的ICA 模型中可以直接定义似然函数[25],然后用最大似然函数的方法来估计ICA 模型.如果W =(w 1,…,w n )T ,等于矩阵A -1,对数似然函数采取如下形式[21]L =∑T t =1∑ni =1log fi (w T i x (t ))+T lo g det W (16)这里f i 指的是s i 密度函数(这里假设已知),x (t )(t =1,…,T )是x 的实现.log det W 来源于古典规则,该规则为了线性转换随机变量和它们的密度.一般来说,对任何具有密度p i 的随机向量x 和任何矩阵W ,y =W x 的密度由信息原理给出.另外一个相当于最大似然函数估计的方法是从神经网络的观点得到的[13,26],在具有非线性输出的神经网络中,它是基于最大化输出熵(或信息流).假设x 是该神经网络的输入,其输出为g i (w T i ),这里g i 是一个非线性标量函数,w i 是神经元的权向量,最大化输出的熵,我们得到L 2=H (g 1(w 1T x ),…,g n (w n T x ))(17)有些作者,像文献[22,27]已经证明了这个神奇的结论,即最大化网络熵原理.相当的条件是,要求用在神经网络中g i 的非线性选择为累积分布函数相对应的密度f i .如果g i 选择得7675期 杨竹青等:独立成分分析方法综述768自 动 化 学 报 28卷合适,就能估计出ICA模型.最大似然函数估计要求f i的密度必须估计准确[23,28,29],在任何情况下,如果关于独立成分特性的信息不准确,M L估计将给出完全错误的结论.因此,在使用M L估计时必须小心.相反,使用合理的非高斯测量将不会产生该类问题.4 ICA算法当前ICA算法简单地可分为两类:第一类[6,11,24,30~34],最大和最小化一些相关准则函数,这类算法的优点是对任何分布的独立成分都适合,但它们要求非常复杂的矩阵运算或张量运算,计算量非常大;第二类[7,10,15,33,34],基于随机梯度方法的自适应算法,该类算法优点是能保证收敛到一个相应的解,但其主要问题是收敛速度慢,且其收敛与否很大程度上依靠学习速率参数的正确选择.近两年来又出现了一种快速ICA算法(FastICA),该算法是基于定点递推算法得到的.它对任何类型的数据都适用,同时它的存在对运用ICA分析高维的数据成为可能,目前我们正用该算法对fM RI数据进行分析.对已经存在的ICA算法来说,FastICA有许多优良的特性.・在ICA数据模型的假设下,FastICA收敛速度是3次的(或至少是2次的).而普通的ICA算法收敛速度仅仅是线性的.FastICA算法的收敛速度之快,已经通过仿真试验得到了证实(见文献[35]).・与基于梯度的算法相比,它不需要选择步长.这表明该算法易于适用.・FastICA算法直接找到了任何非高斯分布的独立成分,通过使用一个非线性函数g.相对其它许多算法来说,它们首先必须进行概率密分布函数的估计,然后才相应地进行非线性的选择.・FastICA算法的性能能通过一个合适的非线性函数g而使其达到最优.特别是,能得到具有鲁棒的或最小方差的算法,详细请见文献[10].・独立成分能一个一个的估计,这在探索性数据分析里非常有用,如果仅需估计一些独立成分时,它可极大地减少计算量.・FastICA算法具有很多神经算法里的优点:并行的,分布的,计算简单,要求内存小.而随机梯度法却只有在环境改变很快时才显出其优越性.Bell的ICA算法[11]采用fM RI数据在一台A lphaserver2100数字计算机上运行,需要用时大约60分钟;而同样的数据用Comon[6]的ICA算法在同样的计算机上进行计算,则耗时达390分钟之久.可见,适当的选择算法会大大地提高实验效率.随着新的解剖和功能图像方法的来临,从活人的大脑收集大量数据已成为了可能.与之相适应,未来的ICA算法预计将向省时、省内存方面发展.5 ICA的应用ICA的主要应用是特征提取[3,34]、盲源信号分离[23,32]、生理学数据分析[21,22,36~39]、语音信号处理[40]、图像处理[41]及人脸识别[42]等.在这部分,我们综述一下ICA的主要应用范例.4.1 在脑磁图(MEG )中分离非自然信号脑磁图是一种非扩散性的方法.通过它,活动或者脑皮层的神经元有很好的时间分辨率和中等的空间分辨率.作为研究和临床的工具使用M EG 信号时,研究人员面临着在有非自然信号的情况下提取神经元基本特征的问题.干扰信号的幅度可能比脑信号的幅度要高,非自然信号在形状上像病态信号.在文献[36]中,作者介绍了一种新的方法(ICA )来分离脑活动和非自然信号.这种方法是基于假设:脑活动和非自然信号(像眼的运动或眨眼或传感器失灵)是解剖学和生理学上的不同过程,这种不同反映在那些过程产生的磁信号间的统计独立性上.在这之前,人们用脑电图(EEG )信号进行过试验[37],相关的方法见文献[43].试验结果表明,ICA 能很好地从M EG 信号里分离出眼运动及眨眼时的信号,还能分离出心脏运动、肌肉运动及其它非自然信号.FastICA 算法是一个很合适的算法,因为非自然信号的去除是一个交互式的方法,研究者可以很方便地选择他所想要的独立成分的数目.除了减少非自然信号外,ICA 还能分解激活区[38],使我们直接访问基本的脑功能成为可能.这一点在神经科学的研究领域将很可能起非常重要的作用,我们也正从事将ICA 运用到fM -RI 数据分析这方面的工作.4.2 在金融数据中找到隐藏的因素将ICA 用在金融数据中是一个探索性的工作.在这个应用中存在许多情况(并行的时间序列),例如流通交易率或每日的股票成交量,这里存在一些基本的因素,ICA 可以揭示一些仍隐藏着的驱动机制.在近年来的证券研究中,人们发现ICA 是对PCA 的一种补充工具,它允许数据的基本结构能更轻易地观察得到.在文献[44]中,将ICA 用在了不同的问题上,属于同一个销售链的商店的现金流量,尽量找到对现金流量数据有影响的一些基本因素.对独立成分的假设有可能不现实,例如假期和年度的变化,顾客购买力的变化,政府和经营策略(像广告)等等因素,通通假设它们之间是相互独立的.通过ICA ,利用现金流量时间序列数据,能分离出一些基本的影响因素和它们的权重,并且以此还能对商店进行分组.对于试验和解释,详细情况请参见文献[44].4.3 自然图像中减少噪声第三个例子是为自然图像找到ICA 过滤器.它是基于ICA 分解,从被高斯噪音污染的自然图像中去掉噪声.文献[45]采用了一些数字的自然图像,向量x 代表了图像窗口的像素(灰度)值.注意,相对前面的两个应用,这次考虑的不是多值的时间序列或图像随时间而改变,相反元素x 已经由图像窗口的位置固定不变了.采样窗口采样的是随机位置,窗口的2-D 结构在这里并不重要,一行一行的扫描整幅图像使其变成像素值的向量.实验结果发现,没有经过边界的模糊及锐化操作,窗口的大部分噪声被去掉了,详细的情况参见文献[45].当前去噪声方式有许多,例如先作DFT 变换,然后在作低通滤波,最后作IDFT 恢复图像[46],这种方式不是很有效.较好的方法是近年来发展起来的小波收缩方法[46](它用到了小波变换)和中值滤波[46].但这些对图像统计量来说并没有很好的优越性.近年来又发展了一种统计原理的方法,叫稀疏代码收缩法[45],该方法与独立成分分析法非常接近.4.4 人脸识别人脸识别从20世纪70年代开始一直是一个很活跃而且很重要的研究领域,当时比较常用的方法是主成分分析(PCA )和本征脸.后来,Bartlett 和Sejnow ski 提议用ICA 来表示人脸.7695期 杨竹青等:独立成分分析方法综述。
第2章独立分量分析原理2.1 引言ICA是20世纪90年代发展起来的一种新的信号处理技术,它是从多维统计数据中找出隐含因子或分量的方法。
从线性变换和线性空间角度,源信号为相互独立的非高斯信号,可以看作线性空间的基信号,而观测信号则为源信号的线性组合,ICA就是在源信号和线性变换均不可知的情况下,从观测的混合信号中估计出数据空间的基本结构或者说源信号。
目前ICA的研究工作大致可分为两大类,一是ICA的基本理论和算法的研究,基本理论的研究有基本线性ICA模型的研究以及非线性ICA、信号有时间延时的混合、卷积和的情况、带噪声的ICA、源的不稳定问题等的研究。
算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类,从原理上来说,它们都是利用了源信号的独立性和非高斯性。
各国学者提出了一系列估计算法。
如FastICA算法、Infomax 算法、最大似然估计算法、二阶累积量、四阶累积量等高阶累积量方法。
另一类工作则集中在ICA 的实际应用方面,已经广泛应用在特征提取、生物医学信号处理、通信系统、金融领域、图像处理、语音信号处理等领域,并取得了一些成绩。
这些应用充分展示了ICA的特点和价值。
本章首先了介绍了ICA原理;接着简单阐述了ICA的发展历史;因ICA涉及到很多数学知识,为更好地理解ICA的原理及算法,与ICA密切相关的概率、统计、信息论等数学知识亦得到了简要阐述;最后介绍了ICA中独立性度量的几种方法。
2.2 独立分量分析的定义2.2.1独立分量分析的线性模型因为ICA是伴随着盲信号分离(Blind Signal Separation, BSS)问题发展起来的,所以BSS问题的介绍,有助于对ICA的理解。
(1)盲信号分离问题[24][25]BSS问题是信号处理中一个传统而又极具挑战性的课题。
BSS是指仅从观测的混合信号(通常是多个传感器的输出)中恢复独立的源信号,这里的“盲”是指:1.源信号是不可观测的;2.混合系统是事先未知的。
盲源分离问题综述 摘要:盲源分离,是从观测到的混合信号中恢复不可观测的源信号的问题。作为阵列信号处理的一种新技术,近几年来受到广泛关注。本文主要阐述了盲源分离问题的数学模型、典型算法以及盲源分离的应用,并结合盲源分离问题的研究现状,分析了其未来的发展方向。 主题词:盲源分离;盲源分离的典型算法
1. 引言 盲信号分离问题起源于人们对“鸡尾酒会”问题的研究。 在某个聚会上,我们正在相互交谈,同一时刻同一场景下其他人的交谈也在同时进行着,可能还有乐队的音乐伴奏,这时整个会场上是一片嘈杂。但是非常奇妙的是,作为交谈对象的双方,我们能够在这混乱的众多声音中很清晰的听到对方的话语,当然,如果我们偶尔走神,将精力放在乐队奏出的音乐时,我们也同样可以听清楚音乐的主旋律。这种可以从由许多声音所构成的混合声音中选取自己需要的声音而忽视其他声音的现象就是鸡尾酒会效应。如何在这种从观察到的混合信号中分离出源信号的问题就是所谓的盲分离(Blind Signal Separation, BSS)问题,有时也被称为盲源分离(Blind Source Separation)问题。1986年,法国学者Jeanny Herault和Christian Jutten提出了递归神经网络模型和基于Hebb学习律的学习算法,以实现两个独立源信号混合的分离,这一篇开创性论文的发表使盲源分离问题的研究有了实质性的进展。随着数字信号处理理论和技术的发展以及相关学科的不断深入,大量有效的盲分离算法不断被提出,使盲分离问题逐渐成为当今信息处理领域中最热门的研究课题之一,在无线通信、图象处理、地震信号处理、阵列信号处理和生物医学信号处理等领域得到了广泛的应用。
2. 盲源分离问题的数学模型 盲源分离是指在不知道源信号和信道传输参数的情况下,根据输入信号的统计特性,仅由观测信号恢复出源信号各个独立成分的过程。盲源分离研究的信号模型主要有三种:线性混合模型、卷积混合模型和非线性混合模型。
2.1 线性混合模型 线性混合模型在神经网络、信号处理等研究中常常用到,其数学模型描述为: 𝑆1(𝑡),𝑆2(𝑡) … 𝑆𝑛(𝑡)是一个随机的时间序列,用m个话筒表示接收到的混合信号,用𝑋1(𝑡),𝑋2(𝑡) … 𝑋𝑚(𝑡)来表示。它们有如下关系:
{𝑋1(𝑡)=𝑎11𝑆1(𝑡)+⋯+𝑎1𝑛𝑆𝑛(𝑡)…𝑋𝑚(𝑡)=𝑎𝑚1𝑆1(𝑡)+⋯+𝑎𝑚𝑛𝑆𝑛(𝑡)
其中{𝑎𝑖𝑗}是未知的混合系数,在线性瞬时混合中,一般假定{aij
}是未知的常数矩阵。盲源分
离需要解决的问题就是如何从接收到的观察信号中估计出源信号𝑆1(𝑡),𝑆2(𝑡) … 𝑆𝑛
(𝑡)和混
合矩阵的过程。实际上式还应该存在一个干扰存项,如果考虑到噪声的存在,那么上式可以推广到更一般的情况,即为: X(t)=AS(t)+n(t) X(t)= (𝑋1(𝑡),𝑋2(𝑡) … 𝑋𝑚(𝑡))为接收到的m维随机向量,又称为观察向量,也是唯一可以利用的条件,S(t)= (𝑆1(𝑡),𝑆2(𝑡) … 𝑆𝑛
(𝑡))是n维独立的源信号组成的向量,又称为隐含
向量,因为它们是未知的观察不到的向量,有时也称为独立分量,n(t)为噪声向量,A是{𝑎𝑖𝑗}系数组成的混合矩阵。 盲分离问题就是求得一个分离矩阵W,通过W就可以仅从观察信号X(t)中恢复出源信号S(t)。设y(t)是源信号的估计矢量,则分离系统可由下式表示: Y(t)=WX(t)
2.2 卷积混合模型 考虑到延迟和滤波的混迭信号的线性混合,这通常被称为卷积混合,其数学模型描述为: Y(t)=∑𝑊(k)x(t−k)∞𝑘=−∞ 因为传输的延时以及接收系统频响的差异,瞬时混合系统盲分离算法一般不能够处理卷积混合问题。一类很有研究前景的方法就是频域盲源分离算法,利用频域算法可以提高BSS方法的收敛速度和学习速度,另外时域卷积问题可以变换为频域相乘问题。
2.3 非线性混合模型 非线性混合是一种研究最为广泛的模型,即将源信号线性混合后再通过一个非线性函数得到观察信号,其数学模型描述为: Y(t)=f(Z(t))=f(AS(t)) 求解时首先寻找一个非线性函数g(t),使得g(t)=f−1(t),即非线性的校正阶段,然后同
线性瞬时混合的盲分离求解一样寻找一个分离矩阵从而求得源信号的近似。
3. 盲源分离问题的典型算法 3.1 H-J算法 Herault和Jutten可能是最早对盲源分离问题进行研究的,他们引进了仿神经的算法,是一种逐步调整权重的神经网络。
图一 H-J算法仿神经网络 由图可知,Y(t)= X(t)- WY(t),即Y(t)=(I+W)−1X(t),算法的实质就是引入了信号的
高阶统计信息,不过由于学习每一步过程中都要对矩阵(I+W)求逆,导致运算量增加。H-J算法中非线形函数的选取具有随意性,在理论上没有给出令人满意的收敛性证明,但是在实际应用中的收敛性相当不错。不过需要注意的是H-J算法仅用于观察信号数目与源信号数目相同的情况下,仍然具有一定的局限性。 3.2 最大熵算法 从信息理论角度来考虑,盲信号分离问题就是一个以分离系统最大熵为准则,利用神经网络或自适应算法,通过非线性函数来间接获得高阶累积量的过程。这种方法的思想就是当神经元输出Z的各个分量𝑧𝑖相互独立时,其熵最大,所以这种方法又称为最大熵算法。 Bell和Sejnowski的这种方法是将Linskers的信息传输最大化理论推广到非线性单元来处理任意分布的输入信号。这一原理具体内容如下:假设信号通过S型函数传输时,如果该S型函数的斜率部分与信号的高密部分保持一致时,则可以实现信息的最大化传输。由最大熵原理可以知道,当输出熵最大时,互熵也最大,即有最多的信息通过了可逆变换从输入端传输到输出端。这时输入变量的概率密度函数和可逆变换G之间的关系由Linsker的最多信息原理(Infomax Principle)描述:当函数G的最陡部分与输入变量的最陡概率部分向重合时,最大的信息从输入端传导了输出端。
图二 最大熵算法网络结构示意图 对于最大熵算法所处理的最基本的问题就是要使得一个神经网络处理单元的输出Y(t)中包含的关于其输入X(t)的互信息最大。这个算法只能够分离出超高斯信号的混合,这个限制的重要原因是在算法中使用了非线性函数log,非线性函数是log就相当于强加一个先验知识超高斯分布给源信号。
3.3 最小互信息算法 最小互信息(Minimum Mutual Information, MMI)的基本思想是选择神经网络的权值矩阵W,使得输出Y的各个分量之间的相关性最小化。这里的信号间的相互依赖关系可以用Y的概率密度函数及其各个边缘概率密度函数的乘积间的K-L散度来表示。在使用互信息作为信号分离的代价函数时,对输出的各个分量无需使用非线性变换这种预处理手段。由随机梯度算法得到: 𝑑W(t)𝑑𝑡=𝜂(𝑡){𝑊−𝑇−𝜙(𝑌)𝑥𝑇
其中𝜂(𝑡)为学习率,𝜙(𝑌)函数的选取与独立元的本身性质有关。函数𝜙(𝑌)的选取对于整个算法的性能有很大的影响,如果知道了真正的概率密度函数,最好的选择就是使用它们,但是实际中我们很难知道这些知识,只能够进行概率密度的自适应估计,所以对这个关键的非线性函数进行研究,也是一个值得关注的问题。
3.4 最大似然算法 最大似然估计(Maximum Likelihood Estimation, MLE)是利用已经获得的观测样本来估计样本的真实概率密度。具有诸如一致性、方差最小性以及全局最优性等很多优点,但是最大似然估计需要知道关于输入信号概率分布函数的先验知识,这是很难满足的,所以必须尽量避开它。最大似然估计首先是由Girolami和Fyfe于1996年提出用于盲分离问题,而Pearlmutter和Parra从最大似然估计推导出通用的ICA学习规则。目前,最大似然算法是解决盲分离问题的一个非常普遍的方法。通过推导可以得到标准化的最大似然函数: L (x1,x2,…xn;𝜃)=∫𝑝𝑥(𝑥)𝑙𝑜𝑔𝑝𝑥(𝑥;𝜃)dx =−𝐷𝑝𝑥(𝑥)||𝑝𝑥(𝑥;𝜃)−H(𝑝𝑥(𝑥)) 由此式我们可以发现最大似然函数是由Kullback-Leibler散度和熵值得到的,而第二项的熵不依赖于参数,相当于一个常数项。Cardoso将上式转化为一个盲源分离问题:px
(x)为x
的概率分布函数,混合信号由X=AS给出,θ=A为所要求的未知的混合矩阵,参数集Θ是一组可逆的N×N的矩阵。这样由上式可以得到最大似然估计的代价函数就变成 𝜙𝐿=−𝐷𝑝𝑥(𝑥)||𝑝𝑥(𝑥;𝜃)
3.5 独立分量分析算法(ICA) 信号经过变换后,使不同信号分量之间的相关性最小化,并尽可能相互统计独立。目前已经有很多有效的在线ICA算法,如自然梯度算法、EASI算法、广义ICA算法、灵活ICA算法和迭代求逆ICA算法等。这些算法都可归类为最小均方算法(LMS),但LMS型算法存在收敛速度和稳态性能之间的矛盾,一般有如下几种典型的独立分量分析算法。 1.快速定点算法(FastICA) FastICA算法基于非高斯性最大化原理,使用固定点迭代理论寻找𝑊𝑇X 的非高斯性最大值。该算法采用牛顿迭代算法,对观测变量X的大量采样点进行批处理,每次从观测信号中分离出一个独立分量,是一种快速的寻优迭代算法。FastICA算法适用于任何非高斯信号,具有良好的收敛性(二次收敛) ,同时不需要选择学习步长。但该算法只能以批处理的方式进行,不适合实时应用的需要,而且随着信号源个数的增加,算法性能会明显变差。算法的梯度公式如下: ∆W = diag (𝛼𝑖){diag (𝛽𝑖)+E[g(y)𝑦𝑇] W
式中: αi=-1βi+E[g′(yi)]; βi= - E[yi
g′(yi)]。
2.自然梯度算法 由于分离矩阵的变化空间是黎曼空间,而自然梯度∂J( y;W )∂WWTW是随机梯度∂J( y;W )∂W在黎曼空间的扩展,所以自然梯度更真实地反映了最速下降方向,同时由于右乘正定矩阵消去了矩阵求逆运算,因此自然梯度算法在收敛速度和稳定性方面都较随机梯度有所改善。梯度公式如下: ∆W =μ[I - g ( y)yT]W,式中:μ为学习步长 3.等变化自适应算法( EASI)
EASI算法用相对梯度∂J( y;W )∂W代替一般的随机梯度进行优化计算,是一种将白化过程和去
除高阶相关过程同时进行的一种具有等变化性的算法。但是EASI算法需要选取学习率参数,且其选取是否合适直接影响算法的收敛性能,且其对于超高斯信号的收敛速度没有递归最小二乘(RLS)算法快。其梯度公式如下: ΔW =μ[I - yyT + g ( y) yT- ygT( y)] W