Variable Step-Size Sign Natural GradientAlgorithm for Sequential Blind Source Separation
变步长自然梯度盲源分离文献翻译
姓名：郭风英
学号：200713502207
班级：074-2
院系：光电信息科学技术学院
指导老师：欧世峰
变步长自然梯度盲源分离 摘要：本篇文献主要讲述变步长自然梯序列的独立源信号分离算法。自适应分离模型算子直接利用传统的时变微分分离模型算子。变步长也是为了更好的与不断变化的输入信号和不混迭矩阵匹配，此符号分离算法的优点在于问题的解决简单，实验证明此算法的收敛速度无论在稳定环境和不稳定的环境都优于传统的自然梯度算法。
索引关键词—自适应步长、自然梯度、自然梯度、盲源分离序列、符号算法。
一简介
盲源分离算法是在未知混迭信道的任何信息的情况下从已观测的信号中分离隐藏的未知源信号，此算法在通信和信号处理每个领域中都有应用参考文献1。假设有n 个未知的统计独立的零均值
信号且最多只有一个服从高斯分布∈n s R ,通过未知的混迭信道
()?∈≥m n A R m n ，m 个混迭信号组成m x R ∈,可建立模型x As e =+，其中e 是可能的噪声信号，为简单起见此篇文献中忽略此噪声。盲源分离得目的在于在只有给定的观察的混合信号中
分离源信号，分离模型为y Wx =，其中n y R ∈，是对已知序列
的估计，n m W R ?∈
是分离矩阵，常规的盲源分离的重要假设是源信号时统计独立的，在这里我们进一步假设源信号是向量变量，且源信号的个数n 与观
测到的信号个数m相等,而这正是问题的关键所在，为了恢复源信号，我们在分离模型中经常要用不混迭矩阵去分析与之相反的混迭过程。在本篇文献中，尤其关注向量组序列的分离，图1是序列的盲源分离的方框图。
分离系数W(k)会根据Y(k)的反馈量而不断变化，传感器信号X(k)传递
到算法中来估算源信号即Y(k)，与基于盲源分离算法的方框图相比，
序列分离算法的优势在于实现简单而且在不稳定的环境中有巨大的追
踪力参考文献[2]，研究的重点是自然梯度算法参考文献[1]，仍在不
断
完善的离散时间分离矩阵等式可表示为：
其中k是离散时间指数，u是正参数即步长因子，I是单位矩阵，Q(k)表示如下：
输出载体()y k 是一个非线性奇函数()()f y k 的行为要素，()?T 是失量转换载体。
当学习步长参数取常数时，自然梯度算法存在收敛速度和稳态性能之间的矛盾:步长小，算法的稳态性能好，但算法收敛慢；反之，则收敛快，但稳态性能差。解决上述矛盾的最简单做法是令学习速率随时间递减，另一类做法是采用自适应步长参数。但这些算法的自适应步长取决于辅助变量，而与分离输出之间的分离状态无关。本文提出了变步长符号自然梯度算法，该算法的控制参数为分离矩阵状态的一种测度，以自动控制算法的收敛和跟踪。 二符号自然梯度算法
在本节中，我们考虑使输出载体以()y k 的标准化作为()Q k 的对角线条件。从而导致符号运算的要素的()Q k 的结果限制了规范的矩阵()W k 。我们希望这在适用中将形成更健全的鲁棒性。对于数学表述，让我们考虑用一个连续动态系统
()()()()()()()()(),μ?=-?∏T J y t W t d W t W t y t W t dt W t (3)
矩阵()J ?是从自然梯度算法中推导而来的一个成本函数，()y ∏是一个对角矩阵的正项元素。方程可被视为标准自然梯度算法的延长，因为是()y I =∏的结果。由一个简单的微分矩阵的计算，我们获得
()()()()() ()()()()()()1μ-??=-???∏∏∏T d W t y t I y t f y t y t y t W t dt （4） 其中 ()f y 项的向量的非线性激活函数。 定义()()()()()()1-=∏y t f y t f y t 和()()()μμ=∏y t t 我们必须
()()()()()()()()μ??=-??∏T d W t t I f y t y t y t W t dt （5） 由（5）和（1），我们得
()()()()()∏ T Q t f y y t y t （6）
由()i i f y 指出i y ，1,...,=i n ，()f y 和y 的条目，还有πij ，∏的组成元
素，()Q t 的组成元素可以写成
()()π=ij i i i jj q t f y y
（7）
如果πjj 利用j y 取得其非正规化格式，那么（6）可减少
()()()()???? T Q t f y sign y t
（8）()1,0
1,00,0>??=-
（9）
这里（8）可被视为学习规则中讨论的一个中间形式。可能被引入正常化，此外，可能导致更快的收敛速度，因为由此产生的输出数据y 的符号激活函数的输出值规模越来越小，即()0,1∈i y 被设置为1±。另一方面，然而，这可以减少统计数据的准确性的适应过程，从而导致不准确的分离和相对增量失调。然而，这种效果并不明显，我们的模拟显示的。为了达到更好的折衷的收敛速度（计算复杂性）和模拟的分离性能，因为()Q t 组成部分我们建议使用不同的正常化计划。特别是∏其对角线元素不持有固定值，，但这些变化的根据()()f y t 和()y t 之间的联系和。也就是说，（7）的离散形式可重写为
()()()()()()()(),,i i i ij i i i f y k y k i j q k f y k sign y k i j ?=??≠?? （10）
利用克罗内克点乘 （矩阵元素的乘法，即来自两个单独的矩阵的相应元素之间对应相乘） ，我们有以下简明表达：
()()()()()Φ T Q k f y y k y k （11）
其中()()Φy k 来自∏和（10），即Φ的进入写作为
1
1,,?-=??=?≠??ij j i j y i j （12）
这里，（11）也可以写成
()()()()()()()()????+???? T T Q k diag f y k y k off f y k sign y k （13）
[]?diag 和[]?off 是分别获得对角和非对角元素基质的运作。
我们设计的适应过程中使用（11）和（1）的符号自然梯度算法（S-NGA ）。与自然梯度算法相比（2），符号算法（SA ）减少了计算的复杂性，即（2）中()1-n n 的乘法被简单的测试所取代，很容易执行。然而，对于每个k ，()Q k 的每个对角线元素不连续[见
（10）] ，这使得分析这种算法比()1更加困难。为便于分析，我们假设的内容有固定的值。因此，这是直截了当的，以表明，该算法的Lyapunov 稳定。注意到在（3
）中
))∏=T T W
W ，在
那里是一个对角矩阵，其对角线条目与∏的对角线元素的平方根相对应，与表明的,,γij ij w 和,,1,...,,?=ij i j n W
和()(
))??T J W 的元素，
我们由（3）获得
()()(),,?=?∑ij i j ij dw d J J y t W t dt w dt
,ik kj i j k ij J w ψγ?=-?∑∑
2,0ψ=-≤∑ik i k
（14） 在获得零当且仅当()0=dW t dt ，这意味着结果W 是（3）的一个平衡。随后的模拟研究和众所周知的优势正常化表明，稳定的符号自然梯度从包括如下的Lyapunov 分析。
三 变步长符号自然梯度
已被证明，与使用固定步长相比，这将限制收敛速度，该自适应步长算法改进了非平稳的环境的跟踪性能，即结果根据后输入信号的时变动态与基体分离已作调整。作为另一项贡献，因此，我们得出一个梯度自适应步长算法的自然梯度算法，该算法的步长调整的形式，
()()()()11μμμμμρ=-=--?k k k J k 变步长符号自然梯度
已被证明，与使用固定步长相比，这将限制收敛速度，该自适应步长算法改进了非平稳的环境的跟踪性能，即结果根据后输入信号的时变动态与基体分离已作调整。作为另一项贡献，因此，我们得出一个梯度自适应步长算法的自然梯度算法，该算法的步长调整的形式，
()()()()11μμμμμρ=-=--?k k k J k （15）
ρ是一个很小的常数，()J k 是一个来自已知自然梯度算法的成本函数瞬时评估。要继续，我们会使用[31]中定义的一个内积矩阵
(),=T C D tr C D （16）
?指内积，()?tr 是跟踪操作，,?∈m n C D R 。因此，开发（3.16），梯度长期在（3.15）的右边可被写为
()()1μμμ=-?k J k ()()()(),1J k W k W k k μ??=
??- ()()()(),1μ??=??-J k W k W k k （17）
此处
()()()()()(),???=--???T J k I f y k y k W k W k （18） 是()J k 的成本函数的自然梯度的瞬时估计，根据（3.1）分离矩阵W 在k 的表达式为
()()()()()()()11111μ??=-+----?-??T W k W k k I f y k y k W k （19）
从上述方程，我们有
()()()()()(),
1111μ???=----???-T W k I f y k y k W k k （20）
表一
四种算法复杂性的比
用（3.2）的符号，()Q k 在标准自然梯度算法中和标示
()()()Γ-???? k I Q k W k （21）
我们有
()()()()()11μμμ=-?=-ΓΓ-T k J k tr k k （22）
因此，自适应步长的形式（ 15 ）可以写成
()()()()()11T k k tr k k μμρ=-+ΓΓ- （23）
可估计的输入信号和分离化矩阵。值得指出的是（21）与（7）也有类似的形式，这是源于一个自适应源分离通过独立()EASI 算法
（6）。然而，由自然梯度算法间的不同的公式和EASI 算法，（18），
（20），和（21）的表达形式不同 。为了便于阅读，因此，我们用上文详述明确的衍生，而不是简单地提及。分离程序使用（1），（2），
（21），和（23）代表变步长符号自然梯度算法。
下面的一个类似的程序，在第二节中，见（6）和（11），并在这一节，见（18）和（20）。它是直截了当的，以获得一种自适应步长算法使用不同的正常化作为()Q k 的对角线元素。在这种情况下，()Q k 采取的形式是（11）。我们代表（1），（11），（21）和（23）作为变步长自然梯度算法的符号形式，即变步长符号自然梯度算法。欲了解更多实质性比较上述算法，我们终于确定其计算成本，并总结其所需业务（乘法和增补）在表一，从这个表中，观察到的符号自然梯度算法和与变步长符号自然梯度算法比自然梯度算法和简单。公平地讲，变步长自然梯度算法，实际上增加了计算成本，由于所需的额外计算的变步长。这表明，提高变步长自然梯度算法的收敛速度，在我们的模拟要牺牲额外计算。
四 数字实验
在第一个实验中，我们用随机产生的确定的2x2的方阵信号去确定
ρ=。混迭信号，所有的算法步长因子都设定为0.004，0.0001
图二给出不同算法的
零均值独立的高斯白噪声信号加到混合噪声中，信噪比为20dB 选取非线性激活函数f()?为3
f()
=,性能指数(PI)是系统矩阵
z z
G=WA的函数，用来估算算法性能：
其中和是G的元素。
如图2所示给出不同算法的收敛速度。从图中可以看出我们所提出的算法拥有最快的收敛速度。例如，限定步长收敛到0，S-NGA需要近2000个迭代点数，而NGA需要近3250迭代点。、示出我们可以将PI降低到0.02（接近完全分离）。对于自适应步长，收敛到零VS-S-NGA仅仅要求大约1050个迭代点，然而VS-NGS大约需要1700个点。很明显VS-S-NGA拥有最快的收敛速度，而这点正是序列分离算法中重要的一点。
在实验二中在不稳定的环境中检测不同算法的性能，在最后使用时变混迭矩阵如下
（26）
其中randn(size(A)，1)，randn(.)和size(.)均为matlab的函数
而且最初的A0设定为无效矩阵。A0和（24）中的相同。设定和
分别为0.9和0.001,其他参数和实验一中的相同。再一次分析不同算法的收敛能力，如下图
同样，我们可以看出我们所提出的算法的收敛能力在不稳定的环境下仍是最优的。本次实验同时还验证了变步长自然梯度算法和自然梯度算法有相同的属性，以及低的PI意味着好的分离性能。
上述两个图虽然最后都没能通过PI看出S-NGA和VS-S-NGA的大的差别，但是问题的关键是我们可以很明显看出本篇文献提出的算法的快收敛速度的优良性能。
五总结
盲信号处理是近二十年来在信号处理领域兴起的一个重要研究方向，而盲源分离则是其中实际应用潜力最大的一个分支。它是指在没有任何其它先验信息，对系统和输入未知的情况下，由系统的观测信号的统计特性来分离出源信号。它在通信、语音信号处理、
图像信号处理和医学信号处理等领域的广泛应用，使得它已成为信号处理领域近年来的研究热点之一。目前国际和国内对盲信源分离的研究仍处于发展阶段，新理论、新方法还在源源不断地涌现。
课程设计任务书 学生：专业班级：通信1103 指导教师：许建霞工作单位：信息学院 题目: 语音信号的盲分离 初始条件：Matlab软件、PC机 要求完成的主要任务:（包括课程设计工作量及其技术要求，以及说明书撰写等具体要求）设计任务 根据盲信号分离原理，用matlab采集两路以上的语音信号，选择合适的混合矩阵生成若干混合信号。选取合适的盲信号分离算法（如独立成分分析ICA等）进行训练学习，求出分离矩阵和分离后的语音信号。 设计要求 (1) 用matlab做出采样之后语音信号的时域和频域波形图 (2) 选择合适的混合矩阵，得到混合信号，并做出其时域波形和频谱图 (3) 采用混合声音信号进行训练学习，求出分离矩阵，编写出相应的确matlab代码。 (4) 用求出的分离矩阵从混合信号中分离出原语音信号，并画出各分离信号的时域波形和频谱图。 (5) 对结果进行对比分析。 时间安排：
指导教师签名：2014年 6 月10 日 系主任（或责任教师）签名：2014 年 6 月10 日 摘要 盲信号处理（Blind Signal Processing,BSP）是指从观测到的混合信号中，在没有任何先验条件的情况下，恢复出未知的源信号过程。盲信号分离已成为信号处理学界和通信工程学界共同感兴趣的一个极富挑战性的研究热点问题，并获得了迅速的发展。 盲分离根据信号源的不同可以分为确定信号盲分离、语音信号盲分离和图像盲分离等，本设计主要讨论语音信号的盲分离。 语音信号的盲分离主要是利用盲源分离（Blind Signal Separation,BSS）技术对麦克风检测到的一段语音信号进行处理，本文重点研究了以语音信号为背景的盲处理方法，在语音和听觉信号处理领域中，如何从混有噪声的的混叠语音信号中分离出各个语音源信号，来模仿人类的语音分离能力，成为一个重要的研究问题。根据盲信号分离原理，本设计用matlab采集3路语音信号，选择合适的混合矩阵生成若干混合信号。 具体实现主要结合独立分量分析ICA技术，选取混合矩阵对3个语音信号进行混合，并从混合信号中分离出原语音信号，最后画出各分离信号的时域波形和频谱图和原来的信号进行比较。此外还运用PCA算法进行了混合语音信号的分离实现，最终对两种算法进行比较。 关键字：盲信号处理；语音信号；盲源分离BSS；独立分量分析ICA技术
一、研究背景及意义 语音信号的分离近年来成为信号处理领域的一个研究热点，它在电话会议、助听器及便携设备、机器的语音识别方面有很多的应用与影响。而语音信号常使用盲信号处理的方法分离。 盲信号处理(Blind Source Processing)作为一种新兴的信号处理方法，逐步发展并得到了越来越多的关注。盲信号处理与现代信号处理朝向非平稳、非高斯、非线性的发展方向相吻合，有利于复杂信号的分析以及处理，其研究对象主要为非高斯信号。它在传统信号处理方法的基础上结合了信息论、统计学和人工神经网络的相关思想。如图1所示，所谓的“盲分离”是指在没有关于源信号本身以及传输信道的知识，对数据及系统参数没有太多先验知识的假设的情况下，如何从混迭信号(观测信号)中分离出各源信号的过程。它能适用于更广泛的环境，为许多受限于传统信号处理方法的实际问题提供了崭新的思路。 图1 盲分离的概念 在科学研究和工程应用中，很多观测信号都可以假设成是不可见的源信号的混合，如通信信号、图像、生物医学信号、雷达信号等等。例如经典的“鸡尾酒会”问题，在一个充满宾客的宴会厅里，我们每个人都会听到来自不同地方的声音，如音乐，歌声及说话声等，正常的人类拥有在这种嘈杂环境下捕捉到所感兴趣的语音的能力。可以看到，盲信号处理同传统信号处理方法最大的不同就在于用它致力于用最少的信息得到理想的处理结果。
盲信号分离可以有不同的分类方法。 根据所处理信号的不同，可以分为声纳信号盲分离，雷达信号盲分离，通信信号盲分离，语音信号盲分离，脑电信号盲分离等。 根据盲处理领域的不同，可以分为时域盲分离和频域盲分离。 根据传输信道的情况，可以分为无噪声，有加性噪声，有乘性噪声等。 根据源信号在传输信道中被混合方式的不同，可以分为瞬时混合，卷积混合，非线性混合等。 根据源信号和观测信号数目的不同，可以分为正定盲分离，欠定盲分离，过定盲分离等。 本文研究的主要内容是正定不含噪的卷积混合语音信号的频域盲分离 方法。 总的来说，盲信号分离是一种仅利用观测到的混合信号来估计源信号的方法，它是以独立分量分析(Independent Component Analysis,ICA)为理论基础的。与传统信号处理方法如FIR 滤波，小波分析等不同的是，它不要求有关于源信号本身以及信号传输通道的知识。受益于这种“盲”的条件，盲信号分离对多个领域有很大的促进作用，特别是它在声纳、雷达、通信、语音、图像等方面的应用对军事，国防科技的发展起着非常重要的作用。近十多年来，各国学者在盲信号分离领域展开了深入的研究，有了一系列的成果。本课题就是在这样的背景下对语音信号进行盲分离的研究，以探索新的算法，新的应用。 二、研究的基本内容，拟解决的主要问题 1.研究的基本内容 本课题详细研究语音分离的基本理论，重点研究卷积混合频域解法模型框架下的语音信号分离算法。 基于时域实值瞬时混合模型的盲分离算法已经研究的比较充分，但是在语音信号在现实中往往是卷积混合，而且在频域分离方法中信号是复值的，本文将研究利用复值信号特征的瞬时混合盲分离算法，对不同的复数域盲分
盲源分离欠定问题欠定问题的研究与应用盲源分离(Blind Source Separation,BSS)技术,越来越成为信号处理领域中的重点关注问题。“盲源分离”这一概念的最初提出,主旨是为了解决某系统在源信号及信号个数未知、混合矩阵未知而只有观测号已知的情况下,对源信号进行恢复。 本文主要研究的是欠定盲源分离问题,即观测信号数目小于源信号数目的情况。基于稀疏分量分析(Sparse Component Analysis,SCA)法,分两个阶段讨论了混合矩阵和源信号的估计,并分别提出了估计混合矩阵和恢复源信号的新方法。 本文主要内容包括:讨论了基于SCA的“两步法”。在混合矩阵的估计阶段,研究了三类估计方法,分别是k均值算法、霍夫变换发及势函数法;对各算法的原理进行了分析,并通过仿真实验实现各算法,并验证了算法的有效性。 在源信号估计阶段,主要研究了目前最常用的最短路径法。提出了一种基于蚂蚁觅食原理的改进蚁群聚类算法估计混合矩阵,并利用网格密度法对聚类中心进行进一步修正。 首先利用源信号的稀疏性,对观测信号进行标准化处理形成球状堆;再利用观测信号之间的欧氏距离确定初始信息素矩阵,得出初始聚类中心;然后按照传统蚁群聚类法对数据进行聚类;接着利用网格密度法提取出每一类密度最大的网格,将该网格的中心作为该类聚类中心;最后输出每个聚类中心作为混合矩阵各列向量。提出了一种基于加权的最小l1范数法对源信号进行恢复,相较于传统l1范数法的寻找一组最优解,改进的范数法将其他可能的分解项按照权值进行相加,从而使恢复出的信号更加接近源信号向量。 当有两路观测信号时,按照分解项与观测信号的角度差大小作为加权值;当
毕业论文（设计） 论文题目：基于MATLAB的线性盲信号分离算法的研究 学生姓名：孙烽原 学号：0908030229 所在院系：电气信息工程学院 专业名称：电子信息工程 届次：2013届 指导教师：张大雷
淮南师范学院本科毕业论文（设计） 诚信承诺书 1.本人郑重承诺：所呈交的毕业论文（设计），题目《 》是本人在指导教师指导下独立完成的，没有弄虚作假，没有抄袭、剽窃别人的内容； 2.毕业论文（设计）所使用的相关资料、数据、观点等均真实可靠，文中所有引用的他人观点、材料、数据、图表均已注释说明来源； 3. 毕业论文（设计）中无抄袭、剽窃或不正当引用他人学术观点、思想和学术成果，伪造、篡改数据的情况； 4.本人已被告知并清楚：学院对毕业论文（设计）中的抄袭、剽窃、弄虚作假等违反学术规范的行为将严肃处理，并可能导致毕业论文（设计）成绩不合格，无法正常毕业、取消学士学位资格或注销并追回已发放的毕业证书、学士学位证书等严重后果； 5.若在省教育厅、学院组织的毕业论文（设计）检查、评比中，被发现有抄袭、剽窃、弄虚作假等违反学术规范的行为，本人愿意接受学院按有关规定给予的处理，并承担相应责任。 学生（签名）： 日期：年月日
目录 前言 (2) 1 概述 (2) 1.1盲信号处理的概念与分类 (3) 1.2盲处理概念 (4) 1.3盲信号处理的分类 (4) 1.4盲信号处理的应用 (4) 2 盲信号分离的基础 (4) 2.1盲信号的预处理 (5) 2.2信号的去均值处理 (5) 2.3盲信号分离原理 (5) 2.4盲信号分离的方法 (6) 3 盲分离的算法和仿真结果 (6) 3.1最大信噪比的盲信号分离算法 (6) 3.2基于最大信噪比盲信号分离的算法流程 (7) 3.3基于峭度的盲信号分离的算法 (7) 3.4基于峭度的盲信号分离的算法流程 (8) 3.5基于两种算法的仿真 (8) 3.6仿真结果分析 (12) 4 结论 (13) 4.1总结 (13) 4.2未来工作 (13) 参考文献 (14)
盲源分离算法初步研究 一、盲源分离基本问题 1.概念 BSS 信号盲分离，是指从若干观测到的混合信号中恢复出未知的源信号的方法。典型的观测到的混合信号是一系列传感器的输出，而每一个传感器输出的是一系列源信号经过不同程度的混合之后的信号。其中，“盲”有两方面的含义：（1）源信号是未知的；（2）混合方式也是未知的。 根据不同的分类标准，信号盲分离问题可以分成以下几类： （1）从混合通道的个数上分，信号的盲分离可以分为多通道信号分离和单通道信号分离。单通道信号分离是指多路源信号混合后只得到一路混合信号，设法从这一路混合信号中分离出多个源信号的问题就是单通道信号分离。多通道信号分离是M 个源信号混合后得到N 路混合信号（通常N ≥M ）。从N 路混合信号中恢复出M 个源信号的问题即为多通道信号分离。一般情况下，单通道信号分离的难度要超过多通道信号分离。 （2）从源信号的混合方式上分，可将信号盲分离问题分为瞬时混合和卷积混合、线性混合和非线性混合等不同种类。在目前信号盲分离的研究文章中，所建模型大部分为瞬时混合。但是，作为更接近实际情况的卷积混合方式正受到越来越多的关注。 （3）根据源信号的种类，也可将信号盲分离分为多类。在通常的处理方法上，根据不同种类信号的特点，也有一些独特的处理技术。 2.盲分离问题的描述 BSS 是指仅从观测的混合信号（通常是多个传感器的输出）中恢复独立的源信号，在科学研究和工程应用中，很多观测信号都可以假设成是不可见的源信号的混合。所谓的“鸡尾酒会”问题就是一个典型的例子。在某个场所，多个人正在高声交谈。我们用多个麦克风来接受这些人说话的声音信号。每个人说话的声音是源信号，麦克风阵列的输出是观测信号。由于每个麦克风距离各个说话者的相对方位不同，它们接受到的也是这些人的声音信号以不同方式的混合。盲信号分离此时的任务是从麦克风阵列的输出信号中估计出每个人各自说话的声音信号，即源信号。如果混合系统是已知的，则以上问题就退化成简单的求混合矩阵的逆矩阵。但是在更多的情况下，人们无法获取有关混合系统的先验知识，这就要求人们从观测信号来推断这个混合矩阵，实现盲源分离。 3.混合模型 信号的混合模型包含两个方面的内容：（1）源信号的统计特征；（2）源信号的混合方式。 3.1源信号的统计特征 已有的研究表明如果加上源信号间相互独立的限制条件，就可以有效地补偿对以上先验知识的缺乏。如果用q i 表示第i 个分量的概率密度函数，则这种统计独立性可以表示为： 11221()()...()()n n n i i i q s q s q s q s ==???=∏q(s) 其中q(s)是s 的联合概率密度函数。 3.2源信号的混合方式 最简单的混合模型假定各个分量是线性叠加混合在一起而形成观测信号的。基于这样的假设，我们可以把观测信号和源信号用矩阵的方式表示为： ()()t t =x Hs 式中H 是n ×n 阶的混合矩阵。基于该模型，盲信号分离()()t t =x Hs 的目标可以表
基于Tcl/Tk 与C 的语音信号盲分离测试工具 马骏 西安市地下铁道有限责任公司 西安 710018 摘要：如何分离多说话人环境下麦克风所采集的混合语音信号是盲源分离研究的一个重要课题。文章采用TCL/TK 与C 语言混合编程，自主开发了用于语音信号盲分离测试的工具，并介绍了该工具的结构、界面和功能。最后通过试验验证了该工具的正确性。 关键词：盲源分离 语音信号 Tcl/Tk A Tcl/Tk & C-based testing tool for blind separation of audio signals Ma Jun Xi'an Metro Co., Ltd. Xi'an 710018 Abstract: Separating independent signal from audio mixtures is one of the elementary problems in Blind Source Separation (BSS) research. The interface between Tcl/Tk is explained, and a testing tool for blind separation of audio signals is developed. The structure, interface and function of the tool are introduced. The validity of the tool is proved by experiment. Keywords ：Blind source separation Audio signals Tcl/Tk 1．引言 盲源分离（BSS ）[1,2,3,4]是人工神经网络与统计信号处理以及信息论相结合的产物，而混 合语音信号的盲分离是该领域的一个重要课题。使计算机具有和人类一样的听觉，是计算机智能领域研究者们的梦想。语音识别技术为我们实现计算机听觉的这一目标提供了有效的途径，使得计算机能听懂我们人类的语言，计算机操作从此变得更互动和简单自然，方便了人机的交流。混合语音信号盲分离虽然不能实现计算机听觉这一目标，但是通过该技术却能使原本相互混叠的语音信号相互剥离，来作为语音识别的预处理，从而使得噪声环境下和多说话人情形下的语音识别的实现成为可能，增大了识别算法的鲁棒性和适应能力，从这种意义上来讲该问题的研究具有很大的现实意义。 本文首先阐述了盲源分离的基本理论知识以及Tcl/Tk [5]与C 语言的接口编程，然后采用 分层软件模型开发了用于语音信号盲分离的测试工具，其外壳选择灵活的事件驱动脚本Tcl/Tk 作为基本的界面开发平台，完成配置、控制任务；而其低层的BSS 核心算法库则利用高效的编译型C 语言实现。另外为了完成语音信号的读写等操作还参考了snack [6]语音处理库及其源代码。文章介绍了该工具的结构、界面和功能，最后通过实验验证了该测试工具的正确性。 2．盲源分离模型及算法 设由N 个未知的统计独立的信号源)(t s i 构成了一个列向量,)](),...,([)(1T N t s t s t S =其中t 是离散采样时刻。设A 是一个未知的N M ?维矩阵，通常称为混合矩阵。设[]T M t x t x t X )(),...,()(1=是由M 个传感器观测到混合信号)(t x i 构成的列向量，且满足下列方程： )()((t)t V t AS X += （1） 其中T M 1t ,...,v t v t V )]()([)(=是由M 个空间白化、统计独立噪声信号(t)i v 构成的列向量。盲源分 离的命题是，对任何t ，根据观测到的)(t X ，在A 未知的条件下求)(t S 。 图1给出了语音信号盲分离算法框架图。
盲源分离问题综述 摘要：盲源分离，是从观测到的混合信号中恢复不可观测的源信号的问题。作为阵列信号处理的一种新技术，近几年来受到广泛关注。本文主要阐述了盲源分离问题的数学模型、典型算法以及盲源分离的应用，并结合盲源分离问题的研究现状，分析了其未来的发展方向。主题词：盲源分离;盲源分离的典型算法 1. 引言 盲信号分离问题起源于人们对“鸡尾酒会”问题的研究。在某个聚会上，我们正在相互交谈，同一时刻同一场景下其他人的交谈也在同时进行着，可能还有乐队的音乐伴奏，这时整个会场上是一片嘈杂。但是非常奇妙的是，作为交谈对象的双方，我们能够在这混乱的众多声音中很清晰的听到对方的话语，当然，如果我们偶尔走神，将精力放在乐队奏出的音乐时，我们也同样可以听清楚音乐的主旋律。这种可以从由许多声音所构成的混合声音中选取自己需要的声音而忽视其他声音的现象就是鸡尾酒会效应。如何在这种从观察到的混合信号中分离出源信号的问题就是所谓的盲分离（Blind Signal Separation, BSS）问题，有时也被称为盲源分离（Blind Source Separation）问题。1986年，法国学者Jeanny Herault和Christian Jutten提出了递归神经网络模型和基于Hebb学习律的学习算法，以实现两个独立源信号混合的分离，这一篇开创性论文的发表使盲源分离问题的研究有了实质性的进展。随着数字信号处理理论和技术的发展以及相关学科的不断深入,大量有效的盲分离算法不断被提出,使盲分离问题逐渐成为当今信息处理领域中最热门的研究课题之一,在无线通信、图象处理、地震信号处理、阵列信号处理和生物医学信号处理等领域得到了广泛的应用。 2. 盲源分离问题的数学模型 盲源分离是指在不知道源信号和信道传输参数的情况下,根据输入信号的统计特性,仅由观测信号恢复出源信号各个独立成分的过程。盲源分离研究的信号模型主要有三种:线性混合模型、卷积混合模型和非线性混合模型。 2.1 线性混合模型 线性混合模型在神经网络、信号处理等研究中常常用到,其数学模型描述为: S1(t)，S2(t)…S n(t)是一个随机的时间序列，用m个话筒表示接收到的混合信号，用X1(t)，X2(t)…X m(t)来表示。它们有如下关系： { X1(t)=a11S1(t)+?+a1n S n(t) … X m(t)=a m1S1(t)+?+a mn S n(t) 其中{a ij}是未知的混合系数，在线性瞬时混合中，一般假定{a ij}是未知的常数矩阵。盲源分离需要解决的问题就是如何从接收到的观察信号中估计出源信号S1(t)，S2(t)…S n(t)和混合矩阵的过程。实际上式还应该存在一个干扰存项，如果考虑到噪声的存在，那么上式可以
目录 摘要.................................................................... I ABSTRACT ............................................................... II 第一章前言.. (2) 1.1语音特性分析 (2) 1.2语音信号的基本特征 (2) 1.3语音信号处理的理论基础 (2) 第二章盲分离的基本概念 (2) 2.1盲分离的数学模型 (2) 2.2盲源分离的基本方法 (2) 2.3盲分离的目标准则 (2) 2.4盲分离的研究领域 (2) 2.5盲分离的研究内容 (2) 第三章独立分量分析的基本算法 (2) 3.1ICA的线性模型 (2) 3.2ICA研究中的主要问题及限制条件 (2) 3.3ICA的基本算法 (2) 3.4F AST ICA算法原理 (2) 第四章语音信号盲分离仿真及分析 (2) 4.1ICA算法实现 (2) 4.2频谱分析 (2) 第五章总结 (2) 参考文献 (2)
摘要 盲源分离（BSS）是一种多维信号处理方法，它指在未知源信号以及混合模型也未知的情况下，仅从观测信号中恢复出源信号各个独立分量的过程。盲源分离已近成为现代信号处理领域研究的热点问题，在通信、语音处理、图像处理等领域具有非常重要的理论意义和广泛的应用价值。本文主要内容如下： 首先，介绍了语音信号的产生机理，特性，基本特征及语音信号处理的理论基础，为后文语音信号盲分离奠定了基础。 其次，从盲源分离的理论出发，研究了盲分离的数学模型以及基本方法，并对盲分离的目标准则、研究领域以及研究内容进行了探讨。 然后，引出了独立分量分析（ICA），并对其的概念以及相关的知识进行了研究，探讨了ICA研究中的主要问题，列出了ICA的3种基本算法：信息极大化、负熵最大化和最大似然估计法。 最后，用FastICA对三路语音信号进行了盲分离的仿真并求出了混合矩阵和分解矩阵，再接着进行了频谱，幅度，相位的分析，找出了FastICA的特点。 关键词：盲源分离；独立分量分析；频谱分析 III
课程设计任务书 学生姓名：毛丽娟专业班级：通信0906 指导教师：黄铮工作单位：信息工程学院 题目: 语音信号的盲分离 初始条件 ①matlab软件 ②盲信号处理知识 要求完成的主要任务: 根据盲信号分离原理，用matlab采集两路以上的语音信号，选择合适的混合矩阵生成若干混合信号。选取合适的盲信号分离算法（如独立成分分析ICA等）进行训练学习，求出分离矩阵和分离后的语音信号。 设计要求 （1）用matlab做出采样之后语音信号的时域和频域波形图 （2）选择合适的混合矩阵，得到混合信号，并做出其时域波形和频谱图 （3）采用混合声音信号进行训练学习，求出分离矩阵，编写出相应的确matlab 代码。 （4）用求出的分离矩阵从混合信号中分离出原语音信号，并画出各分离信号的时域波形和频谱图。 （5）对结果进行对比分析。 时间安排 第17周，仿真设计 第18周，完成（答辩，提交报告，演示） 指导教师签名：年月日 系主任（或责任教师）签名：年月日
目录 摘要 (3) Abstract (4) 1 语音信号 (5) 1.1 语音特性分析 (5) 1.2 语音信号的基本特征 (6) 2 盲信号处理 (8) 2.1 盲信号处理的概述 (8) 2.1.1 盲信号处理的基本概念 (8) 2.1.2 盲信号处理的方法和分类 (9) 2.1.3 盲信号处理技术的研究应用 (9) 2.2 盲源分离法 (10) 2.2.1 盲源分离技术 (10) 2.2.2 盲分离算法实现 (10) 2.3 独立成分分析 (11) 2.3.1 独立成分分析的定义 (11) 2.3.2 ICA的基本原理 (13) 3 语音信号盲分离的实现 (15) 3.1 盲信号分离的三种算法 (15) 3.1.1 二阶盲辨识（SOBI） (15) 3.1.2 FastICA算法 (15) 3.1.3 CICA算法 (16) 3.2 不同算法的分离性能比较 (17) 3.3 FastlCA的算法仿真及结果分析 (17) 4 结论 (22) 5 参考文献 (23) 附录 (24)
最大信噪比盲源分离算法研究 1 程序说明 该算法参考文为“基于最大信噪比的盲源分离算法”（《计算机仿真》，2006），程序的Matlab代码如下： function[ys,w]=SNR_Max(x) [n,T]=size(x); x=x-mean(x')'*ones(1,T); %去均值 %---------------白化处理------------------------- [F,D]=eig((x*x')/T); v=F*(D^(-0.5))*F'; x=v*x; p=80; a=ones(1,p)/p; x=x'; S=filter(a,1,x); %滑动平均处理 U=cov(S-x,1); %计算协方差 V=cov(x,1); [W d]=eig(V,U); %计算特征值 ys=(x*W)'; %源信号估计 mplot(x); figure(2); mplot(ys); 上述程序中引用了一个画图子程序mplot(s)，能画小于6个信号的图形，该程序代码如下： function mplot(s) [dim,sample]=size(s); if dim>sample s=s'; [dim,sample]=size(s); end if dim>6 error('dim can not more than six'); end for i=1:dim subplot(dim,1,i); plot(s(i,:)); axis('tight'); set(gca,'XTick',[]); end 程序调用说明：输入混合信号x为一个n*T阶数据矩阵，输出的分离信号ys是n*T阶
课程设计任务书 学生姓名：专业班级：通信1103 指导教师：许建霞工作单位：信息学院 题目: 语音信号的盲分离 初始条件：Matlab软件、PC机 要求完成的主要任务:（包括课程设计工作量及其技术要求，以及说明书撰写等具体要求）设计任务 根据盲信号分离原理，用matlab采集两路以上的语音信号，选择合适的混合矩阵生成若干混合信号。选取合适的盲信号分离算法（如独立成分分析ICA等）进行训练学习，求出分离矩阵和分离后的语音信号。 设计要求 (1) 用matlab做出采样之后语音信号的时域和频域波形图 (2)选择合适的混合矩阵，得到混合信号，并做出其时域波形和频谱图 (3) 采用混合声音信号进行训练学习，求出分离矩阵，编写出相应的确matlab代码。 (4) 用求出的分离矩阵从混合信号中分离出原语音信号，并画出各分离信号的时域波形和频谱图。 (5) 对结果进行对比分析。 时间安排： 序号设计内容 所用 时间 1 根据课题的技术指标，确定整体方案，并进行参数设计计算2天 2 根据实验条件进行全部或部分程序的编写与调试，并完成基本功能7天 3 总结编写课程设计报告1天 合计2周指导教师签名： 2014年 6 月 10 日系主任（或责任教师）签名：2014 年 6 月 10 日
摘要 盲信号处理（Blind Signal Processing,BSP）是指从观测到的混合信号中，在没有任何先验条件的情况下，恢复出未知的源信号过程。盲信号分离已成为信号处理学界和通信工程学界共同感兴趣的一个极富挑战性的研究热点问题，并获得了迅速的发展。 盲分离根据信号源的不同可以分为确定信号盲分离、语音信号盲分离和图像盲分离等，本设计主要讨论语音信号的盲分离。 语音信号的盲分离主要是利用盲源分离（Blind Signal Separation,BSS）技术对麦克风检测到的一段语音信号进行处理，本文重点研究了以语音信号为背景的盲处理方法，在语音和听觉信号处理领域中，如何从混有噪声的的混叠语音信号中分离出各个语音源信号，来模仿人类的语音分离能力，成为一个重要的研究问题。根据盲信号分离原理，本设计用matlab采集3路语音信号，选择合适的混合矩阵生成若干混合信号。 具体实现主要结合独立分量分析ICA技术，选取混合矩阵对3个语音信号进行混合，并从混合信号中分离出原语音信号，最后画出各分离信号的时域波形和频谱图和原来的信号进行比较。此外还运用PCA算法进行了混合语音信号的分离实现，最终对两种算法进行比较。 关键字：盲信号处理；语音信号；盲源分离BSS；独立分量分析ICA技术
目录 Abstract (5) 1 语音信号 (6) 1.1 语音特性分析 (6) 1.2 语音信号的基本特征 (7) 2 盲信号处理 (9) 2.1 盲信号处理的概述 (9) 2.2 盲源分离法 (11) 2.3 独立成分分析 (12) 3 语音信号盲分离的实现 (16) 3.1 盲信号分离的三种算法 (16) 3.2 不同算法的分离性能比较 (18) 3.3 FastlCA的算法仿真及结果分析 (18) 4 结论 (23) 5 参考文献 (24) 附录 (25) 本科生课程设计成绩评定表 (29) 指导教师签字： (29) 年月日 (29)
程设计任务书 题目: 语音信号的盲分离 初始条件 ①matlab软件 ②盲信号处理知识 要求完成的主要任务: 根据盲信号分离原理，用matlab采集两路以上的语音信号，选择合适的混合矩阵生成若干混合信号。选取合适的盲信号分离算法（如独立成分分析ICA等）进行训练学习，求出分离矩阵和分离后的语音信号。 设计要求 （1）用matlab做出采样之后语音信号的时域和频域波形图 （2）选择合适的混合矩阵，得到混合信号，并做出其时域波形和频谱图 （3）采用混合声音信号进行训练学习，求出分离矩阵，编写出相应的确matlab 代码。 （4）用求出的分离矩阵从混合信号中分离出原语音信号，并画出各分离信号的时域波形和频谱图。 （5）对结果进行对比分析。 时间安排 第17周，仿真设计 第18周，完成（答辩，提交报告，演示） 指导教师签名：年月日 系主任（或责任教师）签名：年月日
目录 摘要 (4) Abstract (5) 1 语音信号 (6) 1.1 语音特性分析 (6) 1.2 语音信号的基本特征 (7) 2 盲信号处理 (9) 2.1 盲信号处理的概述 (9) 2.1.1 盲信号处理的基本概念 (9) 2.1.2 盲信号处理的方法和分类 (10) 2.1.3 盲信号处理技术的研究应用 (10) 2.2 盲源分离法 (11) 2.2.1 盲源分离技术 (11) 2.2.2 盲分离算法实现 (11) 2.3 独立成分分析 (12) 2.3.1 独立成分分析的定义 (12) 2.3.2 ICA的基本原理 (14) 3 语音信号盲分离的实现 (16) 3.1 盲信号分离的三种算法 (16) 3.1.1 二阶盲辨识（SOBI） (16) 3.1.2 FastICA算法 (16) 3.1.3 CICA算法 (17) 3.2 不同算法的分离性能比较 (18) 3.3 FastlCA的算法仿真及结果分析 (18) 4 结论 (23) 5 参考文献 (24) 附录 (25)
中图分类号:T N97111 文献标志码:A 文章编号:C N51-1694(2008)02-0001-05收稿日期:2007-11-29;修回日期:2007-12-30 作者简介:陈锡明(1970-),男,高级工程师,博士;黄硕翼(1983-),男,硕士研究生。 盲源分离综述———问题、原理和方法 陈锡明,黄硕翼 (信息综合控制国家重点实验室,成都610036) 摘要:盲源分离,是从观测到的混合信号中恢复不可观测的源信号的问题。作为阵列信号处理 的一种新技术,近几年来受到广泛关注。文章按源信号不同的混合方式,将盲源分离问题分为三种类型:线性瞬时混合、线性卷积混合和非线性混合,综述了它们各自分离的原理和方法,并结合国内外的研究现状,对未来的发展作出了展望。关键词:盲源分离;独立分量分析 B lind Source Separation :Problem ,Principle and Method CHE N X i 2ming ,HUANG Shuo 2yi (National In formation C ontrol Lab oratory ,Chengdu 610036,China ) Abstract :Blind source separation is to recover unobserved source signals from observed mixtures.As a new technology of array signal processing ,it has attracted wide attention.Blind source separation is classified into three types :linear instantaneous mixtures ,linear conv olutional mixtures ,and nonlinear mixtures ,as per different mixture methods.And a survey is presented on separation principles and methods of each type.The prospect of future development is given too.K ey w ords :blind source separation ;independent com ponent analysis (ICA ) 1 引言 盲源分离(BSS )是信号处理领域的一个基本问题,是根据观测到的信号来分离或恢复出未知源信号的过程。它在医学信号处理、数据挖掘、语音增强、图像识别以及雷达与通信信号处理等方面正受到越来越广泛的重视。 其更一般的表述为:已知从多输入—多输出(MI M O )非线性动态系统(SIS O ,SI M O 是特例)中测得的传感器信号X (t )=[x 1(t ),x 2(t ),…, x m (t )]T ,要求找到一个逆系统,以重构估计原始 的源信号S (t )=[s 1(t ),s 2(t ),…,s n (t )]T[1]。源信号S (t )未知,源信号如何混合得到观测信号也未知,这体现了求解问题的“盲”。最简单的情况,如果X (t )是S (t )的线性瞬时混合,即X (t )=H 3S (t ),H 为一个m ×n 维的混合矩阵,盲分 离问题简化为求一个n ×m 维的解混矩阵W ,使输出Y (t )=W 3X (t )=W 3H 3S (t )≈S (t )。 事实上,在缺乏某些先验知识时是不可能唯一地确定源信号的,所以盲分离问题存在两个内在的解不确定性:一是输出分量排列顺序的不确定性,即无法确定所恢复的信号对应于原始信号源的哪一个分量;二是输出信号幅度的不确定性,即无法恢复原始信号源的真实幅度。但因为源的大量信息蕴涵在源信号的波形中而不是信号的振幅或者系统输出的排列顺序中,所以这并不影响盲分离的应用。 2 盲源分离的基本类型和解决方法 就源信号经过传输通道的混合方式而言,可分为线性混合和非线性混合信号的盲分离;其中 1 电子信息对抗技术?第23卷 2008年3月第2期 陈锡明,黄硕翼 盲源分离综述———问题、原理和方法
卷积混合盲源分离算法研究 在客观环境中,我们通过传感器接收到的信号不但含有信号本来的信息,而 且还混合由其他信源及环境噪声。因而,当信道和信源等先验知识未知,仅通过得到的观测信号估计出源信号成为需要及时解决的问题。 我们称此类问题为盲源分离(Blind Source Separation, BSS)司题。随着盲源分离技术的发展,它已经在通信系统、语音分离、生物医学、图像处理等许多领域有着广泛的应用。 根据源信号的混合方式,可以将盲源分离问题分为线性混合、卷积混合和非线性混合三类。关于线性混合问题,现已涌现出许多优秀的算法,但在实际中,信号在传输过程中会发生延时,因而卷积混合模型比瞬时混合更具有实际意义,所 以本文着重对卷积混合盲源分离算法进行研究。 针对线性混合模型,提出一种基于峰度值和改进粒子群优化的盲源分离算法。该算法采用改进粒子群代替传统算法对基于峰度值最大化的目标函数进行优化。 对四路会议语音信号进行盲源分离仿真,结果验证了算法的有效性。但是该算法处理信号类型单一,且源信号最多只能含一路高斯信号。 为此,提出一种改进的基于非线性函数和简化粒子群优化的算法,该改进算 法依据源信号类型选取的非线性函数作为目标函数,采用简化粒子群优化算法进行优化。仿真结果表明,该改进算法能够有效实现源信号为多类型和含有两路高斯信号的盲源分离。 与其他算法相比,具有更快收敛速度和更高分离精度。针对卷积混合模型, 提出一种基于峰度值和简化粒子群优化的消源盲源分离算法。 该算法采用基于参考基的参考目标函数,并通过去相关性来实现消源,最终
实现逐一提取源信号。仿真结果表明,该算法可有效实现对BPSK、PAM和随机信号的卷积混合盲源分离。 针对卷积混合模型,还提出一种基于四阶互累积量和粒子群优化的盲源分离算法。该方法采用信号的四阶互累积量作为目标函数,使用粒子群优化算法来优化,实现从卷积混合信号中提取出源信号。 仿真结果表明,该算法可以有效实现对通信信号卷积混合的盲源分离。
极大似然独立成分分析算法 一、似然度 极大似然估计可以解释为：采纳那些使观测向量具有最大概率的估计参数 值。 设()x p x ∧ 是对观测向量x 的概率密度()x p x 的估计，源信号的概率密度函数为 ()s p s ，根据线性变换下两个概率密度函数之间的关系，观测数据x 的概率密度函数的估计()x p x ∧ 与源信号概率密度函数()s p s 满足 1() ()det s x p A x p x A -∧ = 对于给定的模型，观测数据x 的似然函数是模型参数A 的函数，定义为 { } 1222()log ()()log ()log det x x s L A E p x p x p A x dx A ∧ -==-? 当模型参数为分离矩阵1W A -=时，对数似然函数为 {}221 1()log (())log det T s t L W p Wx t W T =≈+∑ 式中，T 为独立同分布观测数据的样本数，最大化此似然函数就可获得关于 参数W 的最优估计。 二、Infomax 算法 Infomax 算法即为信息传输极大化算法。 图1 Infomax 算法框图
由图1可知，Infomax 算法是一种基于信息论的前向反馈自组织神经网络的 算法，其中x 为多路观测信号向量，它是由n 个独立源线性混合而成，网络输出 u Wx =是对真实源s 的逼近。12()((),(), ,())T n g g g g ?=???为可逆单调非线性函 数，非线性输出为12(,,,)T n y y y y =。独立性判据为最大信息传输准则，即通过 对分离矩阵W (神经网络的连接权值矩阵)的调整寻找优化的W ，使网络输出y 和输入x 之间的互信息(;)I x y 达到最大。由信息论可知 (;)()(|)I x y H y H y x =- 式中，()H y 为网络联合输出熵；(|)H y x 为输出的条件熵。若系统存在噪声 N ，即()()y g u N g Wx N =+=+，有(|)()H y x H N =，则上式可表示为 (;)()()I x y H y H N =- 于是，y 和x 之间的互信息(;)I x y 最大等价于网络联合输出熵()H y 最大(噪 声N 与系统无关)。以网络输出的联合熵()H y 作为目标函数，由信息熵理论可知 1212()()()()(,,,)n n H y H y H y H y I y y y =++ +- 式中，()i H y 为非线性输出的边缘熵；12(,,,)n I y y y 为非线性输出之间的互 信息，其值总是非负的，只有当非线性输出i y 之间彼此相互独立时， 12(,,,)0n I y y y =。由互信息可知，单调可逆非线性映射对互信息没有影响，所 以()I y 取最小值0时，()I u 也同时达到最小值零，于是各成分间相互统计独立，ICA 问题得以解决。此时 {}2()()()()(())i n y H y H y H y H y E In p y =++ +=- 式中，()y p y 为输出y 的概率密度函数，因此最大化()H y 包含了最大化边缘 熵和最小化互信息两个内容。选择熵作为目标函数是因为熵是一个随机变量无序性的度量及信息量大小(不确定信息的多少)的测度，y 的各成分统计独立性越高则相应的y 熵()H y 越大，所含信息也越多。可以证明，当非线性函数()i g ?为源