LMS类自适应算法

学习速率参数选择
2、学习速率参数选择时变
( n)
c n
这样也存在问题。在参数c比较大时，LMS算法可能 在经过若干次迭代后即变为发散。 3、固定+时变 两个经典例子： 0 ( n) （1） 1 (n / ) （2）
( n) 0 , n N 0 ( n) 0 e N
LMS算法及其基本变型
[ （1）r Rw(n 1)]为误差向量，代表了抽头权向量的校 正量； （2）参数µ(n)称为在时间n的“步长参数”，决定 了更新算法的收敛速度； （3）当自适应算法趋于收敛是，有 1 r Rw(n 1) 0 n ， lim w(n 1) R r n 0 即抽头权向量收敛为之前所说的Wiener滤波器。
H
解相关LMS算法
解相关算法的提出：
在LMS算法中，有一个独立性假设：假定滤波 器的输入向量是彼此独立的向量序列。当他 们之间有耦合时，算法性能下降，尤其是收 敛速度。因此需要解除各时刻输入向量之间 的相关（解相关），使其保持统计独立。
解相关LMS算法
1、时域解相关LMS算法 思路一：在输入量中根据实际剔除相关量 定义u(n)与u(n-1)在n时刻的相关系数为：
d
( n N0 )
, n N0
学习速率参数选择
4、自适应学习速率 如果时变的学习速率是由LMS算法的实际运行状态 控制的，则这类时变的学习速率称为自适应学习速 率，也成为“学习规则的学习”。下介绍两个例子： (1)根据预测误差的平方来调节学习速率； (2)直接用模糊系统理论和语言模型来实现，构成所 谓的模糊步长调节。
e(n) d (n) wH (n 1)u (n)
e f (n) u (n) aT (n)u (n 1)
e(n) [e(n), e(n 1),…,e(n-M+1)]T
e f (n) [e f (n), e f (n 1),…,e f (n M 1)]
e ( n ) e( n ) a H ( n ) e( n )
LMS算法及其基本变型
自适应梯度下降算法中，更新方向向量v(n)取 自第n-1次迭代的代价函数J[w(n-1)]的负梯度，即统 一形式为： 1
w(n) w(n 1) (n)J (n 1) 2
其中，系数1/2是为了使得到的更新公式更简单。将 更新公式中的部分用之前结论带入，既得抽头权向 量w(n)的更新公式为： w(n) w(n 1) (n)[r Rw(n 1)], n 1, 2, 由更新公式式9得到：
LMS自适应算法： 步骤1：初始化权抽头向量：w(0)=0; 步骤2：更新： e(n) d (n) wH (n 1)u (n) w(n)=w(n-1)+µ(n)u(n)e*(n)
注：1、µ(n)=c（c取常值），则为基本LMS算法 2、µ(n)= u (n)u(n) , (0, 2), 0 ，则为归一化LMS算法 3、当期望信号未知时，可直接用滤波器输出y(n)代替d(n)
学习速率参数选择
基于LMS算法收敛，给出学习速度参数的选择问题： 1、均值收敛： E{e(n)} 0 n 0 ^ 或 lim E{w(n)} wopt n 0 均值收敛条件： 0 2
max
2、均方差收敛：
lim E{| (n) |2 } c
n 0
均方差收敛条件： 0
LMS类自适应算法
樊辉
11电工
自适应算法的提出
个人理解：传统系统设计均是在某种情况下按 照某些特定参数推导得出，是系统设计完成后运行 在该类特定情况效果最佳。系统一旦发生某些参数 变化，则系统输出效果一般会明显变差。诚如PID这 类控制系统中使用最广最常用的控制算法，也只具 有一定的鲁棒性。提出自适应算法，通过某些系统 参数的在线学习，适应改变的系统，优化系统性能， 就显得有必要了。
自适应实现在滤波器中的引入
在导出梯度向量后，再定义：
u (n) [u (n), u (n 1), , u (n M 1)]T w(n) [ w0 (n), w1 (n), , wM 1 (n)]T
则式3可改写为向量式：
J (n) 2 E{u (n)[d *(n) u H (n) w(n)]} 2r 2Rw(n)
e (n) u (n) ai (n)u (n 1) u (n) a(n)u (n 1)
f i 1 M
u (n 1) [u (n 1), u (n 2), …,u(n-M)]T a(n) [a1 (n), a2 (n), …,aM (n)]T
解相关LMS算法
u H (n 1)u (n) a ( n) H u (n 1)u (n 1)
若 =1,则称u(n)是u(n-1)的相干信号； =0，则 a ( n) a ( n) u(n)与u(n-1)不相关；0 < <1，称u(n)与u(n-1)相关。
a ( n)
解相关LMS算法
现用解相关的结果v(n)作为更新方向向量：
T
w(n 1) (n)e *(n)u (n)
e(n) d (n) uT (n)w *(n 1) d (n) wH (n 1)u (n) 式中，
式11，即为最小均方差自适应算法，简称LMS算法。 易证：瞬时梯度向量是真实梯度向量的无偏估计。
LMS算法及其基本变型
~
w( n) w( n 1) e ( n) e( n)
f
~
学习速率参数选择
为什么要选择学习参数 LMS算法中的步长参数µ决定抽头权向量在每步迭代 中的更新量，是影响算法收敛的关键参数。由于 LMS算法的目的是在更新过程中使抽头权向量逼近 Wiener滤波器，所以权向量更新可视为一种学习过 程，而µ决定了LMS算法学习过程的快慢。故步长参 数µ也称为学习速率参数。
v(n) u(n) a(n)u(n 1)
另步长参数µ(n)应该是满足下列最小化问题的解：
(n) arg min J [w(n 1) v (n)]

e(n) ( n) H u ( n ) v ( n)
解相关LMS算法
综上所述，提出解相关算法： 步骤一： 初始化 w(0)=0; 步骤二：更新：
e(n) d (n) w (n 1)u (n)
H
u H (n 1)u (n) a ( n) H u (n 1)u (n 1)
v(n) u(n) a(n)u(n 1)
w(n) w(n 1) u(n)v(n)
上述算法中，参数 称为修正因子
( n)
2 总的输入能量
学习速率参数选择
自适应学习速率参数 1、学习速率参数选择常数
(n)
选择学习速率参数为常数，在收敛与稳态性能 上会引起矛盾：大的学习速率参数能提高收敛速度， 但稳定性就会减低；反之，稳定性增加了，收敛速 度变慢了。因此，学习速率参数的选择应该兼顾稳 定性和收敛性，简单而有效地方法就是时变的学习 速率。
使用前向预测误差向量作辅助变量，即更新方向向 量：
v(n) e f (n) [e f (n), e f (n 1),…,e f (n M 1)]
用前向预测器对瞬时估计误差 波，则得到滤波型LMS算法。
e(n) y(n) wH (n 1)u (n)
滤
解相关LMBaidu Nhomakorabea算法
滤波型LMS算法： 步骤一：初始化 w(0)=0; 步骤二：更新：
e( n )
u H ( n )v ( n )
解相关LMS算法
思路二：利用前向预测 在解相关LMS算法中，其实可视为一种自适应辅助 变量法，其中辅助变量为：v(n) u(n) a(n)u(n 1) 。现用 一前向预测器的误差向量代替。令 a (n) 为一M阶前 向预测其的权向量，计算前向预测误差： 式中，
LMS算法及其基本变型
在式6中，将数学期望分别用相应的瞬时值代替，便 得到了瞬时梯度：
J (n) 2[u (n)d *(n) u (n)u H (n) w(n)]
^
进而，将真是梯度向量用瞬时梯度向量代替，既得 瞬时梯度算法： (n) w(n 1) (n)u (n)[d (n) u (n)w *(n 1)]* w
之前最优滤波理论中可知，代价函数相对于滤波器 的抽头权向量w的梯度为：
k J (n) 2 E{u (n k )e *(n)} 2 E{u (n k )[d (n) wH u (n)]*}, k 0,1, …,M-1
则对应的梯度向量为：
J ( n) J ( n) a ( n) j b ( n) 0 0 J ( n) J ( n) a ( n) j b ( n) T J (n) [ 0 J (n), 1 J (n), …, M 1 J (n)] 1 1 J ( n) j J ( n) a ( n) bM 1 (n) M 1
自适应实现在滤波器中的引入
自适应实现：N阶FIR滤波器的抽头权系数可以 根据估计误差e(n)的大小自动调节，使得某个代价 函数最小。
自适应实现在滤波器中的引入
MMSE准则是滤波器设计最常用的准则。故在设计 中采用均方误差为代价函数：
J (n) E{| (n) |2 } E{| d (n) wH u (n) |2 }
式中，
R E{u (n)u H (n)} r E{u (n)d *(n)}
自适应实现在滤波器中的引入
使用中最广泛的形式是：“下降算法”
w(n) w(n 1) (n)v(n)
式中，w(n)为第n步迭代（即时刻n）的权向量，µ(n) 为第n次迭代的更新步长，而v（n）为第n次迭代的 更新方向。 依据下降算法的两种主要实现方式，分为自适应梯 度算法和自适应高斯-牛顿算法。 下面主要讲：自适应梯度算法，其包括LMS类自适 应算法