《传感器技术》题目要求：使用最小二乘法求线性度的拟合直线方程
程序：
#include
#include
#include
#include
float average(int n,float *x)
{int i;
float av;
av=0;
for(i=0;i av+=*(x+i); av=av/n; return(av); } //平方和 float spfh(int n,float *x) {int i; float a,b; a=0; for(i=0;i a+=(*(x+i))*(*(x+i)); return(a); } //和平方 float shpf(int n,float *x) {int i; float a,b; a=0; for(i=0;i a=a+*(x+i); b=a*a/n; return(b); } //两数先相乘，再相加 float dcj(int n,float *x,float *y) {int i; float a; a=0; for(i=0;i a+=(*(x+i))*(*(y+i)); return(a); } //两数先相加，再相乘 float djc(int n,float *x,float *y) {int i; float a=0,b=0; for(i=0;i {a=a+*(x+i); b=b+*(y+i); } a=a*b/n; return(a); } //系数a float xsa(int n,float *x,float *y) {float a,b,c,d,e; a=spfh(n,x); b=shpf(n,x); c=dcj(n,x,y); d=djc(n,x,y); e=(c-d)/(a-b); //printf("%f %f %f %f",a,b,c,d); return(e); } float he(int n,float *y) {int i; float a; a=0; for(i=0;i a=a+*(y+i); return(a); } float xsb(int n,float *x,float *y,float a) { float b,c,d; b=he(n,y); c=he(n,x); d=(b-a*c)/n; return(d); } void main() { int n,i; float *x,*y,a,b; printf("请输入将要输入的有效数值组数n的值:"); scanf("%d",&n); x=(float*)calloc(n,sizeof(float)); if(x==NULL) {printf("内存分配失败"); exit(1); } y=(float*)calloc(n,sizeof(float)); if(y==NULL) {printf("内存分配失败"); exit(1); } printf("请输入x的值\n"); for(i=0;i printf("请输入y的值,请注意与x的值一一对应:\n"); for(i=0;i for(i=0;i { printf("x[%d]=%3.2f ",i,*(x+i)); printf("y[%d]=%3.2f\n",i,*(y+i)); } a=xsa(n,x,y); b=xsb(n,x,y,a); printf("经最小二乘法拟合得到的一元线性方程为:\n"); printf("f(x)=%3.2fx+%3.2f\n",a,b); } 运行：按照程序要求来，输入两数之间用空格号区分。运行结果如下： 注意：不要直接引用运行结果图片，窗口标题会暴露上级目录，例如：熊新昊pc 对比分析最小二乘法与回归分析 摘要 最小二乘法是在模型确定的情况下对未知参数由观测数据来进行估计，而回归分析则是研究变量间相关关系的统计分析方法。 关键词：最小二乘法回归分析数据估计 目录 摘要 (2) 目录 (3) 一：最小二乘法 (4) 主要内容 (4) 基本原理 (4) 二：回归分析法 (6) 回归分析的主要内容 (6) 回归分析原理 (7) 三：分析与总结 (10) 一：最小二乘法 主要内容 最小二乘法又称最小平方法是一种数学优化技术。它通过定义残差平方和的方式，最小化残差的平方和以求寻找数据的最佳函数匹配，可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称 为经验公式.利用最小二乘法可以十分简便地求得未知的数据，并使 得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化 熵用最小二乘法来表达。 基本原理 考虑超定方程组（超定指未知数大于方程个数）： 其中m 代表有m 个等式，n 代表有n 个未知数（m>n）；将其进行向量化后为： ， ， 显然该方程组一般而言没有解，所以为了选取最合适的 让该等式"尽量成立"，引入残差平方和函数S （在统计学中，残差平方和函数可以看成n 倍的均方误差当时， 取最小值，记作： 通过对进行微分求最值，可以得到： 如果矩阵非奇异则 有唯一解： 二：回归分析法 回归分析是确定两种或两种以上变量间相互依赖的相关关系的一种 统计分析方法。回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，建立不同的回归模型，确立不同的未知参数，之后使用最小二乘法等方法来估计模型中的未知参数，以分析数据间的内在联系。当自变量的个数等于一时称为一元回归，大于1时称为多元回归，当因变量个数大于1时称为多重回归，其次按自变量与因变量之间是否呈线性关系分为线性回归与非线性 回归。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，叫一元线性回归。 回归分析的主要内容 ①从一组数据出发，确定某些变量之间的定量关系式，即建立数 学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。 ②对这些关系式的可信程度进行检验。 ③在许多自变量共同影响着一个因变量的关系中，判断哪个（或 哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影 响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。 ④利用所求的关系式对某一生产过程进行预测或控制。 最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程） 普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值i i x y ,（i=1,2,…,n ）的情况下 （见图中的散点），假如模型（）的参数估计量已经求得到， 为^0β和^ 1β，并且是最合理的参数估计量，那么直线方程（见 图中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n 应该能够最 好地拟合样本数据。其中^i y 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(1022101ββββQ u x y Q i i n i i ==--=∑∑= ()()),(min ????1021 10212?,?1100ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== 为什么用平方和因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^1^012 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是^0β、^1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^0β、^ 1β的一阶偏导数为0时，Q 达到最小。即 0011001100?,?1 ?,?0 =??=??====ββββββββββQ Q 容易推得特征方程： ()0)??(0?)??(1011 10==--==-=--∑∑∑∑∑==i i i i n i i i i i i n i i e x x y x e y y x y ββββ 解得： ∑∑∑∑∑+=+=2^ 1^0^1^0i i i i i i x x x y x n y ββββ （） 所以有：???? ?????-=---=--=∑∑∑∑∑∑∑=======x y x x y y x x x x n y x y x n n i i n i i i n i i n i i n i i n i i n i i i 10121 21121111??)())(()()()(?βββ （） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 ∑=-i x n x 1 ∑=-i y n y 1 y y y x x x i i i i -=-= （）的参数估计量可以写成 第二章 参数估计的最小二乘方法Least Squares §2—１静态线性模型参数的最小二乘估计（多元线性回归） 一、 什么是最小二乘估计 系统辨识三要素：模型，数据，准则。 例： y = ax + ε 其中：y 、x 可测；ε — 不可测的干扰项； a —未知参数。通过 N 次实验，得到测量数据 y k 和 x k k = 1、2、3 …，确定未知参数 a 称“参数估计”。 使准则 J 为 最小 ： 令：? J / ? a = 0 , 导出 a = ? 称为“最小二乘估计”，即残差平方总和为最小的估计，Gauss 于 1792 年提出。 min )(2 1 =-=∑=k N k k ax y J 0)(21 =--=??∑=k k N k k ax y x a J 二、多元线性回归 线性模型 y = a 0+ a 1x 1+ + a n x n + ε 式(2 - 1- 1) 引入参数向量: θ = [ a 0,a 1, a n ]T (n+1)*1 进行 N 次试验，得出N 个方程： y k = ?k T θ + εk ; k=1、2…、N 式(2 -1- 2) 其中：?k = [ 1,x 1,x 2, ,x N ] T (n+1) *1 方程组可用矩阵表示为 y = Φ θ + ε 式（2 -1- 3） 其中：y = [ y 1,y 2, 。。。,y N ] T (N *1) ε = [ ε1, ε2, 。。。,ε N ] T (N *1) N *(n+1) 估计准则有： = （y — Φ θ）T ( y — Φ θ) (1*N) ( N *1) ?????? ? ???????=??????? ?? ???=T N T T nN N n n x x x x x x ???φ.... 1...........1 (1211212) 111 21)(θ?T k N k k y J -=∑=[] ? ? ?? ? ?????----=)(..)(*)(...)(1 111θ?θ?θ?θ?T N N T T N N T y y y y J 【2-1】 设某物理量Y 与X1、X2、X3的关系如下：Y=θ1X 1+θ2X 2+θ3X 3 由试验获得的数据如下表。试用最小二乘法确定模型参数θ1、θ2和θ3 X1: 0.62 0.4 0.42 0.82 0.66 0.72 0.38 0.52 0.45 0.69 0.55 0.36 X2: 12.0 14.2 14.6 12.1 10.8 8.20 13.0 10.5 8.80 17.0 14.2 12.8 X3: 5.20 6.10 0.32 8.30 5.10 7.90 4.20 8.00 3.90 5.50 3.80 6.20 Y: 51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3 解：MATLAB 程序为： Clear all; A= [0.6200 12.000 5.2000 0.4000 14.2000 6.1000 0.4200 14.6000 0.3200 0.8200 12.1000 8.3000 0.6600 10.8000 5.1000 0.7200 8.2000 7.9000 0.3800 13.0000 4.2000 0.5200 10.5000 8.0000 0.4500 8.8000 3.9000 0.6900 17.0000 5.5000 0.5500 14.2000 3.8000 0.3600 12.8000 6.2000 ]; B=[51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3]'; C=inv(A'*A)*A'*B =[0.62 12 5.2;0.4 14.2 6.1;0.42 14.6 0.32;0.82 12.1 8.3; 0.66 10.8 5.1;0.72 8.2 7.9;0.38 13 4.2;0.52 10.5 8; 0.45 8.8 3.9;0.69 17 5.5;0.55 14.2 3.8;0.36 12.8 6.2] 公式中的A 是ΦN, B 是YN ，运行M 文件可得结果： 在matlab 中的运行结果： C= 29.5903 2.4466 0.4597 【2-3】 考虑如下模型 )()(3.03.115.0)(2 12 1t w t u z z z z t y ++-+=---- 其中w(t)为零均值、方差为1的白噪声。根据模型生成的输入/输出数据u(k)和y(k),分别采用批处理最小二乘法、具有遗忘因子的最小二乘法（λ=0.95）和递推最小二乘法估计模型参数（限定数据长度N 为某一数值，如N=150或其它数 精心整理 第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据 其后在 x x, , 2 1 n 2 1 显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即 权因子： 2 2 o i i w 即权因子 i w∝ 2 1 i ，则 再用微分法，得最可信赖值x 11 n i i i n i i w x x w 即加权算术平均值 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法 1x +3x =0.5 2x +3x =-0.3 这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理 Min v i 2 分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。 (1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0 可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。 以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。 即 x j ][][][][2211y a x a a x a a x a a t t t t t t 式中，j a ，y 分别为如下列向量 ][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a 2211 ][y a j =n nj j j y a y a y a 2211 第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即 权因子：2 2o i i w σσ=即权因子i w ∝21i σ，则 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-m in m ax 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法 先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。 1x =0.3 2x =-0.4 1x +3x =0.5 第四章 最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 dx v P i i i i )2exp(21 22 σπ σ-= 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为 n i i i n i i dx v P P )]()(21exp[)2(12∑- ∏= ∏=σπσ 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即 ∑=i i i Min v 2 2 σ 权因子：22o i i w σσ=即权因子i w ∝21 i σ，则 2 []i i wvv wv Min ==∑ 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑ 即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： ∑===Min v vv i 2][ 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-min max 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析， 基于最小二乘法的系统参数辨识 研究生二队李英杰 082068 摘要：系统辨识是自动控制学科的一个重要分支，由于其特殊作用，已经广泛应用于各种领域，尤其是复杂系统或参数不容易确定的系统的建模。过去，系统辨识主要用于线性系统的建模，经过多年的研究，已经形成成熟的理论。但随着社会、科学的发展，非线性系统越来越受到人们的关注，其控制与模型之间的矛盾越来越明显，因而非线性系统的辨识问题也越来越受到重视，其辨识理论不断发展和完善本。文重点介绍了系统参数辨识中最小二乘法的基本原理，并通过热敏电阻阻值温度关系模型的辨识实例，具体说明了基于最小二乘法参数辨识在Matlab中的实现方法。结果表明基于最小二乘法具有算法简单、精度较高等优点。 1. 引言 所谓辨识就是通过测取研究对象在人为输入作用下的输出响应，或正常运行时的输入输出数据记录，加以必要的数据处理和数学计算，估计出对象的数学模型。这是因为对象的动态特性被认为必然表现在它的变化着的输入输出数据之中，辨识只不过是利用数学的方法从数据序列中提炼出对象的数学模型而已[1]。最小二乘法是系统参数辨识中最基本最常用的方法。最小二乘法因其算法简单、理论成熟和通用性强而广泛应用于系统参数辨识中。本文基于热敏电阻阻值与温度关系数据，介绍了最小二乘法的参数辨识在Matlab中的实现。 2. 系统辨识 一般而言，建立系统的数学模型有两种方法：激励分析法和系统辨识法。前者是按照系统所遵循的物化（或社会、经济等）规律分析推导出模型。后者则是从实际系统运行和实验数据处理获得模型。如图1 所示，系统辨识就是从系统的输入输出数据测算系统数学模型的理论和方法。更进一步的定义是L.A.Zadeh 曾经与1962 年给出的，即“系统辨识是在输入和输出的基础上，从系统的一类系统范围内，确立一个与所实验系统等价的系统”。另外，系统辨识还应该具有3 个基本要素，即模型类、数据和准则[5]。被辨识系统模型根据模型形式可分为参数模型和非参数模型两大类。所谓参数模型是指微分方程、差分方程、状态方程等形式的数学模型；而非参数模型是指频率响应、脉冲响应、传递函数等隐含参数的数学模型。在辨识工程中，模型的确定主要根据经验对实际对象的特性进行一定程度上的假设，如对象的模型是线性的还是非线性的、是参数模型还是非参数模型等。在模型确定之后，就可以根据对象的输入输出数据，按照一定的辨识算法确定模型的参数[4]。 图1 被研究的动态系统 3. 最小二乘法（LS）参数估计方法 对于参数模型辨识结构，系统辨识的任务是参数估计，即利用输入输出数据估计这些参数，建立系统的数学模型。在参数估计中最常用的是最小二乘法(LS)、 %% M文件功能：利用最小二乘法估算仿射变换参数 % [ ui vi ]' = [ a1 a2; a3 a4 ]*[ xi yi ]' + [ tx ty ]' % A * x = B; % A = [ x1 y1 0 0 1 0; % x2 y2 0 0 1 0; % : : : ........; % ....................; % xn yn 0 0 1 0; % 0 0 x1 y1 0 1; % 0 0 x2 y2 0 1; % : : : ........; % ....................; % 0 0 xn yn 0 1; ]; % B = [ x1'; x2';...; xn';y1';...; yn' ]; % H = [a1; a2; a3; a4; tx; ty]; % H = pinv(A)*B; %% clc; clear; % addpath E:\Master\Etone\SURFmex\examples\panorama %添加你的数据所在路径 po=importdata('point_O.txt');%读取数据，引号内为文件名pt=importdata('point_T.txt'); [m,n]=size(po); A=zeros(2*m,2*n); A(1:m,1:n)=po; A(1+m:end,1+n:end)=po; m2=size(A,1); n2=size(A,2); A(1:m2/2,(n2+1):(n2+2))=repmat([1 0],m2/2,1); A(m2/2+1:end,(n2+1):(n2+2))=repmat([0 1],m2/2,1); Bx=pt(:,1); By=pt(:,2); Bn=[Bx;By]; H=pinv(A)*Bn; H2=reshape(H,2,3); H3=H2; H3(1,2)=H2(2,1); H3(2,1)=H2(1,2); H3(3,1:3)=[0;0;1]; H4=pinv(H3); disp(H); 最小二乘辨识方法的优劣比较 摘 要：本文系统的探讨了三种最小二乘类辨识方法的原理和性能，并对各种方法在各种不同的环境下进行了MATLAB 仿真，仿真结果证明：最小二乘法不适合实时处理，在同等情况下，递推最小二乘的辨识速度较快，但在有色噪声干扰下效果不理想，广义最小二乘法的辨识效果最好，且不受噪声是否有色的影响，但是费时最多。 关键词：最小二乘 辨识速度 MATLAB 仿真 1 引言 系统辨识是一门介于现代控制理论和系统理论的边缘学科．它将现代控制论的平滑、滤波、预测和参数估计理论，以及系统论的系统分析方法和建模思想应用于自然科学、社会科学和工程实践中的各个领域，与各个领域的专业知识相给合，形成了一个个新的交叉学科分支。 关于系统辨识的含义，早在1962年Zacleh 曾作如下定义：“根据系统的输入和输出，在指定的一类系统中确定一个相被辨识系统等价的系统”。根据这个定义，在系统辨识中必须确定三方面的问题；第一，必须指定一类系统．即根据先验信息确定系统模型的类型。第二，必须规定一类插入信号。例如正弦信号、阶跃信号、脉冲信号、白噪声、伪随机信号等。而且这些信号从时域考虑，必须能持续地激励系统的所有状态；从频域考虑，输入信号的频带能覆盖系统的频带宽度。第三，必须规定“系统等价”的含义及其度量准则。 2 线性系统的辨识 2.1 问题描述 考虑如下线性系统： ()()()()()()1111a b n a n b z k a z k a z k n bu k b u k n e k +-++-=-++ -+L L L L （1） 其中，u(k)为系统激励信号，y(k)为系统输出，e(k)为模型噪声。其系统模型如图1所示： N(z)u(k) u(k) G(z) y(k) z(k) e(k) + + 图1 SISO 的系统模型结构图 【2-1】设某物理量Y与X1、X2、X3的关系如下：Y=θ1X1+θ2X2+θ3X3 由试验获得的数据如下表。试用最小二乘法确定模型参数θ1、θ2和θ3 X1: 0.62 0.4 0.42 0.82 0.66 0.72 0.38 0.52 0.45 0.69 0.55 0.36 X2: 12.0 14.2 14.6 12.1 10.8 8.20 13.0 10.5 8.80 17.0 14.2 12.8 X3: 5.20 6.10 0.32 8.30 5.10 7.90 4.20 8.00 3.90 5.50 3.80 6.20 Y: 51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3 解：MATLAB程序为： Clear all; A= [0.6200 12.000 5.2000 0.4000 14.2000 6.1000 0.4200 14.6000 0.3200 0.8200 12.1000 8.3000 0.6600 10.8000 5.1000 0.7200 8.2000 7.9000 0.3800 13.0000 4.2000 0.5200 10.5000 8.0000 0.4500 8.8000 3.9000 0.6900 17.0000 5.5000 0.5500 14.2000 3.8000 0.3600 12.8000 6.2000 ]; B=[51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3]'; C=inv(A'*A)*A'*B =[0.62 12 5.2;0.4 14.2 6.1;0.42 14.6 0.32;0.82 12.1 8.3; 0.66 10.8 5.1;0.72 8.2 7.9;0.38 13 4.2;0.52 10.5 8; 0.45 8.8 3.9;0.69 17 5.5;0.55 14.2 3.8;0.36 12.8 6.2] 公式中的A是ΦN, B是YN，运行M文件可得结果： 在matlab中的运行结果： C= 29.5903 2.4466 0.4597 【2-3】考虑如下模型 其中w(t)为零均值、方差为1的白噪声。根据模型生成的输入/输出数据u(k)和y(k),分别采用批处理最小二乘法、具有遗忘因子的最小二乘法（λ=0.95）和递推最小二乘法估计模型参数（限定数据长度N为某一数值，如N=150或其它数值），并将结果加以比较。 解： 1、批处理最小二乘法 基于最小二乘法的数据处理问题研究综述 摘要：对基于最小二乘法的数据处理方法进行了介绍。首先对传统最小二乘法基本原理进行了介绍，然后根据例子来说明怎样运用传统最小二乘法来解决实际辨识问题。而且本文针对传统最小二乘存在的缺陷进一步阐述了一些改进型最小二乘法，综述了最小二乘法的研究现状，最后对最小二乘的发展趋势做了预测。 关键字：最小二乘法数据处理改进型最小二乘法发展趋势 1引言 在科学实验中经常要把离散的测量数据转化为直观的便于研究的曲线方程，即曲线拟合[1]。由于在实验室或实际应用中，误差是不可避免的，所以为了不把原有离散数据中的误差引入，人们经常用拟合来确定模拟函数。拟合方法不要求模拟函数通过已知离散的点，而追求的是所有点到模拟函数达到某种误差指标的最小化，是一种整体上的逼近性质。最小二乘法是解决这类曲线拟合中一种较为常用的方法，根据最小二乘法的定义[2]：“最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。”最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，因此最小二乘在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。 本文在阐述最小二乘法理论的基础上对于其在实际问题中的辨识应用做了简单介绍，并指出实际应用中存在的不足，列举了几种改 进型的最小二乘算法来进行优化比较，最后给出了最小二乘法的发展趋势。 2 最小二乘法的理论基础及应用 2.1最小二乘法的理论基础 最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。 然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。 事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用[3]。特别是针对动态系统辨识的方法有很多[4]，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法的应用在就要对其基本原理有较为深刻的理解。 下面是一般的最小二乘法问题：求实系数线性方程组 11112211211222221122 .........00 0 n n n n m m mn n m b b b a x a x a x a x a x a x a x a x a x ++-++-++-?+=? +=?? ??+=? （1） 方程组可能无解。即很可能不存在一组实数x 1,x 2,……,x n 使 2 112120()i i in n i m i a x a x a x b =++?+-=∑ （2） 恒成立。因此我们转而求其次，设法找到实数组 x 1，x 2，…，x n 使误差的平方和最小，这样的 x 1，x 2，…，x n 称为方程组的最小二乘解，这样问题就叫最小二乘法问题[5]。 【2-1】设某物理量丫与XI 、X2、X3的关系如下：丫= 9 i X i + 9 2X 2+ 9 3X 3 由试验获得的数据如下表。 试用最小二 ?乘法确定模型参数9 1、 9 2 和9 3 X1: 0.62 0.4 0.42 0.82 0.66 0.72 0.38 0.52 0.45 0.69 0.55 0.36 X2: 12.0 14.2 14.6 12.1 10.8 8.20 13.0 10.5 8.80 17.0 14.2 12.8 X3: 5.20 6.10 0.32 8.30 5.10 7.90 4.20 8.00 3.90 5.50 3.80 6.20 Y: 51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3 解：MATLAB 程序为： Clear all; A= [0.6200 12.000 5.2000 0.4000 14.2000 6.1000 0.4200 14.6000 0.3200 0.8200 12.1000 8.3000 0.6600 10.8000 5.1000 0.7200 8.2000 7.9000 0.3800 13.0000 4.2000 0.5200 10.5000 8.0000 0.4500 8.8000 3.9000 0.6900 17.0000 5.5000 0.5500 14.2000 3.8000 0.3600 12.8000 6.2000 ]; B=[51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3]'; C=i nv (A'*A)*A'*B =[0.62 12 5.2;0.4 14.2 6.1;0.42 14.6 0.32;0.82 12.1 8.3; 0.66 10.8 5.1;0.72 8.2 7.9;0.38 13 4.2;0.52 10.5 8; 0.45 8.8 3.9;0.69 17 5.5;0.55 14.2 3.8;0.36 12.8 6.2] 公式中的A 是 ①N, B 是YN 运行M 文件可得结果： 在matlab 中的运行结果： C= 29.5903 2.4466 0.4597 【2-3】 考虑如下模型 1 2 z 0.5z 1 2U (t) 1 1.3z 0.3z y(k),分别采用批处理最小二乘法、具有遗忘因子的最小二乘法(入 =0.95)和递 推最小二乘法估计模型参数(限定数据长度 N 为某一数值，如N=150或其它数 值），并将结果加以比较 解： 1、 批处理最小二乘法 M 文件如下： y(t) w(t) 其中w(t)为零均值、方差为 1的白噪声。根据模型生成的输入 /输出数据u(k)和 最小二乘参数估计 摘要： 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。这种算法在使用时，占用内存大，离线辨识，观测被辨识对象获得的新数据往往是逐次补充到观测数据集合中去的。在应用一次完成算法时，如果要求在每次新增观测数据后，接着就估计出系统模型的参数，则需要每次新增数据后要重新求解矩阵方程()Z l T l l T l ΦΦΦ-∧=1θ。 最小二乘辩识方法在系统辩识领域中先应用上已相当普及，方法上相当完善，可以有效的用于系统的状态估计，参数估计以及自适应控制及其他方面。 关键词： 最小二乘（Least-squares ），系统辨识（System Identification ） 目录： 1.目的 (2) 2.设备 (2) 3引言 (2) 课题背景 (2) 4数学模型的结构辨识 (3) 5 程序 (4) M 序列子函数 (4) 主程序 (5) 6实验结果： (7) 7参考文献： (7) 1.目的 掌握系统辨识的理论、方法及应用 熟练Matlab 下最小二乘法编程 掌握M 序列产生方法 2.设备 PC 机1台（含Matlab 软件） 3引言 课题背景 最小二乘理论是有高斯（）在1795年提出：“未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。”这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最好拟合的数学模型。递推最小二乘法是在最小二乘法得到的观测数据的基础上，用新引入的 数据对上一次估计的结果进行修正递推出下一个参数估计值，直到估计值达到满意的精确度为止。 4数学模型的结构辨识 根据汉格尔矩阵估计模型的阶次 设一个可观可控的SISO 过程的脉冲响应序列为{个g(1),g(2),……g(L)},可以通过汉格尔（Hankel ）矩阵的秩来确定系统的阶次。 令Hankel 阵为： ????? ???????-++-++++-++=)22()1()1()()2()1()1()1()(),(l k g k g l k g l k g k g k g l k g k g k g k l H ，其中l 决定),(k l H 阵地维数，k 可在1至()22+-l L 间任意选择。则有[]k n l n k l H rank ?≥=,,),(00。 如果0n l ≥（过程的真实阶次），那么Hankel 阵的秩等于0n 。因此可以利用Hankel 阵的奇异性来确定系统的阶次0n 。 根据残差平方和估计模型的阶次 SISO 过程的差分方程模型的输出残差为)(~k z ，数据长度L ，n H ?为n ?阶时的数据矩阵，n ??θ为n ?阶时的参数的估计量，n ?为模型阶次估计值，0n 为真实阶次，则残差平方和函数J ： )(~1)?()?(1~~1)?(1 2??????00k z L H z H z L z z L n J L n n k n n n T n n n n T n ∑++==--==θθ 残差平方和有这样的性质：当L 足够大时，随着n ?增加)?(n J 先是显著地下降，当n ?>0n 时，)?(n J 值显著下降的现象就终止。这就是损失函数法来定阶的原理。 运用最小二乘法进行混凝土容重的识别 设实测某一施工阶段主梁m 个节段的挠度为向量R ，如公式（1）中所示。 [](1),(2),,()T R R R R m =??? (1) 其中，R （1），R （2），……R （m ）分别表示第1节段、第2节段、……、第m 个节段前端的挠度； 该施工节段对应的理想状态的理论计算挠度（模型中的结果）为： [](1),(2),,()T C C C C m =??? (2) 其中，C （1），C （2），……C （m ）分别表示第1节段、第2节段、……、第m 个节段前端的计算挠度值，可以通过前后两个施工阶段的变形差得到； 那么，R 与C 之前肯定存在一定的偏差，从而形成一误差向量S ，表达式如（3）、（4）所示： [](1),(2),()T S S S S m =??? (3) S C R =- (4) 其中，S （1）=C （1）-R （1），S （2）＝C （2）-R （2），……，S （m ）=C （m ）-R （m ），也即将对应节段的理论值与实际值相减； 设待识别的参数为： [(1),(2),()]T n θθθθ= (5) 其中，n 为参数误差识别的项数，而θ为参数的误差量。由于θ引起的各节段挠度误差为向量s ： [](1),(2),,()T s s s s m =??? (6) s φθ= (7) 1111n m mn φφφφφ?? ? ? ??? ＝ (8) 其中，φ为从参数误差θ到s 的一个线性转换矩阵，令向量θ为单位向量的时候，也即在模型中取参数的变化为单位1的变化，这样，就可以通过s 的变化得到φ的具体数值。 定义残差ε为： S s S εφθ=-=- （9） 残差包含了测量误差、参数估计误差及系统误差等因素在内。 从而可以得到： S φθε=+ （10） 方差： ()()T T J S S εεφθφθ==-- （11） 运用最小二乘法进行土木工程中混凝土容重的识别 设实测某一施工阶段主梁m 个节段的挠度为向量R ，如公式（1）中所示。 [](1),(2),,()T R R R R m =??? (1) 其中，R （1），R （2），……R （m ）分别表示第1节段、第2节段、……、第m 个节段前端的挠度； 该施工节段对应的理想状态的理论计算挠度（模型中的结果）为： [](1),(2),,()T C C C C m =??? (2) 其中，C （1），C （2），……C （m ）分别表示第1节段、第2节段、……、第m 个节段前端的计算挠度值，可以通过前后两个施工阶段的变形差得到； 那么，R 与C 之前肯定存在一定的偏差，从而形成一误差向量S ，表达式如（3）、（4）所示： [](1),(2),()T S S S S m =??? (3) S C R =- (4) 其中，S （1）=C （1）-R （1），S （2）＝C （2）-R （2），……，S （m ）=C （m ）-R （m ），也即将对应节段的理论值与实际值相减； 设待识别的参数为： [(1),(2),()]T n θθθθ= (5) 其中，n 为参数误差识别的项数，而θ为参数的误差量。由于θ引起的各节段挠度误差为向量s ： [](1),(2),,()T s s s s m =??? (6) s φθ= (7) 1111n m mn φφφφφ?? ? ? ??? ＝ (8) 其中，φ为从参数误差θ到s 的一个线性转换矩阵，令向量θ为单位向量的时候，也即在模型中取参数的变化为单位1的变化，这样，就可以通过s 的变化得到φ的具体数值。 定义残差ε为： S s S εφθ=-=- （9） 残差包含了测量误差、参数估计误差及系统误差等因素在内。 从而可以得到： S φθε=+ （10） 方差： ()()T T J S S εεφθφθ==-- （11） 最小二乘参数估计 1 系统辨识的概念 (1) 2 最小二乘参数估计法 (1) 2.1 最小二乘估计的统计特性 (2) 2.2 加权最小二乘 (2) 2.3 递推最小二乘估计 (3) 2.4 相关最小二乘法 (3) 1 系统辨识的概念 系统辨识是研究建立被控对象或过程数学模型的一种理论和方法。它是在输入和输出数据的基础上，从一组给定的模型类别中，确定一个与所研究系统等价的数学模型。 数学模型是指用数学形式来描述实际对象或过程行为特性和运动规律，微分方程、差分方程、传递函数和状态方程式常用的数学形式。建立数学模型的主要方法有机理法和测试法。而机理法的应用是十分有限的，实践中大量采用的还是测试法。系统辨识就是一种测试法。 2 最小二乘参数估计法 最小二乘估计是一种经典的数据处理方法，最早的应用可以追溯到18世纪，大约在1795年由高斯在他著名的星体运动轨道预报研究工作中提出的。高斯提出：对于未知的但要求估计的参数的最适宜的值是最可能的值。他定义：“未知量最可能的值是这样一个数值，它使得实测值与计算值的差的平方乘以测量测量精度后所得的积最小。”后来，在控制系统的参数估计领域也发现个采用了这种方法，这样，最小二乘法就成了估计离乱的奠基石。由于最小二乘法原理简单，编制程序也不困难，因而颇受人们重视，应用相当广泛。目前它已成为动态系统辨识的主要手段。从计算方法讲，它既可以离线计算，也可以在线递推计算，并可在非线性系统中扩展为迭代计算。从计算的数学模型看，它既可以用于参数模型估计可以用于非参数模型估计。 最小二乘估计开始用于处理整批数据的静态参数估计，这里称为一般的最小二乘估计，它能提供一个在最小方差意义下与实验数据最好拟合的数学模型。由对比分析最小二乘法与回归分析
最小二乘法及其应用..
普通最小二乘法(OLS)
2动态过程数学模型参数估计的最小二乘方法
最小二乘法参数估计
第四章参数的最小二乘法估计
参数的最小二乘法估计
第四章参数的最小二乘法估计分解
基于最小二乘法的系统参数辨识
利用最小二乘法估算仿射变换参数
最小二乘辨识方法的优劣比较
最小二乘法参数估计
基于最小二乘法的数据处理问题研究综述
最小二乘法参数估计
系统辨识最小二乘参数估计matlab
运用最小二乘法进行参数估计的过程
运用最小二乘法进行参数估计的过程
最小二乘参数估计
相关主题
文本预览