最小二乘法的应用研究如需要图纸等资料，联系QQ1961660126 如需要图纸等资料，联系QQ1961660126如需要图纸等资料，联系QQ1961660126最小二乘法的应用研究摘要最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用.然而,最小二乘法因其抽象、难懂常常不能被准确理解.本文探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括:一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合,并且讨论了用镜像映射和切比雪夫多项式解“病态”矛盾方程组的基本原理和方法,在此基础上给出了几种最小二乘法程序的设计原理.关键词：最小二乘法,线性拟合,曲线拟合,切比雪夫多项式Study on the Application about Method of Least SquareAbstractLeast square was used to estimate parameters and identify system of regression model, by the point of error fitting. And it has widely application in the parameters estimate, system identification, prediction, forecasting and other fields. However, the least square method because of its abstract and difficult ，often can not be accurately understanding. The least square method’s principle and the various kinds of fitting methods such as the linear least square fitting, multiple linear fitting, polynomial fitting a nonlinear fitting are dealt with. And discussed using mirror and Chebyshev polynomial solution pathological contradictory equations basic principles and methods. Finally some kinds of the principle of the programs on the least square method are given.Key Words：least square method, linear fitting, curve fitting, Chebyshev polynomial目 录一、最小二乘法的统计学原理………………………………………………………1 二、曲线拟合…………………………………………………………………………2 1.一元线性拟合……………………………………………………………………2 2.多元线性拟合……………………………………………………………………4 3.多项式拟合………………………………………………………………………5 4.非线性最小二乘法拟合…………………………………………………………6 5.多项式回归的高精度快速算法…………………………………………………7 三、应用最小二乘法的几个问题……………………………………………………9 四、程序设计原理……………………………………………………………………10 1.线性拟合程序的设计原理………………………………………………………10 2.多元线性拟合程序的设计原理…………………………………………………10 3.Shehata 方程1212k s k su k s k s=+++的拟合程序设计原理..............................11 结束语..........................................................................................11 参考文献 (12)一、最小二乘法的统计学原理[1]基本最小二乘法,其统计学原理是:设物理量y 与l 个变量12,,,l x x x …间的依赖关系式为1201(,,,,,,,)l n y f x x x a a a =……,其中01,,,n a a a …是方程中需要确定的1n +个参数.最小二乘法就是通过()1m m n >+个实验点12(,,,,)(1,2,)i i il i x x x y i m =……,确定出一组参数值01(,,,)n a a a …,使由这组参数得出的函数值1201=(,,,,,,,)i i il n y f x x x a a a ……与实验值i y 间的偏差平方和2011(,,,)()mn i i s a a a y y ==-∑…取得极小值.在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即1m n >+.这时构成的方程组叫做矛盾方程组.通过用最小二乘法进行统计处理,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出01,,,n a a a ….由微分学的求极值方法可知01,,,n a a a …应满足下列方程组:0iya ∂=∂ (1,2,,)i n =…, 这样就实现矛盾方程组向正规方程组的转换.二、曲线拟合1.一元线性拟合[2]设变量y 与x 成线性关系,即01y a a x =+.现在已知m 个实验点,i i x y(1,2,,)i m =…,求两个未知参数01,a a .[方法一] 由最小二乘法原理,参数01,a a 应使201011(,)()mi i i s a a y a a x ==--∑取得极小值.根据极小值的求法,0a 和1a 应满足011001112()02()0mi i i mi i ii sy a a x a s y a a x x a ==∂⎧=---=⎪∂⎪⎨∂⎪=---=⎪∂⎩∑∑, 10112011111m m i i i i m m mi i i ii i i a a x y m m a x a x x y =====⎧+=⎪⎪⎨⎪+=⎪⎩∑∑∑∑∑, 这就是含有两个未知数和两个方程的正规方程组.从中解得01,a a ,即221111()/()m m i i i i i a x y mxy x mx a y a x==⎧=--⎪⎨⎪=-⎩∑∑ (1) 其中1111,m mi i i i x x y y m m ====∑∑,线性相关系数/xy R l =式中2222111,,m m mxy i i xx iyy i i i i l x y mxy l x mx l y my ====-=-=-∑∑∑,相关系数是用来衡量实验点的线性特性.[方法二] 将,(1,2,,)i i x y i m =代入01y a a x =+得矛盾方程组1011201201m my a a x y a a x y a a x =+⎧⎪=+⎪⎨⎪⎪=+⎩ (2) 令12111m x x A x ⎛⎫ ⎪⎪= ⎪⎪⎝⎭,12m y y B y ⎛⎫⎪ ⎪= ⎪ ⎪⎝⎭,则（2）式可写成01a B A a ⎛⎫= ⎪⎝⎭,则有01TTa A B A A a ⎛⎫= ⎪⎝⎭,所以011()T Ta A A A B a -⎛⎫= ⎪⎝⎭. 其中A 称为结构矩阵,B 称为数据矩阵,T A A 称为信息矩阵,T A B 称为常数矩阵.为了定量地给出01y a a x =+与实验数据之间线性关系的符合程度,可以用相关系数r 来衡量.它定义为11122221111m m mi i j ii j i mmmmi i i i i i i i m x y x y r m x X m y y =======-=⎡⎤⎡⎤⎛⎫⎛⎫--⎢⎥⎢⎥ ⎪⎪⎝⎭⎝⎭⎢⎥⎢⎥⎣⎦⎣⎦∑∑∑∑∑∑∑.r 值在01r <≤中,r 值越接近1,x 与y 的线性关系越好.r 为正时,直线斜率为正,称为正相关；r 为负时,直线斜率为负,称为负相关.r 接近于0时,测量数据点分散或之间为非线性.不论测量数据好坏都能求出0a 和1a ,所以我们必须有一种判断测量数据好坏的方法,用来判断什么样的测量数据不宜拟合,判断的方法是0r r <时,测量数据是非线性的.0r 称为相关系数的起码值,与测量次数n 有关,如图表所示.相关系数起码值0r在进行一元线性拟合之前应先求出r 值,再与0r 比较,若0r r >,则x 和y 具有线性关系,可求回归直线；否则反之.2.多元线性拟合设变量y 与n 个变量x 间存在线性关系,01nj j j y a a x ==+∑.设变量j x 的第i 次测量值为ij x ,对应的函数值为(1,2,,)i y i m =,则偏差平方和22010111(,,,)()()mmnn i i j ij i i j s a a a y y y a a x ====-=--∑∑∑为使s 取极小值,得正规方程组为:0110011110112()02()02()0m ni j ij i j m n i j ij i i j m ni j ij in i j nsy a a x a sy a a x x a sy a a x x a ======∂⎧=---=⎪∂⎪⎪∂=---=⎪∂⎨⎪⎪⎪∂=---=⎪∂⎩∑∑∑∑∑∑, 即011101111()n m m ij j ij i i mn m mik ij ik j ik i j j i i ma x a y x a x x a x y =======⎧⎛⎫+=⎪ ⎪⎝⎭⎪⎨⎛⎫⎪+= ⎪⎪⎝⎭⎩∑∑∑∑∑∑∑,1,2,,k n =.将实验数据(,)ij i x y 代入上述正规方程组中,即得出未知参数01,,,n a a a .3.多顶式拟合对于n 次多项式0nj j j y a x ==∑,令(0,1,2,,)j j x x j n ==,则可转化为线性形式01nj j j y a a x ==+∑这是曲线化直.对于1,2,,i m =个实验点有j ij i x x =,代入多元线性拟合的正规方程:001111111()()nm m m n m mij j i ik ij ik j ik i j i i i j i i ma x a y x a x x a x y =======⎛⎫+=+= ⎪⎝⎭∑∑∑∑∑∑∑,可直接得出多项式最小二乘拟合的正规方程:011nm mj k i j ik i j i i x a x y +===⎛⎫= ⎪⎝⎭∑∑∑ (0,1,2,,)k n =；矩阵形式:0120012311123422212ni i i i i i n i i i i i i n i iiii i n n n n m n ii ii i i n x x x x x y a x x x x x y a x xxxx y a x x x x x y a +++++⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑,式中∑代表1mi =∑,这是一个具有1n +个参数012,,,,n a a a a 和1n +个方程的线性方程组,可用高斯迭代法求出这些未知参数,得出回归方程.4.非线性最小二乘法拟合将非线性关系1212(,,,,,,,)i n y f x x x b b b =直接代入偏差平方和表达式中,采用极小值的求法得出12,,,n b b b 的数值,此方法常常较为繁琐.为此,先将函数展开成泰勒级数,忽略高次项,化成线性形式后按线性拟合的方法求出参数,经多次逼近可得到满足精度要求的结果.计算步骤:(1) 设所求参数真值为(1,2,,)j b j n =,另取初值(0)j b ,其差值(0)j j j b b σ=-,故(0)j j j b b σ=+.(2) 将函数1212(,,,,,,,)l n f x x x b b b在(0)j b 处展开成泰勒级数.由于初值(0)j b 与真值j b 应当很接近,故可以略去函数的泰勒展开式高次项,取得一阶近似展开式:(0)11iii i n nf f f f b b σσ∂∂=+++∂∂, 式中(0)(0)(0)(0)1212(,,,,,,,)i i i il n f f x x x b b b =1212(,,,,,,,)i i i il n f f x x x b b b =(1,2,,.)i m m =为实验点数(3) 令(0),,iij i i i j j jf x y f f a b σ∂==-=∂,则展开式可以写为: 11221ni i in n ij j j y x a x a x a x a ==+++=∑,这是线性关系式的特殊形式.(4) 将多元线性最小二乘法拟合的正规方程式应用于上式,得出其正规方程组:111()()(1,2,,)n mmij ikj ik i j i i x xa x y k n =====∑∑∑令111212122212n n m m mn x x x x x x A x x x ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦12(,,,)T n a a a a =(0)(0)(0)121122(,,,)(,,,)T Tm m m y y y y f f f f f f ==---,则上式成为:T T a y A A =A .(5) 以高斯消元法或其它方法求解正规方程,即可得出j a 即j σ,求出(0)j j j b b σ=+,此式是一个近似式,因而得出的j b 也是一个近似值.将首次求出的j b 值赋给(0)j b 作为新的初值,重复上述过程,再求出新的j σ值,从而得到新的初值,反复迭代,直到得出足够精度的j b 为止.5.多项式回归的高精度快速算法多项式回归分析在回归分析方法中具有特别重要的地位.在多项式回归分析的矩阵运算中,解决数字病态问题则成为重要问题之一.为此采取两个措施:第一,因为正规方程的条件数是矛盾方程组的平方倍,所以首先采用镜像影射法解矛盾方程组,不解正规方程组；第二,采用切比雪夫多项式,使矛盾方程组系数矩阵正交化,使条件数进一步减小.采用这两种有效方法后,多项式逐次分析的运算工作就容易了,并且提高了精度.算法原理:(1) 运用切比雪夫多项式降低矛盾方程的条件数.对矛盾方程组的系数矩阵(0)(1)()[,,,]n X x x x =,向量(0)(1)()[,,,]n x x x 的ε线性相关程度与X 矩阵的条件数有密切关系.当系数矩阵为正交向量时条件数最小.因此,如果将多项式回归转化成切比雪夫多项式回归,就能将条件数降低到尽可能小的程度.(2) 将测量数据化为[1,1]-区间的数据{}k y .将一般多项式的测量数据12n x x x <<<线性影射到[1,1]-内,就能把一般多项式的回归问题转化成切比雪夫回归问题.(3) 对数据{}k x 拟合切比雪夫多项式.对2201122()()y a a T x a T x =+++用切比雪夫多项式拟合数据(,)k k x y ,1,2,,k n =,并经过模型方次和参数的最小二乘估计,算出i a ,1,2,,i n =.(4) 由切比雪夫多项式还原成普通多项式.这种算法能在一次输入实验数据后,系统自动根据残差平方和的F 检验快速确定方次并求出参数.例如[3],某振动筒式压力传感器的静态标定数据,在95%的置信带内,运行建模程序得到静态频率-压力特性为二次多项式；2()6850.4116000.21141.781f p p p =+-三、应用最小二乘法的几个问题最小二乘法虽然在数据处理方面具有显著的效果,但如果使用不当会导致很大的误差,甚至错误的结果.因此,在应用时必须注意以下几个问题:(1) 慎重选择拟合关系式在实际问题中,适当选择拟合关系式是一项十分谨慎的工作,它将直接影响计算的工作量和结论.(2) 自变量的选择在实际工作中,对一组实验(,)i i x y 数据按不同的拟合形式,结果会不一样.特别注意当两个变量都有一定误差时,应当使用双变量最小二乘法进行处理,否则可以使用单变量最小二乘法.(3) 加权最小二乘法此法是应用于实验测量值i y 非等精度的情况下的拟合方法.它不同程度的消除误差因素,结果更准确可靠.设拟合函数为()y f x =,当x 值取i x 时y 的实测值为i y ,取()i i i y f x σ=-.加权偏差平方和()2211()mmi ii i i i i s w w y f x σ====-∑∑,式中i w 为i 个实验点的权重因子.选取合适的权重因子i w 可获得高精度的拟合参数.四、程序设计原理1.线性拟合程序的设计原理[4]对于给定的实验数据(,),1,2,i i x y i n =,求作拟合直线y a bx =+,使总误差21[()]ni i i Q y a bx ==-+∑为最小.再由数学中极值求法得LS 公式:211()()/()nni i i i i b x x y y x x ===---∑∑,a y bx =-,式中11n i i x x n ==∑,11ni i y y n ==∑.2.多元线性拟合程序的设计原理对式01nj j j y a a x ==+∑,设变量j x 的第i 次测量值为ij x ,对应的函数值(1,2,)i y i n =偏差平方和22010111(,,,)()()m m nn i i j ij i i j s a a a y y y a a x ====-=--∑∑∑…,求其极小值得正规方程组0111()nmmij j i j i i ma x a y ===+=∑∑∑,01111()()nn m mikij ik j ij ik j j i i xa x x a x x ====+=∑∑∑∑ (1,2,,)k n =,式中：m 为实验点数,n 为未知参数个数,(,)x m n 为变量(1,2,,)j x j n =在第i (1,2,,)i m =次测量中的取值ij x ；()y m 为函数第i 次测量值i y ,(,1)c m n +为正规方程组的系数1mij i x =∑和1mij ik i x x =∑,第1n +列存放1mi i y =∑和1mik i i x y =∑;()a n 为存放未知参数01,,,n a a a .3.Shehata 方程1212k s k su k s k s=+++的拟合程序设计原理 将方程考虑为12,k k 的函数,将2211()u s k k s ∂=∂+,2222()u s k k s ∂=∂+, 代入正规方程即得结果.结束语最小二乘法是一个比较古老的方法,早在十八世纪,就由首先创立并成功地应用于天文观测和大地测量工作中.此后近三百年来,它己广泛应用于科学实验与工程技术中.最小二乘法能将从实验中得出的一大堆看上去杂乱无章的数据中找出一定规律,拟合成一条曲线来反映所给数据点总趋势,以消除其局部波动.它为科研工作者提供了一种非常方便实效的数据处理方法.随着现代电子计算机的普及与发展,这个占老的方法更加显示出其强大的生命力.参考文献:[1]李庆扬,王能超,易大义.数值分析(第4版)[M].北京:清华大学出版社,2001.[2]黄俊钦.静动态数学模型的实用建模方法[M].北京:机械工业出版社,1988.[3]宋文臣主编.True Basic语言程序设计[M].北京:电子工业出版社,1994.[4]王能超.数值分析简明教程[M].北京:高等教育出版社,1984.[5]肖明耀.误差理论与应用[M].北京:计量出版社,1985.[6]宋文臣,王卫国等.微生物工程数据处理与建模研究[J].青岛化工学院学报,1996,17(3):284-289.[7]赵新那等.数值分析在分析化学中的应用[M].武汉:中南工业大学出版社,1987.[8]徐成贤,陈志平,李乃成.近代优化方法[M].北京:科学出版社,2002.。
