线性变换
定义一个将向量空间V 映射到向量空间W 的映射L ，如果对所有的V ∈21,v v 及所有的标量βα，成立
)()()(2121v v v v L L L βαβα+=+
则称其为线性变换（linear transformation ）．容易得到以下性质：
i.
W v )(00=L ．
ii. 若是标量且n n V ααα,,,,,,,2121 ∈v v v ，则成立
)()()()(22112211n n n n L L L L v v v v v v αααααα+++=+++ ．
iii. 对所有V ∈v ，有)()(v v L L -=-．
每一个n m ?矩阵A ，都定义了一个从n R 到m R 的线性变换，其中对每一个n R x ∈都成立
x x A L A =)(
更重要的是，对每一个从n R 到m R 的线性变换，都存在一个n m ?矩阵A ，使得
x x A L =)(
定理1 若L 为一个从n R 到m R 的线性变换，则存在一个n m ?矩阵A ，对每一个
n R x ∈都成立
x x A L =)(
其中A 的第j 个列向量为)(j j L e a =n ,,j 21=． 证)()(21n ij ,,,A a a a a ==，对于n
R 中任意n n x x x e e e x +++= 2211，有 x a a a a a a e e e x A x x x ,,,x x x L x L x L x L n n n n n n =????
?
???????=+++=+++= 212122112211)()()()()(
对于一般的线性空间，有同样的性质．
定理2若][21n ,,,E v v v =和][21m w w w ,,,F =分别是向量空间V 和W 的有序基，则对每一线性变换L ：W V →，存在一个n m ?矩阵A ，使得对每一个V ∈v ，有
E F A L ][)]([v v =
其中A 的第j 个列向量F j j L )]([v a =，n ,,j 21=．A 称为L 相对于基E 和F 的表示矩阵
证对于每一个V ∈v ，n v v v v n x x x +++= 2211，x v =E ][
m w w w v m y y y L +++= 2211)(，y v =F L )]([
根据A 的构造有
m j j j j a a a L w w w v m +++= 2211)(，n ,,j 21=．
则
i m
i n j m i m i n j i i w w w v L v v ∑∑∑∑∑∑∑============1i n j n 1j 1111j ij ij j j j j j y )x a ()a (x )(x )x L L 1()(
所以
x y v A L F ==)]([
最小二乘法
最小二乘问题一般可化为一个超定的线性方程组，这种方程一般是不相容的．因此，给定一个n m ?的方程b x =A （n m >），一般我们不能期望找到一个向量n R x ∈，恰好能作为方程的解．但可以找到一个向量x ，使得A x “最接近b ”．
定义对于方程b x =A ，其中A 为n m ?矩阵（n m >），m R b ∈，对每一个n R x ∈可以定义一个残差
x b x A r -=)( 并用)(-x r x b =A 来描述b 与A x 的间距，目标是寻找使得)(x r 最小化的x
?，即为方程b x =A 的最小二乘解．
若x ?为方程b x =A 的最小二乘解，x p ?A =，则p 就是A 列空间中和b 最接近的向量，p 不仅存在，而且唯一．
定理1令S 是m
R 的一个子空间，对每一个m R b ∈，在S 中存在一个唯一的元素p 和b 最接近，即对任意p y ≠，有 p b y b ->-
并且p 与b 最接近的充要条件是⊥∈-S p b ．
证⊥⊕=S S m R ，m R 中每个元素b 可以唯一的表示为一个和
z p b +=
其中⊥∈∈S S z p 且．若y 为S 中任何其他元素，则S ∈-y p ，故z y p ⊥-)(，所以 2
222y p p b y p p b y b -+-=-+-=- 得到p b y b ->-．特别地，当S ∈b 时，0+=b b ，此时b p z ==,0．
当x ?是b x =A 的最小二乘解时，称p 为b 在R (A )上的投影．则)()()(T A N A R r =∈⊥x ，于是得到等价的命题
命题1x
?是b x =A 的最小二乘解，当且仅当)?()(T T x b x A A r A -==0 因此，为求解最小二乘解，我们需要求解方程
b x T T A A A =
此n n ?线性方程组称为正规方程组，一般可能有多个解，但由定理1知投影p 是一定的．
定理2若A 是秩为n 的n m ?矩阵，则正规方程组
b x T T A A A =
有唯一解
b x
A A A 1T )(?-= 例1
可采用线性或者高次多项式函数拟合．例如采用n 次多项式的最优最小二乘法拟合系数为n c c c ,,10，则对应的方程组为
?????
???????=??????????????????????????m n n m m n n y y y c c c x x x x x x 211022
11111 求解对应的正规方程组即可得到最小二乘解．
课题八曲线拟合的最小二乘法 实验目标： 在某冶炼过程中，通过实验检测得到含碳量与时间关系的数据如下，试求含碳量y与时间t #include 1. 2 y a bx =+. 解：1010654542.80a b a ε?=+-=?，1065414748998738643.00a b b ε?=+-=?，解方程得 4.00955,0.0471846a b ==，均方误差13.0346ε=。 2.下述矩阵能否分解为LU （其中L 为单位下三角阵，U 为上三角阵）？若能分解，那么分解是否唯一？ .461561552621,133122111,764142321??????????=??????????=??????????=C B A 解: 按高斯消去法，A 无法进行第二次消去，换行后可以分解，B 第二次消去可乘任意系数，分解不唯一，C 可唯一分解。 3.设方程组 ?????=+-=++--=++3103220241225321321321x x x x x x x x x (a) 考察用雅可比迭代法,高斯-塞德尔迭代法解此方程组的收敛性; (b) 用雅可比迭代法,高斯-塞德尔迭代法解此方程组,要求当4)()1(10||||-∞+<-k k x x 时迭代终止． 解： (a) Jacobi 迭代矩阵 ????? ??--=+=-03.02.05.0025.02.04.00)(1U L D B 特征方程为 0055.021.0||3=-+=-λλλB I 特征根均小于1，Jacobi 迭代法收敛。 Gauss-Seidel 迭代矩阵 ????? ??=-=-17.004.007.04.002.04.00)(1U L D G 特征方程为 0096.057.0||23=+-=-λλλλG I 特征根均小于1，Gauss-Seidel 迭代法收敛。 (b) Jacobi 迭代格式为 1)()1(f BX X k k +=+ 其中B 如上，T b D f )3.052.1(11-==-， 迭代18次得 曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到: 6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9) 非线性曲线拟合最小二乘法 一、问题提出 设数据（i i y x ,）,(i=0,1,2,3,4).由表3-1给出，表中第四行为i i y y =ln ,可以看出数学模型为bx ae y =,用最小二乘法确定a 及b 。 i 0 1 2 3 4 i x 1.00 1.25 1.50 1.75 2.00 i y 5.10 5.79 6.53 7.45 8.46 i y 1.629 1.756 1.876 2.008 2.135 二、理论基础 根据最小二乘拟合的定义:在函数的最佳平方逼近中],[)(b a C x f ∈，如果f(x)只在一组离散点集{i x ,i=0,1,…,m}，上给定，这就是科学实验中经常见到的实验数据{（i i y x ,）, i=0,1,…,m}的曲线拟合，这里)(i i x f y =，i=0,1,…,m,要求一个函数)(*x S y =与所给数据{（i i y x ,）,i=0,1,…,m}拟合，若记误差 i i i y x S -=)(*δ,i=0,1,…,m,T m ),,(10δδδδ， =,设)(,),(),(10x x x n ??? 是] ,[b a C 上线性无关函数族，在)}(,),(),({10x x x span n ???? =中找一函数)(*x S ，使误差平方和 ∑∑∑===∈ -=-==m i m i m i i i x S i i i y x S y x S 0 2 )(2 * 2 22 ])([])([min ? δδ , 这里 )()()()(1100x a x a x a x S n n ???+++= (n 数学必修3测试题 说明：全卷满分100分，考试时间120分钟，交卷时只需交答题卷，考试时不能使用计算器. 参考:用最小二乘法求线性回归方程系数公式x b y a x n x y x n y x b n i i n i i i -=-?-= ∑∑==, 1 2 21 一、选择题：本大题共10小题，每小题3分，共30分．在每小题给出的四处备选项中，只有一项是符合 题目要求的． 1 ”可用于（ ） A 、输出a=10 a=10 C 、判断a=10 D 、输入a=10 2、已知甲、乙两名同学在五次数学测验中的得分如下：甲：85，91，90，89，95； 乙：95，80，98，82，95。则甲、乙两名同学数学学习成绩（ ） A 、甲比乙稳定 B 、甲、乙稳定程度相同 C 、乙比甲稳定 D 、无法确定 3、下列程序语句不正确．．． 的是（ ） A 、INPUT “MA TH=”；a+b+c B 、PRINT “MA TH=”；a+b+c C 、c b a += D 、1a =c b - 4、 在调查分析某班级数学成绩与 物理成绩的相关关系时，对数据进行 统计分析得到散点图（如右图所示）， 用回归直线?y bx a =+近似刻画 其关系，根据图形，b 的数值最有 可能是（ ） A 、 0 B 、 1.55 C 、 0.85 D 、 —0.24 5、用秦九韶算法求n 次多项式011 1)(a x a x a x a x f n n n n ++++=-- ，当0x x =时，求)(0x f 需要算 乘方、乘法、加法的次数分别为（ ） A 、 n n n n ,,2 ) 1(+ B 、n,2n,n C 、 0,2n,n D 、 0,n,n 6、为了在运行下面的程序之后得到输出16，键盘输入x 应该是（ ） INPUT x IF x<0 THEN y=(x+1)*(x+1) ELSE y=(x-1)*(x-1) END IF 第4题 matlab最小二乘法的非线性参数拟合 首先说一下匿名函数：在创建匿名函数时，Matlab记录了关于函数的信息，当使用句柄调用该函数的时候，Matlab不再进行搜索，而是立即执行该函数，极大提高了效率。所以首选匿名函数。具体拟合时可以使用的方法如下： 1 曲线拟合工具箱提供了很多拟合函数，使用简单 非线性拟合nlinfit函数 clear all; x1=[0.4292 0.4269 0.381 0.4015 0.4117 0.3017]'; x2=[0.00014 0.00059 0.0126 0.0061 0.00425 0.0443]'; x=[x1 x2]; y=[0.517 0.509 0.44 0.466 0.479 0.309]'; f=@(p,x) 2.350176*p(1)*(1-1/p(2))*(1-(1-x(:,1).^(1/p(2))).^p(2)).^2.*(x(:,1).^ (-1/p(2))-1).^(-p(2)).*x(:,1).^(-1/p(2)-0.5).*x(:,2); p0=[8 0.5]'; opt=optimset('TolFun',1e-3,'TolX',1e-3);% [p R]=nlinfit(x,y,f,p0,opt) 2 最小二乘法在曲线拟合中比较普遍。拟合的模型主要有 1.直线型 2.多项式型 3.分数函数型 4.指数函数型 5.对数线性型 6.高斯函数型 一般对于LS问题，通常利用反斜杠运算“\”、fminsearch或优化工具箱提供的极小化函数求解。在Matlab中，曲线拟合工具箱也提供了曲线拟合的图形界面操作。在命令提示符后键入：cftool，即可根据数据，选择适当的拟合模型。 “\”命令 1.假设要拟合的多项式是：y=a+b*x+c*x^ 2.首先建立设计矩阵X： X=[ones(size(x)) x x^2]; 执行： para=X\y para中包含了三个参数：para(1)=a;para(2)=b;para(3)=c; 这种方法对于系数是线性的模型也适应。 2.假设要拟合：y=a+b*exp(x)+cx*exp(x^2) 设计矩阵X为 X=[ones(size(x)) exp(x) x.*exp(x.^2)]; para=X\y 3.多重回归(乘积回归) 设要拟合：y=a+b*x+c*t，其中x和t是预测变量，y是响应变量。设计矩阵为X=[ones(size(x)) x t] %注意x,t大小相等！ para=X\y 应用EXCEL实现最小二乘法计算的方法有：利用EXCEL函数、利用数据分析工具、添加趋势线等。 ⑴表格与公式编辑 将最小二乘法计算过程，应用电子表格逐步完成计算，得到结果。 ⑵应用EXCEL的统计函数 A、LINEST（） 使用最小二乘法对已知数据进行最佳直线拟合，然后返回描述此直线的数组。也可以将LINEST 与其他函数结合以便计算未知参数中其他类型的线性模型的统计值，包括多项式、对数、指数和幂级数。因为此函数返回数值数组，所以必须以数组公式的形式输入。 B、SLOPE（） 返回根据known_y's和known_x's中的数据点拟合的线性回归直线的斜率。斜率为直线上任意两点的重直距离与水平距离的比值，也就是回归直线的变化率。 C、INTERCEPT（） 利用现有的x值与y值计算直线与y轴的截距。截距为穿过已知的known_x's和known_y's数据点的线性回归线与y轴的交点。当自变量为0（零）时，使用INTERCEPT函数可以决定因变量的值。 D、CORREL（） 返回单元格区域array1和array2之间的相关系数。使用相关系数可以确定两种属性之间的关系。 ⑶添加趋势线 添加趋势线的应用较其他方法直观，可以用来完成直线回归，也可以用来完成非线性回归。具体方法不再赘述。 ⑷数据分析工具 “回归”分析工具通过对一组观察值使用“最小二乘法”直线拟合来执行线性回归分析。本工具可用来分析单个因变量是如何受一个或几个自变量的值影响的。 “回归分析”对话框 Y值输入区域在此输入对因变量数据区域的引用。该区域必须由单列数据组成。 X值输入区域在此输入对自变量数据区域的引用。Microsoft Office Excel 将对此区域中的自变量从左到右进行升序排列。自变量的个数最多为16。 标志如果数据源区域的第一行或第一列中包含标志项，请选中此复选框。如果数据源区域中没有标志项，请清除此复选框，Excel将在输出表中生成适当的数据标志。 置信度如果需要在汇总输出表中包含附加的置信度，请选中此选项。在框中，输入所要使用的置信度。默认值为95%。 常数为零如果要强制回归线经过原点，请选中此复选框。 输出区域在此输入对输出表左上角单元格的引用。汇总输出表至少需要有七列，其中包括方差分析表、系数、y 估计值的标准误差、r2值、观察值个数以及系数的标准误差。 新工作表单击此选项可在当前工作簿中插入新工作表，并从新工作表的A1 单元格开始粘贴计算结果。若要为新工作表命名，请在框中键入名称。 新工作簿单击此选项可创建新工作簿并将结果添加到其中的新工作表中。 残差如果需要在残差输出表中包含残差，请选中此复选框。 标准残差如果需要在残差输出表中包含标准残差，请选中此复选框。 残差图如果需要为每个自变量及其残差生成一张图表，请选中此复选框。 线性拟合图如果需要为预测值和观察值生成一张图表，请选中此复选框。 正态概率图如果需要生成一张图表来绘制正态概率，请选中此复选框。 第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1） 其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 实验三 函数逼近与曲线拟合 一、问题的提出： 函数逼近是指“对函数类A 中给定的函数)(x f ,记作A x f ∈)(,要求在另一类简的便于计算的函数类B 中求函数A x p ∈)(,使 )(x p 与)(x f 的误差在某中度量意义下最小”。函数类A 通常是区间],[b a 上的连续函数，记作],[b a C ,称为连续函数空间，而函数类B 通常为n 次多项式，有理函数或分段低次多项式等，函数逼近是数值分析的基础。主要内容有： （1）最佳一致逼近多项式 （2）最佳平方逼近多项式 （3）曲线拟合的最小二乘法 二、实验要求： 1、构造正交多项式； 2、构造最佳一致逼近； 3、构造最佳平方逼近多项式； 4、构造最小二乘法进行曲线拟合； 5、求出近似解析表达式，打印出逼近曲线与拟合曲线，且打印出其在数据点上的偏差； 6、探讨新的方法比较结果。 三、实验目的和意义: 1、学习并掌握正交多项式的MATLAB 编程； 2、学习并掌握最佳一致逼近的MATLAB 实验及精度比较； 3、学习并掌握最佳平方逼近多项式的MATLAB 实验及精度比较； 4、掌握曲线拟合的最小二乘法； 5、最小二乘法也可用于求解超定线形代数方程组； 6、 探索拟合函数的选择与拟合精度之间的关系； 四、 算法步骤： 1、正交多项式序列的生成 {n ?（x ）}∞ 0：设n ?（x ）是],[b a 上首项系数a ≠n 0的n 次多项式，)(x ρ为],[b a 上权函数，如果多项式序列{n ?（x ）} ∞0 满足关系式???=>≠==?.,0,, 0)()()()(),(k j A k j x d x x x k k j b a k j ??ρ?? 则称多项式序列{n ?（x ）}∞ 0为在],[b a 上带权)(x ρ正交，称n ?（x ）为],[b a 上带权)(x ρ 的n 次正交多项式。 1）输入函数)(x ρ和数据b a ,; 2）分别求))(),(()),(,(x x x x j j j n ???的内积； 3）按公式①)()) (),(()) (,()(,1)(1 0x x x x x x x x j n j j j j n n n ??? ???∑-=- ==计算)(x n ?，生成正交多项式； 流程图： 开始 非线性最小二乘法 编辑词条分享 ?新知社新浪微博腾讯微博人人网QQ空间网易微博开心001天涯飞信空间MSN移动说客 非线性最小二乘法 非线性最小二乘法是以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估 计方法。 编辑摘要 目录 1 简介 2 推导 3 配图 4 相关连接 非线性最小二乘法 - 简介 以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。设非线性系统的模型为y＝f(x，θ) 式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。这里的非线性是指对参数θ的非线性模型，不包括输入输出变量随时间的变化关系。在估 计参数时模型的形式f是已知的，经过N次实验取得数据(x1,y1),(x2,y1)， ,(xn，yn)。估计参数的准则（或称目标函数）选为模型的误差平方和非线性最小二乘法就是求使Q达到极小的参数估计值孌。 推导 非线性最小二乘法 - 推导 以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。设非线 性系统的模型为 y＝f(x，θ) 式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。这里的非线性是指对参数θ的非线性模型，不包括输入输出变量随时间的变化关系。在估计参数时模型的形式f是已知的，经过N次实验取得数据(x1,y1),(x2,y1)， ,(x n，y n)。估计参数的准则（或称目标函数）选为模型的误差平方和 非线性最小二乘法就是求使Q达到极小的参数估计值孌。 由于f的非线性，所以不能象线性最小二乘法那样用求多元函数极值的办法来得到参 数估计值，而需要采用复杂的优化算法来求解。常用的算法有两类，一类是搜索算法，另 一类是迭代算法。 搜索算法的思路是：按一定的规则选择若干组参数值，分别计算它们的目标函数值并 比较大小；选出使目标函数值最小的参数值，同时舍弃其他的参数值；然后按规则补充新 的参数值，再与原来留下的参数值进行比较，选出使目标函数达到最小的参数值。如此继 续进行，直到选不出更好的参数值为止。以不同的规则选择参数值，即可构成不同的搜索 算法。常用的方法有单纯形搜索法、复合形搜索法、随机搜索法等。 迭代算法是从参数的某一初始猜测值θ(0)出发，然后产生一系列的参数点θ(1)、θ(2) ，如果这个参数序列收敛到使目标函数极小的参数点孌，那么对充分大的N就可用θ(N)作为孌。迭代算法的一般步骤是： ① 给出初始猜测值θ(0)，并置迭代步数i＝1。 ② 确定一个向量v(i)作为第i步的迭代方向。 ③ 用寻优的方法决定一个标量步长ρ(i)，使得 Q(θ(i))=Q(θ(i))，其中θ(i)＝θi-1+ρ(i)v(i)。 ④ 检查停机规则是否满足，如果不满足,则将i加1再从②开始重复；如果满足，则 取θ(i)为孌。 典型的迭代算法有牛顿－拉夫森法、高斯迭代算法、麦夸特算法、变尺度法等。 非线性最小二乘法除可直接用于估计静态非线性模型的参数外，在时间序列建模、连 续动态模型的参数估计中，也往往遇到求解非线性最小二乘问题。 非线性最小二乘法 - 配图 非线性最小二乘法 最小二乘法公式 ∑(X--X平)(Y--Y平) =∑(XY--X平Y--XY平+X平Y平) =∑XY--X平∑Y--Y平∑X+nX平Y平 =∑XY--nX平Y平--nX平Y平+nX平Y平 =∑XY--nX平Y平 ∑(X --X平)^2 =∑(X^2--2XX平+X平^2) =∑X^2--2nX平^2+nX平^2 =∑X^2--nX平^2 最小二乘公式（针对y=ax+b形式） a=(NΣxy-ΣxΣy)/(NΣx^2-(Σx)^2) b=y(平均)-ax（平均） 最小二乘法 在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1),(x2, y2).. (xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。 Y计= a0 + a1 X (式1-1) 其中：a0、a1 是任意实数 为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)²〕最小为“优化判据”。 令: φ = ∑(Yi - Y计)² (式1-2) 把(式1-1)代入(式1-2)中得: φ = ∑(Yi - a0 - a1 Xi)2 (式1-3) 当∑(Yi-Y计)²最小时，可用函数φ 对a0、a1求偏导数，令这两个偏导数等于零。 (式1-4) (式1-5) 亦即 m a0 + (∑Xi ) a1 = ∑Yi (式1-6) (∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7) 得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出： a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8) a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式 1-9) 这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的元线性方程即：数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y1、 x2, y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。 R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) ＊ 在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。微积分应用课题一最小二乘法 从前面的学习中, 我们知道最小二乘法可以用来处理一组数据, 可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式. 本课题将介绍最小二乘法的精确定义及如何寻求与之间近似成线性关系时的经验公式. 假定实验测得变量之间的个数据, , …, , 则在平面上, 可以得到个点 , 这种图形称为“散点图”, 从图中可以粗略看出这些点大致散落在某直线近旁, 我们认为与之间近似为一线性函数, 下面介绍求解步骤. 考虑函数 , 其中和是待定常数. 如果在一直线上, 可以认为变量之间的关系为 . 但一般说来, 这些点不可能在同一直线上. 记 , 它反映了用直线来描述 , 时, 计算值与实际值产生的偏差. 当然要求偏差越小越好, 但由于可正可负, 因此不能认为总偏差时, 函数就很好地反 Levenberg-Marquardt Method(麦夸尔特法) Levenberg-Marquardt is a popular alternative to the Gauss-Newton method of finding the minimum of a function that is a sum of squares of nonlinear functions, Let the Jacobian of be denoted , then the Levenberg-Marquardt method searches in the direction given by the solution to the equations where are nonnegative scalars and is the identity matrix. The method has the nice property that, for some scalar related to , the vector is the solution of the constrained subproblem of minimizing subject to (Gill et al. 1981, p. 136). The method is used by the command FindMinimum[f, x, x0] when given the Method -> Levenberg Marquardt option. SEE A LSO:Minimum, Optimization REFERENCES: Bates, D. M. and Watts, D. G. N onlinear Regr ession and Its Applications. New York: Wiley, 1988. Gill, P. R.; Murray, W.; and Wright, M. H. "The Levenberg-Marquardt Method." §4.7.3 in Practical Optim ization. London: Academic Press, pp. 136-137, 1981. Levenberg, K. "A Method for the Solution of Certain Problems in Least Squares." Quart. Appl. Math.2, 164-168, 1944. Marquardt, D. "An Algor ithm for Least-Squares Estimation of Nonlinear Parameters." SIAM J. Appl. Math.11, 431-441, 1963. 用最小二乘法计算拟合曲线系数的MATLAB 程序 （1） 输入数据点m k y x k k ,,2,1),,( = 选择逼近函数类：)}(,),(),({10x x x span D n ??? = （2）求解法方程y A Ac A T T =* （3）得出拟合函数)()(0* *x c x n j j j ∑==?? clear all %% 清除了所有的变量，包括全局变量global load('F:\XX\XXX\datafile.mat') %%加载数据（mat 数据格式是matlab 的数据存储的标准格式） [r,c]=size(data); %%data 数据第一列为点序号，第二列为x 坐标，第三列为y 坐标 m=20; %%假设其运行次数 for n=1:m; for i=1:r/2 %%用数据的前半部分计算系数 x1=data(i,2); %%把数据的第i 行第2列赋值给x1 y1=data(i,3); %%把数据的第i 行第3列赋值给y1 for j=1:n; B1(i,j)=x1^(j-1); %%B1矩阵计算 end l(i,1)=y1; %%l 矩阵 end X=inv(B1'*B1)*B1'*l; %%系数矩阵 V=B1*X-l; [r1,c1]=size(B1); m0(n,1)=sqrt((V'*V)/(r1-c1)); %%单位权中误差 if n>2&&m0(n,1)>=m0(n-1,1); %%判断单位权中误差 disp(n) xsgs=n-1; %%单位权中误差最小时其系数的个数 zgcs=n-2; %%单位权中误差最小时其x 的最高次数 break %%如果找到了最优值时跳出循环 end end for i=1:r x2=data(i,2); y2=data(i,3); for k=1:xsgs; B2(i,k)=x2^(k-1); end 浅谈加权最小二乘法及其残差图 ——兼答孙小素副教授 何晓群 刘文卿 ABSTRACT The paper introduces some problems in relation to weighted least square regression ,and answers a question about weighted residual plots. 关键词：异方差；加权最小二乘法；残差图；SPSS 一、引言 好几年没有翻《统计研究》了。最近，有一同行朋友打电话告诉我《统计研究》2005年第11期上刊登了一篇有关我与刘文卿合作编著的《应用回归分析》（2001.6.中国人民大学出版社）教材的文章。赶紧找到这期的《统计研究》，看到其中孙小素副教授的文章《加权最小二乘法残差图问题探讨——与何晓群教授商榷》一文，以下简称《孙文》。认真拜读后感触良多。首先衷心感谢孙小素副教授阅读了我们《应用回归分析》拙作的部分章节，同时感谢《统计研究》给我们提供这样一个好的机会，使我们能够借助贵刊对加权最小二乘法的有关问题谈谈更多的认识。 《孙文》谈到《应用回归分析》教材中有关加权最小二乘法残差图的问题。摆出了与加权最小二乘法相关的三类残差图，指出第三类残差图的局限性。直接的问题是三类残差图的作用，而更深层的原因应该是对加权最小二乘法统计思想的理解和认识上的差异。 二、对加权最小二乘法的认识 1. 加权最小二乘估计方法 拙作《应用回归分析》中对加权最小二乘法有详尽的讲述，这里仅做简要介绍。多元线性回归方程普通最小二乘法的离差平方和为： ∑=----=n i ip p i i p x x y Q 1 211010)(),,,(ββββββ （1） 普通最小二乘估计就是寻找参数p βββ,,,10 的估计值p βββ?,,?,?10 使式（1）的离差平方和Q 达极小。式（1）中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项i ε等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。 然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项i ε的方差2i σ大的项，在式（1）平方和中的取值就偏大，在平方和中的作用就大，因而普通最小二乘估计 的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。 由式（1）求出的p βββ?,,?,?10 仍然是p βββ,,,10 的无偏估计，但不再是最小方差线性无偏估计。 加权最小二乘估计的方法是在平方和中加入一个适当的权数i w ，以调整各项在平方和 %后面的为注释,红色部分代码需要根据实际情况更改 %最小二乘法线性拟合y=ax+b x=[0.5,1,1.5,2,2.5,3,3.5,4,4.5,5];%自变量 y=[191,321,442,565,686,819,930,1032,1153,1252];%因变量 xmean=mean(x);ymean=mean(y); sumx2=(x-xmean)*(x-xmean)'; sumxy=(y-ymean)*(x-xmean)'; a=sumxy/sumx2;%解出直线斜率a(即传感器灵敏度) b=ymean-a*xmean;%解出直线截距b z=((a*(x(1,10))+b-(y(1,10)))/(y(1,10)));%“10”是自变量的个数，z为非线性误差(即线性度) a b z %作图,先把原始数据点用蓝色"十"字描出来 figure plot(x,y,'+'); hold on % 用红色绘制拟合出的直线 px=linspace(0,6,50);%(linspace语法(从横坐标负轴起点0画到横坐标正轴终点6，50等分精度)) py=a*px+b; plot(px,py,'r'); 运行结果： a =236.9818 b =87.4000 另一种简单一点的方法： %最小二乘法线性拟合y=ax+b x=[0.5,1,1.5,2,2.5,3,3.5,4,4.5,5];%自变量 y=[191,321,442,565,686,819,930,1032,1153,1252];%因变量p=polyfit(x,y,1); p 运行结果： p = 236.9818 87.4000 生活中的计算方法应用实例——— 最小二乘法，用MATLAB实现1. 数值实例 下面给定的是某市最近1个月早晨7：00左右（新疆时间）的天气预报所得到的温度 天数 1 2 3 4 5 6 7 8 9 10 温度9 10 11 12 13 14 13 12 11 9 天数11 12 13 14 15 16 17 18 19 20 温度10 11 12 13 14 12 11 10 9 8 天数21 22 23 24 25 26 27 28 29 30 温度7 8 9 11 9 7 6 5 3 1 下面用MATLAB编程对上述数据进行最小二乘拟合，按照数据找出任意次曲线拟合方程和它的图像。 2、程序代码 x=[1:1:30]; y=[9,10,11,12,13,14,13,12,11,9,10,11,12,13,14,12,11,10,9,8,7,8,9,11,9,7, 6,5,3,1]; a1=polyfit(x,y,3) %三次多项式拟合% a2= polyfit(x,y,9) %九次多项式拟合% a3= polyfit(x,y,15) %十五次多项式拟合% b1= polyval(a1,x) b2= polyval(a2,x) b3= polyval(a3,x) r1= sum((y-b1).^2) %三次多项式误差平方和% r2= sum((y-b2).^2) %九次次多项式误差平方和% r3= sum((y-b3).^2) %十五次多项式误差平方和% plot(x,y,'*') %用*画出x,y图像% hold on plot(x,b1, 'r') %用红色线画出x,b1图像% hold on plot(x,b2, 'g') %用绿色线画出x,b2图像% hold on plot(x,b3, 'b:o') %用蓝色o线画出x,b3图像% 3、数值结果 不同次数多项式拟合误差平方和为： r1=67.6659 第1章 非线性最小二乘法与数值最优化 变量之间的关系更多地表现为非线性特征。线性模型作为基础模型是非线性的近似，即任何非线性模型都可以通过线性模型来近似表达。比如，模型01x y e u ββ=++通过泰勒级数展开表述为 0000100101**01|()x x x x x y e x x u e x e x u x u βββββββ=≈+-+ =-++ =++ 模型201y x u ββ=++的线性近似表达式为 0010201010**01(2)|()22x x y x x x u x x x u x u βββββββ=≈+-+ =-++ =++ 例 1.1 利用Monte Carlo 模拟的方法观察线性模型对非线性模型的近似。 设DGP 为：y=10+0.2*exp(x)+u ，x 为[1，3]区间的均匀分布。利用线性模型与指数模型分别回归模型，并计算x 对y 的（平均）边际影响与（平均）弹性。（数据文件：nonlin ） 但线性模型对非线性模型的近似程度取决于高阶部分是否充分小。即使在样本内线性模型能够较好地拟合数据，也不能准确地体现变量的结构关系。非线性模型中，x 对y 的边际影响（或弹性）是变化的；而线性模型中，x 对y 的边际影响（或弹性）是常数。很多情况下，线性模型与非线性模型对边际影响或弹性的估计存在非常大的差异。另外，利用线性模型拟合非线性数据存在潜在的危险，即区间外预测会存在越来越大的误差。因此，正确设定模型的形式是进行准确推断和预测的重要环节。 对于一般的回归模型，如以下形式的模型， (,)f =+y X βu 1.1 OLS 一般不能得到其解析解。比如，运用OLS 方法估计模型（1.1），令S(β)表示残差平方和，即 2 211()[(;)]n n i i i i i S u y f ====-∑∑βX β 1.2 最小化S(β)，即根据一阶条件可以得到 1 (;)()2[(;)]n i i i i f S y f =??=--=??∑X ββX β0ββ 以模型y x u γαβ=++为例，其一阶条件为 2011 0()1[]02i n x i i S y e ββββ=?=---=?∑β 4.最小二乘法线性拟合 我们知道，用作图法求出直线的斜率a 和截据b ，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a 和b 误差较大。用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a 和截据b 是唯一的。 最小二乘法就是将一组符合Y=a+bX 关系的测量数据，用计算的方法求出最佳的a 和b 。显然，关键是如何求出最佳的a 和b 。 (1) 求回归直线 设直线方程的表达式为： bx a y += (2-6-1) 要根据测量数据求出最佳的a 和b 。对满足线性关系的一组等精度测量数据（x i ，y i ），假定自变量x i 的误差可以忽略，则在同一x i 下，测量点y i 和直线上的点a+bx i 的偏差d i 如下： 111bx a y d --= 222bx a y d --= n n n bx a y d --= 显然最好测量点都在直线上（即d 1=d 2=……=d n =0），求出的a 和b 是最理想的，但测量点不可能都在直线上，这样只有考虑d 1、d 2、……、d n 为最小，也就是考虑d 1+d 2+……+d n 为最小，但因d 1、d 2、……、d n 有正有负，加起来可能相互抵消，因此不可取；而|d 1|+ |d 2|+……+ |d n |又不好解方程，因而不可行。现在采取一种等效方法：当d 12+d 22+……+d n 2 对a 和b 为最小时，d 1、d 2、……、d n 也为最小。取（d 12+d 22+……+d n 2 ）为最小值，求a 和b 的方法叫最小二乘法。 令 ∑== n i i d D 1 2＝21 1 2][i i n i n i i b a y d D --== ∑∑== (2-6-2) D 对a 和b 分别求一阶偏导数为： ][211∑∑==---=??n i i n i i x b na y a D ][21 2 11∑∑∑===---=??n i i n i i n i i i x b x a y x b D用最小二乘法求一个形如
最小二乘法曲线拟合 原理及matlab实现
MATLAB实现非线性曲线拟合最小二乘法
最小二乘法求线性回归方程
matlab最小二乘法的非线性参数拟合
应用EXCEL实现最小二乘法计算的方法
数值计算_第6章 曲线拟合的最小二乘法
曲线拟合的最小二乘法讲解
非线性最小二乘法
最小二乘法公式
非线性最小二乘法Levenberg-Marquardt method
用最小二乘法计算拟合曲线系数
最小二乘法
用Matlab进行最小二乘法线性拟合求传感器非线性误差灵敏度
最小二乘法--计算方法
Chapter2 非线性最小二乘法与数值最优化
最小二乘法拟合
相关主题
文本预览