数据处理方法.ppt

Y T Y 2 y T X ˆˆT X T X ˆ
二、线性方法
• 由上式对 求导（向量函数的求导），可
由上得式：0 2 ( y X ) X X ˆ (ˆ X X ) 0
2 X Y (X X ˆ X X ˆ) 0
XTXˆXTY （正规方程组）
记系数矩阵 XTXA，常数矩阵 XTY B
如果 A 1 存在，称其为相关矩阵
二、线性方法
1.可以证明：对任意给定的X,Y，正规方程组总有 解，虽然当X不满秩时，其解不唯一，但对任意一 组解 ˆ 都能是残差平方和最小，即 Q(ˆ)minQ() 2.当X满秩时，即 r(X)r(XTX)m 则正规方程组的解为 ˆ(XTX)TXTY，即为回归系 数的估计值
是不可观测的随机误差向量， 是回归系数构成
的向量，是未知、待定的常数向量。
二、线性方法
选取 的一个估计值 ˆ 1 使随机误差 的平方和
达到最小
m inTm in YX2
m in(yX)T(yX)
(Y Xˆ)T(YXˆ)d efQ (ˆ)
Y T Y Y T X ˆ ˆT X T Y ˆT X T X ˆ
• 那么，为什么要提出非线性方法呢？
三、非线性方法
• 对于非线性方法，与线性方法类似，同样 可以按照自变量的个数分为一元非线性回 归（曲线拟合）和多元非线性回归（曲面 拟合）。
（一）曲线拟合
• 对于曲线拟合，其“最佳”的理解可以有 插值和逼近两种方式。
• 若按照插值来理解，那么就是《数值计算》 中的插值法。
• 它也可变形为
l0(x0)xx0 xx11,l1(x)xx1 xx00
• 显然有
一次Lagrange插值多项式
•记
l0 (x)
x x1 x0 x1
l1 ( x)
x x0 x1 x0
• 可以看出：
L1(x)xx0xx11 y0xx1 xx00 y1
•称 基函数。
为节点 , 的线性插值
一次Lagrange插值多项式
常用实验数据处理方法简介
中国人民大学环境学院 张晓军
一、数据处理方法综述
• 实验数据处理的本质：给定一组相互独立 的自变量x1,x2,x3….(xi均为n维向量)和 因变量y（n维向量），找出一个“最佳” 的映射，来刻画自变量和因变量之间的关 系。
• 关于“最佳”的两种理解：逼近和插值。
一、数据处理方法综述
二、线性方法
• 多元线性回归模型：
（ u ） = 1 Q 1 ( u )2 Q 2 ( u )m Q m ( u ) ‥（1）
令 y =Q ( u )Q ( u )Q ( u )‥（2）
11
22
mm
其中 为随机误差，
N(0, 2 )，Q
(u
i
)
均为实际问题
的解释变量，是已知函数。
假设作了n次试验得到n组观测值为：
• 拉格朗日（Lagrange）插值公式的基本思 想是，把pn(x)的构造问题转化为n+1个插 值基函数li(x)(i=0,1,…,n)的构造。
• 线性插值函数 • 抛物插值函数 •N
一次Lagrange插值多项式
• 由直线两点式可知，通过A，B的直线方程为
yy0yx1 1 xy00xx0p1(x)
• 实验数据处理方法的分类： • 按照自变量的个数，可分为一元和多元两
大类； • 按照映射（函数）形式，可分为线性和非
线性两大类。
• 于是一共有2*2 = 4大类。
二、线性方法
• 考虑到线性方法已经规定了函数形式为线 性，故在线性方法中，“最佳”的判据只 能是逼近。
• 按照自变量个数，分为一元线性回归和多 元线性回归。
• 若按照逼近来理解，那么就是《非线性规 划》中的一种特殊的无约束最优化问题— —非线性最小二乘法。
插值法
• Lagrange插值(含线性插值、抛物插值、n 次Lagrange插值公式)；
• 牛顿（Newton）插值及余项、差商的定义 与性质;
• 埃尔米特(Hermite)插值公式及余项； • 等距节点的多项式插值、分段低次多项式
Y
y
2
Q1
(u2
)
yn
Q1(un)Q2 (u1) Q2 (u2 )
Q2 (un )
Qm (u1) 1 y 1
Qm
(u2
)
2
y2
Qm
(un
)
n
yn
即 YX
二、线性方法
其中X是模型设计矩阵，Y与 是随机向量
且 Y Nn(X,2I)， Nn(0,2I)（I为n阶单位阵）
• 线性插值基函数的特点： • 节点值； • 均为一次函数。
• 注意她们的特点对下面的推广很重要。
二次Lagrange插值多项式
• 由基函数方法得： L 2 (x ) y 0 l0 (x ) y 1 l1 (x ) y 2 l2 (x )
• 其中： l0(x)((xx0xx11))((xx0xx22)) l1(x)((xx1xx00))((xx1xx22))
3.性质 ˆ N( , ) 2(XTX)1
二、线性方法
• 显著性检验与拟合性检验。 • 主要是检验模型是否一定与解释变量有密
切的关系。
• 在模型的检验显著的情况下，需要进一步 地做拟合性检验，目的是检验是否一定为 （2）所给的形式，即是否还存在其他的影 响因素没有考虑到。
三、非线性方法
• 理论上来说，对于需要处理的数据，如果 已知所需拟合的函数的形式，那么通常都 可以通过变量替换化成线性方式求解。
插值、三次样条插值。
插值法
• 插值唯一性定理
定理：(唯一性) 满足P (xi)yi,i0 ,..,n . 的 n 阶插值 多项式是唯一存在的。
• 证明：利用范德蒙行列式
插值法
• 一、解方程组法：
• 二、基函数法：一种既能避免解方程组， 又能适合于计算机求解的方法，下面将具 体介绍。
拉格朗日插值公式
u1
y1
u
2
y1
u n
y n
二、线性方法
代入（2）中可得
（3）
yi=1Q1(u)2Q2(u) mQm(u)i
i1,2, n i iidN(0,2)
（其中 i 为第i次试验时随机误差）
该模型关于回归系数 1,2, m是线性的，u为
一般向量，若用矩阵形式，（3）变为：
二、线性方法
y 1 Q1(u1)
l2(x)((xx2xx00))((xx2xx1)1)
N次Lagrange插值多项式