(完整版)一元线性回归直线拟合

i 1
（2）
k
由于 Vi2 最小，（2）式对a和b求偏导应为0。
i 1
a
k i1
Vi 2
2
k i1
yi a bxi
0
b
k i1
Vi 2
2
k i 1
yi a bxi
xi 0
整理后得
k
k
yi ka b xi 0
i 1
i 1
k
k
k
xi yi a xi b xi2 0
i 1
b. 回归方程的精密度和相关系数
最小二乘法确定a,b有没有误差？
总结经验公式时，我们初步判断所假定的函数关系是否正确？
为了解决这些问题，就需要讨论回归方程的精度和相关性。为了估计回归方 程的精度，进一步计算数据点(xi ，yi)偏离最佳直线y=a+bx的大小，我们引入 概念—剩余标准偏差，它反映着回归方程与各数据点的拟合程度。
➢ 于是可以运用求极值的原理，将求最好拟合直线问题转换为求
误差平方和最小。
小结：最小二乘法拟合
y=a+bx
若实际校准测试点有n个，则第i 个校设拟准合数直据线与方拟程合：直线上响应 值之间的残差为
y yi
y=a+bx
0
xI
x
最小二乘拟合法
Vi yi yi (a bxi )
最小二乘法拟合直线的原理就是使Vi2为最小值，即
代入（1）式，等式两边并不相等。 等式两端的差值用 V1,V2......Vk 表示，则
V1 y1 (a bx1)
V2 y2 (a bx2 )
…...
Vk yk (a bxk )
按最小二乘法原理，a、b最佳值应满足：
k
k
Vi2 ( yi a bxi )2 min
i 1
y 84.33 0.516 x
如此以来，高的伸进了天，低的缩入了地。他
百思不得其解，同时又发现某人种的平均身高
是相当稳定的。最后得到结论：儿子们的身高 回复于全体男子的平均身高，即“回归”—— 见1889年F.Gallton的论文《普用回归定律》。
后人将此种方法普遍用于寻找变量之间的规律
最小二乘法的地位与作用
测量值 sy 斜率 sb 截距 sa
k
(yi
a
bx i
)2
i1
k2
sy
sy
k(x2
2
x)
L xx
x2 L xx
sy
x2 sb
(1 r2 )Lyy k2
r Lxy Lxx Lyy
L xx
k
x
2 i
i1
1 k
k
(
x
i
)2
i1
Lyy
k
yi2
i1
1 k
k
( yi
i1
)2
相关系数r
定量描述x、y变量之间线性相关程度的好坏(寻找经验公式用)
r
Lxy LxxLyy
,a
y - bx, b
L xy L xx
,sy
(1 r 2 )L y y k2
讨论: (1) r称为相关系数。其值可正可负，一般有 0 r 1
（2）r=0时，
Lxy 0,因Lyy 0，Lxx 0，故b 0，a y，即y a bx y
即y与x无线性关系，说明数据点的分布规律非线性。 r>0，拟合曲线斜率为正，r<0 斜率为负。 （3）r=±1时, Sy=0，即各数据点与最佳直线完全重合, x,y 完全线性相关。 (4) 0<r<1时,各数据点与最佳直线不完全重合。有两种情况：
经验公式的线性回归
在进行经验公式的回归时，必须先确定函数的形式。确定 函数形式一般是根据理论的推断或者从实验数据的变化趋势来 推测判断。
如根据实验得到的一组数据(xi ，yi)（或其在x y坐标上的 数据点）初步判断经验公式为线性关系时，即可用最小二乘法 相关公式求出b, a值，并进而拟合出直线的线性关系式y=a+bx 的回归方程。
2
x
x2
a
x xy y.x2
2
x
x2
y bx
为了计算方便，引入符号：
Lxx
k i 1
( xi
x)2
k i1
x
2 i
1k (
k i1
xi )2
Lyy
k i 1
( yi
y)2
k i1
yi2
1 k
k
(
i1
yi )2
Lxy
k i 1
( xi
x )( yi
y)
k i1
xiyi
1 k
普通物理实验绪论课（下）
授课教师：黄育红 E-mail: huangyh@
课程导入
列表法
作图法 直观、简便。但主观随意性大（粗略）
逐差法 粗略的近似计算方法（自变量等间隔变化， 对一次逐差必须是线性关系，否则先进行 曲线改直）
回归分析法(最小二乘为基础) 最准确的计算方法
一、最小二乘法的历史、地位和作用 二、一元线性回归
a.一元线性回归及最小二乘法的原理
由于实验数据总是存在着误差，所以把各组数据 代入y=a+bx时，两边并不相等，作图时，数据点 也不能准确地落在公式对应的直线上，如图所示， 从中还可看出第i个数据点与直线的偏差为
Vi yi2 xi2
Y
yi * *
* **
*
Vi
x i
*
O
x
a.一元线性回归及最小二乘法的原理
何谓“回归分析”？
若两个变量x和y之间存在一定的关系， 并通过试验获得x和y的一系列数据，用 数学处理的方法得出这两个变量之间的 关系式，这就是回归分析，也称拟合问 题，所得关系式称为经验公式，或称回 归方程、拟合方程。
1、物理量y和x间函数关系已定，拟合函数中的待定常数
2、y和x间函数关系未知，从函数点拟合出经验公式
现在回归分析法已远非道尔顿的本意。
已成为探索变量之间关系最重要的方法， 用以找出变量间关系的具体表现形式。
后来，回归分析法从其方法的数学原 理——误差平方和最小（平方是一个数 的自乘，也叫二乘）出发，改称为最小 二乘法。
一、最小二乘法的历史、地位和作用 二、一元线性回归
a.一元线性回归及最小二乘法的原理 b. 回归方程的精密度和相关系数 c. 回归分析法的运算步骤和实例分析 三、二元线性回归 四、非线性回归
坏值，式中ks为置信限，s为测量列的标准偏差，
k值与测量次数n有关。
剔除步骤：计算测量列的s，按准则判断并剔除坏数据；再计算 剔除坏值后的测量列的s（新），进一步剔除坏值，直至坏值全 部剔除，最后根据剩下的数据计算测量结果和估算误差。
2020年8月9日2时17分
28
总结：相关系数
xy x y
Lxy
[x2 (x)2 ][ y2 ( y)2 ] LxxLyy
工程应用中的问题
例1 在研究单分子化学反应速度时，得到下列数据：
i 12345678
i 3 6 9 12 15 18 21 24
yi 57.6 41.9 31.0 22.7 16.6 12.2 8.9 6.5
其中 表示从实验开始算起的时间，y 表示时刻 反应物的量．试定出经验公式 y f ( ).
** **
*
*
O
x
测量列中坏值的剔除
拉依达准则（3σ准则）：以3σ为置信限（概率为99.7%）,凡
超过此值的偏差均看作粗差，与之
相应的测量值为坏值，应剔除。 肖维涅准则：此准则规定误差出现的概率小于1/2n时，认为与
此误差对应的测量值为坏值，应剔除。即若测量
列中的测量值x满足 xi x ks 时，则 xi 是一
试根据上面的试验数据建立 y 和 t 之间的经验公 式 y f (t).
例3 某种合金的含铅量百分比(%)为 p，其溶解温度0C
为，由实验测得 p 与 的数据如下表:
p% 36.9 46.7 63.7 77.8 84.0 87.5 0C 181 197 235 270 283 292
试用最小二乘法建立 与 p 之间的经验公式 ap b．
由上述分析可知，Sy的数值表明了线性回归方程的精密 度，或者，形象地说，描绘了回归线的“宽度”。可以
证明，数据点落在y a bx 3Sy 范围内的机会
是99.7%，按照多次直接测量中讨论的相同标准，也可 判别其是否有粗差，要否剔除。（参考p12的3σ准则， 复习见ppt下页）
Y
3Sy
*
* **
儿子们身高向着平均身高“回归”，以保持种族的稳定
185
180
Y
175
170
y
165
x
160 140 150 160 170 180 190 200
X
“回归”一词的由来
从图上虽可看出，个子高的父亲确有生出个子
高的儿子的倾向，同样地，个子低的父亲确有
生出个子低的儿子的倾向。得到的具体规律如
下：
y a bx u
由化学反应速度的理论知道，y f ( ) 应是 指数函数：y kem , 其中 k 和m 是待定常数
例2 为了测定刀具的磨损速度，我们做这样的实验： 经过一定时间(如每隔一小时)，测量一次刀具的 厚度,得到一组试验数据如下：
顺序编号i 0 1 2 3 4 5 6 7 时间ti (小时) 0 1 2 3 4 5 6 7 刀具厚度 yi(毫米) 27.0 26.8 26.5 26.3 26.1 25.7 25.3 24.3
k
(
i1
k
xi )(
i1
yi )
b Lxy L xx