回归直线方程的推导
山东 王加祥范玉峰
设x 与y 是具有线性相关关系的两个变量，且相应于样本的一组观测值的 n 个点的坐标
分别是：（X i %）,区，y 2）,（X 3, y 3）,L ,（x n ，y n ），下面给出回归方程的推导.
设所求的回归方程为$i bX i a , （i 1,2,3,L , n ）.显然，上面的各个偏差的符号有正、
有负，如果将他们相加会相互抵消一部分， 上的接近程度，因而采用 n 个偏差的平方和 因此他们的和不能代表 n 个点与回归直线的整体
Q 来表示n 个点与相应直线（回归直线）在整体
上的接近程度，
n
即 Q
（y i %）2
i
n
2
(y i a)
(y 2
i
求出当Q 取最小值时的a b 的值，就求出了回归方程.
2 2 bx 2
a)
(y 3 bx 3 a) 2
L (y n bX n a).
、先证明两个在变形中用到的公式
_2
nx ，其中x 公式（一）
n
2 X
i
i i
证明:
n
2
(X i X)
i i n
(X i X)2 (X x)2
1
(X 2 X)2 X i X 2 L
X n
(X n
x)2
2 X i
2 X
2
L X n ) -2
nx
(X i 2
2 X
2
x 2) 2n=
n
-2
nx
(x f
2 X
2
x f )
2 X
i
i i
-2
nx
(
X
X)2
n
2
2
一
2
公式（二）
证明：?
(X i x)(y i
i i n
_
_
(X i x)(y i y)
i i
y)
(X i (X i y
X 2 y 2 L X n y n ) (X i y X i y i
1
x)(y i nxy
y) (X 2 y ?x
X)(y 2
y)
L
X n y
y n X) (X n X)(y n
y)
nxy
n
X i y i i n
XN
i i n X i y i i n
(X i
i i
[(X i X 2 L
X n )y (y i y ? L
n (X X 2 L Xn)~ (y i y 2
n
n
n
2nxy nxy
xy i
i i
_
_
n
x)(y i y)
X i y i nxy .
i i
nxy ,
y n )x] nxy
nxy
二、推导: 将Q 的表达式的各项先展开,
再合并、变形
2 2
Q (y i bx i a) (y 2 bx 2 a) S
2
bx 3 a) L (y n bX n
a)2
配方法
a, b 无关，为常数；前两项是两个非负数的和，因此
n
_
_
_ _
（X i x ）（y i y ）
要使得Q 取得最小值，当且仅当前两项的值都为
0 ?所以a y bX , b 宀
或
（X i x ）2
i 1
n
__
X i y i nxy
b —n
L L 用公式（一）、（二）变形得
2 一2
X nx
i 1
三、总结规律
上述推导过程是围绕着待定参数 a, b 进行的，只含有X i , y i 的部分是常数或系数，用到 的方法有：①配方法，有两次配方，分别是
a 的二次三项式和
b 的二次三项式；②变形时，
用到公式（一）、（二）和整体思想；③用平方的非负性求最小值?④实际计算时，通常是分
2 2 (y
1
y 2 L
y n ) [2%(bx 1
a)
2y 2(bx 2
2
a) ]L L 展开 n
2
y i
i 1
n
2a y i
i 1 n .2 2 b X i
i 1
n
2ab x
i 1
na 2L L 合并同类项
na 2 n
y i
2na 丄-
n
n
X i b 亠 n
n .2 2
b X i
i 1
n 2b Xi%
i 1
n
y i 2以a, b 的次数为标准整理
i 1
na 2 2n a(y bx) n .2 2 b x i
i 1
n[a (y bx)]2
n(y bx )2
n 2b x y
i 1 n
.2 2
b X j
i 1
n[a (y bx)]2
_2 ____________ 2_2
ny 2nbxy nb x n[a (y 2
bx)]
n[a (y
2
bx)]
n
2 2
b ( X i
i 1 n 2
b (X i
i 1 -2
nx ) 2b( 变形
n[a (y
2
bx)]
n (X i i 1
(y _ 2
bx)
n
(x
i 1
2
x)
2
x)
x)2 b
n
y 2L
i 1
n
2b X i y i
i 1 n .2 2 b
X i
i 1
n
转化为平均数x y
n
y i 2L L
i 1
n
X i y i
1 n
(y i 2
i 1 n
(y i
i 1
配方法
2b i n
y i 2L
i 1 展开
X i y i nxy)
i 1 n
2b (X i x)(y y)
i 1
n
_ _
(X x)(y i
y)
i 1
n ~
(X i X)2
i 1
(y
1
—2
ny )L 2
y) L L
整理
用公式
2
y) L L 配方
n
(X i x)(y i
y)
i 1
n
(为 X)2
i 1
(X i x)(y i
y)
i 1
n
(X i X)2
i 1
n
2
(y y)2
L L
i 1
上式中，共有四项，后两项与
n n n n
x2 nx2步计算：先求出x,y，再分别计算(菁x)(y y) , (x x)2或x i y i nxy ,
i 1 i 1 i 1 i 1
的值，最后就可以计算出a, b的值.