第三章 回归分析

回归分析
lij =
k =1 n
∑ ( xki − xi )( xkj − x j )
k =1
n
liy = ∑ ( xki − xi )( y k − y ) l11b1 + l12 b2 + " + l1m bm = l1 y l 21b1 + l 22 b2 + " + l 2 m bm = l 2 y "" l m1b1 + l m 2 b2 + " + l mm bm = l my
r =0
y与x毫无线性关系
r > 0 b > 0 正相关 r < 0 b < 0 负相关 r > rα r在α水平上显著 l yy σ 2 ~ χ 2 (n − 1) U σ 2 ~ χ 2 (1) Q σ 2 ~ χ 2 ( n − 2)
2.
F检验（方差分析）
回归分析
U ( n − 2) ~ Q
i =1
m
回归分析
二 多元回归效果检验
1. 回归方程的显著检验
原假设 H 0 : βi = 0 i = 1 ~ m l yy = ∑ ( y k − y ) 2 = ∑ ( y k − y ˆk )2 + ∑ ( y ˆk − y)2 = Q + U
U σ 2 ~ χ 2 ( m) Q σ 2 ~ χ 2 (n − m − 1) U m ~ F (m, n − m − 1) F= Q (n − m − 1) F > Fα 拒绝H 0； F < Fα 接受H 0
表示为矩阵形式
LB = L y C = L−1 B = L−1L y = CL y
bi = ∑ cij l jy
j =1 j m
i = 1,2, " , m
b0 = y − ∑ b j x j
回归分析
标准化模型：对原数据进行标准化变换，而对变换后的数 WHY？量纲不同 据建立的回归模型。 yk − y xki − xi xki 标准化变换 y k ′= ′ = σy σi
lij ′=
k =1
其中
∑ ( xki ′ − xi′)( xkj ′ − x ′j ) = ∑ xki ′ xkj ′ =
k =1
n
n
lij lii l jj
回归分析
记 rij = lij ′
正规方程组可表示为矩阵形式
R = (rij ) RB′ = R y C′ = (R ) −1 B′ = C′R y
β的区间估计 (b − t α S y l xx , b + t α S y l xx )
σ未知
2
回归分析
3.
回归值的置信区间
定义残差 则
δi = yi − y ˆi E (δi ) = E ( β0 + βxi + εi − b0 − bxi ) = 0 D(δi ) = D ( yi − b0 − bxi ) = D[ yi − y − b( xi − x )] ( x − x )( xi − x ) = D yi − y − ∑ k yk 2 (x j − x) k ∑ j 1 ( x − x )( xi − x ) = D yi − ∑ + k y 2 k n (x j − x) k ∑ j 2 ( xi − x ) 2 1 = 1 + + σ 2 n ∑ (x j − x) j
i =1 m
ε ~ N (0, σ 2 )
回归超平面 回归方程
Y = βX + ε
y ˆ = b0 + ∑ bi xi
i
E( y ˆ ) = β0 + ∑ βi xi
i
Q = ∑ ( yk − y ˆ k ) 2 = min
k =1
n
∂Q ∂b0 = 0 ∂Q ∂b j = 0
j = 1,2, " , m
寻找β0 , β的好的估计值，得到最能描述y和x关系的回归直线 y ˆ k = b0 + bxk 利用最小二乘法给出b0 , b的计算公式
Q = ∑ ( yk − y ˆ k ) 2 = ∑ ( yk − b0 − bxk ) 2 = min
∂Q 1 = 0 → b0 = (∑ yk − b∑ xk ) = y − bx n ∂b0 ( xk − x )( yk − y ) l xy ∂Q ∑ = =0 → b= 2 l xx ∂b ∑ ( xk − x )
其中
σ y = l yy ⇓
σ i = lii
σ ′y = 1 σ i′ = 1 y ′ = 0 xi′ = 0
新的正规方程组
l11 ′ b1′ + l12 ′ b2 ′ + " + l1′m bm ′ = l1′y l 21 ′ b1′ + l 22 ′ b2 ′ + " + l2 ′ m bm ′ = l2 ′y "" ′ 1b1′ + l m ′ 2 b2 ′ + " + l mm ′ bm ′ = l my ′ l m
I、II进行变换，转化为线性回归；III泰勒级数展开，变为线性。
三
曲线回归的有效性检验
相关指数 标准剩余差
R = 1− Sy =
∑ ( yi − y ) 2 ˆi )2 ∑ ( yi − y
n−2
2 ( ) y − y ˆ ∑ i i
回归分析
§ 多元线性回归
一 模型参数估计
y = β0 + ∑ βi xi + ε
个方向测量的距离；
5) OLS平分线： OLS(Y | X )和OLS(X | Y )的平分线。 Y
c a b
d
O
X
回归分析
应用五种回归方法测椭圆星系速度弥散σ和光学光度之间的关系L~ σn
图：L和σ的对数散点图及它们的五种回归线：1. OLS(Y | X ) 2. OLS(X | Y ) 3. OLS平分线(点虚线) 4. OR(虚线) 5. RMA(点线)
j
回归分析
四 五种一元线性回归及其在天文上的应用
1. 五种线性回归方法
1) OLS(Y | X )：观测点和回归直线上同一 x 的 y 的差； 2) 逆回归OLS(X | Y )：观测点和回归直线上同一 y 的 x
的差；
3) 正交回归线OR ：观测点到回归线的垂直距离； 4) 简化主轴回归RMA ：观测点对回归线在垂直、水平两
第三章 回归分析
处理变量与变量之间的统计相关关系
星系 氢含量、色指数、光度 太阳 耀斑、黑子、太阳射电辐射流量
统计相关关系
观测误差 深入了解
不完全确定
函数关系
完全确定
实质：概率统计＋最小二乘
回归分析
§ 一元线性回归
一 一元线性回归模型及参数估计
y k = β0 + βxk + ε k 一元线性回归模型 εk ~ N (0, σ 2 ) E ( y k ) = β 0 + βx k 正态误差回归模型
一 曲线回归类型的确定
1.
散点图
利用观测数据的散点图，对比已知函数形式的各种曲线，选择 最为接近的曲线作为回归函数
2.
多项式 y = β 0 + β1 x + β 2 x 2 + " + β m x m + ε
二
曲线回归参数的确定
y = β0 + β e x I y = β0 + β ln x y = β + βx l 0
回归分析
E (b0 ) = β0 E (b) = β x2 1 D(b0 ) = σ [ + ] 2 n ∑ ( xk − x ) 1 ] D(b) = σ 2 [ 2 ( ) x − x ∑ k
2
二 回归方程的显著性检验
∑ ( yk − y ) 2 = ∑ ( yk − y ˆk + y ˆk − y)2 = ∑ ( yk − y ˆk )2 + ∑( y ˆ k − y ) 2 + 2∑ ( yk − y ˆ k )( y ˆk − y) = ∑ ( yk − y ˆk )2 + ∑( y ˆk − y)2
回归分析
( xi − x ) 2 1 δ ~ N (0, σ 1 + + ) n ∑ ( x j − x )2
j
P (−δ n < y − y ˆ < δn ) = 1− α y的区间估计 ( y − δ n , y ˆ + δn ) ( xi − x ) 2 1 δ N = uα σ 1 + + n ∑ ( x j − x )2
′ r jy bi′ = ∑ cij
j =1 m
′ =0 b0
′ = ∑ bi′xki ′ ˆk 标准回归方程 y
m y xki − xi m xki m xi ˆ k − yk = ∑ bi′ = ∑ bi′ − ∑ bi′ 即 σy σi σ i i =1 σ i i =1 i =1 m m σy σy y ˆ k = yk + ∑ bi′ xki − ∑ bi′ xi σi σi i =1 i =1 m σy σy ∴ bi = bi′ b0 = y k − ∑ bi′ xi σi σi i =1
F (1, n − 2)
F > Fα (1, n − 2) 拒绝域 回归方程显著
相关系数显著性检验 ⇔ 回归方程的F检验 即