第二章应用多元统计分析PPT

则称石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
13 / 94
随机向量
随机向量的数字特征
Cov(X, Y ) = E[(X − EX)(Y − EY )′]
华
北电力 =
Cov(X1, Y1)
Cov(X2, Y1) ...
Cov(X1, Y2)
Cov(X2, Y2) ...
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
16 / 94
随机向量
均值向量和协方差阵的性质
华 D(AX) = AD(X)A′, COV (AX, BY ) = A · COV (X, Y ) · B′. 北 若 X, Y 相互独立, 则 COV (X, Y ) = 0; 反之, 不成立. 电 若 COV (X, Y ) = 0, 我们称 X 与 Y 不相关, 故有: 两随机向量若 力大学 相互独立, 则必不相关; 两随机向量若不相关, 则未必相互独立.
, xp) f (x1
≥ 0, 对一切实数 , x2, · · · , xp)dx1 ·
x1, x2 · · dxp
,··· = 1.
,
xp
;
北 2. 边缘分布 电 称随机向量 X 的部分向量 (Xi1, · · · , Xim)(1 ≤ m < p) 的分布为边 力 缘分布. 大 设 X((1) 为 r)维随机向量, X(2) 为 p − r 维随机向量. 若 p 维随机向 学 量 X = X(1) , 则 X(1) 的边缘分布为
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
14 / 94
随机向量
随机向量的数字特征
若 Xi 和 Yi 的协方差 Cov(Xi, Yj) 存在 (i = 1, · · · , p; j = 1, · · · , q),
则称 R = (rij) 为 X 的相关阵, 其中
华北rij
华北 F (x1, x2, · · · , xp) = P {X1 ≤ x1, · · · , Xp ≤ xp} 电力大学 为 X 的联合分布函数
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
. 4 月 13 日
.
8 / 94
随机向量
随机向量的联合分布、边缘分布、条件分布
学 X(2)
的密度函数为 f (x(1), x(2)) 时, 给定 X(2) 时 X(1) 的条件密度函数为
f1(x(1)|x(2)) = f (x(1), x(2))/f2(x(2)).
其中 f2(x(2)) 是 X(2) 的密度函数.
.
石万林 (应用多元统计分析)
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
10 / 94
随机向量
随机向量的联合分布、边缘分布、条件分布
4. 独立性 设 X1, · · · , Xp 是 p 个随机变量, Xi 的分布函数记为
华 Fi(xi)(i = 1, · · · , p); F (x1, · · · , xp)′ 的联合分布函数. 若对一切实数 北 x1, · · · , xp,
5. 多元正态分布的参数估计
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
2 / 94
目录
多元正态分布及参数的估计
华 在多元统计分析中，多元正态分布占有相当重要的地位. 这是因为 北 许多实际问题涉及到的随机向量服从正态分布或近似服从正态; 当样本 电 量很大时, 许多统计量的极限分布往往和正态分布有关; 此外, 对多元正 力 态分布，理论与实践都比较成熟, 已有一整套行之有效的统计推断方法. 大 基于这些理由, 我们在介绍多元统计分析的种种具体方法之前, 首先介绍 学 多元正态分布的定义、性质及多元正态分布中参数的估计问题.
大 数对一切 x1, x2, · · · , xp ∈ R 均可表示为
学 ∫ x1
∫ xp
F (x1, · · · , xp) = · · · f (x1, x2, · · · , xp)dx1 · · · dxp,
−∞
−∞
则称 X 为连续型随机向量, 称 f (x1, x2, · · · , xp) 为 X 的联合概率密度
石万林 (应用多元统计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
17 / 94
随机向量
均值向量和协方差阵的性质
华 D(AX) = AD(X)A′, COV (AX, BY ) = A · COV (X, Y ) · B′. 北 若 X, Y 相互独立, 则 COV (X, Y ) = 0; 反之, 不成立. 电 若 COV (X, Y ) = 0, 我们称 X 与 Y 不相关, 故有: 两随机向量若 力 相互独立, 则必不相关; 两随机向量若不相关, 则未必相互独立. 大 随机向量 X = (X1, X2, · · · , Xp)′ 的协差阵 D(X) = Σ 是对称非负 学 定阵. 即 Σ = Σ′, α′Σα ≥ 0(α 为任给的 p 维常量).
··· ···
Cov(X1, Xp)
Cov(X2, Xp) ...
力 Cov(Xp, X1) Cov(Xp, X2) · · · Cov(Xp, Xp)
大学 = (σij)p×p d=ef Σ
为随机向量 X 的协方差阵. 3. 随机向量 X 和 Y 的协方差阵
若 Xi 和 Yi 的协方差 Cov(Xi, Yj) 存在 (i = 1, · · · , p; j = 1, · · · , q),
1. 联合分布
设 X = (X1, X2, · · · , Xp) 是 p 维随机向量, 称 p 元函数
华北 F (x1, x2, · · · , xp) = P {X1 ≤ x1, · · · , Xp ≤ xp}
电 为 X 的联合分布函数
力 若存在非负函数 f (x1, x2, · · · , xp), 使得随机向量 X 的联合分布函
f (x1, · · · , xp) = f1(x1) · · · fp(xp)
对一切实数 x1, · · · , xp 均成立, 其中 fi(xi) 是 Xi 的密度函数
(i =石万1林, ·(应· ·用多, p元)统.计分析)
.
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
11 / 94
.
.
2020 年 4 月 13 日
.
4 / 94
随机向量
随机向量
华 本课程所讨论的是多变量总体. 把 p 个随机变量放在一起得 北电X = (X1, X2, · · · , Xp)′
力 为一个 p 维随机向量, 如果同时对 p 维总体进行一次观测, 得到一个样 大 本为 p 维数据. 常把 n 个样品排成一个 n × p 矩阵, 称为样本资料 学 阵或样本数据阵.
函数, 简称为多元密度函数或密度函数. .
石万林 (应用多元统计分析)
多元正态分布及参数的估计
.
.
.
.
2020 年 4 月 13 日
.
8 / 94
随机向量
随机向量的联合分布、边缘分布、条件分布
多元密度函数 f (x1, x2, · · · , xp) 满足以下两条性质:
华 f∫−(∞x∞1,·
x· ·2∫, −·∞·∞·
随机向量
随机向量的数字特征
1. 随机向量 X 的均值向量
华 若 EXi = µi 存在, 则称
北
电力 E(X) =
EX1 ...
=
µ1 ...
EXp
µp
大学 为随机向量 X 的均值向量.
2. 随机向量 X 的协方差阵
若 Xi 和 Xj 的协方差 Cov(Xi, Xj) 存在 (i, j = 1, · · · , p), 则称
随机向量
随机向量的联合分布、边缘分布、条件分布
X(2) 的边缘分布为
∫∞ ∫∞
华 f2(x(2)) = f2(xr+1, · · · , xp) =
···
f (x1, x2, · · · , xp)dx1 · · · dxr.
−∞
−∞
北 3. 条件分布
电力 设 X((1) 为 r)维随机向量, X(2) 为 p − r 维随机向量. 若 p 维随机向 大 量 X = X(1) , 则给定 X(2) 时, 称 X(1) 的分布为条件分布. 当 X
=
√ V
Cov(X√i, Yj) ar(Xi) V ar(Xj)
=
σij √σiiσjj
电 其中
力大学 V ar(Xi) = Cov(Xi, Xi) = σii
为随机变量 Xi 的方差.
若记 V 1/2 = diag(√σ11, · · · , √σpp) 为标准差矩阵, 则
石万林 (应用多元统计分析)
··· ···
Cov(X1, Yq)
Cov(X2, Yq) ...
Cov(Xp, Y1) Cov(Xp, Y2) · · · Cov(Xp, Yq)
大学 为随机向量 X 和 Y 的协方差阵. 若
Cov(X, Y ) = O