当前位置：文档之家 › 第三讲多元正态分布

第三讲多元正态分布

  • 格式：ppt
  • 大小：1.51 MB
  • 文档页数：67

下载文档原格式

  / 67

合集下载

多元正态分布的性质

多元正态分布的性质

多元正态分布的性质正态分布是统计分析中最重要的概率分布之一，它能够帮助我们更好地理解数据的特性，也可以帮助我们做出更好的决策。

多元正态分布可以用来描述一组随机变量之间的关系，在许多计量方法和定量分析中，它被广泛应用。

本文尝试回答以下三个问题：一是什么是多元正态分布？二是多元正态分布的性质是什么？三是多元正态分布如何使用？首先，什么是多元正态分布？多元正态分布是指一个有两个或多个变量的正态分布，可以用来描述一组随机变量之间的关系，可以用来解释一个变量的分布特征。

与单变量正态分布不同的是，多元正态分布的特征取决于对角矩阵中的参数，即协方差矩阵或协方差矩阵。

与单变量正态分布不同，多元正态分布是以向量形式定义的，但可以使用同样的统计分析理论来描述多变量正态分布的性质，例如期望和方差。

其次，多元正态分布的性质是什么？多元正态分布存在着许多性质，根据多元数学理论可以列举出以下性质：1.元正态分布的期望向量表示为 m = (m_1,m_2,...,m_n)，这里的m_i表示每个随机变量的期望值；2.元正态分布的协方差矩阵S表示为：S=［s_ij］，sij表示第i 个和第j个随机变量之间的协方差；3.元正态分布的方差向量表示为：var=(var_1,var_2,...,var_n),其中var_i表示第i个随机变量的方差；4.元正态分布的对称性，即对于n个随机变量X_1,X_2,...,X_n 及其期望向量m和协方差矩阵S，当存在变换矩阵A，使得AX=y有解，则有：E(X) = mvar(X) = S5.元正态分布的共轭性，即如果X_1,X_2,...,X_n是一组多元正态分布随机变量，则任意一组X_1X_2...,X_n也是多元正态分布随机变量，且具有相同的期望向量m和协方差矩阵S。

最后，多元正态分布怎么使用？多元正态分布的使用是建立在统计分析的基础之上的。

在使用多元正态分布时，可以根据观测数据来估计期望向量m和协方差矩阵S。

多元正态分布均值向量和协差阵的检验

多元正态分布均值向量和协差阵的检验

1T
2
~
F( p, n

m

p
1)
经ቤተ መጻሕፍቲ ባይዱ算得
X＝（64，43，30.5，63），Y＝（51.5，51，40，70.5）
490 －170 －120 245 502.5 60 175 －7.5
S
＝－170 x －120
510 10
10 332.5
310 260

；S
＝ y
i 1
i 1
S Sx Sy ~ Wp (m n 2, )
又由于
mn n＋m
(
X
Y)
~
N p (0, )
所以有
F

(n＋m 2) (n＋m
p 2) p

1T
2
~
F( p,n

m

p
1)
以后假设统计量的选取和前面统计量的选取思路是
一样的，只提出待检验的假设，然后给出统计量及其分 布，为节省篇幅，就不再重复解释。
60 175
390 50
50 450
195

－100
245 310
260
510

－7.5 195 －100 322.5
992.5
S

Sx


S
＝ y
－110 55
252.5
－110 900 60 505
55 60 802.5 160
252.5
505
其中，T 2 (n 1)[ n ( X 0 )T S 1 n ( X 0 )]
给定检验水平，查F分布表，使PF F ＝，确定出临界值F。

多元正态分布(新)

多元正态分布(新)


1 X12 n

X 22

X n2


X
2


X
X1 p X 2 p X np

X
p

样本离差阵
n
S pp ( X (i) X )( X (i) X ) i 1
X i1 X1


0
)
二元正态分布曲面(
11

2,
2 22
4, 12
0.75
)
为X1和X2的相关系数。
当 0 时X1与X2不相关，对于正态分布来说不相关和独立
等价。因为此时：
f (x1, x2)
2
1
11
22
exp{
( x1

1)2 (x2
2121
2 22

2


样本协方差矩阵
V 1S n
或
V 1 S n 1
样本离差阵用样本资料阵表示为：
S

X (In

1 n
1n1n
)
X
因为
n
S ( X (i) X )( X (i) X ) i 1

n
( X (i)

X
)(
X

(i
)

X
)
i 1
n


(X
(
i
)
X

(i
)

X (i) X
二、多元正态分布的性质
性质1：若 X (X1,X p) ~ Np(μ,，) 是对角矩阵，则 X1,X p 相互独立。

多元统计分析-第三章多元正态分布

多元统计分析-第三章多元正态分布

多元统计分析-第三章多元正态分布第三章多元正态分布多元正态分布是⼀元正态分布在多元情形下的直接推⼴，⼀元正态分布在统计学理论和应⽤⽅⾯有着⼗分重要的地位，同样，多元正态分布在多元统计学中也占有相当重要的地位。

多元分析中的许多理论都是建⽴在多元正态分布基础上的，要学好多元统计分析，⾸先要熟悉多元正态分布及其性质。

第⼀节⼀元统计分析中的有关概念多元统计分析涉及到的都是随机向量或多个随机向量放在⼀起组成的随机矩阵，学习多元统计分析，⾸先要对随机向量和随机矩阵有所把握，为了学习的⽅便，先对⼀元统计分析中的有关概念和性质加以复习，并在此基础上推⼴给出多元统计分析中相应的概念和性质。

⼀、随机变量及概率分布函数（⼀）随机变量随机变量是随机事件的数量表现，可⽤X 、Y 等表⽰。

随机变量X 有两个特点：⼀是取值的随机性，即事先不能够确定X 取哪个数值；⼆是取值的统计规律性，即完全可以确定X 取某个值或X 在某个区间取值的概率。

(⼆)随机变量的概率分布函数随机变量X 的概率分布函数，简称为分布函数，其定义为：)()(x X P x F ≤=随机变量有离散型随机变量和连续型随机变量，相对应的概率分布就有离散型概率分布和连续型概率分布。

1、离散型随机变量的概率分布若随机变量X 在有限个或可列个值上取值，则称X 为离散型随机变量。

设X 为离散型随机变量，可能取值为1x ，2x ，…，取这些值的概率分别为1p ，2p ，…，记为k k p x X P ==)(（ ,2,1=k ）称k k p x XP ==)(（ ,2,1=k ）为离散型随机变量X 的概率分布。

离散型随机变量的概率分布具有两个性质：（1）0≥k p ， ,2,1=k（2）11=∑∞=k kp2、连续型随机变量的概率分布若随机变量X 的分布函数可以表⽰为dt t f x F x∞-=)()(对⼀切R x ∈都成⽴，则称X 为连续型随机变量，称)(x f 为X 的概率分布密度函数，简称为概率密度或密度函数。

第三讲多元正态分布参数估计

第三讲多元正态分布参数估计

第三讲多元正态分布参数估计多元正态分布是指具有多个随机变量的正态分布。

在多元正态分布参数估计中，我们要估计的是均值向量和协方差矩阵。

估计均值向量可以使用样本均值。

给定一个样本集合$X=\{x_1,x_2,...,x_n\}$，其中每个$x_i$是一个m维向量，样本均值可以通过对每个维度上的观测值的平均值进行计算。

即$\hat{\mu}=\frac{1}{n}\sum_{i=1}^{n} x_i$。

估计协方差矩阵可以使用样本协方差矩阵。

样本协方差矩阵是通过计算样本集合与均值向量的差的转置乘以差的平均值进行计算的。

即$\hat{\Sigma}=\frac{1}{n}\sum_{i=1}^{n} (x_i-\hat{\mu})(x_i-\hat{\mu})^T$。

然而，在实际应用中，样本量有限，样本集合可能包含较少的观测值，这可能会导致估计不准确。

为了解决这个问题，可以使用更健壮的估计方法，如Shrunkage估计。

Shrunkage估计是通过在样本协方差矩阵与总体协方差矩阵之间做权衡来获得更准确的估计。

它通过引入收缩参数$\lambda \in [0,1]$来平衡两个协方差矩阵。

Shrunkage估计的公式为$\hat{\Sigma}_{sh}=(1-\lambda)\hat{\Sigma}+\lambda \hat{\Sigma}_{pool}$，其中$\hat{\Sigma}_{pool}=\frac{1}{n}\sum_{i=1}^{n} x_ix_i^T$是样本数据的池化协方差矩阵。

Shrunkage估计的优点在于它能够通过权衡样本数据与总体数据来获得更准确的估计。

当样本量较小或样本协方差矩阵存在较大误差时，Shrunkage估计可以减小估计偏差，提高估计的准确性。

此外，还可以使用最大似然估计（MLE）来估计多元正态分布的参数。

MLE是通过最大化给定数据的概率函数来确定参数的值。

对于多元正态分布，MLE可以通过最大化对数似然函数来实现。

第三讲多元正态分布

第三讲多元正态分布

p
f ( x)dx 1
9
边缘分布函数及边缘密度函数
用途：
判断
随机变量的 独立性
多元向量的独立性
独立的充分必要条件：
F ( x1, x2 , xq , xq1,, x p ) F ( x1,, xq )F ( xq1,, x p )
或
f ( x1, x2 , xq , xq1,, x p ) f ( x1,, xq ) f ( xq1,, x p )
AX ~ Ns ( A, AAT ) 且对任何 s 维常数向量 d ， X d ~ N p ( d , ) 。
考虑 AX d 的情形？
(3) 、 若 X ~ N p (, )，将 X , , 作如下剖分：
X X ( 2) X pq
11 12 ( 2) 21 22 p q p q 则 X (1) ~ Nq ( (1) , 11 ) ， X ( 2) ~ N pq ( (2) , 22 ) 。
19
相关系数矩阵
若 X ( X1, X 2 , X p )T 的协方差阵存在，且每一 个分量的方差大于0，则称随机向量X 的相关阵为
1 12 R 1p
其中
12
1
2 p
1 p 2 p 1
ij
第一章 多元正态分布
多元正态分布及参数估计


基础知识 统计距离和马氏距离 多元正态分布 均值向量和协方差阵的估计 几种常用的抽样分布
2
基础知识

随机向量 分布密度函数 多元变量的独立性 随机向量的数字特征
3
随机变量（random variable）

a第3讲1.4特征函数-1.5多元正态分布1

a第3讲1.4特征函数-1.5多元正态分布1
pk = P{X = xk }, k = 1,2,L,
[ ] ∑ g(t ) = E eitX = eitxk pk
k
1
江西理工大学理学院
若 X 为连续型随机变量，其概率密度函数为 f (x)，
[ ] ∫ g(t ) = E eitX = ∞ eitx f (x)dx = &[ f ( x)](−t) −∞
江西理工大学理学院
性质 2 设 X = (X1, X2 ,L, Xn )服从n维正态分布 N (a, B)，
则a和B分别为n维随机向量 X 的均值向量和协方差矩 阵，即
µi = EX i , i = 1,2,L, n;
bik = cov(Xi , Xk ),i,k = 1,2,L, n 性质 3 设 X = (X1, X2,L, Xn )服从n维分布 N (a, B)，则
∫ ∫ g(t ) = ∞ eitx f (x)dx = −∞
1
2π
∞⎡
−
∞
exp⎢− ⎣
x2 2
⎤ ⎥e
itx
dx
⎦
=
1
2π
&
⎢⎢⎣⎡exp⎜⎜⎝⎛
−
x2 2
⎟⎟⎠⎞⎥⎥⎦⎤(− t )
=
exp⎜⎜⎝⎛
−
t2 2
⎟⎟⎠⎞
( ) 例设 X 服从 N µ,σ 2 ,求其特征函数。
解:
令Y
=
X−
σ
µ
,
则Y ~ N (0,1),
§1.4 特征函数
江西理工大学理学院
定义 1.10 设随机变量 X 的分布函数为F ( x)，则称
[ ] ∫ gX (t) = E eitX
=

《多元正态分布》课件

《多元正态分布》课件

度概率密度函数的乘积。
高维正态分布在机器学习中的应用
降维处理
高维正态分布可以用于降维处理，通过保留数据的主要特征，降低 数据的维度，提高数据的可解释性和处理效率。
特征选择
高维正态分布可以用于特征选择，通过分析特征之间的相关性，选 择与目标变量高度相关的特征，去除冗余和无关的特征。
概率模型
高维正态分布可以用于构建概率模型，通过估计数据的概率分布， 进行分类、回归和聚类等机器学习任务。
总结词
检验多元正态分布的协方差矩阵是否与预期 协方差矩阵一致。
详细描述
通过对比样本协方差矩阵与预期协方差矩阵 ，评估样本数据是否符合多元正态分布的假 设。常用的方法包括样本协方差矩阵与预期 协方差矩阵的差异检验、样本数据的散点图 和拟合曲线分析等。
多元正态分布的其他假设检验方法
总结词
其他用于检验多元正态分布的方法。
REPORT
CATALOG
DATE
ANALYSIS
SUMMAR Y
02
二元正态分布
二元正态分布的定义
总结词
二元正态分布是多元正态分布在两个维度上的特例，其概率密度函数呈钟形， 且服从二维高斯分布。
详细描述
二元正态分布是一种连续概率分布，描述了两个随机变量之间的关系，当这两 个随机变量相互独立时，其联合概率分布是二元正态分布。它的概率密度函数 由均值向量和协方差矩阵决定，呈现出钟形曲线。
多元正态分布的均值向量和协方差矩阵决定了其 分布形态。
多元正态分布的应用场景
多元统计分析
多元正态分布在多元统计分析中 广泛应用，如主成分分析、因子 分析、聚类分析等。
机器学习
在机器学习中，多元正态分布用 于描述特征之间的相关性，以及 在隐含层节点中实现特征的映射 。

多元统计分析多元正态分布

多元统计分析多元正态分布

因子分析可以用于数据的降维、分类和解释变量之间的复杂关系。
03
04
多元正态分布的聚类分析
K-means聚类
一种无监督的机器学习算法，通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。
总结词
K-means聚类是一种常见的聚类分析方法，其基本思想是：通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。具体步骤包括：随机选择K个中心点，将每个数据点分配给最近的中心点所在的集群，然后重新计算每个集群的中心点，并重复此过程直到中心点不再发生变化或达到预设的迭代次数。
定义与性质
性质
定义
均值向量
描述多元正态分布的期望值，表示分布的中心位置。
协方差矩阵
描述多元正态分布的各变量之间的方差和协方差，表示分布的散布程度和变量间的相关性。
维数
描述多元正态分布中随机变量的个数，不同维数的多元正态分布具有不同的形态和性质。
多元正态分布的参数
统计分析
多元正态分布在统计分析中广泛应用，如回归分析、因子分析、聚类分析等。
KNN分类
06
多元正态分布的可视化技术
总结词
主成分分析（PCA）是一种常用的多元统计分析方法，用于降维和数据可视化。
总结词
PCA可视化能够揭示数据中的模式和趋势，帮助我们理解数据的内在结构和关系。
详细描述
通过将数据投影到主成分上，我们可以将高维数据可视化为一组二维或三维图形，从而更直观地观察数据的分布、中心、离群值和聚类等特征。
逻辑回归分类
VS
支持向量机（SVM）是一种有监督学习算法，用于解决分类问题。在多元正态分布的背景下，支持向量机通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。

多元正态分布

多元正态分布

图1-2
2019/3/1
随机向量
x1 p x2 p (x1 , x 2 , xnp
/ x(1) / x(2) ,xp) x/ (n)
• 因此,样本资料矩阵可用矩阵语言表示为:
若无特别说明，本书所称向量均指列向量
定义1.1 设 x1 , x2 , , x p为p个随机变量，由它们组成 的向量 (x1, x2 , , x p ) 称为随机向量。
p
1 . 6
是一个p维向量，称为均值向量. 当 A 、B 为常数矩阵时，由定义可立即推出如下性质：
(1) E ( AX ) AE ( X ) (2) E ( AXB) AE ( X ) B
2019/3/1
1.7
(1.8)
目录 上页 下页 返回
10
结束
§1.1.4
随机向量的数字特征
15
结束
§1.2 统计距离和马氏距离
欧氏距离 马氏距离
2019/3/1
目录 上页 下页 返回
16
结束
§1.2 统计距离和马氏距离
欧氏距离
在多指标统计分析中,距离的概念十分重要,样品间的不 少特征都可用距离去描述。大部分多元方法是建立在简单 的距离概念基础上的。即平时人们熟悉的欧氏距离,或称 直线距离.如几何平面上的点p=(x1,x2)到原点O=(0,0)的 欧氏距离,依勾股定理有
2019/3/1
目录 上页 下页 返回
6
结束
§1.1.2
分布函数与密度函数
描述随机变量的最基本工具是分布函数，类似地描述 随机向量的最基本工具还是分布函数。 定义1.2 设 X (x1 , x2 , 函数是 式中： 是以随机向量，它的多元分布 , x p )

多元正态分布

多元正态分布

混合模型
除了高斯混合模型，还有其他类 型的混合模型，如多项式混合模 型、泊松混合模型等。
扩展应用领域
多元正态分布在许多领域都有广 泛的应用，如心理学、经济学、 生物统计学等。
THANKS
感谢观看
02
联合分布的均值向量和协方差矩阵由各个分量的均 值和协方差决定。
03
当各分量之间相互独立时，其联合分布的协方差矩 阵为各分量协方差矩阵的线性组合。
04
多元正态分布的推断
参数估计
最大似然估计
01
通过最大化样本数据的似然函数来估计多元正态分布的参数，
包括均值向量和协方差矩阵。
最小二乘估计
02
将多元正态分布的均值向量作为回归系数，利用最小二乘法进
多元正态分布
• 多元正态分布概述 • 多元正态分布的参数 • 多元正态分布的性质 • 多元正态分布的推断 • 多元正态分布在统计和机器学习中的
应用 • 多元正态分布的扩展和变种
01
多元正态分布概述
定义与性质
定义
多元正态分布是多个连续随机变量的 概率分布，其概率密度函数是多元高 斯函数。
性质
多元正态分布具有旋转对称性、椭球 等高性、边缘分布的独立性和最大熵 等性质。
当其他维度固定时，该维度的边缘分 布是关于均值对称的，且方差与该维 度与其他维度的协方差成正比。
随机变量的线性变换
对于多元正态分布的随机变量，对其 进行线性变换后，新变量的分布仍然 是多元正态分布。
线性变换包括平移、旋转、缩放等， 这些变换不会改变变量的分布形态。
随机向量的联合分布
01
对于多元正态分布的随机向量，其各分量之间的联 合分布也是正态分布。
06

3.多元正态分布-讲解（下）

3.多元正态分布-讲解（下）

目录一元正态分布回顾多元正态分布多元正态分布及 的极大似然估计 及 的抽样分布多元正态的估计一元正态性多元正态性评估正态性多元正态分布的性质多元正态分布的性质多元正态的估计一元情形的回顾基于服从正态分布 的总体的独立同分布样本 ：样本均值 服从：样本方差 服从：与 相互独立多元正态的估计多元情形类似于一元的情形，基于服从正态分布 总体的独立同分布样本 ：样本均值 服从：样本方差 服从：这里的 表示 个自由度的Wishart分布 与 相互独立多元正态的估计Wishart分布Wishart 分布的定义：假设 维向量 独立同分布且服从 ，则：假设两个 的随机矩阵 和 分别服从分布 、且彼此独立，则：如果 ， ， 为 的常数矩阵，则有：目录一元正态分布回顾多元正态分布多元正态分布及 的极大似然估计 及 的抽样分布多元正态的估计一元正态性多元正态性评估正态性多元正态分布的性质多元正态分布的性质评估一元正态性图像方法：直方图、QQ图偏度和峰度统计检验：•Shapiro-Wilks 检验•Kolmogorov-Smirnov 检验•Cramer-von Mises 检验•Anderson-Darling 检验•……Histogram for 100 random numbers from N (0,1)y1F r e q u e n c y-4-20240102030Histogram for 100 random numbers from Exp(2)y2F r e q u e n c y0.00.5 1.0 1.52.0 2.53.0 3.50204060Histogram for 100 random numbers from t(1)y3F r e q u e n c y-4-202451020Histogram for 100 random numbers from -Exp(2)y4F r e q u e n c y-3.5-3.0-2.5-2.0-1.5-1.0-0.50.00204060-2-112-3-1012Q-Q plot for Y1 from N (0,1)Theoretical Quantiles S a m p l e Q u a n t i l e s-2-10120.01.02.03.0Q-Q plot for Y2 from Exp(2)Theoretical QuantilesS a m p l e Q u a n t i l e s-2-112-60-40-2020Q-Q plot for Y3 from t(1)Theoretical Quantiles S a m p l e Q u a n t i l e s-2-1012-3.0-2.0-1.00.0Q-Q plot for Y4 from -Exp(2)Theoretical QuantilesS a m p l e Q u a n t i l e s根据QQ图的形状来判断正态性：直线（公式箭头） 正态反“S”形 比正态厚尾“S”形比正态薄尾凸弯曲右偏凹弯曲左偏评估一元正态性偏度和峰度我们可以用偏度和峰度对正态性进行粗略的判断，它们应该在（0，3）左右评估一元正态性统计检验图像方法的缺点：•图像方法对于小样本并不适用•图像方法以及偏度峰度法只提供了一个粗糙而不正式的检验方法，没有一个明确的决定准则。

多元正态分布

多元正态分布

1
n1

n
)
X
二、多元正态总体的最大似然估计及其性质
利用最大似然法求出 μ和 的最大似然估计为：
μˆ X
ˆ 1S n
求解过程
似然函数为：
L (, ) f(x ( 1 ))f(x (2 )) f(x (n ))
n (2) p2 1 2ex 1 (x p [) 1 (x)]
2
22 n
（引理：设A为p阶正定矩阵，则 tr(A)lnAp 当A=I
等号成立。
A1/2S n1/2Ip时等号成 立 n S ，即
最大似然估计的性质
1. E(X)μ ，即 X 是 μ的无偏估计 。
E(1nS)nn1，即
1S n
不是 的无偏估计。
E( 1 S) n1
样本均值向量可以用样本矩阵表示出来，即
X
p 1

1 n
X
1 n
1n (1,1, ,1)
因为：
X 11
1 n
X 1n

1 n

X
12


X
1n
X 21 X 22

X 2n
X p1 X p2

X pn


1 1

n
独立同分布于 Np(μ,)， 则随机矩阵 W (i)(i) 服从自由度
为n的非中心维斯特分布，记为
i1
W~Wp(n,,μ)
随机矩阵的分布：
X11 X12 X1p
X


X21
X22

X2p

第三章 多元正态分布

第三章 多元正态分布

12 22

p2
由此结论知 的边缘分布为N1(ui，σii)
x1 ~ N1 (u1 , 11 )
。更一般地，x 的任意分量xi
1p 1 2p 0 11 pp 0
性质Ⅱ 如果 x ~ N
d
且对于任何常数向量
x d ， d ~ N p (u d , ) 。
例3.2
x ~ N3 (u, ) 对于
，求
x1 x1 x2 1 1 0 x2 Ax x2 x3 0 1 1 x 3
1
1 2 1 2 1
2
e
当ρ＝0时，x1与x2是独立的； 当ρ＞0时，x1与x2趋于正相关； 当ρ＜0时，x1与x2趋于负相关。
§3.2 多元正态分布的性质
后面讨论多元统计模型和方法时，我们将反复应 用到多元正态分布的某些性质。有了这些性质，可以 使多元正态分布的处理容易些。 下面给出比较重要的一些性质，我们一般都不给 出数学证明，只是用例子加以说明：
的分布。 由性质Ⅱ，Ax的分布是多元正态分布，其均值为
u1 1 1 0 u1 u2 Au u2 u u 0 1 1 u 2 3 3
其协方差矩阵为
性质Ⅲ 性质Ⅳ
x 的所有子集都是正态分布的。
f ( x)
1 (2 )
p 2 1 2
e
1 ( x ) 1 ( x ) 2
与一元正态密度的记法相似，用 N p (u, ) 记多元正态 变量的密度函数,称为p维正态分布。

并记之为：

第三章多元正态分布

第三章多元正态分布

设x~N2(μ, Σ)，这里
12
1 2
x1
1
x , μ , Σ

2
x

2
2
2
1 2
易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的
概率密度函数为
f x1 , x2
1
2 1 2 1 2
达为：
n
L μ, Σ f x1 , x2 ,
, x n f xi
i 1
1


1
2
Σ
exp xi μ Σ xi μ
2

i 1
n
n 2
1


p

1


2 Σ
exp xi μ Σ xi μ
μ, Σ
1
ˆ
Σ A
n
其中 x 称为样本均值向量（简称为样本均值），
μˆ x ,
n
A xi x xi x 称为样本离差矩阵。
i1
三、相关系数的极大似然估计
1.
❖ 2.
❖ 3.偏相关系数
❖
1.简单相关系数
❖
相关系数ρij的极大似然估计为
n
rij
ˆ ij
ˆ ii ˆ jj
N i , ii , i 1,2,3,4 ；
x1
（ii）
x4
1 11 14
N2 ,
；

4 41 44
x4
x

多元正态分布 第三讲

多元正态分布 第三讲

X1 Vec( X ) ( x11 ,, xn1 ,, x1 p ,, xnp ) X p np1
9
符号“Vec”称为拉直运算.如果将矩 阵X的行向量(样品)拉直为一个np维向量,
x11 x X (1) 1p Vec ( X ) X (n) xn1 np1 x np ( x11 , , x1 p , , xn1 , , xnp )
则 X(1)与X(2)相互独立 Σ12＝Or×(p-r) (即X(1)与X(2)不相关) 证明:必要性显然成立.
2
(充分性)：设Σ12＝0
f ( x (1) , x ( 2 ) ) 1
，则X
1 1 (1) (1) x 11 0 x (1) (1) exp ( 2) ( 2) ( 2) ( 2 ) 0 2x 22 x
= (X1,X 2,…,Xp)
其中 X(i)( i=1,…,n)是来自p维总体的一个样品， 则样本数据矩阵 X 就是一个随机矩阵 . 8
§2.4
随机矩阵的正态分布--
讨论随机矩阵X的分布时，可考虑把X的行 向量(即样品)一个接一个连接起来构成一个np 维长向量，然后讨论这个长向量的分布.
所谓拉直运算，就是将矩阵X 的列一个接一 个拉成一个长向量，记为
符号“Svec”称为对称矩阵的拉直运算.
11
§2.4 随机矩阵的正态分布--Kronecker积
设A=(aij)和B分别为n×p和m×q 的矩阵，A和B的Kronecker积AB 定义为
a11 B a1 p B A B aij B an1 B anp B

多元正态分布

多元正态分布

多元正态分布随即变量概率分布我们将p个随机变量X1，X2，X3...Xp整体称为p维随机向量，记为X=(X1,X2,X3....Xp)' 。

我们可以将X理解为一个p维欧式空间中的一个向量。

其概率分布参照一维随机变量即可离散型随机变量：连续型随机变量：考点：1.证明某函数是密度函数首先密度函数在定义域内处处不为负，其次密度函数从负无穷到正无穷的积分值为0。

2.求某分量的边缘密度函数，即是对除去该分量以外的所有分量进行积分。

3.询问多个随机变量是否相互独立，对每个分量求解其边缘密度函数，若这些边缘分量函数的乘积等于联合分布密度函数，则说明它们相互独立。

随机向量的数字特征离散型随机变量：连续型随机变量：D(X)有一个简单的计算公式：均值向量的简单性质：1.E(AX)=AE(X)2.E(AXB)=AE(X)B3.E(AX+BY)=AE(X)+BE(Y)一些随机变量的相关矩阵：1.协差阵2.相关阵3.标准离差阵三者相关关系：因为 D(X)>=0 ，所以可知 R>=0 。

多元正态分布前情提要：对于一个p维随机变量X，若其密度函数为：则称X服从p元正态分布，也称X为p维正态随机向量，简记为：基本性质：1.若，为对角阵，则X1,...,Xp相互独立2.多元正态分布随机向量X的所有子集都服从正态分布3.若总体，则随机变量的任意线性组合：反过来，如果任意向量a,，则4.若,A为s*p阶的常数阵，d为s维的常数向量，则即正态随机向量的线性函数还是正态的。

5.，做如下拆分则6.若，，则注：对于数据来源于多元正态总体的判断，目前来看没有很好的办法，但是我们可以通过一些简单的方法来验证数据不来源于多元正态总体，依据为：如果一个p维的向量服从p元正态分布，则它的每一个分量都服从一元正态分布。

多元样本样本均值向量：样本离差阵：样本协差阵：样本相关阵：。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

二元正态分布的密度曲面图
2 2 下图是当 1 2 , 0.75 时二元正态分布的钟形密
度曲面图。
多元正态分布性质
（1）、若 X ( X1, X 2 , X p )T ~ N p (, )， 是对角阵， 则 X1, X 2 , X p 相互独立。 （2）、若 X ~ N p (, ) ， A 为 s p 阶常数阵，则
•有些现象服从多元正态分布
•许多多元统计分布的抽样分布是近似正态分布
23
多元正态分布
它是一元正态分布的推广
X ~ N p ,
设随机向量 X ( x1 , x2 ,, x p )' 服从P维正态分布，则有，
f ( X ) 2
p 2

1 2
1 1 exp x x 2

12
随机向量的数字特性
随机向量的均值
E ( X 1 ) 1 E( X 2 ) 2 E( X ) E( X ) p p
性质
E ( AX ) AE( X ) E ( AXB) AE( X ) B E ( AX BY ) AE( X ) BE(Y )
15
性质
1)若(x1,x2,…，xp)’ 和(y1,y2,…，yq)’不相关。则
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) 0 cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
(1) q
(1) q
q
注：
(1) 多元正态分布的任何边缘分布为正态分布，但反之不真。 (1) ( 2) (1) (2) 由于 12 cov(X , X ) ，故 12 0 表示 X 和 X ( 2)不相 X (1) 和 X ( 2) 的不相 关，因此可以知道，对于多元正态变量而言， 关与独 cov(x1 , x p ) var(x1 ) var(x2 ) cov(x2 , x p ) cov(x2 , x1 ) Var (x) cov(x , x ) cov(x , x ) var( x ) p 1 p 2 p
13
协方差矩阵
1、定义：设 X
( x1 , x2 ,, x p )
和Y
( y1 , y 2 ,, y q )分
别为 p 维和 q 维随机向量，则其协方差矩阵为
x1 E ( x1 ) x E ( x ) 2 2 E y1 E ( y1 ) x E(x ) p p y2 E ( y2 ) yq E ( yq )
24
二元正态分布
设x~N2(μ, Σ)，这里 x1 1 x , μ , x2 2
12 1 2 Σ 2 2 1 2
易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的 概率密度函数为
f x1 , x2 1 2 1 2 1 2

随机向量

随机向量: 由多个随机变量组成的向量。 n个样品，p个指标
X ( X1, X 2 , X p )

数据表：变量为列，样品为行。
X1 1 2 …… n x11 x21 …… xn1 X2 x12 x22 …… xn2 …… …… …… …… …… Xp x1p x2p …… xnp
Cov ( xi , x j )
ii jj

ij
ii jj
。
Zi
X i i
ii
, i 1,2, , p
R Cov( Z i , Z j ) rij
1/2 11 1/2 22 R 1/2 11 1/2 22
AX ~ Ns ( A, AAT ) 且对任何 s 维常数向量 d ， X d ~ N p ( d , ) 。
考虑 AX d 的情形？
(3) 、 若 X ~ N p (, )，将 X , , 作如下剖分：
X X ( 2) X pq
11 12 ( 2) 21 22 p q p q 则 X (1) ~ Nq ( (1) , 11 ) ， X ( 2) ~ N pq ( (2) , 22 ) 。
16
若X=Y,且各分量相互独立，则协方差矩阵除主 对角线上的元素外均为零，即协方差阵为方差D(x)
0 0 var(x1 ) var(x2 ) 0 0 Var (x) 0 0 var( x ) p
17
2）随机向量X的协方差矩阵是非负定矩阵。 证：设a为任意与X有相同维数的常数向量，则
14
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) cov( X , Y ) cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
aa a[E(x )(x )]a E[a(x )(x )a]
E[a(x )]2 0
3）设A是常数矩阵，b为常数向量，则 D(AX+b)=AD(X)A’ ；
D(A X b)
E[(AX b) (A b)][(AX b) (A b)]
F ( x)

x1
x2
f (t1, t2 ,t p )dt1, dt 2 ,, dt p

对一切 x ( x1, x2 ,xp ) R p 成立，则称X有分布密 度f(.)，并称X为连续型随机向量。 性质： ① ②
f ( x) 0 ，对于任意x属于p维实数空间。

R
19
相关系数矩阵
若 X ( X1, X 2 , X p )T 的协方差阵存在，且每一 个分量的方差大于0，则称随机向量X 的相关阵为
1 12 R 1p
其中
12
1
2 p
1 p 2 p 1
ij
p
f ( x)dx 1
9
边缘分布函数及边缘密度函数
用途：
判断
随机变量的 独立性
多元向量的独立性
独立的充分必要条件：
F ( x1, x2 , xq , xq1,, x p ) F ( x1,, xq )F ( xq1,, x p )
或
f ( x1, x2 , xq , xq1,, x p ) f ( x1,, xq ) f ( xq1,, x p )
2 2 x1 1 x1 1 x2 2 x2 2 1 exp 2 2 1 1 2 2 2 1
7
分布函数与密度函数

X ( X1, X 2 , X p )
F ( x) F ( x1 , x2 , x p ) P( X 1 x1 , X 2 x2 , X P x p )
x ( x1, x2 ,x p ) R p
8
分布函数与密度函数

设 X ~ F ( x) F ( x1, x2 ,xp ) 若存在一个非负函数f(.)，使得
AE[(x )(x )]A' AD(x)A
18
4) 若(x1,x2,…，xp)’和(y1,y2,…，yq)’分别是p 和q维随机向量，A和B为常数矩阵，则
Cov( Ax, By) ACov(x, y )B
证 Cov( Ax, By)
E{[(Ax AE (x)][(By BE ( y)]}
11 12 12 22 1/2 pp 1 p 2 p
1/2 11 1/2 22 1/2 pp
1/2 1 p 11 1/2 2p 22
特别的 X ( X1, X 2 ,, X p ) 中 X i 与 X j (i j) 独立的
F ( xi , x j ) F ( xi ) F ( x j ) f ( xi , x j ) f ( xi ) f ( x j )
多元向量的独立性
两个随机向量X和Y是相互独立的，则 P(X x ,Y y ) P(X x )P(Y y )，对一切x,y成立。 若F(x,y)为(X,Y)'的联合分布函数，G(x)和H(y)分别为X 和Y的分布函数，则X和Y独立当且仅当 F(x,y)= G(x) H(y) 若f(x,y)为(X,Y)’的密度函数，g(x)和h(y)分别为X和Y 的分布密度，则X和Y独立当且仅当 f(x,y)= g(x) h(y) 类似地，若它们的联合分布等于各自分布的乘积，则p 个随机变量是相互独立的。
AE[(x Ex)( y Ey)]B Acov(X ,Y)B'
5) 若(k1,k2,…，kn)是n个不全为零的常数，
(x1,x2,…，xn)’ 是相互独立的n维随机向量，则
2 2 D(k1x1 k 2 x 2 k n x n ) k12 D (x1 ) k 2 D(x 2 ) k n D(x n )
pp
1/2 pp
1/ 2 pp