当前位置：文档之家 › 多元正态分布

多元正态分布

  • 格式：pptx
  • 大小：534.75 KB
  • 文档页数：38

下载文档原格式

  / 38

合集下载

多元正态分布

多元正态分布
1 (2 )
p 2

12
1 1 exp ( x ) ( x ) 2
1
( 这里Σ=AA′,
1 1 1 ( AA ) ( A ) A )
§2.2 多元正态分布的定义
定义2.2.4 若 p 维随机向量X=(X1,X2…Xp)′的联合密 度函数为
⑤ 写出X=AU+μ的密度函数： 1 1 f X ( x) exp u u J (u x) p 2 (2 ) 2 1 1 2 1 1 1 exp [ A ( x )][ A ( x )] p 2 (2 ) 2
§2.2 多元正态分布的定义
1. 多元正态分布的定义
2. 多元正态分布的性质
§2.2 多元正态分布的定义
在一元统计中，若U～N(0,1),则U的任意线性变 换X=σU+μ～N(μ,σ2)。利用这一性质，可以从标准 正态分布来定义一般正态分布： 若U～N(0,1),则称X =σU+μ的分布为一般正态分 布,记为X ～N(μ, σ2 )。 此定义中，不必要求σ＞0,当σ退化为0时仍有意 义。把这种新的定义方式推广到多元情况，可得 出多元正态分布的第一种定义。
故 X2 0 2 0 1 Y X 3 ~ N ( 0 , 0 3 0 ). 2 1 0 1 X1
§2.2 多元正态分布的性质
(3) 设Z=2 X1-X2+3X3,试求随机变量Z的分布. Z=2 X1-X2+3X3 =(2,-1,3)X=CX 2 故有: z C x (2,1,3) 0 4 0 2 z C xC 1 1 0 2 2 (2,1,3) 1 2 0 1 1,0,9 1 0 0 3 3 3 29 所以 Z ~ N(4,29).

第二章 多元正态分布

第二章 多元正态分布

Σ11 Σ= Σ 21
Σ12 k Σ 22 k − p
µ1 k µ= µபைடு நூலகம்2 p − k
x1 k x= x 2 p − k
则给定 x 2 时 x1 的条件分布为 N k ( µ1⋅2 , Σ11⋅2 ) ，其中
µ1⋅2 = µ1 + Σ12 Σ −1 (x 2 − µ 2 ). 22
7.033 2.168 3.540 4.981 2.874 30.530 Σ=
1.681 1.276 4.638 3.107
1.276 5.213 1.161 2.939 5.864 19.532 1.851 4.069 3.860 4.525 27.363
p 元正态分布；
若 rank(A) < p( p ≤ q)，则Σ−1不存在， = Au + µ是退化 x
p元正态分布，不存在密度函数。
1 0 例：设随机向量 u ~ N2 (0, I ) ， = Au， = 0 1 ，则 x 的分布是 A x 退化的三元正态分布。 1 1
1 1 =I = O 1
二、一般的正态分布 设随机向量 x = (x1, x2 ,L, xp )′ ,若其的密度函数为
f (x1, x2 ,L, xp ) = (2π )
− ∞ < xi < +∞
协方差为
−p 2
Σ
−1 2
1 exp[− (x − µ)′Σ−1(x − µ)] 2
1 0 1 0 1 0 11 0 1 = 0 1 1 Σ = AA′ = 0 1 1 1 1 1 1 2 1 0 1 0 1 1 = 1 1 + 0 1 = 2 −1−1 = 0 Σ= 1 2 1 1 1 1 2

结构方程模型的多元正态分布

结构方程模型的多元正态分布

结构方程模型的多元正态分布多元正态分布是结构方程模型中的一种常见假设。

本文将从多元正态分布的概念、性质和应用等方面进行阐述，旨在为读者提供对该主题的全面了解。

第一部分：多元正态分布的概念多元正态分布是指多个随机变量同时服从正态分布的情况。

在结构方程模型中，我们通常假设观测变量和潜变量都服从多元正态分布。

这种假设使得我们能够对变量之间的关系进行推断和建模。

第二部分：多元正态分布的性质多元正态分布具有许多重要的性质。

首先，多元正态分布的边际分布也是正态分布。

这意味着每个变量的边际分布可以独立地进行分析。

其次，多元正态分布的协方差矩阵可以用来描述变量之间的线性关系。

协方差矩阵可以通过样本数据的协方差矩阵估计得到。

最后，多元正态分布的联合分布可以通过均值向量和协方差矩阵来确定。

第三部分：多元正态分布的应用多元正态分布在许多领域都有广泛的应用。

在社会科学中，多元正态分布可以用来建立结构方程模型，研究变量之间的因果关系。

在金融学中，多元正态分布可以用来建立投资组合模型，评估不同投资资产之间的相关性。

在医学研究中，多元正态分布可以用来分析多个生物标志物之间的关系。

第四部分：多元正态分布的优缺点多元正态分布具有许多优点，如易于推断和建模、具有丰富的数学性质等。

然而，多元正态分布也有一些局限性，如对数据的要求较高、对大样本量的依赖性等。

因此，在应用多元正态分布时，需要考虑这些因素。

第五部分：结论多元正态分布作为结构方程模型的基本假设之一，在数据分析和建模中具有重要的应用。

通过对多元正态分布的概念、性质和应用的介绍，本文希望读者对该主题有更深入的理解。

同时，也提醒读者在实际应用中要考虑到多元正态分布的优缺点，并结合具体情况进行分析和建模。

通过合理的应用和推广，多元正态分布将为各个领域的研究提供有力的工具和方法。

多元正态分布

多元正态分布

4
协方差矩阵为
u1u2 L u1up u u u 2 u2 L u2up ′) = E 2 1 Var(u) = E(uu M M M 2 upu1 upu2 L up
2 1
1 1 =I = O 1
5
二、一般的多元正态分布
11
性质1 设 x ~ Np (µ, Σ)，则 x 的任何子向量也服从多元正 态分布，其均值为 µ的相应子向量，协方差为 Σ 的相应子 矩阵。
x1 k x = x2 p − k µ1 k µ = µ2 p − k Σ11 Σ12 k Σ= Σ21 Σ22 p − k
21
ρ ( x1 , x2 , x3 , x4 / x5 , x6 )
1 0.292 − 0.057 0.214 1 0.025 0.191 = 1 0.136 1
22
定理1.4 设 X ~ N p ( µ , Σ) ，将 X , µ , Σ 按同样方式剖分为：
X µ X = M µ= M X (k ) µ (k )
(1) (1)
Σ11 L Σ1k M Σ= M Σ k 1 L Σ kk
式中，
X ( j ) : S j × 1, µ ( j ) : S j × 1, Σ jj : S j × S j ( j = 1,L k ),
25
称X为样本资料矩阵。 X
f ( X) = f ( X 1 ) ⋅ f ( X 2 ) L f ( X n )
= ∏ ( 2π )
n i =1
−p 2
Σ
−1 2
1 exp[ − (x i − µ)′Σ −1 (x i − µ)] 2

多元正态分布

多元正态分布
1 2 n
1 2 n
1 n æ 1 ö ç ÷ | Σ | 2 exp{- å ( X j - m )¢Σ -1 ( X j - m )} 2 j =1 è 2p ø
np
n
对于观测结果
X1
X2 L Xn
固定的集合， 所得表
达式作为 m 和 Σ 的一个函数， 称为似然函 ˆ ˆ 数，并记为 L ( m , Σ ). 若存在 m ， Σ ，使 ˆ ˆ ˆ L ( m , S ) = max { L ( m , S )}, 则称 m ， Σ 为 m ， Σ 的 ˆ 极大似然估计。
令
æ l1 ç Λ =ç ç ç 0 è
1 2
O
0 ö ÷ ÷, li > 0 ÷ lk ÷ ø
1 2
则å
k
i =1
l i e i e i¢ = P Λ P ¢
1 2
并令 A
= PΛ P¢
1 2
则有 （1） ( A （3） （4）
A
1 2 1 2
)¢ = A
Δ
1 2 1 2
； （2） A
-
1 2
A
1 e b |Σ|
1 - Tr ( Σ -1 B ) 2
1 £ ( 2b) pb e -bp b |B|
而且仅当
Σ=
1 B 2b
时，等号才成立。
定理：设 X X L X 是来自正态总体 ˆ ˆ N ( m , Σ ) 的随机样本，则 m = X , Σ = S n 分别 是 m ， Σ 的极大似然估计。 证明：
B Σ= n
=
å(X
j =1
n
j
- X )( X j - X )¢
三、 X 和 S 的分布 定 义 ： 设 Z ,Z L Z ~ N ( 0 , Σ ) ，则称 å

多元正态分布

多元正态分布

多元正态分布正态分布，又称为高斯分布，是概率论与统计学中最为重要的概率分布之一。

正态分布的特点是其概率密度函数呈现出钟形曲线的形状，可以描述大多数自然现象中的分布情况。

本文的主要目的是介绍正态分布的定义、性质和应用，并对其多元形式进行讨论。

一、正态分布的定义和性质正态分布的定义如下：设X是一个连续型随机变量，如果它的概率密度函数为f(x) = (1/√(2πσ^2)) * exp(-(x-μ)^2/(2σ^2))其中μ为均值，σ^2为方差，exp为自然指数函数，那么称X服从参数为(μ,σ^2)的正态分布，记作X~N(μ,σ^2)。

正态分布的性质如下：1. 正态分布是一个对称分布，其均值、中位数和众数都重合，位于分布的中心。

2. 正态分布的曲线在均值两侧呈现对称性，标准差决定了曲线的宽度，标准差越小，曲线越陡峭，反之越平缓。

3. 正态分布的累积分布函数可用标准正态分布的累积分布函数来计算。

4. 正态分布的随机变量相加仍然服从正态分布。

二、正态分布的应用正态分布在各个领域中都有广泛的应用，以下列举几个常见的应用场景。

1. 自然科学：正态分布常被用来描述测量误差、物理实验结果和自然现象。

例如，在物理实验中测量的误差往往服从正态分布。

2. 金融领域：正态分布被广泛应用于金融领域的风险管理和股票价格预测中。

基于正态分布的投资组合理论和资产定价模型是金融领域中的重要工具之一。

3. 质量控制：正态分布被应用于质量控制中，用于确定产品的标准差、设定合适的控制上限和下限，从而判断产品是否合格。

4. 社会科学：正态分布在社会科学领域的人口统计、心理学实验和经济学研究中得到广泛应用。

例如，身高、体重等指标的分布往往服从正态分布。

三、多元正态分布多元正态分布是正态分布的一种拓展形式，用于描述多个随机变量之间的相关性。

多元正态分布的定义如下：设X = (X1,X2,...,Xn)是一个n维随机向量，如果它的概率密度函数为f(x) = (1/√((2π)^n|Σ|)) * exp(-1/2(x-μ)Σ^(-1)(x-μ)^T)其中x = (x1,x2,...,xn)，μ = (μ1,μ2,...,μn)为均值向量，Σ为协方差矩阵，|Σ|为协方差矩阵的行列式，exp为自然指数函数，Σ^(-1)表示Σ的逆矩阵，那么称X服从参数为(μ,Σ)的多元正态分布，记作X~N(μ,Σ)。

§1-5 多元正态分布

§1-5 多元正态分布

， xm ) ， ym ) y1 g1 ( x1， x1 h1 ( y1， y g ( x ， x h ( y ， ， x ) ym ) m 1 m m 1 ， m m
f Y1 ,,Ym ( y1， ， ym ) ( x1， ， xm ) f X 1 ,, X m ( h1 ( y1， ， y m )， ， hm ( y1， ， y m )) ( y1， ， ym )
二．多元正态分布的基本定理
回顾与拓展：随机向量变换的概率密度函数
， Xm) ， Ym ) Y1 g1 ( X 1， X 1 h1 ( Y1， Y g ( X ， X h ( Y ， Xm) Ym ) m 1 ， m 1 ， m m
Y1 Y p1 Y 2
1 2
V11 V V 21
V12 V22
则Y1与Y2 独立的充分必要条件是 V12 0
三．多元正态分布的性质
思考题
设 ( X1, X2, …, Xn ) 是抽自总体 X ～ N( ， ² )的 样本，试问 X = ( X1, X2, …, Xn ) ´服从什么分布？
正态分布 或 Gauss分布。记为 X∼ N(， ² )
( x )2 2 2
一．多元正态分布的定义 标准正态分布
设 X∼ N(， ² )，当 = 0， = 1 时， 称 X 服从标准正态分布，记为 X ∼ N(0，1 ) 标准正态分布的概率密度为
x2 2
( x)
§1-5
多元正态分布
一．多元正态分布的定义
二．多元正态分布的基本定理 三．多元正态分布的性质
一．多元正态分布的定义

多元统计分析多元正态分布

多元统计分析多元正态分布

因子分析可以用于数据的降维、分类和解释变量之间的复杂关系。
03
04
多元正态分布的聚类分析
K-means聚类
一种无监督的机器学习算法，通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。
总结词
K-means聚类是一种常见的聚类分析方法，其基本思想是：通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。具体步骤包括：随机选择K个中心点，将每个数据点分配给最近的中心点所在的集群，然后重新计算每个集群的中心点，并重复此过程直到中心点不再发生变化或达到预设的迭代次数。
定义与性质
性质
定义
均值向量
描述多元正态分布的期望值，表示分布的中心位置。
协方差矩阵
描述多元正态分布的各变量之间的方差和协方差，表示分布的散布程度和变量间的相关性。
维数
描述多元正态分布中随机变量的个数，不同维数的多元正态分布具有不同的形态和性质。
多元正态分布的参数
统计分析
多元正态分布在统计分析中广泛应用，如回归分析、因子分析、聚类分析等。
KNN分类
06
多元正态分布的可视化技术
总结词
主成分分析（PCA）是一种常用的多元统计分析方法，用于降维和数据可视化。
总结词
PCA可视化能够揭示数据中的模式和趋势，帮助我们理解数据的内在结构和关系。
详细描述
通过将数据投影到主成分上，我们可以将高维数据可视化为一组二维或三维图形，从而更直观地观察数据的分布、中心、离群值和聚类等特征。
逻辑回归分类
VS
支持向量机（SVM）是一种有监督学习算法，用于解决分类问题。在多元正态分布的背景下，支持向量机通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。

多元统计分析第二章多元正态分布

多元统计分析第二章多元正态分布

多元统计分析第二章多元正态分布多元正态分布（Multivariate Normal Distribution），是指多个随机变量服从正态分布的情况。

在统计学中，多元正态分布是一个重要的概率分布，广泛应用于多个领域，如经济学、金融学、生物学、工程等。

多元正态分布的概率密度函数可以表示为：f(x;μ,Σ) = (2π)^(-k/2) ，Σ，^(-1/2) exp(-(x-μ)'Σ^(-1)(x-μ)/2)其中，x表示一个k维向量（k个随机变量），μ是一个k维向量，表示均值向量，Σ是一个k*k维协方差矩阵，Σ，表示协方差矩阵的行列式，'表示向量的转置，Σ^(-1)表示协方差矩阵的逆矩阵，exp表示指数函数。

多元正态分布具有以下特点：1.对称性：多元正态分布的密度函数是关于均值向量对称的。

2.线性组合：多元正态分布的线性组合仍然服从正态分布。

3.条件分布：给定其他变量的取值，多元正态分布的边缘分布和条件分布仍然服从正态分布。

4.独立性：多元正态分布的随机变量之间相互独立的充要条件是它们的协方差矩阵为对角矩阵。

对于多元正态分布，可以使用协方差矩阵来描述不同随机变量之间的相关程度。

协方差矩阵的对角线元素表示各个随机变量的方差，非对角线元素表示各个随机变量之间的协方差。

多元正态分布的参数估计也是统计学中一个重要的问题。

通常可以使用最大似然估计方法来估计均值向量和协方差矩阵。

在实际应用中，多元正态分布可以用来描述多个相关变量的联合分布。

例如，在金融学中，可以使用多元正态分布来建模多个股票的收益率。

在生物学中，可以使用多元正态分布来建模多个基因的表达水平。

除了多元正态分布，还存在其他的多元分布，如多元t分布、多元卡方分布等。

这些分布可以用来处理更一般的随机变量，具有更广泛的应用领域。

总之，多元正态分布是统计学中一个重要的概率分布，具有许多重要的性质和应用。

通过对多元正态分布的研究，可以更好地理解和分析多个相关变量的联合分布，推断和预测相关变量的取值，并为实际问题提供可靠的解决方案。

多元正态分布

多元正态分布

混合模型
除了高斯混合模型，还有其他类 型的混合模型，如多项式混合模 型、泊松混合模型等。
扩展应用领域
多元正态分布在许多领域都有广 泛的应用，如心理学、经济学、 生物统计学等。
THANKS
感谢观看
02
联合分布的均值向量和协方差矩阵由各个分量的均 值和协方差决定。
03
当各分量之间相互独立时，其联合分布的协方差矩 阵为各分量协方差矩阵的线性组合。
04
多元正态分布的推断
参数估计
最大似然估计
01
通过最大化样本数据的似然函数来估计多元正态分布的参数，
包括均值向量和协方差矩阵。
最小二乘估计
02
将多元正态分布的均值向量作为回归系数，利用最小二乘法进
多元正态分布
• 多元正态分布概述 • 多元正态分布的参数 • 多元正态分布的性质 • 多元正态分布的推断 • 多元正态分布在统计和机器学习中的
应用 • 多元正态分布的扩展和变种
01
多元正态分布概述
定义与性质
定义
多元正态分布是多个连续随机变量的 概率分布，其概率密度函数是多元高 斯函数。
性质
多元正态分布具有旋转对称性、椭球 等高性、边缘分布的独立性和最大熵 等性质。
当其他维度固定时，该维度的边缘分 布是关于均值对称的，且方差与该维 度与其他维度的协方差成正比。
随机变量的线性变换
对于多元正态分布的随机变量，对其 进行线性变换后，新变量的分布仍然 是多元正态分布。
线性变换包括平移、旋转、缩放等， 这些变换不会改变变量的分布形态。
随机向量的联合分布
01
对于多元正态分布的随机向量，其各分量之间的联 合分布也是正态分布。
06

多元正态分布的四种定义

多元正态分布的四种定义

多元正态分布的四种定义多元正态分布是统计学中的一种重要的概率分布模型，它在多个变量之间具有强大的建模能力。

多元正态分布可以通过四种不同的定义进行描述，每种定义揭示了不同的角度和特性。

下面将以生动、全面、有指导意义的方式来介绍这四种定义。

第一种定义是最常见的定义方式，也是最直观的一种。

多元正态分布可以被定义为多个服从正态分布的随机变量的联合分布。

简而言之，如果一个向量X具有k个分量，且每个分量都服从正态分布，那么X就服从多元正态分布。

第二种定义是通过协方差矩阵来描述多元正态分布的。

在这种定义中，多元正态分布被定义为一个具有均值向量μ和协方差矩阵Σ的向量。

协方差矩阵Σ可以用来衡量不同分量之间的相关性和方差的大小。

通过对协方差矩阵的分析，我们可以了解到多元正态分布中各个分量之间的联系以及变量的相互影响。

第三种定义是通过特征值和特征向量来定义多元正态分布的。

在这种定义中，矩阵Σ的特征向量可以理解为多元正态分布的主要方向，而特征值则代表了在特定方向上的方差。

通过分析特征值和特征向量的组合，我们可以获得多元正态分布的各个方向上的方差程度以及变量之间的相关性。

第四种定义是通过条件分布来描述多元正态分布的。

在这种定义中，如果一个多维向量服从多元正态分布，那么它的任意一个分量在已知其他分量的条件下也会服从正态分布。

这种条件分布的特性使得多元正态分布在建模条件依赖性问题时非常有用，例如在金融风险管理和预测问题中。

通过以上四种定义，我们可以全面了解多元正态分布的特性和应用。

多元正态分布的灵活性和强大的建模能力使得它成为了许多统计学和机器学习方法的基石。

无论是在实际应用中还是在理论研究中，深入理解多元正态分布的各种定义都是非常有指导意义的。

多元正态分布

多元正态分布
第一章 多元正态分布
§1.1 §1.2 §1.3 §1.4 多元分布的基本概念 多元正态分布 均值向量和协方差阵的估计 常用分布及抽样分布
一元正态分布在统计学的理论和实际应用中都有 着重要的地位。同样，在多变量统计学中，多元 正态分布也占有相当重要的位置。原因是： 许多随机向量确实遵从正态分布，或近似遵从正 态分布；
X和Y 的协差阵：
cov( X , Y ) (cov( X i , Y j )), i 1,, n ; j 1,, p
随机向量X 的相关阵：
R (corr ( X i , X j )) ( rij ) P P rij COV ( X i , X j ) D( X i) D( X j ) , i , j 1,2, , p
总体参数协差阵Σ的极大似然估计是：
1 1 n p L ( X ( i ) X )( X ( i ) X ) n n i 1
n 2 ( X X ) 1 i1 i 1 n 2 ( X X ) 2 1 i2 i 1 n


自协方差阵：
Σ COV ( X , X ) E ( X EX )( X EX ) D( X )
D( X 1 ) COV ( X , X ) 2 1 COV ( X , X ) P 1 COV ( X 1 , X 2 ) D( X 2 ) COV ( X P , X 2 ) COV ( X 1 , X P ) COV ( X 2 , X P ) D( X P )

xn2
X (1) x1 p x2 p X (2 ) ( X 1 , X 2 , , X P ) X x np (n)

多元正态分布

多元正态分布

1
n1

n
)
X
二、多元正态总体的最大似然估计及其性质
利用最大似然法求出 μ和 的最大似然估计为：
μˆ X
ˆ 1S n
求解过程
似然函数为：
L (, ) f(x ( 1 ))f(x (2 )) f(x (n ))
n (2) p2 1 2ex 1 (x p [) 1 (x)]
2
22 n
（引理：设A为p阶正定矩阵，则 tr(A)lnAp 当A=I
等号成立。
A1/2S n1/2Ip时等号成 立 n S ，即
最大似然估计的性质
1. E(X)μ ，即 X 是 μ的无偏估计 。
E(1nS)nn1，即
1S n
不是 的无偏估计。
E( 1 S) n1
样本均值向量可以用样本矩阵表示出来，即
X
p 1

1 n
X
1 n
1n (1,1, ,1)
因为：
X 11
1 n
X 1n

1 n

X
12


X
1n
X 21 X 22

X 2n
X p1 X p2

X pn


1 1

n
独立同分布于 Np(μ,)， 则随机矩阵 W (i)(i) 服从自由度
为n的非中心维斯特分布，记为
i1
W~Wp(n,,μ)
随机矩阵的分布：
X11 X12 X1p
X


X21
X22

X2p

多元正态分布

多元正态分布

EX ( EX1,, EX p ) 为X的均值向量或数学期望。
均值向量有如下性质
(1) E ( AX ) AE ( X ) (2) E ( AXB) AE ( X ) B (3) E ( AX BY ) AE ( X ) BE (Y )
其中X,Y为随机向量，A,B为适合运算的常数矩阵。 定义：设
多元正态分布
一、随机向量的 概率分布 定义：设
X ( X1 ,, X p ) 是p维随机向量，它的多维
分布函数定义为
F ( x) F ( x1 , x2 , , x p ) P X 1 x1 , X 2 x2 , , X p x p
( X1,, X p )的取值是有限的或可列的， 则称 X ( X1 ,, X p )是离散型随机向量。
X ( X1,, X p ) 的密度函数为
1
1 f ( x1 , x2 ,, x p ) exp ( x )1 ( x ) 12 2 ( 2 ) p
其中 x ( x1, x2 ,, x p ), (1, 2 ,, p )
是阶正定矩阵。则称X服从p元正态分布，也称X为p
元正态变量，简记为
X ~ N p (, )
多元正态分布的性质
（1）设 X ( X1 ,, X p ) ~ N p (, ), 是对角阵，
则 X1 ,, X p 是相互独立的
（2）若 X ( X1 ,, X p ) ~ N p ( , ), A为s×p阶常数阵，d为s维常数向量，则
协方差矩阵有以下性质பைடு நூலகம்（1）DX是非负定矩阵。
（2）对于常数a，有D(X+a)=DX。
（3）设A为常数矩阵，则 D( AX ) AD( X ) A （4）设A、B为常数矩阵，则 cov( AX , BY ) A cov( X , Y ) B

多元正态分布

多元正态分布

2
⎟⎞ ⎠
+
⎜⎛ ⎝
x2 − μ σ2
2
⎟⎞2 ⎠
⎥⎤⎪⎬⎫ ⎥⎦⎪⎭
11
武汉理工大学统计学系唐湘晋
在一元统计中，若X ~ N (μ,σ 2) ，则X 特征函数为：
gX (t) =
EeitX
=
exp
⎧⎨iμt
−
1
t
2σ
2
⎫ ⎬
⎩ 2⎭
i.i.i
设 Y1,Y2,K,Yq ~ N (0,1) ，则随机向量的特征函数为：
于是 ( X1, X 2,K, X p )′ 的联合概率密度函数可表示为：
(( )) fX(x) =
fZ (Bx)
∂ ∂
z1, z2 ,K, z p x1, x2 ,K, xp
(( )) =
∂ fZ1 (x1 − Σ12Σ2−21x2 ) fX2 (x2 ) ∂
z1, z2 ,K, z p x1, x2 ,K, xp
ij⋅m+1,..., p m×m
i, j = 1, 2,..., m ，称
r = ij⋅m+1,..., p
σ ij⋅m+1,..., p
σ σ ii⋅m+1,..., p
jj⋅m+1,..., p
( ) 为 X2 = X m+1,K, X p ′ 当给定时，Xi与Xj (i,j=1,,2,…,m)的偏
0⎤ -1⎥⎦
⎡ μ1
⎢ ⎢
μ2
⎢⎣ μ3
⎤ ⎥ ⎥ ⎥⎦
=
⎡ μ1
⎢ ⎣
μ2
− −
μ2 μ3
⎤ ⎥ ⎦
ΣY
=
A
Σ

第一章 多元正态分布

第一章 多元正态分布
分布近似。
❖ /z04-2/143.htm
（2） Λ统计量和Λ分布
设k个总体G1,,Gk ，它们服从 Np (i ,) 。分别抽出
如下的样本：
x11, x12, , x1n1
x21, x22, , x2n2
xk1, xk2, , xknk
x j x j1, x j2 , , x jnj
(i=1,2,…,p)
E(x) (E(x1), E(x2), , E(xp )) (1, 2 p )'
是一个p维向量，称为均值向量
性质 1） 设为常数，则 E(aX) aE(X)； 2）设 A, B,C 分别为常数矩阵，则
E(AXB C) AE(X)B C
3）设 X1, X2,, Xn为 n 个同阶矩阵，则
E{[(Ax AE(x)][(Bx BE(x)]}
AE[(x )(x )]B 5、若(k1,k2,…，kp)是n个不全为零的常数， (x1,x2,…，xp) 是相互独立的p维随机向量，则
V (k1x1 k2x2 knxn ) k12V (x1) k22V (x2 ) kn2V (xn )
若(x, y) 0，两随机向量相互独立。
其中，ij
cov(xi , y j ) D(xi ) D( y j )
❖ 多元正态分布的定义及其性质
多元正态分布是一元正态分布的直接推广。许多 实际问题的分布常是多元正态分布或近似正态分布， 或本身不是正态分布，但他的样本均值近似于多元正 态分布。因此，多元分析的主要理论都是建立在多元 正态总体基础上的。
i 1
1.3 维希特(Wishart)分布
定义 设n个随机向量 xi (xi1, xi2, , xip )(i 1, 2,3, ,n)

多元正态分布

多元正态分布

多元正态分布、多元正态分布1.多元正态分布的概率密度函数多元是指样本以多个变量来描述，或具有多个属性，在此一般用d维特征向量表示，X＝[x1，…，xd]T。

d维特征向量的正态分布用下式表示(2-32)其中μ是X的均值向量，也是d维，μ＝E{X}＝[μ1，μ2，…，μd]T (2-33)Σ是d×d维协方差矩阵，而Σ－1是Σ的逆矩阵，|Σ|是Σ的行列式Σ＝E{(X－μ)(X－μ)T} (2-34)Σ是非负矩阵，在此我们只考虑正定阵，即|Σ|＞0。

多元正态分布与单态量正态分布在形式上尽管不同，但有很多相似之处，实际上单变量正态分布只是维数为1的多元分布。

当d=1时，Σ只是一个1×1的矩阵，也就是只有1个元素的矩阵，退化成一个数，|Σ|1/2也就是标准差σ，Σ－1也就是σ-2，而(X－μ)T(X－μ)也变成(X-μ)2，因此(2-32)也就演变成(2-29)。

但是多元正态分布要比单变量时复杂得多，具有许多重要的特性，下面只就有关的特性加以简单叙述。

多元正态分布的概率密度函数中的元就是我们前面说得特征向量的分量数，也就是维数。

为了方便我们着重讨论二维向量，是一个随机向量，其中每一个分量都是随机变量，服从正态分布。

但是一个二维随机向量不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系。

下图的例子中的两个二元正态分布的各个分量是相同的，即它们的期望(μ1和μ2)方差σ1和σ2都相同，但这两个特征向量在空间的分布却不相同。

从下图：对右图来说，x1和x2有很大的相关性，而对左图来说，随机变量x1与x2之间的相关性很小。

这可以从两者的区别看出来。

对于右图可以看出一个随机变量的x1分量较小时，另一分量x2也必然较小。

而当随机变量的x1较大时，则其相应的x2分量也较大。

换句话说，如果x1分量小于其均值μ1,则其相应的分量x2也很可能小于它的均值μ2。

因此当x1-μ12-μ2这两项相乘来看就有倾向化。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

(xp p)2
称 x (x1, x2 , , xp ) 服从均值为E(X)，协方差为的正态分布。
6
特例：二元正态分布
P=2
f
x1, x2
2
1 (
11
22
(1
2 12
))1
2
exp
2(1
1
2 12
)
x1
1
11
2
x2
2
22
2
12
x1
1
11
x2
2
2
22
1
0.360 0.324 0.476
1
0.245 0.265 0.540 0.534
1
0.376
0.252
0.676
0.441
0.440
1
16
求x6给定的条件下，x1，… x5的偏协方差矩阵
7.033
2.168 4.981
3.540 2.874 30.530
1.681 1.276 4.638 3.107
2 xi
5
其中 x (x1, x2 , , xp ) 的均值为E(x) (1, 2 , , p )
协方差为
(x1 1)2
(x1 1)(x2 2 )
E (x2 2 )(x1 2 )
(x2 2 )2
(xp
)( x1
1 )
(xp p )(x2 2 )
(x1 1)(xp p ) (x2 2 )(xp p )
1.276 1.161 5.864 1.851 3.860
5.213
2.939
19.532
4.069
4.525
27.363
17
7.033 2.168 3.540 1.681 1.276
4.981 2.874 1.276 1.161
11.2
11 1221221
30.530 4.638 5.864
ij.k 1, , p
ij.k 1, , p ii.k 1, , p jj.k 1, , p
它度量了在值 xk1, , xp给定的条件下，xi 与 xj （ i, j k ）相关性的强弱。
14
例 设X~N6( ,)，其协方差矩阵为，计算偏相
关系数 (x1, x2, x3, x4 / x5, x6)
μ2 ).
为x2 给定的条件下 x1数学期望。
Σ11.2 Σ11 Σ12Σ221Σ21是x2的条件下x1的条件协条件协方差。
13
偏相关系数
矩阵Σ11.2称为条件协方差矩阵，它的元素用 ij.k1, , p 表示,是当 x2 给定的条件下. xi 与 xj （ i, j k ）的偏相关系 数，定义为
矩阵。
x x1 k x2 p k
μ μ1 k μ2 p k
Σ Σ11 Σ12 k Σ21 Σ22 p k
则
x1 ~ Nk (1, 11)
x2 ~ N pk (2 , 22 )
且 Cov(x1, x2 ) 12
11
性质2 设 x1, x2, , xn , xi ~ N p (i ,i ) ，i 1,2, , n相互独立， 且，则对任意 n 个常数 k1, , kn ，有
Var(u)
E(uu)
E
u2u1
u22
u pu1 u pu2
u1u p
u2u
p
u
2 p
1
1
I 1
4
二、一般的多元正态分布
设随机向量 x (x1, x2 , , xp ) ,若其的密度函数为
f (x1, x2,L , xp )
(2 ) p 2 Σ 1 2 exp[ 1 (x - μ)Σ-1(x - μ)]
E
(
x2
(x1 1)2 2 )(x1
2
)
(x1 1)(x2 2 ) (x2 2 )2
L L
M
M
(xp
)( x1
1)
(xp p )(x2 2 ) L
( x1 ( x2
1 )( x p 2 )(xp
p) p)
M
(xp p)2
AA
9
Var(x) AVar(u) A AA
3.107 1.851
3.860
5.213
1
2.939
19.5325.132
27.363
4.069
4.525
2.939
f (x1, x2, , xp )
n
i1
1
2
exp(
1 2
xi2
)
(2 ) p
2 exp( 1 2
p i 1
xi2 )
2
xi i 1,2, , p
其中的
u (u1,u2 , ,u p )
均值为 E(u) (Eu1, Eu2 , , Eup ) 0
3
协方差矩阵为
u12 u1u2
7
三、一般的正态和标准正态的关系
设 x Au ，其中 A 是一个 p 阶
非退化矩阵，u (u1,u2, ,up ) 服从 p 维标准正态分布，
则
x Au
服从p维正态分布，且均值向量为
E(x) (Ex1, Ex2 , , Exp ) (1, 2 (x )(x )
复习一元正态分布
• 一元正态分布的密度函数 • 一元正态分布的性质 • 一元正态分布的数字特征
– 均值、方差 – 偏度、峰度
• 一元正态分布的计算和查表
1
§1 多元正态分布的定义
一、标准多元正态分布
设随机向量 u (u1,u2, ,up ) 独立同分布于 N(0,1)
则 u (u1,u2, ,up ) 密度函数为
J(u x) A 1 AA 1 2
f
(x1, x2,
, xp )
(2
) p
2
exp[ 1 (x 2
) 1 ( x
)] |
J
|
(2 ) p 2 1 2 exp[ 1 (x )1(x )]
2
10
性质1 设 x ~ N p (,)，则 x 的任何子向量也服从多元正
态分布，其均值为 的相应子向量，协方差为 的相应子
7.033
2.168 4.981
3.540 2.874 30.530
1.681 1.276 4.638 3.107
1.276 1.161 5.864 1.851 3.860
5.213
2.939
19.532
4.069
4.525
27.363
15
1
0.366 1
0.242 0.233
n
kixi
~
n
N p ( i ,
n
ki2
i
).
i 1
i1 i1
12
性质3 将 x, , 作如下的分块：
Σ
Σ11 Σ21
Σ12 k Σ22 k p
μ
μ1 μ2
p
k
k
x
x1 x2
p
k
k
则给定 x2时x1 的条件分布为 Nk (12,112 ) ，其中
μ12
μ1
Σ Σ1 12 22
(x2