§4矩协方差矩阵

格式：ppt
大小：251.01 KB
文档页数：17

下载文档原格式

概率论-4.4 矩和协方差矩阵

3
目录
上页
下页
返回
对n维随机变量来说，可作类似推广：
其中
c11 c12 L c1n
C
c21
c22
L
c2n
M M
M
Байду номын сангаас
cn1 cn2 L cnn
cij Cov(Xi , X j ) E Xi E(Xi ) X j E(X j ) ,i, j 1, 2,L , n
称C为n维随机变量 (X1, X 2,L , X n ) 的协方差矩阵。
2020年4月26日星期日
2
目录
上页
下页
返回
令
X1 X2
它的转置为
E( )
X1, X2 这时ξ的数学期望为
E(X1)
E
(
X
2
)
类似于一维随机变量，可以对ξ定义二阶中心矩：
E[
E(
)][
E(
)]
E
X1 X2
E(X1) E(X2)
(
X1
E(
X1),
X
2
E(
X
2
))
E
X
2020年4月26日星期日
1
目录
上页
下页
返回
注意到
D(X ) E X E(X )2
自然地推广到
E X E(X )k
称上式为X的k阶中心矩。
E(X kY l ), E X E(X )k Y E(Y )l
分别称为X的k+l阶混合矩和k+l阶混合中心矩。特别地，当k=1，l=1时，二阶混合中心矩就是协方差。
第四节矩和协方差矩阵
由于

矩与协方差矩阵

第四章数字特征
4.1 数学期望 4.2 方差 4.3 协方差与相关系数 4.4 矩与协方差矩阵
§4.3 矩与协方差矩阵
4.4.1 矩
设X和Y(Xk) 为X 的 k 阶原点矩； E{[X-E(X)]k} 为X的 k 阶中心矩。
E(Xk) 为X 的 k 阶原点矩； E{[X-E(X)]k} 为X的 k 阶中心矩。
E(X) 是 X 的一阶原点矩， Var(X) 是 X 的二阶中心矩。
E(XkYm) 为X与Y的 k+m 阶混合原点矩； E{[X-E(X)]k [Y-E(Y)]m} 为X与Y的 k+m 阶混合中心矩。
Cov(X,Y)=E{[X-E(X)] [Y-E(Y)]} 为X与Y的 2阶混合中心矩。
小结
本讲首先介绍二维随机向量 (X,Y) 的分量X与Y 的协方差及相关系数的概念、性质和计算；然后介绍随机变量的各种矩(k 阶原点矩、 k 阶中心矩、 k+m 阶混合原点矩、k+m 阶混合中心矩)，n 维随机向量的协方差阵的概念、性质和计算；最后简单介绍了n 元正态分布的概念和三条重要性质。

4.3 协方差与相关系数及矩与协方差矩阵

2 1 y2 y 1 同理, fY ( y ) , 0 其它
由f ( x , y ) f X ( x ) fY ( y )可得X与Y不独立.
注意 1、设有随机变量X,Y，下列事实是等价的：
(1) cov( X ,Y ) 0
( 2) X与Y不相关
( 3) E ( XY ) E ( X ) E (Y ) (4) D( X Y ) D( X ) D(Y )
性质6 若X ,Y相互独立, 则cov( X ,Y ) 0;
性质7 若U ,V为随机变量, 且E (U 2 ), E (V 2 )都存在, 则
[ E (UV )]2 E (U 2 ) E (V 2 );
取U X E ( X ),V Y E (Y ), 则有 [cov( X ,Y )]2 D( X ) D(Y ).
定义3 若 cov( X ,Y ) 0或 XY 0,
则称随机变量X与Y不相关.
几点说明:
(1) cov( X ,Y ) E ( XY ) E ( X ) E (Y ), cov( X , X ) D( X ).
( 2)离散型 : cov( X ,Y ) [ xi E ( X )][ y j E (Y )] pij .
定义2
设( X ,Y )是二维随机变量若 cov( X ,Y ), D( X ), D(Y )都 , cov( X ,Y ) 存在, 且D( X ) 0, D(Y ) 0, 则称为随 D( X ) D(Y ) 机变量X与Y的相关系数或标准协方 , 记为 XY ,即差
XY
cov( X ,Y ) . D( X ) D(Y )
ex3.设随机变量X的概率分布密度为 1 x f ( x) e x , 2 (1)求X的数学期望E(X)和方差D(X). (2)求cov(X,|X|)，并问X与|X|是否不相关？ (3)问X与|X|是否相互独立？为什么？ 1 x 解 (1) EX xf ( x )dx x e dx 0, 2 DX E[ X E ( X )]2 E ( X 2 )

《概率论》第4章矩、协方差矩阵

为 k l 阶混合中心矩
E假(定X )其中各数学1 阶期原望点都矩存在
D“矩(X”) 是来自于2物阶理中学心中矩力矩的概念
Cov(X y,Y )
2 阶混合中心矩
y f (x)
O
x d第x 四章随机x变量的数字特征
§4 矩、协方差矩阵
2/8
对于二维r.v ( X1,，X记2 )
c11 E[( X1 E( X1))2 ] D( X1) c12 E[(X1 E(X1))(X2 E(X2 ))] Cov(X1, X 2 )
7/8
(X1, X2 ,L , Xn ) ~ N(,C) X1, X2,, Xn 的任一线性
组合 l1X1 l2 X2 ln Xn 服从一维正态分布正态r.v的线性变换不变性：设
(X1, X2 ,, Xn ) ~ N(,C) 令
Y1 a11 X1 a12 X2 a1n Xn
Y2
§4 矩、协方差矩阵
1/8
对于 r.v X ,Y , 称
E( X k ) ( k 1, 2,)
为 k阶原点矩，简称 k阶矩 .称
E[( X E( X ))k ] ( k 2,3,)
为 k阶中心矩 .称
E( X kY l ) (k,l 1, 2,)
为 k l 阶混合矩 .称
E[( X E(X ))k (Y E(Y ))l ] (k,l 1, 2,)
)e2 xp2{
12(x(X1)1( y)2TC21)(X
(y
)}2
2 2
)2
]}
与一维记再正记C态Xr.vcc12密11xyf度c(c,1x222)函数比11211较2, e2则xp{122(x2
)
2
}

4-4协方差矩阵

2 dy = t 2
n
y= 2 t
=2
−1Leabharlann 1 n2 E( X t ) = 22
2σ = 2π
n +∞
∫y
0
y2 − n 2
e
dy
−
1 2 dt
1 1 − 2 t 2 dt
n 1 − 2 2
2σ E( X ) = 2π
=
n 22
n +∞
∫2
0
t
n 1 − 2 2
e dt
=
n 22
−t
n +∞ n+1 −1 σ t 2 e − t dt
矩与协方差矩阵
设有随机变量X 相互独立，例3 设有随机变量，Y相互独立，X~N(1,4),Y~N(2,9) 相互独立的分布. 求2X-Y的分布的分布随机变量X 服从正态分布,且解随机变量，Y服从正态分布且相互独立,则服从正态分布相互独立, 2X-Y也服从正态分布也服从正态分布
c12 称此矩阵为(X,Y)的的称此矩阵为 c 22
矩与协方差矩阵
将(X,Y)的协方差矩阵予以推广，设有维随机变量的协方差矩阵予以推广，设有n维随机变量 X1, X2,‥‥, n , 若记 ‥‥,X ‥‥,
c ij = COV ( X i , X j ) = E {[ X i − E ( X i )][ X j − E X j ]}
( )
(
)
ρσ 1σ 2 2 σ2
利用线性代数知识有
(c )
ij
−1
=
2 σ2 1 det( c ij ) − ρσ 1σ 2
− ρσ 1σ 2 σ 12

矩协方差矩阵

26 12
设(X1, X2,…, Xn) 是n 维随机变量, Xi与Xj的相关系数 ρij ( i , j =1,2,…,n )存在,
11 12 1n
则称矩阵
R
...2.1........2.2...............2
n
n1 n2 nn
为该随机变量的相关矩阵.
X+Y 与3X –Y 的相关系数为
Cov( X Y ,3X Y ) 2 1
D( X Y ) D(3X Y ) 4 16 4
(X+Y ,3X –Y)的协方差矩阵
C

4 2
2 16
(X+Y ,3X –Y)的相关矩阵
R

1 0.25
C C11 C21
C12 C22

2 1
1
2
1

2 2
2

例1 若 D( X ) 1, D(Y ) 4, XY 1 4,
求(X+Y ,3X –Y)的协方差矩阵和相关矩阵.
解:
Cov(X ,Y ) XY
D( X )
D(Y )
思考题答案：
协方差矩阵的主对角线上的元素Cii是相应的第i个随机变量的方差;
相关矩阵的主对角线上的元素ρii都为1.
练习题：
1.已知随机变量X,Y 的联合分布为
XY 2 0 1 1 0.30 0.12 0.18
1 0.10 0.18分布随机变量 (X,Y) 的期望向量μ和协方差矩阵V,分别是
C22 E{[X2 E( X2 )]2} D( X2 )

第四节矩与协方差矩阵

概率统计
例
相互独立, 设随机变量 X 和 Y 相互独立,且 X ~ N ( 1, 2 ), Y ~ N (0, 1 ).
试求: 试求:Z = 2X – Y + 3 的概率密度解: 因为:X ~ N ( 1, 2 ), Y ~ N ( 0, 1 ),且 X 与 Y 独立因为: , 的联合分布为正态分布, 故: X 和 Y 的联合分布为正态分布,X 和 Y 的任意线性组合是正态分布. 意线性组合是正态分布即: Z ~ N ( E(Z),D(Z) ) , 而: E( Z ) = 2E( X ) - E( Y ) + 3 = 2 + 3 = 5 D( Z ) = 4D( X ) + D( Y ) = 8 + 1 = 9
概率统计
所以: 所以: Z ~ N ( 5, 32 ) 的概率密度为: 故: Z 的概率密度为:
fZ (z) =
1 3 2π
e
( z5)2 18
∞< z < ∞
概率统计
�
2
c22 = E{[ X2 E( X2 )] }
2
c11 c12 将它们排成矩阵的形式: 将它们排成矩阵的形式 ቤተ መጻሕፍቲ ባይዱ c21 c22
称此矩阵为( 协方差矩阵. 称此矩阵为(X1, X2)的协方差矩阵
概率统计
这是一个对称矩阵
▲ 类似可注: 类似可定义 n 维随机变量 X1, X2, …, Xn ) 的维随机变量( 协方差矩阵. 协方差矩阵若 ci j = Cov( Xi , X j ) i, j = 1, 2,…, n 都存在, 都存在,则称矩阵 : c11 c12 L c21 c22 L C= M M L cn1 cn2 L

概率论课件矩、协方差矩阵

中心矩
中心矩是相对于均值（期望值）的矩，用于描述随机变量分布的形状和离散程度。
标准化矩
标准化矩是对中心矩进行标准化处理后的矩，用于比较不同随机变量的分布特性。
样本矩与总体矩
பைடு நூலகம்样本矩
样本矩是从总体中抽取样本后计算得到的矩，用于估计总体矩。
总体矩
总体矩是描述总体分布特性的矩，是样本矩的极限值。
03 协方差矩阵
详细描述
分析矩和协方差矩阵需要使用相关的统计方法和技巧，如主成分分析、因子分析、聚类分析等。通过对矩和协方差矩阵的分析，可以提取数据集中的主要特征、发现变量之间的潜在关系、对数据进行分类或聚类等。
实例三：数据集的矩和协方差矩阵应用
总结词
数据集的矩和协方差矩阵在概率论中有着广泛的应用，如统计推断、假设检验、回归分析等。
THANKS FOR WATCHING
感谢您的观看
VS
第二阶原点矩（即方差）
协方差矩阵的对角线元素是各个随机变量的方差，非对角线元素是各个随机变量的协方差。
协方差矩阵与方差-协方差矩阵的关系
方差-协方差矩阵是一个包含各个随机变量的方差和协方差信息的矩阵，而协方差矩阵只包含各个随机变量的协方差信息。
方差-协方差矩阵是协方差矩阵的一个扩展，它同时包含了随机变量的方差信息，而协方差矩阵只包含随机变量的协方差信息。
详细描述
在统计推断中，矩和协方差矩阵可用于估计总体参数和进行假设检验。例如，利用样本矩估计总体矩，然后使用这些估计值进行假设检验或置信区间的计算。在回归分析中，矩和协方差矩阵可用于估计回归系数和进行模型诊断。通过分析回归模型的矩和协方差矩阵，可以检验模型的假设是否成立、诊断模型的问题等。此外，在时间序列分析和金融数据分析等领域，矩和协方差矩阵也具有重要的应用价值。

协方差矩阵的概念

协方差矩阵的概念协方差矩阵是概率论和统计学中一个重要的概念，用于描述多维随机变量之间的关联程度。

它是一个对称的矩阵，其中包含了各个随机变量之间的协方差以及它们的方差。

协方差是一种描述两个随机变量之间关系的统计量，它衡量了两个随机变量的变化趋势是否一致。

具体而言，对于随机变量X和Y，它们的协方差定义为E[(X - E[X])(Y - E[Y])]，其中E[·]表示期望值操作符。

如果协方差大于0，则表明X和Y 之间存在正相关关系；如果协方差小于0，则表明X和Y之间存在负相关关系；如果协方差等于0，则表明X和Y之间没有线性关系。

对于多个随机变量的情况，我们将它们的协方差组成一个矩阵，即协方差矩阵。

设有n个随机变量X1，X2，...，Xn，它们的协方差矩阵记为Σ，其中Σ(i, j)表示随机变量Xi和Xj之间的协方差。

协方差矩阵是一个对称矩阵，满足以下性质：1. 对角线上的元素是随机变量的方差，即Σ(i, i) = Var(Xi)；2. 非对角线上的元素是对应两个随机变量的协方差，即Σ(i, j) = Σ(j, i)。

协方差矩阵的作用主要体现在以下几个方面：1. 描述随机变量之间的关联性：协方差矩阵可以直观地展示多个随机变量之间的相关性。

通过对协方差矩阵进行分析，可以了解随机变量之间的关系强度和方向。

2. 变量选择与降维：通过协方差矩阵，可以判断不同随机变量之间的相关性。

在建模分析中，我们可以通过分析协方差矩阵来选择与目标变量相关性最强的变量，去除冗余的变量，从而实现降低维度的目的。

3. 风险度量：在金融领域，协方差矩阵可用于衡量资产之间的风险关系。

通过计算资产收益率之间的协方差矩阵，可以估计投资组合的风险水平，为资产配置、风险控制提供依据。

4. 生成随机样本：协方差矩阵可用于生成符合特定相关性要求的随机样本。

通过给定均值向量和协方差矩阵，可以使用相关多元正态分布的特性生成具有一定相关性的随机样本。

矩、协方差矩阵

考试题型：
1、设X ~ N (1,1),Y ~ N (1,4), X与Y 相互独立，则D(2 X 3Y ) ___ .
x, 0 x 1 2、设X的概率密度f ( x) 2 x, 1 x 2
0, 其他求（1）EX , (2)分布函数F ( x).
证：DX E( X EX )2 E[(X C ) (C EX )]2 E( X C )2 2(C EX )E( X C ) (C EX )2 E( X C )2 (EX C )2 EX C , (EX C )2 0 DX E( X C )2 这表明在一切C值中，只有当C EX时，才使E( X C )2 达到最小。
练习:
习题解：X 1，2，3，4
43 33 P( X 1) 43 每只球有四个盒子可供选择;若X 1, 表明每只球有1,2，3，4号四个盒子可供选择，但不能仅放在2，3，4号盒子中。
同理：P( Xຫໍສະໝຸດ 2)33 23 43
3、设( X ,Y )在区域 R：0 x 1, 0 y x上服从均匀分布，
即
2, ( x, y) R f ( x, y) 0, ( x, y) R
求（1）边缘分布 (2)EX , DX
(3)P( X 2Y 0)
补充：设X为随机变量，C为任意
每只球有四个盒子可供选择；
若X 2, 表明球可放在2，3，4号
盒子中，但不能仅放在3，4号
盒子中。
同理:
23 13 P( X 3) 43
1 P( X 4) 43

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

§4 矩、协方差矩阵
返回目录
定义设 ( X,Y ) 是二维随机变量,若
E ( X k ),
k 1,2, k 2,3,
存在,则称它为随机变量 X 的k 阶原点矩,简称 k 阶矩.
若 E{[ X E ( X )]k }
存在,则称它为随机变量 X 的k 阶中心矩.
若
E ( X kY l )
思考题答案：
协方差矩阵的主对角线上的元素Cii是相应的第i 个随机变量的方差; 相关矩阵的主对角线上的元素ρii都为1.
练习题：
1.已知随机变量X,Y 的联合分布为
0 1 Y 2 X 1 0.30 0.12 0.18 1 0.10 0.18 0.12
求协方差阵
2. 二维正态分布随机变量 (X,Y) 的期望向量μ和协方差矩阵V,分别是
C11 E{[ X 1 E ( X 1 )]2 } D( X 1 )
C12 E{[ X 1 E ( X 1 )] [ X 2 E ( X 2 )]} Cov( X 1 , X 2 )， C21 E{[ X 2 E ( X 2 )] [ X 1 E ( X 1 )]} Cov( X 2 , X 1 )，
例2 设随机向量 (X,Y) 服从二维正态分布,
f ( x , y ) Ae
2[( x 2 )2
3 1 ( x 2 )( y 1) ( y 1)2 ] 2 4
求A 和(X,Y)的协方差矩阵和相关矩阵.
解: (X,Y) 服从二维正态分布, 1 2, 2 1.
26 12
196 91 V 91 169
求(X,Y) 的联合概率密度函数 f (x,y).
练习题答案：
1. E ( X ) 0.2, D( X ) 0.96, E (Y ) 0.5, D(Y ) 1.65 E ( XY ) 0.34, Cov( X ,Y ) 0.24
0.96 0.24 V 0 . 24 1 . 65
1 2. f ( x , y ) 182 3 2 ( x 26)2 ( x 26)( y 12) ( y 12)2 exp 182 169 3 196
X+Y 与3X –Y 的相关系数为

Cov( X Y ,3 X Y ) 1 2 D( X Y ) D( 3 X Y ) 4 4 16
(X+Y ,3X –Y)的协方差矩阵
4 2 C 2 16
(X+Y ,3X –Y)的相关矩阵
0.25 1 R 0 . 25 1
为该随机变量的相关矩阵.
cov( X i , X j ) D( X i ) D( X j )
ij
( i , j 1,, n)
ii 1 ( i 1,, n)
R 也是对称半正定矩阵.
2 2 ( X 1 , X 2 ) ~ N ( 1 , 2 , 1 , 2 , )，
设(X1, X2,…, Xn) 是n 维随机变量, Xi与Xj的相关系数 ρij ( i , j =1,2,…,n )存在,
11 12 1n 2 n 21 22 则称矩阵 R .......... .......... ........ n1 n 2 nn
与下式比较
f ( x, y )
1 2 1 2
1 exp 2 1 2 2 ( 1 )
2
2
x 1 x 1 y 2 y 2 2 1 2 1 2

i , j 1,2,3,, n
C11 C12 C1n 则称n 阶矩阵 C C21 C22 C2n .......... .......... ........ C C C n2 nn n1
为n 维随机变量 (X1, X2,…, Xn) 的协方差矩阵. 易见C是对称阵,可以证明C是非负定阵.
D( X ) E{[ X E ( X )]2 }
E[ X E ( X )] 0
协方差是 1+1 阶混合中心矩，
Cov( X ,Y ) E {[ X E ( X )] [Y E (Y )]}，
1+1 阶混合原点矩，
E ( XY )
介绍 n 维随机变量的协方差矩阵考虑 n =2 的情况
C22 E{[ X 2 E ( X 2 )]2 } D( X 2 )
X1与X2的协方差矩阵
C11 C12 C 21 C 22
n 维随机变量 (X1, X2,…, Xn) ,
Cij E{[ X i E ( X i )] [ X j E ( X j )]} Cov( X i , X j )，
1 2
3 2
Cov( X ,Y ) 1 2 3
协方差矩阵
3 1 C 3 4
相关矩阵
3 1 2 R 3 1 2
思考题：
协方差矩阵的主对角线上的元素是什么? 相关矩阵的主对角线上的元素是什么?
k , l 1,2,
存在,则称它为 X 与 Y 的 k + l 阶混合矩.
k l E {[ X E ( X )] [ Y E ( Y )] } k , l 1,2, 若
存在,则称它为 X 与 Y 的 k +l 阶混合中心矩.
数学期望 E(X) 是一阶原点矩，
X , x2
1 , 2
2 C C 11 12 1 C C21 C 22 1 2
1 2 2 2
例1 若 D( X ) 1, D(Y ) 4, XY 1 4 ,
1 1 2(1 2 ) 2 2 1
1 2 3 2(1 2 ) 1 2 1 1 1 2 2 2(1 ) 2 2
A 1 2 1 2
1 2 2 1
1 2
E[ X Y E ( X ) E (Y )] [3 X Y 3 E ( X ) E (Y )] E {([ X E ( X )] [Y E (Y )]) ( 3[ X E ( X )] [Y E (Y )])} 3 D( X ) 2 Cov( X ,Y ) D(Y ) 2
求(X+Y ,3X –Y)的协方差矩阵和相关矩阵.
解: Cov( X ,Y ) XY
1 D( X ) D(Y ) 2
D( X Y ) D( X ) D(Y ) 2 Cov( X ,Y ) 4 D( 3 X Y ) 9 D( X ) D(Y ) 6 Cov( X ,Y ) 16 Cov( X Y ,3 X Y ) E[ X Y E ( X ) E (Y )] [3 X Y 3 E ( X ) E (Y )]