当前位置：文档之家 › §4矩协方差矩阵

§4矩协方差矩阵

  • 格式：ppt
  • 大小：251.01 KB
  • 文档页数：17

下载文档原格式

  / 17

合集下载

概率论-4.4 矩和协方差矩阵

概率论-4.4 矩和协方差矩阵


3
目录
上页
下页
返回
对n维随机变量来说，可作类似推广：
其中
c11 c12 L c1n
C
c21
c22
L
c2n
M M
M
Байду номын сангаас
cn1 cn2 L cnn
cij Cov(Xi , X j ) E Xi E(Xi ) X j E(X j ) ,i, j 1, 2,L , n
称C为n维随机变量 (X1, X 2,L , X n ) 的协方差矩阵。
2020年4月26日星期日
2
目录
上页
下页
返回
令
X1 X2
它的转置为
E( )
X1, X2 这时ξ的数学期望为
E(X1)
E
(
X
2
)
类似于一维随机变量，可以对ξ定义二阶中心矩：
E[
E(
)][
E(
)]
E
X1 X2
E(X1) E(X2)
(
X1
E(
X1),
X
2
E(
X
2
))
E
X
2020年4月26日星期日
1
目录
上页
下页
返回
注意到
D(X ) E X E(X )2
自然地推广到
E X E(X )k
称上式为X的k阶中心矩。
E(X kY l ), E X E(X )k Y E(Y )l
分别称为X的k+l阶混合矩和k+l阶混合中心矩。 特别地，当k=1，l=1时，二阶混合中心矩就是协方差。
第四节 矩和协方差矩阵
由于
矩与协方差矩阵

矩与协方差矩阵

第四章 数字特征
4.1 数学期望 4.2 方差 4.3 协方差与相关系数 4.4 矩与协方差矩阵
§4.3 矩与协方差矩阵
4.4.1 矩
设X和Y(Xk) 为X 的 k 阶原点矩； E{[X-E(X)]k} 为X的 k 阶中心矩。
E(Xk) 为X 的 k 阶原点矩； E{[X-E(X)]k} 为X的 k 阶中心矩。
E(X) 是 X 的一阶原点矩， Var(X) 是 X 的二阶中心矩。
E(XkYm) 为X与Y的 k+m 阶混合原点矩； E{[X-E(X)]k [Y-E(Y)]m} 为X与Y的 k+m 阶混合中心矩。
Cov(X,Y)=E{[X-E(X)] [Y-E(Y)]} 为X与Y的 2阶混合中心矩。
小结
本讲首先介绍二维随机向量 (X,Y) 的分量X与Y 的协方差及相关系数的概念、性质和计算；然后介 绍随机变量的各种矩(k 阶原点矩、 k 阶中心矩、 k+m 阶混合原点矩、k+m 阶混合中心矩)，n 维随机 向量的协方差阵的概念、性质和计算；最后简单介 绍了n 元正态分布的概念和三条重要性质。
4.3 协方差与相关系数及矩与协方差矩阵

4.3 协方差与相关系数及矩与协方差矩阵

2 1 y2 y 1 同理, fY ( y ) , 0 其它
由f ( x , y ) f X ( x ) fY ( y )可得X与Y不独立.
注意 1、设有随机变量X,Y，下列事实是等价的：
(1) cov( X ,Y ) 0
( 2) X与Y不相关
( 3) E ( XY ) E ( X ) E (Y ) (4) D( X Y ) D( X ) D(Y )
性质6 若X ,Y相互独立, 则cov( X ,Y ) 0;
性质7 若U ,V为随机变量, 且E (U 2 ), E (V 2 )都存在, 则
[ E (UV )]2 E (U 2 ) E (V 2 );
取U X E ( X ),V Y E (Y ), 则有 [cov( X ,Y )]2 D( X ) D(Y ).
定义3 若 cov( X ,Y ) 0或 XY 0,
则称随机变量X与Y不相关.
几点说明:
(1) cov( X ,Y ) E ( XY ) E ( X ) E (Y ), cov( X , X ) D( X ).
( 2)离散型 : cov( X ,Y ) [ xi E ( X )][ y j E (Y )] pij .
定义2
设( X ,Y )是二维随机变量 若 cov( X ,Y ), D( X ), D(Y )都 , cov( X ,Y ) 存在, 且D( X ) 0, D(Y ) 0, 则称 为随 D( X ) D(Y ) 机变量X与Y的相关系数或标准协方 , 记为 XY ,即 差
XY
cov( X ,Y ) . D( X ) D(Y )
ex3.设随机变量X的概率分布密度为 1 x f ( x) e x , 2 (1)求X的数学期望E(X)和方差D(X). (2)求cov(X,|X|)，并问X与|X|是否不相关？ (3)问X与|X|是否相互独立？为什么？ 1 x 解 (1) EX xf ( x )dx x e dx 0, 2 DX E[ X E ( X )]2 E ( X 2 )
《概率论》第4章矩、协方差矩阵

《概率论》第4章矩、协方差矩阵


为 k l 阶混合中心矩
E假(定X )其中各数学1 阶期原望点都矩存在
D“矩(X”) 是来自于2物阶理中学心中矩力矩的概念
Cov(X y,Y )
2 阶混合中心矩
y f (x)
O
x d第x 四章 随机x变量的数字特征
§4 矩、协方差矩阵
2/8
对于二维r.v ( X1,，X记2 )
c11 E[( X1 E( X1))2 ] D( X1) c12 E[(X1 E(X1))(X2 E(X2 ))] Cov(X1, X 2 )
7/8
(X1, X2 ,L , Xn ) ~ N(,C) X1, X2,, Xn 的任一线性
组合 l1X1 l2 X2 ln Xn 服从一维正态分布 正态r.v的线性变换不变性：设
(X1, X2 ,, Xn ) ~ N(,C) 令
Y1 a11 X1 a12 X2 a1n Xn
Y2
§4 矩、协方差矩阵
1/8
对于 r.v X ,Y , 称
E( X k ) ( k 1, 2,)
为 k阶原点矩，简称 k阶矩 .称
E[( X E( X ))k ] ( k 2,3,)
为 k阶中心矩 .称
E( X kY l ) (k,l 1, 2,)
为 k l 阶混合矩 .称
E[( X E(X ))k (Y E(Y ))l ] (k,l 1, 2,)
)e2 xp2{
12(x(X1)1( y)2TC21)(X
(y
)}2
2 2
)2
]}
与一维记再正记C态Xr.vcc12密11xyf度c(c,1x222)函数比11211较2, e2则xp{122(x2
)
2
}
4-4协方差矩阵

4-4协方差矩阵

2 dy = t 2
n
y= 2 t
=2
−1Leabharlann 1 n2 E( X t ) = 22
2σ = 2π
n +∞
∫y
0
y2 − n 2
e
dy
−
1 2 dt
1 1 − 2 t 2 dt
n 1 − 2 2
2σ E( X ) = 2π
=
n 22
n +∞
∫2
0
t
n 1 − 2 2
e dt
=
n 22
−t
n +∞ n+1 −1 σ t 2 e − t dt
矩与协方差矩阵
设有随机变量X 相互独立， 例3 设有随机变量 ，Y相互独立，X~N(1,4),Y~N(2,9) 相互独立 的分布. 求2X-Y的分布 的分布 随机变量X 服从正态分布,且 解 随机变量 ，Y服从正态分布 且相互独立,则 服从正态分布 相互独立, 2X-Y也服从正态分布 也服从正态分布
c12 称此矩阵为(X,Y)的 的 称此矩阵为 c 22
矩与协方差矩阵
将(X,Y)的协方差矩阵予以 推广，设有 维随机变量 的协方差矩阵予以 推广，设有n维随机变量 X1, X2,‥‥, n , 若记 ‥‥,X ‥‥,
c ij = COV ( X i , X j ) = E {[ X i − E ( X i )][ X j − E X j ]}
( )
(
)
ρσ 1σ 2 2 σ2
利用线性代数知识有
(c )
ij
−1
=
2 σ2 1 det( c ij ) − ρσ 1σ 2
− ρσ 1σ 2 σ 12
矩协方差矩阵

矩协方差矩阵




26 12
设(X1, X2,…, Xn) 是n 维随机变量, Xi与Xj的相关系数 ρij ( i , j =1,2,…,n )存在,
11 12 1n
则称矩阵
R
...2.1........2.2...............2
n
n1 n2 nn
为该随机变量的相关矩阵.
X+Y 与3X –Y 的相关系数为
Cov( X Y ,3X Y ) 2 1
D( X Y ) D(3X Y ) 4 16 4
(X+Y ,3X –Y)的协方差矩阵
C

4 2
2 16
(X+Y ,3X –Y)的相关矩阵
R


1 0.25
C C11 C21
C12 C22



2 1
1
2
1

2 2
2

例1 若 D( X ) 1, D(Y ) 4, XY 1 4,
求(X+Y ,3X –Y)的协方差矩阵和相关矩阵.
解:
Cov(X ,Y ) XY
D( X )
D(Y )
思考题答案：
协方差矩阵的主对角线上的元素Cii是相应的第i个 随机变量的方差;
相关矩阵的主对角线上的元素ρii都为1.
练习题：
1.已知随机变量X,Y 的联合分布为
XY 2 0 1 1 0.30 0.12 0.18
1 0.10 0.18分布随机变量 (X,Y) 的期望向量μ和协 方差矩阵V,分别是
C22 E{[X2 E( X2 )]2} D( X2 )
第四节矩与协方差矩阵

第四节矩与协方差矩阵

概率统计
例
相互独立, 设随机变量 X 和 Y 相互独立,且 X ~ N ( 1, 2 ), Y ~ N (0, 1 ).
试求: 试求:Z = 2X – Y + 3 的概率密度 解: 因为:X ~ N ( 1, 2 ), Y ~ N ( 0, 1 ),且 X 与 Y 独立 因为: , 的联合分布为正态分布, 故: X 和 Y 的联合分布为正态分布,X 和 Y 的任 意线性组合是正态分布. 意线性组合是正态分布 即: Z ~ N ( E(Z),D(Z) ) , 而: E( Z ) = 2E( X ) - E( Y ) + 3 = 2 + 3 = 5 D( Z ) = 4D( X ) + D( Y ) = 8 + 1 = 9
概率统计
所以: 所以: Z ~ N ( 5, 32 ) 的概率密度为: 故: Z 的概率密度为:
fZ (z) =
1 3 2π
e
( z5)2 18
∞< z < ∞
概率统计
�
2
c22 = E{[ X2 E( X2 )] }
2
c11 c12 将它们排成矩阵的形式: 将它们排成矩阵的形式 ቤተ መጻሕፍቲ ባይዱ c21 c22
称此矩阵为( 协方差矩阵. 称此矩阵为(X1, X2)的协方差矩阵
概率统计
这是 一个 对称 矩阵
▲ 类似可 注: 类似可定义 n 维随机变量 X1, X2, …, Xn ) 的 维随机变量( 协方差矩阵. 协方差矩阵 若 ci j = Cov( Xi , X j ) i, j = 1, 2,…, n 都存在, 都存在,则称矩阵 : c11 c12 L c21 c22 L C= M M L cn1 cn2 L
概率论课件矩、协方差矩阵

概率论课件矩、协方差矩阵

中心矩
中心矩是相对于均值（期望值）的矩，用于描述随机变量分布的形状和离散程 度。
标准化矩
标准化矩是对中心矩进行标准化处理后的矩，用于比较不同随机变量的分布特 性。
样本矩与总体矩
பைடு நூலகம்样本矩
样本矩是从总体中抽取样本后计算得到的矩，用于估计总体矩。
总体矩
总体矩是描述总体分布特性的矩，是样本矩的极限值。
03 协方差矩阵
详细描述
分析矩和协方差矩阵需要使用相关的统计方 法和技巧，如主成分分析、因子分析、聚类 分析等。通过对矩和协方差矩阵的分析，可 以提取数据集中的主要特征、发现变量之间 的潜在关系、对数据进行分类或聚类等。
实例三：数据集的矩和协方差矩阵应用
总结词
数据集的矩和协方差矩阵在概率论中有着广泛的应用 ，如统计推断、假设检验、回归分析等。
THANKS FOR WATCHING
感谢您的观看
VS
第二阶原点矩（即方差）
协方差矩阵的对角线元素是各个随机变量 的方差，非对角线元素是各个随机变量的 协方差。
协方差矩阵与方差-协方差矩阵的关系
方差-协方差矩阵是一个包含各个随机 变量的方差和协方差信息的矩阵，而 协方差矩阵只包含各个随机变量的协 方差信息。
方差-协方差矩阵是协方差矩阵的一个 扩展，它同时包含了随机变量的方差 信息，而协方差矩阵只包含随机变量 的协方差信息。
详细描述
在统计推断中，矩和协方差矩阵可用于估计总体参数和 进行假设检验。例如，利用样本矩估计总体矩，然后使 用这些估计值进行假设检验或置信区间的计算。在回归 分析中，矩和协方差矩阵可用于估计回归系数和进行模 型诊断。通过分析回归模型的矩和协方差矩阵，可以检 验模型的假设是否成立、诊断模型的问题等。此外，在 时间序列分析和金融数据分析等领域，矩和协方差矩阵 也具有重要的应用价值。
协方差矩阵的概念

协方差矩阵的概念

协方差矩阵的概念协方差矩阵是概率论和统计学中一个重要的概念，用于描述多维随机变量之间的关联程度。

它是一个对称的矩阵，其中包含了各个随机变量之间的协方差以及它们的方差。

协方差是一种描述两个随机变量之间关系的统计量，它衡量了两个随机变量的变化趋势是否一致。

具体而言，对于随机变量X和Y，它们的协方差定义为E[(X - E[X])(Y - E[Y])]，其中E[·]表示期望值操作符。

如果协方差大于0，则表明X和Y 之间存在正相关关系；如果协方差小于0，则表明X和Y之间存在负相关关系；如果协方差等于0，则表明X和Y之间没有线性关系。

对于多个随机变量的情况，我们将它们的协方差组成一个矩阵，即协方差矩阵。

设有n个随机变量X1，X2，...，Xn，它们的协方差矩阵记为Σ，其中Σ(i, j)表示随机变量Xi和Xj之间的协方差。

协方差矩阵是一个对称矩阵，满足以下性质：1. 对角线上的元素是随机变量的方差，即Σ(i, i) = Var(Xi)；2. 非对角线上的元素是对应两个随机变量的协方差，即Σ(i, j) = Σ(j, i)。

协方差矩阵的作用主要体现在以下几个方面：1. 描述随机变量之间的关联性：协方差矩阵可以直观地展示多个随机变量之间的相关性。

通过对协方差矩阵进行分析，可以了解随机变量之间的关系强度和方向。

2. 变量选择与降维：通过协方差矩阵，可以判断不同随机变量之间的相关性。

在建模分析中，我们可以通过分析协方差矩阵来选择与目标变量相关性最强的变量，去除冗余的变量，从而实现降低维度的目的。

3. 风险度量：在金融领域，协方差矩阵可用于衡量资产之间的风险关系。

通过计算资产收益率之间的协方差矩阵，可以估计投资组合的风险水平，为资产配置、风险控制提供依据。

4. 生成随机样本：协方差矩阵可用于生成符合特定相关性要求的随机样本。

通过给定均值向量和协方差矩阵，可以使用相关多元正态分布的特性生成具有一定相关性的随机样本。

矩、协方差矩阵

矩、协方差矩阵


考试题型：
1、 设X ~ N (1,1),Y ~ N (1,4), X与Y 相 互 独 立 ， 则D(2 X 3Y ) ___ .
x, 0 x 1 2、 设X的 概 率 密 度f ( x) 2 x, 1 x 2
0, 其 他 求 （1）EX , (2)分 布 函 数F ( x).
证：DX E( X EX )2 E[(X C ) (C EX )]2 E( X C )2 2(C EX )E( X C ) (C EX )2 E( X C )2 (EX C )2 EX C , (EX C )2 0 DX E( X C )2 这 表 明 在 一 切C值 中 ， 只 有 当C EX时 ， 才 使E( X C )2 达 到 最 小 。
练习:
习题 解 ：X 1，2，3，4
43 33 P( X 1) 43 每 只 球 有 四 个 盒 子 可 供 选 择;若X 1, 表 明 每 只 球 有1,2，3，4号 四 个 盒 子 可 供 选 择 ， 但 不 能 仅 放 在2，3，4号 盒 子 中 。
同理 ：P( Xຫໍສະໝຸດ 2)33 23 43
3、 设( X ,Y )在 区 域 R：0 x 1, 0 y x上 服 从 均 匀 分 布 ，
即
2, ( x, y) R f ( x, y) 0, ( x, y) R
求 （1） 边 缘 分 布 (2)EX , DX
(3)P( X 2Y 0)
补 充 ： 设X为 随 机 变 量 ，C为 任 意
每只 球有 四个 盒子 可供选择 ；
若X 2, 表明 球可 放在2，3，4号
盒子 中，但不 能仅 放在3，4号
盒子中。
同理:
23 13 P( X 3) 43
1 P( X 4) 43
4-4协方差矩阵

4-4协方差矩阵


矩与协方差矩阵
二、协方差矩阵
为二元随机变量，其有四个二阶中心矩 设(X,Y)为二元随机变量，其有四个二阶中心矩. 为二元随机变量 主要针对多维随机变量的中心矩与混合中心矩来 以二元随机变量为例. 谈，以二元随机变量为例 ∆
E ( X − EX ) 2 = c11 = COV ( X , X )
2 ∆
E (Y − EY ) = c 22 = COV (Y ,Y ) E ( X − EX )(Y − EY ) = c12 = COV ( X ,Y )
∆
E (Y − EY )( X − EX ) = c 21 = COV (Y , X )
∆
c11 由c11,c12,c21,c22,有 有 c 21 协方差矩阵
n 2
2 σ n n−1 n− 3 n− 3 = ⋅ ⋅ Γ 2 2 π 2 n 22σ n n−1 n− 3 1 1 = ⋅ ⋅ ⋅ ⋯ ⋅ Γ 2 2 2 2 π
= 2 σn
n 2
π
(n − 1)!! ⋅
因而， 因而， E X n
( )
2
n 2
π
=σ
n
(n − 1)!!
σ n (n − 1)!! n为偶数, = n为奇数. 0
1 Γ = π 2
矩与协方差矩阵
E Xn 特别是,当X~N(0, 1),则有 特别是, 则有
( )
σ n (n − 1)!! n为偶数, = 0 n为奇数.
EX
( )
n
(n − 1)!! n为偶数 = , n为奇数 0
c12 称此矩阵为(X,Y)的 的 称此矩阵为 c 22
矩与协方差矩阵

协方差矩阵的原理和应用

协方差矩阵的原理和应用1. 原理协方差矩阵是统计学中用于衡量两个随机变量之间关系的一种度量工具。

它是一个对称矩阵，其中每个元素表示对应的两个变量之间的协方差。

协方差矩阵的计算公式如下所示：cov(X, Y) = E[(X - E(X))(Y - E(Y))]其中，X 和 Y 是两个随机变量，E(X) 和 E(Y) 分别表示 X 和 Y 的期望值。

协方差矩阵的对角线上的元素表示对应的变量的方差，而其他位置的元素表示对应变量之间的协方差。

协方差可以为正、负或零，正值表示两个变量之间的正相关关系，负值表示负相关关系，零值表示无关系。

2. 应用协方差矩阵在统计学和金融学中有广泛的应用。

下面列举了一些常见的应用场景：2.1. 金融投资组合优化协方差矩阵可以用于评估不同资产之间的相关性。

在金融投资中，投资者经常需要构建一个投资组合，通过将不同资产进行组合，以达到预期的风险和收益。

协方差矩阵可以帮助投资者评估不同资产之间的相关性，从而更好地进行资产配置。

2.2. 风险管理协方差矩阵在风险管理中起着重要的作用。

通过分析资产之间的协方差，可以评估投资组合的整体风险。

投资者可以使用协方差矩阵来计算投资组合的方差和标准差，从而量化风险水平并制定相应的风险管理策略。

2.3. 因子分析和主成分分析协方差矩阵在因子分析和主成分分析中也有重要的应用。

在因子分析中，协方差矩阵可以用来估计不同变量之间的因果关系。

而在主成分分析中，协方差矩阵可以用来计算主成分的权重，从而实现降维和数据压缩。

2.4. 机器学习中的特征选择协方差矩阵在机器学习中也有广泛的应用。

在特征选择中，协方差矩阵可以用来评估不同特征之间的相关性，从而选择最相关的特征。

通过选择相关性较低的特征，可以降低数据维度，提高模型的性能和泛化能力。

3. 总结协方差矩阵是一种用于衡量随机变量之间关系的工具。

它可以帮助我们理解变量之间的相关性，并在统计学、金融学和机器学习等领域中发挥重要作用。

概率论第四章随机变量的数字特征第4节矩和协方差矩阵


特别，若 X ~ N 0， 1 , 则
E X n
n 1!!
0
n为偶数 n为奇数 ,
n 4时， EX 4 3.
返回主目8 录
练习一下
• 已知随机变量的X和Y的联合分布为
Y X
-2
0
1
-1
0.30
0.12
0.18
1
0.10
0.18
0.12
求X和Y的协差矩阵.
0.96 0.24
0.24 1 .65
DX
所以，
E X n nE Y n
n yn fY
y dy
n
y
n
e
y2 2
dy
2
⑴．当 n为奇数时，由于被积函 数是奇函数，所以
E X n 0 ．
返回主目5 录
第四章 随机变量的数字特征
(2)．当n为偶数时，由于被积函 数是偶函数，所以
EX n
2 n
y
n
e
y2 2
E X n
n
22
n
n
1
n
1
n
22
n
n
1
n
3
n
3
2 2 2 2 2
n
22
n
n
1
n
3
1
1
22
2 2
n
22
n
n 1!!
n
22
n n 1!!
返回主目7 录
第四章 随机变量的数字特征
因而，
§5 矩
E X n
n n 1!!
0
n为偶数 n为奇数
其中，
135 n n为奇数 n!! 2 4 6 n n为偶数

概率论第四章矩、协方差矩阵


1 f X ( x) f Y ( y ) e 2
x2 2
e
y2 2
1 e 2
x2 y2 2
,
f ( x, y ) f X ( x) f Y ( y ). 所以 X 与 Y 不独立.
第四章
小
结
1 阐述了数学期望、方差的概念及背景，要掌握 它们的性质与计算，会求随机变量函数的数学 期望和方差. 2 要熟记（0-1）分布、二项分布、泊松分布、几何 分布、均匀分布、指数分布和正态分布的数学期望 与方差. 3 引进了协方差、相关系数的概念，要掌握它们的 性质与计算. 4 要掌握二维正态随机变量的不相关与独立的等价 性. 5 介绍了矩与协方差矩阵的概念.
例2 设二维随机变量( X , Y )的密度函数为 1 f ( x, y ) [1 ( x, y ) 2 ( x, y )], 2 其中1 ( x, y )和 2 ( x, y )都是二维正态密度函数 ，且它们对应
(1) 求随机变量 X 和 Y 的密度函数 f X ( x) 和 f Y ( y)， 及 X 和 Y 的相关系数
2) 若 ( X1,, X n ) 服从 n 维正态分布， Y1 ,, Yk 是 X j ( j 1,, n) 的线性函数，则 (Y1,, Yk ) 也服从 k 维正态分布.
3) 若 ( X1,, X n ) 服从 n 维正态分布， 则 X1,, X n 相互独立 X1,, X n 两两不相关.
§4矩、协方差矩阵源自 xyf ( x, y)dxdy
1 xy1 ( x, y )dxdy xy 2 ( x, y )dxdy 2
1 1 1 0. 2 3 3

4.4 矩、协方差矩阵

f ( x1 , x2 )
1 1 T 1 exp ( X μ ) C ( X μ ) . 22 12 ( 2 π ) (det C ) 2
引入列矩阵
X
x1 μ1 E ( X 1 ) x2 μ2 E ( X 2 ) 和 μ , xn μ E ( X ) n n
x1 X , x2
μ1 μ . μ2
( X1 , X 2 ) 的协方差矩阵为
c11 C c 21
2 c12 σ1 c 22 ρσ1σ 2
ρσ1σ 2 2 , σ2
ρσ1σ 2 2 σ1
存在, 称它为 X 的 k 阶中心矩 .
若
E ( X kY l ),
k , l 1,2, 存在,
称它为 X 和 Y 的k l 阶混合矩 .
若
E{[ X E ( X )]k [Y E (Y )]l }, k , l 1,2,
存在 , 称它为 X 和 Y 的 k l 阶混合中心矩 .
c11 C c 21
c12 c 22
其中 c1c12 E{[ X 1 E ( X 1 )][ X 2 E ( X 2 )]},
c 21 E{[ X 2 E ( X 2 )][ X 1 E ( X 1 )]}, c 22 E{[ X 2 E ( X 2 )]2 }.
说明
(1) 以上数字特征都是随机 变量函数的数学期望； ( 2) 随机变量 X 的数学期望 E ( X ) 是 X 的一阶原
点矩, 方差为二阶中心矩 , 协方差 Cov( X ,Y )是 X

协方差矩阵定义公式

协方差矩阵定义公式协方差矩阵（Covariance matrix）是用于衡量两个或多个随机变量之间关系的矩阵。

它包含了随机变量之间的协方差信息，可以帮助我们分析它们之间的线性关系以及各自的方差。

协方差矩阵的定义公式如下：设有n个随机变量X₁, X₂, ..., Xₙ，它们的协方差矩阵记作Σ，其中Σ的元素为σ(i,j)，i和j分别为随机变量的序号。

协方差矩阵的定义公式为：Σ(i,j) = Cov(Xᵢ, Xₙ) = E[(Xᵢ-μᵢ)(Xₙ-μₙ)]其中，E是期望运算，Cov(Xᵢ, Xₙ)表示随机变量Xᵢ和Xₙ之间的协方差，μᵢ和μₙ分别为Xᵢ和Xₙ的均值。

协方差矩阵的元素表示了对应随机变量之间的线性关系：- 当两个随机变量之间的协方差为正值时，表示它们之间呈正相关性。

正相关性意味着当其中一个随机变量上升时，另一个随机变量也有可能上升。

- 当两个随机变量之间的协方差为负值时，表示它们之间呈负相关性。

负相关性意味着当其中一个随机变量上升时，另一个随机变量有可能下降。

- 当两个随机变量之间的协方差接近于0时，表示它们之间呈弱相关性。

弱相关性意味着当其中一个随机变量发生变化时，另一个随机变量的变化情况不确定。

协方差矩阵是一个对称矩阵，即σ(i,j) = σ(j,i)，因为Cov(Xᵢ,Xₙ) = Cov(Xₙ, Xᵢ)，表示随机变量之间的协方差是相互的。

协方差矩阵还可以通过协方差的样本估计来计算。

给定观测样本集合X={x₁, x₂, ..., xₙ}，其中每个观测向量xᵢ是一个维度为d的向量，协方差矩阵的样本估计公式为：Σ(i,j) = S(i,j) = 1/(n-1) * Σ[(xᵢ-ₙ )(xₙ-ₙ )]其中，S(i,j)表示协方差矩阵的样本估计，ₙ 是样本集合的均值。

协方差矩阵在统计学和金融领域广泛应用。

在统计学中，协方差矩阵可以用于分析多个变量之间的相关性，进而判断它们是否可以用同一个模型进行描述。

矩阵的方差 协方差

矩阵的方差协方差矩阵的方差和协方差是统计学中常用的概念，用于衡量随机变量之间的关系。

以下是对这两个概念的详细阐述：1. 矩阵的方差（Matrix Variance）：矩阵的方差表示一个矩阵中元素的变异程度，用于衡量矩阵中各个元素与矩阵均值之间的差异。

设X 为一个n×m 的矩阵，其中每个元素x_ij 表示第i 行第j 列的值，矩阵的均值记作μ。

则矩阵的方差定义为：Var(X) = E[(X - μ)(X - μ)^T]其中，E 表示期望运算，(X - μ) 是一个n×m 的矩阵，(X - μ)^T 表示其转置矩阵。

矩阵的方差描述了矩阵中各个元素与矩阵均值之间的差异程度，值越大表示差异越大。

2. 矩阵的协方差（Matrix Covariance）：矩阵的协方差用于衡量两个随机向量之间的线性关系。

同样设X 和Y 是两个n 维向量，矩阵的协方差定义为：Cov(X, Y) = E[(X - μ_X)(Y - μ_Y)^T]其中，E 表示期望运算，(X - μ_X) 和(Y - μ_Y) 分别是X 和Y 的中心化向量（即减去均值），(Y - μ_Y)^T 表示其转置矩阵。

协方差描述了两个随机向量之间的关系，当协方差为0 时，表示两个向量是相互独立的。

在实际应用中，矩阵的方差和协方差被广泛用于统计推断、机器学习和金融领域等。

它们提供了对矩阵和向量之间变异程度和关系的量化度量，对于数据分析和建模非常有用。

在实际应用中，矩阵的方差和协方差可以用于解决许多问题。

以下是一些应用实例：1. 数据分析：在数据分析中，矩阵的方差和协方差可以用于衡量数据集中各个变量之间的关系，并可以用于探索变量之间的模式和趋势。

例如，可以使用协方差矩阵来确定两个变量之间的相关性或者使用方差来了解变量的变化幅度。

2. 机器学习：在机器学习中，矩阵的方差和协方差可以用于监督学习算法中的特征选择和降维。

通过计算协方差矩阵，可以确认哪些特征与输出变量有较强的相关性，进而筛选重要的特征变量。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§4 矩、协方差矩阵
返回目录
定义 设 ( X,Y ) 是二维随机变量,若
E ( X k ),
k 1,2, k 2,3,
存在,则称它为随机变量 X 的k 阶原点矩,简称 k 阶矩.
若 E{[ X E ( X )]k }
存在,则称它为随机变量 X 的k 阶中心矩.
若
E ( X kY l )
思考题答案：
协方差矩阵的主对角线上的元素Cii是相应的第i 个随机变量的方差; 相关矩阵的主对角线上的元素ρii都为1.
练习题：
1.已知随机变量X,Y 的联合分布为
0 1 Y 2 X 1 0.30 0.12 0.18 1 0.10 0.18 0.12
求协方差阵
2. 二维正态分布随机变量 (X,Y) 的期望向量μ和协 方差矩阵V,分别是
C11 E{[ X 1 E ( X 1 )]2 } D( X 1 )
C12 E{[ X 1 E ( X 1 )] [ X 2 E ( X 2 )]} Cov( X 1 , X 2 )， C21 E{[ X 2 E ( X 2 )] [ X 1 E ( X 1 )]} Cov( X 2 , X 1 )，
例2 设随机向量 (X,Y) 服从二维正态分布,
f ( x , y ) Ae
2[( x 2 )2
3 1 ( x 2 )( y 1) ( y 1)2 ] 2 4
求A 和(X,Y)的协方差矩阵和相关矩阵.
解: (X,Y) 服从二维正态分布, 1 2, 2 1.
26 12
196 91 V 91 169
求(X,Y) 的联合概率密度函数 f (x,y).
练习题答案：
1. E ( X ) 0.2, D( X ) 0.96, E (Y ) 0.5, D(Y ) 1.65 E ( XY ) 0.34, Cov( X ,Y ) 0.24
0.96 0.24 V 0 . 24 1 . 65
1 2. f ( x , y ) 182 3 2 ( x 26)2 ( x 26)( y 12) ( y 12)2 exp 182 169 3 196
X+Y 与3X –Y 的相关系数为

Cov( X Y ,3 X Y ) 1 2 D( X Y ) D( 3 X Y ) 4 4 16
(X+Y ,3X –Y)的协方差矩阵
4 2 C 2 16
(X+Y ,3X –Y)的相关矩阵
0.25 1 R 0 . 25 1
为该随机变量的相关矩阵.
cov( X i , X j ) D( X i ) D( X j )
ij
( i , j 1,, n)
ii 1 ( i 1,, n)
R 也是对称半正定矩阵.
2 2 ( X 1 , X 2 ) ~ N ( 1 , 2 , 1 , 2 , )，
设(X1, X2,…, Xn) 是n 维随机变量, Xi与Xj的相关系数 ρij ( i , j =1,2,…,n )存在,
11 12 1n 2 n 21 22 则称矩阵 R .......... .......... ........ n1 n 2 nn
与下式比较
f ( x, y )
1 2 1 2
1 exp 2 1 2 2 ( 1 )
2
2
x 1 x 1 y 2 y 2 2 1 2 1 2

i , j 1,2,3,, n
C11 C12 C1n 则称n 阶矩阵 C C21 C22 C2n .......... .......... ........ C C C n2 nn n1
为n 维随机变量 (X1, X2,…, Xn) 的协方差矩阵. 易见C是对称阵,可以证明C是非负定阵.
D( X ) E{[ X E ( X )]2 }
E[ X E ( X )] 0
协方差是 1+1 阶混合中心矩，
Cov( X ,Y ) E {[ X E ( X )] [Y E (Y )]}，
1+1 阶混合原点矩，
E ( XY )
介绍 n 维随机变量的协方差矩阵 考虑 n =2 的情况
C22 E{[ X 2 E ( X 2 )]2 } D( X 2 )
X1与X2的协方差矩阵
C11 C12 C 21 C 22
n 维随机变量 (X1, X2,…, Xn) ,
Cij E{[ X i E ( X i )] [ X j E ( X j )]} Cov( X i , X j )，
1 2
3 2
Cov( X ,Y ) 1 2 3
协方差矩阵
3 1 C 3 4
相关矩阵
3 1 2 R 3 1 2
思考题：
协方差矩阵的主对角线上的元素是什么? 相关矩阵的主对角线上的元素是什么?
k , l 1,2,
存在,则称它为 X 与 Y 的 k + l 阶混合矩.
k l E {[ X E ( X )] [ Y E ( Y )] } k , l 1,2, 若
存在,则称它为 X 与 Y 的 k +l 阶混合中心矩.
数学期望 E(X) 是一阶原点矩，
X , x2
1 , 2
2 C C 11 12 1 C C21 C 22 1 2
1 2 2 2
例1 若 D( X ) 1, D(Y ) 4, XY 1 4 ,
1 1 2(1 2 ) 2 2 1
1 2 3 2(1 2 ) 1 2 1 1 1 2 2 2(1 ) 2 2
A 1 2 1 2
1 2 2 1
1 2
E[ X Y E ( X ) E (Y )] [3 X Y 3 E ( X ) E (Y )] E {([ X E ( X )] [Y E (Y )]) ( 3[ X E ( X )] [Y E (Y )])} 3 D( X ) 2 Cov( X ,Y ) D(Y ) 2
求(X+Y ,3X –Y)的协方差矩阵和相关矩阵.
解: Cov( X ,Y ) XY
1 D( X ) D(Y ) 2
D( X Y ) D( X ) D(Y ) 2 Cov( X ,Y ) 4 D( 3 X Y ) 9 D( X ) D(Y ) 6 Cov( X ,Y ) 16 Cov( X Y ,3 X Y ) E[ X Y E ( X ) E (Y )] [3 X Y 3 E ( X ) E (Y )]