当前位置：文档之家 › 概率论课件矩、协方差矩阵

概率论课件矩、协方差矩阵

  • 格式：ppt
  • 大小：263.50 KB
  • 文档页数：9

下载文档原格式

  / 9

合集下载

概率论-4.4 矩和协方差矩阵

概率论-4.4 矩和协方差矩阵

3
目录
上页
下页
返回
对n维随机变量来说，可作类似推广：
其中
c11 c12 L c1n
C
c21
c22
L
c2n
M M
M
Байду номын сангаас
cn1 cn2 L cnn
cij Cov(Xi , X j ) E Xi E(Xi ) X j E(X j ) ,i, j 1, 2,L , n
称C为n维随机变量 (X1, X 2,L , X n ) 的协方差矩阵。
2020年4月26日星期日
2
目录
上页
下页
返回
令
X1 X2
它的转置为
E( )
X1, X2 这时ξ的数学期望为
E(X1)
E
(
X
2
)
类似于一维随机变量，可以对ξ定义二阶中心矩：
E[
E(
)][
E(
)]
E
X1 X2
E(X1) E(X2)
(
X1
E(
X1),
X
2
E(
X
2
))
E
X
2020年4月26日星期日
1
目录
上页
下页
返回
注意到
D(X ) E X E(X )2
自然地推广到
E X E(X )k
称上式为X的k阶中心矩。
E(X kY l ), E X E(X )k Y E(Y )l
分别称为X的k+l阶混合矩和k+l阶混合中心矩。 特别地，当k=1，l=1时，二阶混合中心矩就是协方差。
第四节 矩和协方差矩阵
由于

矩与协方差矩阵

矩与协方差矩阵
第四章 数字特征
4.1 数学期望 4.2 方差 4.3 协方差与相关系数 4.4 矩与协方差矩阵
§4.3 矩与协方差矩阵
4.4.1 矩
设X和Y(Xk) 为X 的 k 阶原点矩； E{[X-E(X)]k} 为X的 k 阶中心矩。
E(Xk) 为X 的 k 阶原点矩； E{[X-E(X)]k} 为X的 k 阶中心矩。
E(X) 是 X 的一阶原点矩， Var(X) 是 X 的二阶中心矩。
E(XkYm) 为X与Y的 k+m 阶混合原点矩； E{[X-E(X)]k [Y-E(Y)]m} 为X与Y的 k+m 阶混合中心矩。
Cov(X,Y)=E{[X-E(X)] [Y-E(Y)]} 为X与Y的 2阶混合中心矩。
小结
本讲首先介绍二维随机向量 (X,Y) 的分量X与Y 的协方差及相关系数的概念、性质和计算；然后介 绍随机变量的各种矩(k 阶原点矩、 k 阶中心矩、 k+m 阶混合原点矩、k+m 阶混合中心矩)，n 维随机 向量的协方差阵的概念、性质和计算；最后简单介 绍了n 元正态分布的概念和三条重要性质。

4.3 协方差与相关系数及矩与协方差矩阵

4.3 协方差与相关系数及矩与协方差矩阵
2 1 y2 y 1 同理, fY ( y ) , 0 其它
由f ( x , y ) f X ( x ) fY ( y )可得X与Y不独立.
注意 1、设有随机变量X,Y，下列事实是等价的：
(1) cov( X ,Y ) 0
( 2) X与Y不相关
( 3) E ( XY ) E ( X ) E (Y ) (4) D( X Y ) D( X ) D(Y )
性质6 若X ,Y相互独立, 则cov( X ,Y ) 0;
性质7 若U ,V为随机变量, 且E (U 2 ), E (V 2 )都存在, 则
[ E (UV )]2 E (U 2 ) E (V 2 );
取U X E ( X ),V Y E (Y ), 则有 [cov( X ,Y )]2 D( X ) D(Y ).
定义3 若 cov( X ,Y ) 0或 XY 0,
则称随机变量X与Y不相关.
几点说明:
(1) cov( X ,Y ) E ( XY ) E ( X ) E (Y ), cov( X , X ) D( X ).
( 2)离散型 : cov( X ,Y ) [ xi E ( X )][ y j E (Y )] pij .
定义2
设( X ,Y )是二维随机变量 若 cov( X ,Y ), D( X ), D(Y )都 , cov( X ,Y ) 存在, 且D( X ) 0, D(Y ) 0, 则称 为随 D( X ) D(Y ) 机变量X与Y的相关系数或标准协方 , 记为 XY ,即 差
XY
cov( X ,Y ) . D( X ) D(Y )
ex3.设随机变量X的概率分布密度为 1 x f ( x) e x , 2 (1)求X的数学期望E(X)和方差D(X). (2)求cov(X,|X|)，并问X与|X|是否不相关？ (3)问X与|X|是否相互独立？为什么？ 1 x 解 (1) EX xf ( x )dx x e dx 0, 2 DX E[ X E ( X )]2 E ( X 2 )

《概率论》第4章矩、协方差矩阵

《概率论》第4章矩、协方差矩阵

为 k l 阶混合中心矩
E假(定X )其中各数学1 阶期原望点都矩存在
D“矩(X”) 是来自于2物阶理中学心中矩力矩的概念
Cov(X y,Y )
2 阶混合中心矩
y f (x)
O
x d第x 四章 随机x变量的数字特征
§4 矩、协方差矩阵
2/8
对于二维r.v ( X1,，X记2 )
c11 E[( X1 E( X1))2 ] D( X1) c12 E[(X1 E(X1))(X2 E(X2 ))] Cov(X1, X 2 )
7/8
(X1, X2 ,L , Xn ) ~ N(,C) X1, X2,, Xn 的任一线性
组合 l1X1 l2 X2 ln Xn 服从一维正态分布 正态r.v的线性变换不变性：设
(X1, X2 ,, Xn ) ~ N(,C) 令
Y1 a11 X1 a12 X2 a1n Xn
Y2
§4 矩、协方差矩阵
1/8
对于 r.v X ,Y , 称
E( X k ) ( k 1, 2,)
为 k阶原点矩，简称 k阶矩 .称
E[( X E( X ))k ] ( k 2,3,)
为 k阶中心矩 .称
E( X kY l ) (k,l 1, 2,)
为 k l 阶混合矩 .称
E[( X E(X ))k (Y E(Y ))l ] (k,l 1, 2,)
)e2 xp2{
12(x(X1)1( y)2TC21)(X
(y
)}2
2 2
)2
]}
与一维记再正记C态Xr.vcc12密11xyf度c(c,1x222)函数比11211较2, e2则xp{122(x2
)
2
}

4-4协方差矩阵

4-4协方差矩阵
2 dy = t 2
n
y= 2 t
=2
−1Leabharlann 1 n2 E( X t ) = 22
2σ = 2π
n +∞
∫y
0
y2 − n 2
e
dy
−
1 2 dt
1 1 − 2 t 2 dt
n 1 − 2 2
2σ E( X ) = 2π
=
n 22
n +∞
∫2
0
t
n 1 − 2 2
e dt
=
n 22
−t
n +∞ n+1 −1 σ t 2 e − t dt
矩与协方差矩阵
设有随机变量X 相互独立， 例3 设有随机变量 ，Y相互独立，X~N(1,4),Y~N(2,9) 相互独立 的分布. 求2X-Y的分布 的分布 随机变量X 服从正态分布,且 解 随机变量 ，Y服从正态分布 且相互独立,则 服从正态分布 相互独立, 2X-Y也服从正态分布 也服从正态分布
c12 称此矩阵为(X,Y)的 的 称此矩阵为 c 22
矩与协方差矩阵
将(X,Y)的协方差矩阵予以 推广，设有 维随机变量 的协方差矩阵予以 推广，设有n维随机变量 X1, X2,‥‥, n , 若记 ‥‥,X ‥‥,
c ij = COV ( X i , X j ) = E {[ X i − E ( X i )][ X j − E X j ]}
( )
(
)
ρσ 1σ 2 2 σ2
利用线性代数知识有
(c )
ij
−1
=
2 σ2 1 det( c ij ) − ρσ 1σ 2
− ρσ 1σ 2 σ 12

矩协方差矩阵

矩协方差矩阵



26 12
设(X1, X2,…, Xn) 是n 维随机变量, Xi与Xj的相关系数 ρij ( i , j =1,2,…,n )存在,
11 12 1n
则称矩阵
R
...2.1........2.2...............2
n
n1 n2 nn
为该随机变量的相关矩阵.
X+Y 与3X –Y 的相关系数为
Cov( X Y ,3X Y ) 2 1
D( X Y ) D(3X Y ) 4 16 4
(X+Y ,3X –Y)的协方差矩阵
C

4 2
2 16
(X+Y ,3X –Y)的相关矩阵
R


1 0.25
C C11 C21
C12 C22



2 1
1
2
1

2 2
2

例1 若 D( X ) 1, D(Y ) 4, XY 1 4,
求(X+Y ,3X –Y)的协方差矩阵和相关矩阵.
解:
Cov(X ,Y ) XY
D( X )
D(Y )
思考题答案：
协方差矩阵的主对角线上的元素Cii是相应的第i个 随机变量的方差;
相关矩阵的主对角线上的元素ρii都为1.
练习题：
1.已知随机变量X,Y 的联合分布为
XY 2 0 1 1 0.30 0.12 0.18
1 0.10 0.18分布随机变量 (X,Y) 的期望向量μ和协 方差矩阵V,分别是
C22 E{[X2 E( X2 )]2} D( X2 )

概率论课件矩、协方差矩阵

中心矩
中心矩是相对于均值（期望值）的矩，用于描述随机变量分布的形状和离散程 度。
标准化矩
标准化矩是对中心矩进行标准化处理后的矩，用于比较不同随机变量的分布特 性。
样本矩与总体矩
பைடு நூலகம்样本矩
样本矩是从总体中抽取样本后计算得到的矩，用于估计总体矩。
总体矩
总体矩是描述总体分布特性的矩，是样本矩的极限值。
03 协方差矩阵
详细描述
分析矩和协方差矩阵需要使用相关的统计方 法和技巧，如主成分分析、因子分析、聚类 分析等。通过对矩和协方差矩阵的分析，可 以提取数据集中的主要特征、发现变量之间 的潜在关系、对数据进行分类或聚类等。
实例三：数据集的矩和协方差矩阵应用
总结词
数据集的矩和协方差矩阵在概率论中有着广泛的应用 ，如统计推断、假设检验、回归分析等。
THANKS FOR WATCHING
感谢您的观看
VS
第二阶原点矩（即方差）
协方差矩阵的对角线元素是各个随机变量 的方差，非对角线元素是各个随机变量的 协方差。
协方差矩阵与方差-协方差矩阵的关系
方差-协方差矩阵是一个包含各个随机 变量的方差和协方差信息的矩阵，而 协方差矩阵只包含各个随机变量的协 方差信息。
方差-协方差矩阵是协方差矩阵的一个 扩展，它同时包含了随机变量的方差 信息，而协方差矩阵只包含随机变量 的协方差信息。
详细描述
在统计推断中，矩和协方差矩阵可用于估计总体参数和 进行假设检验。例如，利用样本矩估计总体矩，然后使 用这些估计值进行假设检验或置信区间的计算。在回归 分析中，矩和协方差矩阵可用于估计回归系数和进行模 型诊断。通过分析回归模型的矩和协方差矩阵，可以检 验模型的假设是否成立、诊断模型的问题等。此外，在 时间序列分析和金融数据分析等领域，矩和协方差矩阵 也具有重要的应用价值。

随机变量的矩与协方差矩阵

随机变量的矩与协方差矩阵一、定义随机变量是概率论与数理统计中的重要概念，它表示随机试验结果的数值。

在概率论中，我们常常需要对随机变量进行描述和分析，而矩和协方差矩阵是常用的描述随机变量特征的工具。

二、矩的定义与性质1. 数学期望设X是一个随机变量，X的期望值记为E(X)，定义为E(X) =∑xP(X=x)，其中x代表X的取值，P(X=x)代表X取值为x的概率。

2. 方差方差是刻画随机变量X离散程度的一个指标，记为Var(X)，定义为Var(X) = E[(X-E(X))^2]。

可以简单理解为X与其期望E(X)的差的平方的期望。

3. k阶原点矩设X是一个随机变量，k阶原点矩表示为μk = E(X^k)，其中k为非负整数。

一阶原点矩即为数学期望。

4. k阶中心矩设X是一个随机变量，k阶中心矩表示为νk = E[(X-E(X))^k]，其中k为非负整数。

二阶中心矩即为方差。

三、协方差矩阵的定义与性质1. 协方差设X和Y是两个随机变量，协方差表示为Cov(X,Y)，定义为Cov(X,Y) = E[(X-E(X))(Y-E(Y))]。

协方差的绝对值越大，表示两个随机变量的相关程度越强。

2. 协方差矩阵设X是一个n维随机向量，协方差矩阵表示为Σ = [σij]，其中σij = Cov(Xi,Xj)，i,j=1,2,...,n。

协方差矩阵是一个对称矩阵，对角线元素为各个随机变量的方差，非对角线元素为各个随机变量之间的协方差。

3. 协方差矩阵与线性变换给定一个n维随机向量X和一个n×k的矩阵A，定义Y = AX，其中Y是一个k维随机向量。

则Y的协方差矩阵为Cov(Y) =ACov(X)A^T。

四、应用案例随机变量的矩与协方差矩阵在许多领域有广泛的应用，如金融、信号处理、机器学习等。

以机器学习为例，协方差矩阵可以用于评估不同特征之间的相关性，进而选择合适的特征进行分类或回归分析。

另外，在图像处理中，矩常常被用来描述图像的形状特征，例如图像的几何矩可以用于计算图像的中心矩、方向矩等。

4-4协方差矩阵


矩与协方差矩阵
二、协方差矩阵
为二元随机变量，其有四个二阶中心矩 设(X,Y)为二元随机变量，其有四个二阶中心矩. 为二元随机变量 主要针对多维随机变量的中心矩与混合中心矩来 以二元随机变量为例. 谈，以二元随机变量为例 ∆
E ( X − EX ) 2 = c11 = COV ( X , X )
2 ∆
E (Y − EY ) = c 22 = COV (Y ,Y ) E ( X − EX )(Y − EY ) = c12 = COV ( X ,Y )
∆
E (Y − EY )( X − EX ) = c 21 = COV (Y , X )
∆
c11 由c11,c12,c21,c22,有 有 c 21 协方差矩阵
n 2
2 σ n n−1 n− 3 n− 3 = ⋅ ⋅ Γ 2 2 π 2 n 22σ n n−1 n− 3 1 1 = ⋅ ⋅ ⋅ ⋯ ⋅ Γ 2 2 2 2 π
= 2 σn
n 2
π
(n − 1)!! ⋅
因而， 因而， E X n
( )
2
n 2
π
=σ
n
(n − 1)!!
σ n (n − 1)!! n为偶数, = n为奇数. 0
1 Γ = π 2
矩与协方差矩阵
E Xn 特别是,当X~N(0, 1),则有 特别是, 则有
( )
σ n (n − 1)!! n为偶数, = 0 n为奇数.
EX
( )
n
(n − 1)!! n为偶数 = , n为奇数 0
c12 称此矩阵为(X,Y)的 的 称此矩阵为 c 22
矩与协方差矩阵

第44节 矩与协方差矩阵——概率论与数理统计(李长青版)


b11
b1n
B



bn1
bnn
为随机向量（X1, X 2
X
）的协方差矩阵.
n
注：协方差矩阵是对称的且是半正定的.
例1 设随机变量X的分布律为 X 1 2 45 pk 1/3 1/6 1/6 1/3
求 2 , m3 .
解 由定义可得
1

EX
1 1 2 1 36
4 1 6
5 1 3

3.
2

EX 2
12
1 22 3
1 6
42
1 6
52
1 3
12.
m3 E(X EX )3 E(X 3)3.
2 )2

2 2

则(X1, X2)联合概率密度函数为
f
(x1,
x2 )

2
1 B
1 2
exp
1 2
(X

)T
B1( X

)

若（X1, X 2
X
）n
n
维随机向量，
记
bi, j cov( X i , X j )
称矩阵
E[( Xi EXi )( X j EX j )],i, j 1, 2, n.
b21 cov( X 2 , X1) E[( X 2 EX 2 )( X1 EX1)]
b22 cov( X 2 , X 2 ) DX 2
B=

b11 b21
b12 b22

称为随机变量(X1,
X2)的协方差矩阵.
若 (X1, X2) 服从二维正态分布
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4.5.1. 矩、偏态、峰态
定义4.6 设X,Y是两个随机变量 （1）若 E ( X )(k 1, 2,) 存在，则称它为X的k阶原点
k
矩，记为
vk
（2）若 E[ X E ( X )]k (k 1, 2,) 存在，则称它为X的k
阶中心矩，记为 k ; （3）若 E{[ X E ( X )]k [Y E (Y )]l }(k , l 1, 2,) 存在，
T
cii D( X i )(i 1, 2,, n) 存在，记
2 i
cij cov( X i , X j ), E{[ X E ( X )][ X E ( X )] } (cij ) nn ,
T
则称矩阵Σ为n维随机变量X的协方差矩阵
(cij ) nn
2
c21 E{[Y E (Y )][ X E ( X )]}, c22 E[Y E (Y )]2
(X,Y)的协方差矩阵为 c11Βιβλιοθήκη c21c12 c22
显然，协方差矩阵是一个对称矩阵，而且，它是 半正定矩阵，当σi>0(i=1,2,…,n)时它是正定矩阵。
2 例2 设 ( X 1 , X 2 ) N ( 1 , 2, 12 , 2 , ),


k
1 e 2
( x )2 2 2
dx
令 x t,

则
k

k
2
2

t2 k 2
t e dt ,
k 0;
此广义积分绝对 收敛。当k为奇数时
t 当k为偶数时，令 u , 则 2
2 k 2
k


0
t e dt
k

t 2
Cov( X , Y ) 1, D( X1 ) 1, D( X 2 ) 9, 则
XY
1 3 D( X ) D(Y ) Cov( X , Y )
则称它为k+l阶混合中心矩。
由定义可知，X的数学期望E(X)就是X的一阶原 点矩，方差D(X)是X的二阶中心矩，而(X，Y)的 协方差cov(X,Y)是二阶混合中心矩。
例1 设随机变量X服从正态分布 N ( , 2 ), 中心矩 k .
求它的
解
已知，E ( X ) , 因此
k ( x )
2
2
k 2
k



0
u
k 1 2 u
e du

2
k 2
k 1 k ( ) (k 1)!! 2
k
特别，当k=4时
4 E[ X E ( X )] 3
4
4
不难知道，如果随机变量的概率分布关于期望值 是对称的，则它的一切奇数阶中心矩都等于零。
一般地，奇数阶中心矩可以描述随机变量分布
的非对称性。通常用 3 / 3 来度量随机 变量分布的非对称性，称它为偏态系数，简称
为偏态。 四阶中心矩可以描述随机变量分布的尖峭程度，通 常用 4 / 3 来度量分布的尖峭程度，称
4
它为峰态系数，简称为峰态。正态分布的偏态和峰
态都等于零。
4.5.2. 协方差矩阵
定义4.7 设 X ( X 1, X 2 , X n ) 是n维随机变量，若
试求其协方差矩阵。
2 c11 12 , c22 2 , c12 c21 1 2 , 解 已经求得
于是
12 1 2
1 2 2 2
解 由协方差的定义可知
1 -1 例3 设 ( X 1 , X 2 )的协方差为C= , 求 XY -1 9
c11 c21 ... cn1
c12 c22 ... cn 2
... c1n ... c2 n ... ... ... cnn
对于二维随机变量(X,Y)
c11 E[ X E ( X )] , c12 E{[ X E ( X )][Y E (Y )]}