§4.3 协方差、相关系数与矩

格式：ppt
大小：628.50 KB
文档页数：24

下载文档原格式

矩与协方差矩阵

第四章数字特征
4.1 数学期望 4.2 方差 4.3 协方差与相关系数 4.4 矩与协方差矩阵
§4.3 矩与协方差矩阵
4.4.1 矩
设X和Y(Xk) 为X 的 k 阶原点矩； E{[X-E(X)]k} 为X的 k 阶中心矩。
E(Xk) 为X 的 k 阶原点矩； E{[X-E(X)]k} 为X的 k 阶中心矩。
E(X) 是 X 的一阶原点矩， Var(X) 是 X 的二阶中心矩。
E(XkYm) 为X与Y的 k+m 阶混合原点矩； E{[X-E(X)]k [Y-E(Y)]m} 为X与Y的 k+m 阶混合中心矩。
Cov(X,Y)=E{[X-E(X)] [Y-E(Y)]} 为X与Y的 2阶混合中心矩。
小结
本讲首先介绍二维随机向量 (X,Y) 的分量X与Y 的协方差及相关系数的概念、性质和计算；然后介绍随机变量的各种矩(k 阶原点矩、 k 阶中心矩、 k+m 阶混合原点矩、k+m 阶混合中心矩)，n 维随机向量的协方差阵的概念、性质和计算；最后简单介绍了n 元正态分布的概念和三条重要性质。

4.3 协方差与相关系数及矩与协方差矩阵

2 1 y2 y 1 同理, fY ( y ) , 0 其它
由f ( x , y ) f X ( x ) fY ( y )可得X与Y不独立.
注意 1、设有随机变量X,Y，下列事实是等价的：
(1) cov( X ,Y ) 0
( 2) X与Y不相关
( 3) E ( XY ) E ( X ) E (Y ) (4) D( X Y ) D( X ) D(Y )
性质6 若X ,Y相互独立, 则cov( X ,Y ) 0;
性质7 若U ,V为随机变量, 且E (U 2 ), E (V 2 )都存在, 则
[ E (UV )]2 E (U 2 ) E (V 2 );
取U X E ( X ),V Y E (Y ), 则有 [cov( X ,Y )]2 D( X ) D(Y ).
定义3 若 cov( X ,Y ) 0或 XY 0,
则称随机变量X与Y不相关.
几点说明:
(1) cov( X ,Y ) E ( XY ) E ( X ) E (Y ), cov( X , X ) D( X ).
( 2)离散型 : cov( X ,Y ) [ xi E ( X )][ y j E (Y )] pij .
定义2
设( X ,Y )是二维随机变量若 cov( X ,Y ), D( X ), D(Y )都 , cov( X ,Y ) 存在, 且D( X ) 0, D(Y ) 0, 则称为随 D( X ) D(Y ) 机变量X与Y的相关系数或标准协方 , 记为 XY ,即差
XY
cov( X ,Y ) . D( X ) D(Y )
ex3.设随机变量X的概率分布密度为 1 x f ( x) e x , 2 (1)求X的数学期望E(X)和方差D(X). (2)求cov(X,|X|)，并问X与|X|是否不相关？ (3)问X与|X|是否相互独立？为什么？ 1 x 解 (1) EX xf ( x )dx x e dx 0, 2 DX E[ X E ( X )]2 E ( X 2 )

大学数学概率篇之随机变量的数字特征——协方差与相关系数概要

e L(X)=a0+b0X 2 a 2 bE ( X ) 2 E ( Y ) 0 a e 2bE ( X 2 ) 2 E ( XY ) 2aE ( X ) 0 b
解得
Cov( X ,Y ) b0 D( X )
a0 E (Y ) b0 E ( X )
特别地，当 X与 Y 独立时，有 cov( X ,Y ) 0. 完
二、协方差的性质 1. 协方差的基本性质
(1) cov( X , X ) D( X ); (2) cov( X ,Y ) cov(Y , X ); (3) cov( aX , bY ) ab cov( X ,Y ), 其中 a , b 是常数； (4) cov(C , X ) 0, C 为任意常数； (5) cov( X1 X 2 ,Y ) cov( X1 ,Y ) cov( X 2 ,Y ); (6) 当 X 与 Y 相互独立，则 cov( X ,Y ) 0.
X 与 Y 不相关.
例1 设X服从(-1/2, 1/2)内的均匀分布,而 Y=cos X, 不难求得，
Cov(X,Y)=0，
（请课下自行验证）
因而 =0，即X和Y不相关 .
但Y与X有严格的函数关系，
即X和Y不独立 .
性质3. 若 D( X ) 0, D(Y ) 0, 则
XY 1
i 1 i 1 n n 1 i j n
cov( X , X
i
j
);
② 若 X 1 , X 2 ,, X n 两两独立，则有
D( X i ) D( X i );
i 1 i 1
n
n
③ 可以证明：若 X ,Y 的方差存在，则协方差

§4.3 协方差、相关系数及矩

(2) ρXY = 1 的充要条件是 : 存在常数 a , b 使 P{Y = a + bX } = 1.
证明
(1) min e = E[(Y − (a + bX ))2 ]
a ,b
= (1 − ρ
2 XY 2 XY
) D(Y ) ≥ 0 ≥0
⇒ 1− ρ
⇒ ρXY ≤ 1.
( 2) ρXY = 1 的充要条件是 , 存在常数 a , b 使 P {Y = a + bX } = 1.
d y d x.
x − µ1 1 y − µ2 x − µ1 , 令t= −ρ , u = 2 σ1 σ1 1 − ρ σ2
Cov( X ,Y ) 1 +∞ +∞ (σ1σ 2 1 − ρ2 tu + ρσ1σ 2 u 2 )e dtdu = ∫−∞ ∫−∞ 2π u2 t2 + ∞ − ρσ1σ 2 + ∞ 2 − 2 u e d u ∫ e 2 d t = − ∞ 2 π ∫− ∞ u2 t2 2 + ∞ − σ1 σ 2 1 − ρ + ∞ − 2 ue d u ∫ te 2 d t + ∫− ∞ − ∞ 2π ρσ1σ 2 2π ⋅ 2π , = 2π 故有 Cov( X ,Y ) = ρσ 1σ 2 .
(1) 问题的提出
问 a , b 应如何选择 , 可使 aX + b 最接近 Y ? 接近的程度又应如何来衡量 ? 设 e = E[(Y − (a + bX ))2 ]
则 e 可用来衡量 a + bX 近似表达 Y 的好坏程度 .
当 e 的值越小 , 表示 a + bX 与 Y 的近似程度越好 .

概率论与数理统计(第三版)第三章4协方差与相关系数-PPT精品文档

o 3 X , Y 不相关 E ( XY ) E ( X ) E ( Y ).
3. 相关系数的性质
是一个用来表征 X ,Y之间线性关系紧密 XY
程度的量 .
1 . 1 ρ XY
a , b使 1 的充要条件是 :存在常数 2 ρ XY
P { Y a bX } 1 .
0.3 0.7
0 . 3 0 0 . 7 1 0 . 7
0 . 6 1 0 . 4 2 1 . 4
0 . 9 50 . 7 1 . 4 0.03
c o v (,) X Y E X Y E X E Y
三、相关系数的意义
1 . 当 ρ 表明 X,Y的线性关系联 XY 较大时
例1 已知 (X,Y)的分布律求Cov(X，Y)
x 0 1 y 1 2 0.15 0.15 0.45 0.25
解: c o v (,) X Y E X Y E X E Y
EX ( Y ) 0 .9 5
x 0 1
EX ( ) EY ( )
y 1 0.15 0.45 0.6
2 0.15 0.25 0.4
3.设X和Y是随机变量，若
E(XkYL)
k, L=1,2,…
存在，
称它为X和Y的k+L阶混合（原点）矩.
k L 4.若 E {[ X E ( X )] [ Y E ( Y )] } 存在，
称它为X和Y的k+L阶混合中心矩.
二、协方差与相关系数的概念及性质
1. 问题的提出
若随机变量 X 和 Y 相ቤተ መጻሕፍቲ ባይዱ独立 ,那么
3 Cov( X X , Y ) Cov( X , Y ) Co X , Y ). 1 2 1 2

13讲协方差,相关系数,矩,正态分布

§4.4 n元正态分布的几条重要性质：元正态分布的几条重要性质： (1). X =(X1, X2, …, Xn) ' 服从 n 元正态分布
对一切不全为 0 的实数 a1, a2, …, an， a1X1+ a2 X2+ …+ an Xn 服从正态分布。服从正态分布。
(2). 若 X=(X1,X2, …,Xn)'服从元正态分布，服从n 服从元正态分布， Y1,Y2,…,Yk 是 Xj (j=1, 2,…, n)的线性组合的线性组合, … … 的线性组合服从k 则(Y1,Y2, …, Yk)'服从元正态分布。服从元正态分布。这一性质称为正态变量的线性变换不变性。这一性质称为正态变量的线性变换不变性。
i=1 i=1
n
n
协方差的大小在一定程度上反映了X 协方差的大小在一定程度上反映了和Y 相互间的关系，但它还受X 相互间的关系，但它还受和Y 本身度量单位的影响。例如：的影响。例如： Cov(aX, bY) = ab Cov(X, Y). 为了克服这一缺点，为了克服这一缺点，对协方差进行标准化，这就引入了相关系数。
x2 +y2 ≤ 1 − 1 1
1−y xdx dy =π ∫−1 y ∫− 1−y
2 2
= ∫−10 dy = 0.
1
所以，Cov(X, Y)= E(XY)-E(X) E(Y) = 0 . 所以，此外，此外，Var(X) > 0, Var(Y) > 0 . 不相关。所以，，所以，ρXY = 0，即 X 与 Y 不相关。但是，与不独立不独立。但是，X与Y不独立。
Cov( X,Y) ρ= = 0； Var( X )Var(Y)

4.3协方差及相关系数及其性质

即P{Y aX aE( X ) E (Y )} 1.
P{Y aX b} 1.
取b aE( X ) E (Y )，
ρ XY 1 的充要条件是存在常数 a, b 使
意义 |ρXY|=1当且仅当Y跟X几乎有线性关系。这说明了相关系数的概率意义。 ρXY是刻画X，Y之间线性相关程度。
3. 协方差的计算公式法1.若 ( X ,Y ) 为离散型，已知pij
cov( X , Y ) [ xi E ( X )][ y j E (Y )]pij
i 1 j 1
若 ( X ,Y ) 为连续型，已知f(x,y)
cov( X , Y )

即 | Cov( X , Y ) | D( X ) D(Y )
所以|ρXY|≦1。
(2) ρ XY 1 的充要条件是存在常数 a, b 使 P{Y aX b} 1.
(2)证：由柯西一许瓦兹不等式中等号成立（ ρ XY 1 ）充要条件知存在常数 a 使 P{Y E (Y ) a( X E ( X ))} 1.
X Y 得 ( Z ) E E 3 2
1 1 1 E ( X ) E (Y ) . 3 3 2
X Y X Y 1 D( X ) 1 D(Y ) 1 Cov( X ,Y ) D( Z ) D D 2 Cov , 4 3 3 2 3 2 9
为随机变量 X 与 Y 的相关系数.
无量纲的量
若 XY 0, 称 X ,Y 不相关.
2. 说明
若随机变量 X 和 Y 相互独立 Cov( X ,Y ) E{[ X E ( X )][Y E (Y )]} E[ X E ( X )]E[Y E (Y )] 0.

4.3(协方差及相关系数、矩)

Cov( X , Y ) E ( XY ) E ( X ) E (Y ) 19 / 400,
所以
XY
Cov( X , Y ) 19 / 400 133 0.87 D( X ) D(Y ) 153/ 2800 153
4.3.2
相关系数
下面不加证明地给出相关系数的两条性质：

x
x
x2
3 xdydx 9 / 20, E(Y ) E( X )
2
1
0

x
x2 x
3 ydydx 9 / 20, 3 x 2dydx 9 / 35,

x2 x
3 xydydx 1 / 4,
1
0

x2

x2
3 y 2dydx 9 / 35,
D( X ) E( X 2 ) [ E( X )]2 9 / 35 (9 / 20)2 153/ 2800 ,
功能：返回多个区域array1,array2,array3, ... 对
应数值乘积之和．
(2) 函数MMULT的使用格式： MMULT(array1,array2) 功能：返回两数组的矩阵乘积．结果矩阵的行数与array1的行数相同，列数与array2的列数相同．
实验步骤：
(1) 整理数据如图4-5所示．
(5) 计算协方差Cov(X，Y)
在单元格B14中输入公式：=B10-B11*B12
(6) 计算相关系数XY
在单元格B15中输入公式：=B14/SQRT(D11*D12)
即得结果如图4-8所示．
图4-8 计算结果
第四章随机变量的数字特征
【分赌本问题解答】
1654年法国有个职业赌徒 De Meré 向数学家 Pascal提出了一个使他苦恼了很久的问题：甲乙两人各出赌注50法郎赌博，约定谁先赢3局，就赢得全部的100法郎，假定两人赌技相当，且每局无平局．如果当甲赢了两局，乙赢了一局时，因故要中止赌局，问如何分100法郎的赌注才算公平？这个问题在当时引起了许多人的兴趣,显然平均分对甲不公平,全部归甲对乙又不公平．合理的分法当然是按照一定的比例,甲多分些,乙少分些，那么如何确定分配比例呢？

协方差和相关系数及矩

n
n
D( Xi ) D(Xi )
i 1
i 1
思考题 Y=5X+6 D(X)=3 Cov(X,Y)=? Cov(X,Y)=Cov(X,5X+6) =5Cov(X,X)=15
例1 (X,Y)在以原点为圆心的单位圆内服从均匀分布
求 Cov(X, Y) . 解因
故 Cov(X, Y)=E (XY)－E (X) E(Y) = E (XY）
-2
0
1
－1 0.30 0.12 1 0.10 0.18
0.18 0.12
求：解
，边缘分布律为
Y X
-2
0
－1 0.30 0.12 1 0.10 0.18
1
0.18 0.12
X 与Y 的协方差为:
下面求 X , Y 的方差: X 与 Y 的相互关系数为:
考虑用X的线性函数 a+bX近似的表示Y
特例若(X,Y )服从二维正态分布，则
113页定理
X与Y独立 X与Y不相关
2
若(X,Y)服从二维正态分布。是Y与X
的相关系数。以下画出取几个不同值
时(X,Y)的密度函数图。
0.9
0.5
0.1
定理若随机变量X 与Y 相互独立，则X 与Y 不相
关，即有 XY =0
此定理的逆定理不成立, 即由ρXY＝0 不能得到X 与Y 相互独立.(见下面的例题)
第三节协方差、相关系数及矩一、协方差及其性质二、相关系数及其性质三、矩
前面我们介绍了随机变量的数学期望和方差，数学期望反映了随机变量在概率意义下的平均值，方差则反映了随机变量相对于其均值的离散程度，这对我们了解随机变量有一定的帮助，但对于二维

概率论与数理统计(协方差及相关系数、矩)

实验步骤：实验步骤： (1) 整理数据如图所示．整理数据如图4-5所示所示．
图4-5 整理数据
(2) 计算边缘概率计算边缘概率P{X = xi}和P{Y = yj} 和在单元格G2中输入公式：在单元格中输入公式： = SUM(B2:F2)，并将中输入公式，其复制到单元格区域G3:G6 其复制到单元格区域在单元格B7中输入公式：在单元格中输入公式：=SUM(B2:B6)，并将其中输入公式，复制到单元格区域C7:F7 复制到单元格区域 (3) 计算期望计算期望E(XY) 首先在单元格B9中输入公式：首先在单元格中输入公式：中输入公式 =MMULT(B1:F1,B2:F6)，，
−
π
∫ πcos zdz = 0, ∫ πsin z cos zdz = 0
−
1 E ( XY ) = 2π
π
因而Cov(X，Y) = 0，ρXY = 0．，因而，．不相关，相关系数ρXY = 0，说明随机变量与Y不相关，，说明随机变量X与不相关但是，所以X与不独立不独立．但是，由于 X 2 + Y 2 = 1 ，所以与Y不独立．
Cov ( X , Y ) = E ( XY ) − E ( X ) E (Y ) = 19 / 400,
所以
ρ XY =
Cov( X , Y ) 19 / 400 133 = = = 0.87 D( X ) D(Y ) 153 / 2800 153
4.3.2 相关系数下面不加证明地给出相关系数的两条性质：下面不加证明地给出相关系数的两条性质： (1) |ρXY | ≤ 1；；的充要条件是， (2) |ρXY | = 1的充要条件是，存在常数，b，使的充要条件是存在常数a， P{Y = aX + b} = 1．．定义4.6 若ρXY = 0，称X与Y不相关．0 < ρXY ≤ 1，称定义，与不相关．，不相关 X与Y正相关，– 1 ≤ ρXY < 0，称X与Y负相关．正相关，负相关．与正相关，与负相关事实上,相关系数事实上相关系数ρXY是X与Y线性关系强弱的一个与线性关系强弱的一个度量,X与的线性关系程度随着的线性关系程度随着| 的减小而减弱, 度量与Y的线性关系程度随着 ρXY|的减小而减弱的减小而减弱的线性关系最强，时与的线性关系最强当|ρXY| = 1时X与Y的线性关系最强，的不存在线性关系，当ρXY = 0时，意味与Y的不存在线性关系，即X 时意味X与的不存在线性关系不相关. 与Y不相关不相关

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第4章
§4.3 协方差、相关系数与矩
第10页
4.3.2 独立性与不相关性
定义4.3.2 当 XY = 0 时，称 X 和 Y不相关. 不相关独立但也有例外例如二维正态分布,独立与不相关等价
“独立” 必然导致 “不相关”, 而“不相关”不一定导致 “独立”
第4章
§4.3 协方差、相关系数与矩
（3）Cov(X1+X2, Y) = Cov(X1,Y) + Cov(X2,Y)
第4章 §4.3 协方差、相关系数与矩例1 设二维随机变量的联合分布律为 X 0 1 Y 0 q 0 1 0 p 其中p+q=1，求相关系数XY．解由(X,Y)的联合分布律，可得X与Y的边缘分布律为
X P 0 q 1 p Y P 0 q
注（1）若 X与Y独立,则Cov(X, Y)=0 （2）D(X±Y) = D(X) + D(Y)±2Cov(X, Y)
第4章
§4.3 协方差、相关系数与矩
第5页
4. 协方差的性质（1）Cov(X, Y) = Cov(Y, X) （2）Cov(aX, bY) = abCov(X, Y), a,b 为常数
第4章
§4.3 协方差、相关系数与矩
第7页
例2 设二维（X，Y）随机变量的密度函数为
1 cos( x y )， 0 x , y 0 f ( x, y ) 2 2 2 0，其它求 cov( X , Y )
1 2 0 解因为 E ( X ) x cos( x y)dxdy 0.7854, 2 0 -2 4
E (Y ) / 4,
0 1 2 E ( XY ) xy cos( x y)dxdy 1 0.5708, 2 0 2 2
同理可得
cov( X , Y ) E ( XY ) - E ( X ) E (Y )
0.5708 (0.7854)2 0.0461
Cov(X,Y) = E[XE(X)][YE(Y)]
而
பைடு நூலகம்Y
Cov( X , Y ) D( X ) D(Y )
为随机变量X和Y的相关系数（标准协方差）。
第4章
§4.3 协方差、相关系数与矩
第4页
2.协方差的计算离散型随机向量 cov( X , Y )
[ x E( X )][ y
第6页
1 p
E( X ) p, D( X ) pq, E(Y ) p, D(Y ) pq . cov( X , Y ) E( XY ) E( X ) E (Y ) 0 0 q 0 1 0 1 0 0 11 p p p p p2 pq , cov( X , Y ) pq XY 1. D( X ) D(Y ) pq pq
a ,b
相关系数ρXY刻划了随机变量X和Y的线性相关程度。
第4章
§4.3 协方差、相关系数与矩
第9页
注意点
XY 的大小反映了X与Y之间的线性关系：
XY 接近于1， X 与 Y 间正相关. XY 接近于 1， X 与 Y 间负相关. XY 接近于 0， X 与 Y 间不相关. 没有线性关系
分布 E(X) D(X) 0 -1 p pq
B(n, p) P(λ)
U[a, b] (a+b)/2 (b-a)2/12
E() 1/ 1/ 2
N(, 2)
np npq

2
第4章
§4.3 协方差、相关系数与矩
第2页
§4.3 协方差、相关系数与矩问题对于二维随机变量(X ,Y ): 已知联合分布边缘分布
第11页
例3 若X~N(0, 1), Y=X2, 问X与Y是否不相关？
1 解因为X~N(0, 1), 密度函数 f ( x) e 2 为偶函数,所以 E( X ) E( X 3 ) 0
对二维随机变量,除每个随机变量各自的概率特性外, 相互之间可能还有某种联系问题是用一个怎样的数去反映这种联系. 数 E [ X E ( X )][Y E (Y )] 反映了随机变量 X , Y 之间的某种关系
第4章
§4.3 协方差、相关系数与矩
第3页
4.3.1 协方差与相关系数
1. 定义若E[X-E(X)][Y-E(Y)]存在，则称其为随机变量X与Y 的协方差。记为cov(X, Y)或Cov(X, Y), 即协方差
第4章
§4.3 协方差、相关系数与矩
知识回顾
第1页
1. D(X)=Var(X)=E{[X—E(X)]2}
D( X ) [ xk E ( X )]2 pk
k 1
D( X ) [ x E ( X )]2 f ( x )dx

D( X ) E( X 2 ) [ E( X )]2 2. D(X)的性质 3. 常见分布的期望与方差
i i j
j
E(Y )]pij
其中 P{X=xi ,Y=yj}=pij i, j=1, 2, 3, ….
连续型随机向量
cov( X , Y )

[ x E ( X )][ y E (Y )] f ( x, y)dxdy
3. 协方差计算公式
Cov(X,Y)=E(XY )－E(X)E(Y)
第4章
§4.3 协方差、相关系数与矩
第8页
相关系数的性质（1）|ρXY| ≤ 1；（2）|ρXY| = 1当且仅当 P{Y=aX+b}=1 , 其中a, b为常数。
e E{[Y (a bX )]2} E (Y 2 ) b2 E ( X 2 ) a 2 2bE ( XY ) 2abE ( X ) 2aE (Y ) e 2a 2bE ( X ) 2 E (Y ) 0 a e 2bE ( X 2 ) 2 E ( XY ) 2aE ( X ) 0 b min E{[Y (a bX )]2 } (1 2 XY ) D(Y )