第10讲 原点矩与中心矩 协方差与相关系数
- 格式:doc
- 大小:279.50 KB
- 文档页数:6
k阶原点距和k阶中心距各是说明什么数字特征在数学的概率领域中有一类数字特征叫矩.(X^k为X的k次方)原点矩:对于正整数k,如果E|X^k|<无穷,称Vk=E(X^k) 为随机变量X的k阶原点矩.X的数学期望是X的一阶原点矩,即E(x)=v1.k阶矩定义:设X为随机变量,c为常数,k为正整数,如果E[|X-c|^c]<无穷大,则称E[(X -c)^k]为X关于点c的k阶矩.c=0时,称其为X的k阶原点矩;c=E[X]时,称为k阶中心矩.原点矩顾名思义,是随机变量到原点的距离(这里假设原点即为零点)。
中心矩则类似于方差,先要得出样本的期望即均值,然后计算出随机变量到样本均值的一种距离,与方差不同的是,这里所说的距离不再是平方就能构建出来的,而是k次方。
这也就不难理解为什么原点矩和中心矩不是距离的“距”,而是矩阵的“矩”了。
仅凭本人目前的所学,我认为通过随机试验得出的各种结果虽然都假定为实值单值函数,但它们完全有可能是空间分布,即不在一个平面上。
那么这是的距离就类似于一个向量的模了,于是在空间的范围内也能比较出大小来了。
我们都知道方差源于勾股定理,这就不难理解原点矩和中心矩了。
还能联想到力学中的力矩也是“矩”,而不是“距”。
力矩在物理学里是指作用力使物体绕着转动轴或支点转动的趋向。
力矩也是矢量,它等于力乘力臂。
由此可见数学和物理关系非同一般!二阶中心距,也叫作方差,它告诉我们一个随机变量在它均值附近波动的大小,方差越大,波动性越大。
方差也相当于机械运动中以重心为转轴的转动惯量。
(The moment of iner tia.)三阶中心距告诉我们一个随机密度函数向左或向右偏斜的程度。
在均值不为零的情况下,原点距只有纯数学意义。
A1,一阶矩就是 E(X),即样本均值。
具体说来就是A1=(西格玛Xi)/n ----(1)A2,二阶矩就是 E(X^2)即样本平方均值 ,具体说来就是 A2=(西格玛Xi^2)/n-----(2)Ak,K阶矩就是 E(X^k)即样本K次方的均值,具体说来就是 Ak=(西格玛Xi^k)/n,-----(3)用样本的K阶矩代替总体的K阶矩来估计总体中未知参数的方法。
第10讲 原点矩与中心矩 协方差与相关系数教学目的:掌握矩、协方差及相关系数的概念、性质及计算。
教学重点:矩、协方差及相关系数的概念和性质。
教学难点:矩、协方差及相关系数的概念。
教学学时:2学时教学过程:第三章 随机变量的数字特征§3.3 原点矩与中心矩随机变量的数字特征除了数学期望和方差外,为了更好的描述随机变量分布的特征,有时还要用到随机变量的各阶矩(原点矩与中心矩),它们在数理统计中有重要的应用。
定义1 设X 是随机变量,若),2,1)(( =k X E k 存在,则称它为X 的k 阶原点矩,记作)(X v k ,即)()(k k X E X v =, ,2,1=k显然,一阶原点矩就是数学期望,即)()(1X E X v =。
定义2 设随机变量X 的函数),2,1()]([ =-k X E X k 的数学期望存在,则称})]({[k X E X E -为X 的k 阶中心矩,记作)(X k μ,即})]({[)(k k X E X E X -=μ, ,2,1=k易知,一阶中心矩恒等于零,即0)(1≡X μ;二阶中心矩就是方差,即)()(2X D X =μ。
不难证明,原点矩与中心矩之间有如下关系:2122v v -=μ31213323v v v v +-=μ412121344364v v v v v v -+-=μ等。
定义3 设X 和Y 是随机变量,若),2,1,)(( =l k Y X E l k 存在,则称它为X 和Y 的l k +阶混合矩。
若),2,1,}()]([)]({[ =--l k Y E Y X E X E l k 存在,则称它为X 和Y 的l k +阶混合中心矩。
§3.4 协方差与相关系数1.协方差与相关系数的定义二维随机变量的数字特征中最常用的就是协方差与相关系数。
定义 3 设有二维随机变量),(Y X ,如果)]()][([Y E Y X E X E --存在,则称)]()][([Y E Y X E X E --为随机变量X 与Y 的协方差,记作),cov(Y X ,即=),cov(Y X )]()][([Y E Y X E X E -- 而)()(),cov(Y D X D Y X 称为随机变量X 与Y 的相关系数,记作),(Y X R ,即)()(),cov(),(Y D X D Y X Y X R =)()(),cov(Y X Y Xσσ=显然,协方差),cov(Y X 是X 和Y 的二阶混合中心矩。
随机变量的矩与协方差矩阵一、定义随机变量是概率论与数理统计中的重要概念,它表示随机试验结果的数值。
在概率论中,我们常常需要对随机变量进行描述和分析,而矩和协方差矩阵是常用的描述随机变量特征的工具。
二、矩的定义与性质1. 数学期望设X是一个随机变量,X的期望值记为E(X),定义为E(X) =∑xP(X=x),其中x代表X的取值,P(X=x)代表X取值为x的概率。
2. 方差方差是刻画随机变量X离散程度的一个指标,记为Var(X),定义为Var(X) = E[(X-E(X))^2]。
可以简单理解为X与其期望E(X)的差的平方的期望。
3. k阶原点矩设X是一个随机变量,k阶原点矩表示为μk = E(X^k),其中k为非负整数。
一阶原点矩即为数学期望。
4. k阶中心矩设X是一个随机变量,k阶中心矩表示为νk = E[(X-E(X))^k],其中k为非负整数。
二阶中心矩即为方差。
三、协方差矩阵的定义与性质1. 协方差设X和Y是两个随机变量,协方差表示为Cov(X,Y),定义为Cov(X,Y) = E[(X-E(X))(Y-E(Y))]。
协方差的绝对值越大,表示两个随机变量的相关程度越强。
2. 协方差矩阵设X是一个n维随机向量,协方差矩阵表示为Σ = [σij],其中σij = Cov(Xi,Xj),i,j=1,2,...,n。
协方差矩阵是一个对称矩阵,对角线元素为各个随机变量的方差,非对角线元素为各个随机变量之间的协方差。
3. 协方差矩阵与线性变换给定一个n维随机向量X和一个n×k的矩阵A,定义Y = AX,其中Y是一个k维随机向量。
则Y的协方差矩阵为Cov(Y) =ACov(X)A^T。
四、应用案例随机变量的矩与协方差矩阵在许多领域有广泛的应用,如金融、信号处理、机器学习等。
以机器学习为例,协方差矩阵可以用于评估不同特征之间的相关性,进而选择合适的特征进行分类或回归分析。
另外,在图像处理中,矩常常被用来描述图像的形状特征,例如图像的几何矩可以用于计算图像的中心矩、方向矩等。
第10讲 原点矩与中心矩 协方差与相关系数教学目的:掌握矩、协方差及相关系数的概念、性质及计算。
教学重点:矩、协方差及相关系数的概念和性质。
教学难点:矩、协方差及相关系数的概念。
教学学时:2学时 教学过程:第三章 随机变量的数字特征§3.3 原点矩与中心矩随机变量的数字特征除了数学期望和方差外,为了更好的描述随机变量分布的特征,有时还要用到随机变量的各阶矩(原点矩与中心矩),它们在数理统计中有重要的应用。
定义1 设X 是随机变量,若),2,1)(( =k X E k 存在,则称它为X 的k 阶原点矩,记作)(X v k ,即)()(kk X E X v =, ,2,1=k显然,一阶原点矩就是数学期望,即)()(1X E X v =。
定义2 设随机变量X 的函数),2,1()]([ =-k X E X k 的数学期望存在,则称})]({[kX E X E -为X的k 阶中心矩,记作)(X k μ,即})]({[)(kk X E X E X -=μ, ,2,1=k易知,一阶中心矩恒等于零,即0)(1≡X μ;二阶中心矩就是方差,即)()(2X D X =μ。
不难证明,原点矩与中心矩之间有如下关系:2122v v -=μ31213323v v v v +-=μ412121344364v v v v v v -+-=μ等。
定义3 设X 和Y 是随机变量,若),2,1,)(( =l k Y X E l k 存在,则称它为X 和Y 的l k +阶混合矩。
若),2,1,}()]([)]({[ =--l k Y E Y X E X E l k 存在,则称它为X和Y 的lk +阶混合中心矩。
§3.4 协方差与相关系数1.协方差与相关系数的定义二维随机变量的数字特征中最常用的就是协方差与相关系数。
定义 3 设有二维随机变量),(Y X ,如果)]()][([Y E Y X E X E --存在,则称)]()][([Y E Y X E X E --为随机变量X与Y 的协方差,记作),cov(Y X ,即=),cov(Y X )]()][([Y E Y X E X E --而)()(),cov(Y D X D Y X 称为随机变量X 与Y 的相关系数,记作),(Y X R ,即)()(),cov(),(Y D X D Y X Y X R =)()(),cov(Y X Y X σσ=显然,协方差),cov(Y X 是X 和Y 的二阶混合中心矩。
当0),cov(=Y X ,通常称随机变量X 与Y 是不相关的。
2.协方差的性质(1) =),cov(Y X ),cov(X Y ,)(),cov(X D X X = 由定义知性质(1)是显然的。
(2) =),cov(Y X )()()(Y E X E XY E -证 =),cov(Y X )]()()()([Y E X E X YE Y XE XY E +--)()()()()()()(Y E X E Y E X E Y E X E XY E +--= )()()(Y E X E XY E -=(3) ),cov(2)()()(Y X Y D X D Y X D ±+=±证 22))](())([()]()[()(Y E Y X E X E Y X E Y X E Y X D -±-=±-±=±),cov(2)()(Y X Y D X D ±+= 该性质可推广到任意场合,即∑∑∑∑<==+=ji j ini ini i X XXD X D ),cov(2)()(11(4) ),cov(),cov(Y X ab bY aX =,b a ,是常数。
由定义知性质(4)是显然的。
(5) ),cov(),cov(),cov(2121Y X Y X Y X X +=+由定义知性质(5)是显然的。
(6) 若X 与Y 相互独立,则0),cov(=Y X ,即X 与Y 不相关。
反之,若X 与Y 不相关,X 与Y 不一定相互独立。
3.相关系数的性质(1) 1),(≤Y X R(2) 若X 与Y 相互独立,则0),(=Y X R(3) 当且仅当X 与Y 之间存在线性关系1}{=+=b aX Y P (b a ,为常数,0≠a )时,1),(=Y X R ,且⎩⎨⎧<->=0,10,1),(a a Y X R 。
证 对于性质(1),我们考虑随机变量)()()()(Y D Y E Y X D X E X Z -±-=,由协方差的性质(3)可得 ))()(,)()(cov(2))()(())()(()(Y D Y E Y X D X E X Y D Y E Y D X D X E X D Z D --±-+-=0)),(1(2),(211≥±=±+=Y X R Y X R 故1),(≤Y X R对于性质(2),由于X 与Y 相互独立,则有0),cov(=Y X ,由定义知0),(=Y X R 。
对于性质(3),若1}{=+=b aX Y P ,则b X aE Y E +=)()(,)()(2X D a Y D =,)()())]())(([(),(Y D X D Y E Y X E X E Y X R --=aa X D a X aD Y D aX D b X aE b aX X E X E ==--+-=)()()()()])())(([(即1),(=Y X R ,⎩⎨⎧<->=0,10,1),(a a Y X R事实上相关系数只是随机变量间线性关系强弱的一个度量,当1),(=Y X R 时说明随机变量X 与Y 之间具有很强的线性关系,当1),(=Y X R 时为正线性相关,1),(-=Y X R 时为负线性相关。
当1),(<Y X R 时,随机变量X与Y 之间的线性相关程度将随着),(Y X R 的减小而减弱,当0),(=Y X R 时,意味着随机变量X 与Y 是不相关的。
例 1 设随机变量Z 服从],[ππ-上的均匀分布,又Z Y Z X cos ,sin ==,试求相关系数),(Y X R 。
解 ⎰⎰--====ππππππcos21)(,0sin21)(zdz Y E zdz X E⎰⎰--====πππππ21cos )(,21sin21)(2222zdz Y E zdz XE⎰-==πππ0cos sin21)(zdz z XY E故,0),cov(=Y X 0),(=Y X R相关系数0),(=Y X R ,随机变量X 与Y 不相关,但是有122=+Y X ,从而X 与Y 不独立。
例2 设二维随机变量),(Y X 的联合概率分布如下:试证明X 与Y 不相关,但不相互独立。
证 易知X 与Y 的边缘概率分布分别是:由公式得]321310][(31131031)1[(31113100311)1(),cov(⨯+⨯⨯+⨯+⨯--⨯⨯+⨯⨯+⨯⨯-=Y X03200=⨯-=所以X 与Y 是不相关的。
但是,因为31)0,0(=p ,913131)0()0(=⨯=Y X p p ,≠)0,0(p )0()0(Y X p p故X 与Y 不相互独立。
例3 设二维随机变量),(Y X 的概率密度函数为⎩⎨⎧>+≤+=1,01,1),(2222yx y x y x f π试证明随机变量X 与Y 不相关,也不相互独立。
证 由于D 关于x 轴、y 轴对称,故⎰⎰⎰⎰⎰⎰======DDDxydxdyXY E ydxdy Y E xdxdyX E 0)(,0)(,0)(因而 ,0),cov(=Y X 0),(=Y X R ,即X 与Y 不相关。
又由于1()01X x f x x ≤=⎪≥⎩,,1()01Y y f x y ⎧≤⎪=⎨⎪≥⎩,显然在{}1,1,1|),(22>+≤≤y x y x y x 上,)()(0),(y f x f y x f Y X ≠≡,所以X 与Y 不相互独立。
数学期望(均值函数或一阶原点矩)上一页下一页数学期望定义为随机信号X(t)的所有样本函数,在同一时刻取值的统计平均值或称为积平均,简称均值,设随机信号X(t),在t i时刻的状态X(t i)是一个随机变量,若它的取值是离散的,在各个时刻所取的几个可能值x1, x2,…, x n.设观测时间足够长,次数足够多(N→∞),若已知离散随机变量取值的概率P[x N(t i)],则可预期取x1的次数为NP1,x2的次数为NP2等等.因而该随机信号的平均值就是各样值与其相应的次数相乘后逐项相加再被总的次数N除,即:(4.7)式中符号E[.]表示统计平均的运算.。